社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

颠覆深度学习40年基石?新算法号称干掉反向传播,48小时后惨遭光速打假!

井底之硅 • 1 周前 • 86 次点击  
井底之硅 · 洞察AI技术演进,解读产业变革逻辑

作者 | 何卫· 编辑 | 彭毅

如果有人告诉你,统治人工智能长达40年的底层铁律,被一种全新的“免反向传播”算法彻底掀翻了,你会相信吗?

2026年10月初,AI学术圈平地起惊雷。
一家名为 Q Labs 的机构高调宣布:他们研发出了一种名为 Dust 的全新零阶优化算法,不用反向传播,就能从零预训练 Transformer 语言模型。
作者甚至搬出了AI教父萨顿(Richard Sutton)著名的“苦涩的教训”(The Bitter Lesson),宣称随着算力堆叠,这种算法不仅能逼近、甚至能全面超越传统的反向传播!

一时间,整个机器学习社区为之震动
难道教科书真的要被改写了?

然而,仅仅48小时后,剧情迎来了毁灭性的反转。

独立研究员黄奔皓(Benhao Huang)火速完成复现,扒出了被光鲜包装掩盖的残酷真相:所谓“干翻反向传播”,完全是因为把对手绑上了小推车;
当换上今天大模型标配的现代优化器时,新算法惨败;
而为了跑出看似接近的分数,新算法竟然狂烧了整整 2316 倍的算力!

图灵奖得主、深度学习三巨头之一的 Yann LeCun 更是公开发声,留下了一句尖锐却直击要害的评价。

一场号称颠覆底层的学术神话,是如何在48小时内从云端跌落谷底的?

01.40年的AI基石,突然被人“宣判死刑”?

要看懂这场戏剧性大反转,得把深度学习的底层运作机制摆上台面。

今天的 ChatGPT、GPT-4 乃至所有大模型,之所以能够变聪明,全靠一根支柱,反向传播(Backpropagation,简称 Backprop)。

Samip 宣布 Dust 的视频帖卡片

▲ Q Labs 核心作者 Samip Dahal 发布视频,高调宣布 Dust 算法问世

传统的反向传播就像一名极其严厉且精准的导师。
模型先做一次前向计算(答一套题),得到一个错误分(损失值 Loss)。
随后,导师根据数学上的微积分链式法则,从最后一题倒着往前推导,精准指出每一层、每一个参数应该往左调还是往右调。

反向传播极其高效,但它有一根40年来甩不掉的“紧箍咒”:

  1. 网络必须处处可微
    ,遇到离散、跳跃的结构就抓瞎;
  2. 显存开销沉重
    ,在前向传播时必须把所有中间层的计算结果(激活值)全部死死扣在显存里,等反向求导时使用,这被业界视作大模型撞上“显存墙”的核心元凶。

于是,总有人想绕过它
这就是零阶优化(Zeroth-Order Optimization)。

零阶优化不求导,也不走链式法则
它的逻辑简单粗暴:像蒙着眼扔飞镖
它给神经网络的参数施加微小的随机扰动(噪声),若得分提高便朝该方向迈一步;
若结果变差则反向调整
进化策略(Evolution Strategies, ES)就是这类玩法的典型代表。

但这套方法在过去有个致命硬伤:太慢了。
一个大模型有几百亿参数,你在几百亿个方向里闭着眼睛试,无异于大海捞针,算力瞬间爆炸。

而 Q Labs 的 Dust 算法,号称破除了这个魔咒。

他们的核心创新叫做“虚拟种群”(Virtual Population):以往的算法是在全网的“权重”上挨个加噪声,Dust 则改在每一层的“激活值”(每句话里的每个 token)上施加高斯噪声。
由于句子里的每个词都在并行计算,一次前向传播,就等于同时评估了成千上万个扰动方向!

Q Labs 在推文中信心满满地宣称:

  • Dust 的效率比顶尖进化策略算法(EGGROLL)高出 1000 到 10000 倍;
  • 只要堆算力、扩大种群,它在预训练任务上不仅能逼近反向传播,甚至在某些预算下打败了反向传播!

这听起来俨然是暴力美学的胜利
然而,严谨的科学探索从来经不起盲信。

02.48小时光速反转:给对手套上裹脚布的“胜利”

在热搜发酵不到两天,卡内基梅隆大学背景的研究员黄奔皓带着一份详尽的独立复现报告,直接砸到了所有人脸上。

Benhao Huang 的 Dust 复现主帖卡片

▲ 黄奔皓发布的独立复现结论:算法确实真实,但基线存在致命漏洞

黄奔皓首先承认:作者开源的代码没有伪造数据,在官方放出的配置下,数字确实复现得很好。

但随后,他揭开了一个致命的盲点:原论文里的“反向传播”,是一个被砍掉了双腿的残疾选手!

在深度学习领域,优化器是决定模型成绩的引擎。
20年前,人们训练网络用的是最朴素的随机梯度下降(SGD);
而到了今天,全世界训练大模型几乎无一例外使用的是更加现代化、能自适应调节步长的 Adam / AdamW 优化器。

可是在 Q Labs 的主论文中,为了证明 Dust 能打平甚至打败反向传播,作者选用的对照组竟然是,恒定学习率的古老 SGD!

这就好比一场赛跑:Dust 拼尽全力终于跑赢了对手,但转头一看,对手穿的是一双沉重的木屐。

当黄奔皓把业界通行的现代基线,自带自适应调节的 AdamW 请上擂台后,神话瞬间破灭了:

  1. 在 1000 万 Token 的预训练中,标准的反向传播配上 AdamW,测试损失直接压到了 3.998 nat;
  2. 原文吹上天的 Dust(基于 SGD),损失只能卡在  5.047 nat,被反向传播甩开了整整 1 个 nat(在信息论指标中,这已经是鸿沟般的质量差距);
  3. 哪怕黄奔皓依照附录,给 Dust 也接上 Adam 优化模块(Dust+Adam),并将扰动种群拉满到极限的 16384,其最好成绩也只能停在 4.436 nat,依然落后现代反向传播近 0.5 nat。

从训练曲线上看,最大种群的 Dust 只有在前 100 步能勉强贴住反向传播,随后差距被越拉越大。
它未能超越反向传播,不过是在拼命追赶一个被严重放水的幻影。

03.算力账单血崩:去掉了反向求导,凭什么狂烧2316倍GPU?

如果仅仅是效果稍差,只要它省显存、省算力,工业界依然会张开双臂欢迎它。

然而,更触目惊心的部分来了
黄奔皓在复现报告的“成本账单”(Cost)一栏中,列出了一组让所有工程师倒吸一口凉气的真实硬件开销:

在 1000 万 Token 的同等训练步数下:

  • 标准反向传播(AdamW)
    :只需要 1 张单卡 GPU,单步耗时仅仅 0.14 秒,总共消耗 0.024 个 GPU 小时;
  • 满血版 Dust(Adam,种群 16384)
    :必须同时动用 8 张顶级 GPU 暴力并行,单步慢到 41.6 秒,总耗时飙升至 56.43 个 GPU 小时!

算力差距,整整 2316 倍!

为什么一个号称“扔掉了复杂反向求导”的算法,在硬件物理层面上反而会变得如此贪婪且臃肿?

底层逻辑其实极其严谨,甚至可以说是一个基础物理常识:

第一,求导只算一次,但盲猜必须重跑千百次。
在传统的反向传播中,完成一次完整的“前向+反向求导”,所需要的理论浮点运算量(FLOPs)严格等于 3 次前向传播。
因为链式法则是确定性的解析解,顺着网络倒推一遍,所有梯度的精确值全出来了。
而 Dust 想要评估某一层加了噪声到底好不好,网络就必须把加了噪声的所有特征,重新从扰动层一路向后、全部重新计算到最顶层的损失输出!为了保证估计的准确度,虚拟种群规模 $K$ 往往要开到上万。
就算很多计算能并行,总运算量依然伴随着种群规模呈现几何级数暴增。

第二,它根本没有拯救“显存墙”!
Dust 宣称不走反向传播就能省显存,但这是一个偷换概念的幻觉。
Dust 在最后估算权重更新时,依然必须用到那一层最初始的输入特征 $x$。
换言之,每一层的未扰动输入依然必须常驻显存,根本无法释放!
早在 2016 年,陈天奇等人就已经提出了著名的梯度检查点(Activation Checkpointing)算法。
现代工程上,反向传播只需额外付出大约 30% 的前向重算代价,就能用极少显存训练极深的网络。
反向传播用 4 倍的前向等效算力就彻底摆平的事情,Dust 却花了 2000 多倍的电费,显存还没彻底省下来。

这是一笔在商业和工程逻辑上彻底破产的算力账单。

04. 顶尖大佬纷纷下场:生搬“苦涩教训”,实为对数学的误读

在这份复现报告将皇帝的新衣撕个精光之后,全球 AI 社区的大佬们相继赶来围观,金句频出。

Yann LeCun 的回复卡片

▲ Yann LeCun 一针见血的嘲讽:十五年一个周期

图灵奖得主 Yann LeCun 在社交平台上转发并给出了定论式的冷评:

“大约每隔十五年,就会有人把基于扰动的学习再挖出来炒一遍。然后又会有另一帮人把账算得清清楚楚,重新发现它根本扩不上去(Doesn't scale)。”

三言两语,直接将这项看似崭新的突破打回了历史周期的尘埃里。
扰动估算法早已有之,半个世纪以来被反复包装,但只要碰上真实算力与维度的严苛考验,往往立刻显出原形。

关于苦涩教训的跟帖卡片

▲ 黄奔皓反驳原文对“苦涩的教训”的生搬硬套

与此同时,复现作者黄奔皓也针对原作者搬出的“苦涩的教训”提出了极具穿透力的哲学反思:

“反向传播哪是什么人类凭空捏造的‘人工启发式规则’(Human Heuristic)?微积分链式法则计算的是确凿精确的梯度。而 Dust 所做的一切,无非是用极其昂贵的随机采样去逼近同一个梯度。论文甚至把‘与反向传播梯度的余弦相似度’当作自己的打分标准!”

拿“用蒙特卡洛随机采样去模拟微积分”,来标榜自己符合“通用计算战胜人类先验”的苦涩教训?
这不仅用错了地方,更是对数学严密性的傲慢。

还有研究者一针见血地指出了该实验更尴尬的现状:论文中展示的模型,验证损失值还在 5.0 nat 附近徘徊。
在自然语言处理中,这个阶段模型甚至连基本的语义特征都还没学会,仅仅是在把那些生僻荒谬的词汇概率往负无穷推。
在这么浅的浅水区里说自己“逼近了反向传播”,不仅为时过早,而且毫无说服力。

05. 撕下神话之后:替代方案的现实出路在哪里?

在一轮又一轮的论战和数据实锤面前,尘埃终于落定。
我们可以给这场闹剧与探索下一个客观而严谨的结论:

不可否认,Q Labs 团队完成了一套非常精妙的工程实现。
将扰动从“全网参数”下放到“Token激活空间”的“虚拟种群”构想,在算法技巧上极具创造性,也确实大幅刷新了过去零阶优化的不堪效率。

但,它根本无法撼动反向传播的地位

在可微分、连续且极其规则的神经网络世界里,反向传播(微积分链式法则)就是神赐的捷径。
它是大自然在数学上留给人类最优雅的礼物。
试图用盲目的高维采样去硬刚确定性的解析导数,就好比放着笔直的高铁不坐,非要在铁轨旁边用双腿狂奔,然后向全世界炫耀:“看,只要我燃烧一千头耕牛的能量,我有时候也能跟车厢平视!”

正如社区研究者 Ben Crulis 所指出的:反向传播的替代方案,其唯一的生存空间,在于那些根本无法求导的死角。

比如纯离散的逻辑推理链路、极其复杂的不可微物理仿真环境、没有反向硬件通道的类脑神经形态芯片、或者极度依赖黑盒探索的强化学习任务。
在那些地方,链式法则根本无法下脚,零阶优化与演化策略才是无可争议的王者。

但如果你试图在大语言模型的预训练主航道上去“消灭”反向传播,物理定律和数学常识就会立刻给你上一堂残酷的现实课。

大模型时代从不缺乏宏大构想,也不缺“颠覆范式”的夺目标题。
但在狂热的浪潮里,总需要有人像黄奔皓这样,不盲从、不浮躁,以最快的速度把代码拉下来,插上电表,跑一遍真实的基线。

科学的尊严,终究取决于那一串串冰冷、透明、在谁的显卡上都无法撒谎的物理账单。

井底之硅 · 洞察AI技术演进,解读产业变革逻辑

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/202058