如果有人告诉你,统治人工智能长达40年的底层铁律,被一种全新的“免反向传播”算法彻底掀翻了,你会相信吗?
2026年10月初,AI学术圈平地起惊雷。
一家名为 Q Labs 的机构高调宣布:他们研发出了一种名为 Dust 的全新零阶优化算法,不用反向传播,就能从零预训练 Transformer 语言模型。
作者甚至搬出了AI教父萨顿(Richard Sutton)著名的“苦涩的教训”(The Bitter Lesson),宣称随着算力堆叠,这种算法不仅能逼近、甚至能全面超越传统的反向传播!
一时间,整个机器学习社区为之震动
难道教科书真的要被改写了?
然而,仅仅48小时后,剧情迎来了毁灭性的反转。
独立研究员黄奔皓(Benhao Huang)火速完成复现,扒出了被光鲜包装掩盖的残酷真相:所谓“干翻反向传播”,完全是因为把对手绑上了小推车;
当换上今天大模型标配的现代优化器时,新算法惨败;
而为了跑出看似接近的分数,新算法竟然狂烧了整整 2316 倍的算力!
图灵奖得主、深度学习三巨头之一的 Yann LeCun 更是公开发声,留下了一句尖锐却直击要害的评价。
一场号称颠覆底层的学术神话,是如何在48小时内从云端跌落谷底的?
01.40年的AI基石,突然被人“宣判死刑”?
要看懂这场戏剧性大反转,得把深度学习的底层运作机制摆上台面。
今天的 ChatGPT、GPT-4 乃至所有大模型,之所以能够变聪明,全靠一根支柱,反向传播(Backpropagation,简称 Backprop)。
▲ Q Labs 核心作者 Samip Dahal 发布视频,高调宣布 Dust 算法问世
传统的反向传播就像一名极其严厉且精准的导师。
模型先做一次前向计算(答一套题),得到一个错误分(损失值 Loss)。
随后,导师根据数学上的微积分链式法则,从最后一题倒着往前推导,精准指出每一层、每一个参数应该往左调还是往右调。
反向传播极其高效,但它有一根40年来甩不掉的“紧箍咒”:
- 网络必须处处可微
- 显存开销沉重,在前向传播时必须把所有中间层的计算结果(激活值)全部死死扣在显存里,等反向求导时使用,这被业界视作大模型撞上“显存墙”的核心元凶。
于是,总有人想绕过它
这就是零阶优化(Zeroth-Order Optimization)。
零阶优化不求导,也不走链式法则
它的逻辑简单粗暴:像蒙着眼扔飞镖
它给神经网络的参数施加微小的随机扰动(噪声),若得分提高便朝该方向迈一步;
若结果变差则反向调整
进化策略(Evolution Strategies, ES)就是这类玩法的典型代表。
但这套方法在过去有个致命硬伤:太慢了。
一个大模型有几百亿参数,你在几百亿个方向里闭着眼睛试,无异于大海捞针,算力瞬间爆炸。
而 Q Labs 的 Dust 算法,号称破除了这个魔咒。
他们的核心创新叫做“虚拟种群”(Virtual Population):以往的算法是在全网的“权重”上挨个加噪声,Dust 则改在每一层的“激活值”(每句话里的每个 token)上施加高斯噪声。
由于句子里的每个词都在并行计算,一次前向传播,就等于同时评估了成千上万个扰动方向!
Q Labs 在推文中信心满满地宣称:
- Dust 的效率比顶尖进化策略算法(EGGROLL)高出 1000 到 10000 倍;
- 只要堆算力、扩大种群,它在预训练任务上不仅能逼近反向传播,甚至在某些预算下打败了反向传播!
这听起来俨然是暴力美学的胜利
然而,严谨的科学探索从来经不起盲信。
02.48小时光速反转:给对手套上裹脚布的“胜利”
在热搜发酵不到两天,卡内基梅隆大学背景的研究员黄奔皓带着一份详尽的独立复现报告,直接砸到了所有人脸上。
▲ 黄奔皓发布的独立复现结论:算法确实真实,但基线存在致命漏洞
黄奔皓首先承认:作者开源的代码没有伪造数据,在官方放出的配置下,数字确实复现得很好。
但随后,他揭开了一个致命的盲点:原论文里的“反向传播”,是一个被砍掉了双腿的残疾选手!
在深度学习领域,优化器是决定模型成绩的引擎。
20年前,人们训练网络用的是最朴素的随机梯度下降(SGD);
而到了今天,全世界训练大模型几乎无一例外使用的是更加现代化、能自适应调节步长的 Adam / AdamW 优化器。
可是在 Q Labs 的主论文中,为了证明 Dust 能打平甚至打败反向传播,作者选用的对照组竟然是,恒定学习率的古老 SGD!
这就好比一场赛跑:Dust 拼尽全力终于跑赢了对手,但转头一看,对手穿的是一双沉重的木屐。
当黄奔皓把业界通行的现代基线,自带自适应调节的 AdamW 请上擂台后,神话瞬间破灭了:
- 在 1000 万 Token 的预训练中,标准的反向传播配上 AdamW,测试损失直接压到了 3.998 nat;
- 原文吹上天的 Dust(基于 SGD),损失只能卡在
5.047 nat,被反向传播甩开了整整 1 个 nat(在信息论指标中,这已经是鸿沟般的质量差距);
- 哪怕黄奔皓依照附录,给 Dust 也接上 Adam 优化模块(Dust+Adam),并将扰动种群拉满到极限的 16384,其最好成绩也只能停在 4.436 nat,依然落后现代反向传播近 0.5 nat。
从训练曲线上看,最大种群的 Dust 只有在前 100 步能勉强贴住反向传播,随后差距被越拉越大。
它未能超越反向传播,不过是在拼命追赶一个被严重放水的幻影。
03.算力账单血崩:去掉了反向求导,凭什么狂烧2316倍GPU?
如果仅仅是效果稍差,只要它省显存、省算力,工业界依然会张开双臂欢迎它。
然而,更触目惊心的部分来了
黄奔皓在复现报告的“成本账单”(Cost)一栏中,列出了一组让所有工程师倒吸一口凉气的真实硬件开销:
在 1000 万 Token 的同等训练步数下:
- 标准反向传播(AdamW):只需要 1 张单卡 GPU,单步耗时仅仅 0.14 秒,总共消耗 0.024 个 GPU 小时;
- 满血版 Dust(Adam,种群 16384):必须同时动用 8 张顶级 GPU 暴力并行,单步慢到 41.6 秒,总耗时飙升至 56.43 个 GPU 小时!
算力差距,整整 2316 倍!
为什么一个号称“扔掉了复杂反向求导”的算法,在硬件物理层面上反而会变得如此贪婪且臃肿?
底层逻辑其实极其严谨,甚至可以说是一个基础物理常识:
第一,求导只算一次,但盲猜必须重跑千百次。
在传统的反向传播中,完成一次完整的“前向+反向求导”,所需要的理论浮点运算量(FLOPs)严格等于 3 次前向传播。
因为链式法则是确定性的解析解,顺着网络倒推一遍,所有梯度的精确值全出来了。
而 Dust 想要评估某一层加了噪声到底好不好,网络就必须把加了噪声的所有特征,重新从扰动层一路向后、全部重新计算到最顶层的损失输出!为了保证估计的准确度,虚拟种群规模 $K$ 往往要开到上万。
就算很多计算能并行,总运算量依然伴随着种群规模呈现几何级数暴增。
第二,它根本没有拯救“显存墙”!
Dust 宣称不走反向传播就能省显存,但这是一个偷换概念的幻觉。
Dust 在最后估算权重更新时,依然必须用到那一层最初始的输入特征 $x$。
换言之,每一层的未扰动输入依然必须常驻显存,根本无法释放!
早在 2016 年,陈天奇等人就已经提出了著名的梯度检查点(Activation Checkpointing)算法。
现代工程上,反向传播只需额外付出大约 30% 的前向重算代价,就能用极少显存训练极深的网络。
反向传播用 4 倍的前向等效算力就彻底摆平的事情,Dust 却花了 2000 多倍的电费,显存还没彻底省下来。
这是一笔在商业和工程逻辑上彻底破产的算力账单。
04.
顶尖大佬纷纷下场:生搬“苦涩教训”,实为对数学的误读
在这份复现报告将皇帝的新衣撕个精光之后,全球 AI 社区的大佬们相继赶来围观,金句频出。
▲ Yann LeCun 一针见血的嘲讽:十五年一个周期
图灵奖得主 Yann LeCun 在社交平台上转发并给出了定论式的冷评:
“大约每隔十五年,就会有人把基于扰动的学习再挖出来炒一遍。然后又会有另一帮人把账算得清清楚楚,重新发现它根本扩不上去(Doesn't scale)。”
三言两语,直接将这项看似崭新的突破打回了历史周期的尘埃里。
扰动估算法早已有之,半个世纪以来被反复包装,但只要碰上真实算力与维度的严苛考验,往往立刻显出原形。
▲ 黄奔皓反驳原文对“苦涩的教训”的生搬硬套
与此同时,复现作者黄奔皓也针对原作者搬出的“苦涩的教训”提出了极具穿透力的哲学反思:
“反向传播哪是什么人类凭空捏造的‘人工启发式规则’(Human Heuristic)?微积分链式法则计算的是确凿精确的梯度。而 Dust 所做的一切,无非是用极其昂贵的随机采样去逼近同一个梯度。论文甚至把‘与反向传播梯度的余弦相似度’当作自己的打分标准!”
拿“用蒙特卡洛随机采样去模拟微积分”,来标榜自己符合“通用计算战胜人类先验”的苦涩教训?
这不仅用错了地方,更是对数学严密性的傲慢。
还有研究者一针见血地指出了该实验更尴尬的现状:论文中展示的模型,验证损失值还在 5.0 nat 附近徘徊。
在自然语言处理中,这个阶段模型甚至连基本的语义特征都还没学会,仅仅是在把那些生僻荒谬的词汇概率往负无穷推。
在这么浅的浅水区里说自己“逼近了反向传播”,不仅为时过早,而且毫无说服力。
05.
撕下神话之后:替代方案的现实出路在哪里?
在一轮又一轮的论战和数据实锤面前,尘埃终于落定。
我们可以给这场闹剧与探索下一个客观而严谨的结论:
不可否认,Q Labs 团队完成了一套非常精妙的工程实现。
将扰动从“全网参数”下放到“Token激活空间”的“虚拟种群”构想,在算法技巧上极具创造性,也确实大幅刷新了过去零阶优化的不堪效率。
但,它根本无法撼动反向传播的地位
在可微分、连续且极其规则的神经网络世界里,反向传播(微积分链式法则)就是神赐的捷径。
它是大自然在数学上留给人类最优雅的礼物。
试图用盲目的高维采样去硬刚确定性的解析导数,就好比放着笔直的高铁不坐,非要在铁轨旁边用双腿狂奔,然后向全世界炫耀:“看,只要我燃烧一千头耕牛的能量,我有时候也能跟车厢平视!”
正如社区研究者 Ben Crulis 所指出的:反向传播的替代方案,其唯一的生存空间,在于那些根本无法求导的死角。
比如纯离散的逻辑推理链路、极其复杂的不可微物理仿真环境、没有反向硬件通道的类脑神经形态芯片、或者极度依赖黑盒探索的强化学习任务。
在那些地方,链式法则根本无法下脚,零阶优化与演化策略才是无可争议的王者。
但如果你试图在大语言模型的预训练主航道上去“消灭”反向传播,物理定律和数学常识就会立刻给你上一堂残酷的现实课。
大模型时代从不缺乏宏大构想,也不缺“颠覆范式”的夺目标题。
但在狂热的浪潮里,总需要有人像黄奔皓这样,不盲从、不浮躁,以最快的速度把代码拉下来,插上电表,跑一遍真实的基线。
科学的尊严,终究取决于那一串串冰冷、透明、在谁的显卡上都无法撒谎的物理账单。