苹果炮轰AI推理遭打脸，GitHub大佬神怒怼！复杂任务≠推理能力

---

  新智元报道  

最近，苹果公司发表了预印本论文，指出推理大模型存在重大缺陷。

昨天，Ruben Hassid发布了相关解读的X帖子，认为这是项突破性研究：

这种解读在社交平台上广泛传播，浏览量已超过1000万，且仍在持续增长。

但这种解读翻车了！

在Reddit和黑客新闻，网友纷纷表示论文争议太大。

左右滑动查看

GitHub高级工程师Sean Goedecke，对该论文持保留态度，尽管他也认为语言模型不是通往超级智能（ASI）的理想路径。

最直接的例证是：当用DeepSeek-V3测试时，模型直接拒绝了要执行上千步的谜题推演

——这并非推理能力崩溃，反而说明模型具备对自身能力边界的认知！

值得注意的是，「深度学习三巨头」Yoshua Bengio的兄弟Samy Bengio也参与了这次的研究。

虽然Samy没有获得图灵奖，声望不及Yoshua，但其在谷歌学术上的引用次数已超过九万次，是Jeff Dean等知名学者的合作者。

这也不是苹果第一次指出LLM推理有问题，但这次在各大社交平台上得到了广泛传播。

左右滑动查看

那么苹果的新论文到底展示了什么？我们又该如何看待语言模型？

要理解这场争议的核心，我们先看看苹果论文到底说了什么。

这篇论文开篇就提出，在数学和编程基准测试中，大家不要太在意推理模型的表现，因为：

• （a）这些基准测试存在污染；

• （b）在数学和编程任务上，无法运行高质量实验，因为这些任务缺乏简明的复杂度量标准。

因此，苹果的研究团队选择使用四种人工谜题（puzzle）环境（汉诺塔的变体），再次评估了推理模型，难度从最简单的单盘汉诺塔逐步上升到二十盘汉诺塔。

例如，他们对比了非推理模型DeepSeek-V3与推理模型DeepSeek-R1：

这个对比模式在所有推理/非推理模型对、以及所有谜题任务中基本一致。

论文得出以下几个核心结论：

• 对非常简单的谜题，非推理模型表现相当甚至更好，因为推理模型有时会「想太多」而导致错误。

• 对中等难度的谜题，推理模型明显更强。

• 一旦任务复杂度足够高，即使是推理模型也无法给出正确答案，不管你给它多长时间。

接下来，论文分析了推理模型的内部思维轨迹，验证了上述结论：

论文还指出，随着问题复杂度增加，一旦模型无法解决问题，开始「躺平摸鱼」：

最后，论文尝试直接将正确的谜题求解算法输入模型，期望这能提高其推理能力。

结果只是「有一点用」：部分模型可以多解出一个盘，但整体效果并不显著。

总结来看，该论文得出以下结论：

1. 推理模型存在复杂度「天花板」，一旦超出，性能明显下降。

2. 推理模型可能存在「内在计算扩展上限」，证据是：模型在达到一定复杂度时，会选择放弃。

3. 推理模型不擅长计算性任务，因为即使将算法直接给它们，也没用。

对苹果的这篇论文，Sean Goedecke有三大质疑：

相比数学和编程，汉诺塔是一个更糟糕的推理测试案例。

如果担心数学和编程基准测试存在训练数据污染，那为何选择训练数据中存在解法的知名谜题？

这是Sean Goedecke对论文最主要的不满。

论文却得出结论「给模型提供解法，也没有提高效果」。

这件事让他感到惊讶：

另外，推理模型是有针对性地被训练用于数学和编程任务的，而不是用于谜题。

也许谜题在某种程度上可以代表推理能力，但也可能根本不相关。

从另一个角度，他完全可以相信：模型在处理数学题或写代码时具备更完善的内部工具链，而不具备用于谜题的工具 。

用谜题来测推理能力，等同于说「GPT-3.5之后，写彼特拉克式十四行诗没有明显进步，所以语言模型并没真正取得进展」。

彼得拉克式十四行，又称意大利十四行诗。诗标准意式十四行诗由14个十一音节诗行组成，分为前后两部分：前八行（octave）与后六行（sestet）

汉诺塔确实比数学问题更容易缩放复杂度，但正因为这个原因就选它，给人一种「路灯效应」的感觉

——不是因为它最好，而是因为它最方便。

路灯效应，指人们倾向于只在最容易寻找的地方进行搜索

假设语言模型在超过一定复杂性点后确实会放弃，就像它们在超过十个盘子的汉诺塔时一样。

换言之，假设之前对谜题作为测试例子的质疑是错误的，而苹果的论文确实具有普适性。

那么，这是否意味着模型无法处理超出某一复杂度的问题？

Sean Goedecke将苹果论文中的一些提示词输入DeepSeek-R1，以下是简化版的推理轨迹开头：

请注意，模型立即决定「手动生成所有这些步骤是不可能的」，因为这需要跟踪上千个步骤。

于是它开始寻找「聪明的捷径」，但最终失败。

这里的关键见解是，超过一定复杂性阈值后，模型决定有太多的步骤需要推理，于是开始寻找巧妙的捷径。

模型所面对的任务其实已悄然转变：从「逐步推理完成」变为「发明一种能跳过推理的通用方案」 。

从测试来看，即使在较低的盘子数量下，DeepSeek-R1也会抱怨几句，说「这会很繁琐」，即使你明确要求它逐步列出解法。

这是可以理解的：推理模型是为推理而训练的，不是为执行数千次机械步骤而训练的。

那么，对于汉诺塔谜题来说，真的存在复杂性阈值吗？

实际上，大家并不知道模型是否能够坚持完成千步序列。

我们所知道的是，模型不想这样做。

顺带一提，这也解释了一个「奇怪」的发现：

注意：Sean Goedecke没有访问其他推理模型轨迹的权限——

如果它们表现不同，那么他愿意承认在这个观点上他是错误的。

假设到目前为止的一切都是错误的：

这是否意味着模型不能推理？

当然，这并不意味着模型不能推理！

当然不是！

看到网络上的一些热评，Sean Goedecke情难自禁，简直要疯了。

多少人能真正坐下来，准确写出一千步的汉诺塔解法？

肯定有一些人可以，但也有很多人完全不行。

我们会因此说那些人「不具备推理能力」吗？

当然不会！

他们只是缺乏足够的耐心与专注，从而无法做到手动执行一千次算法而已。

即便只能推理到第十步，未能完成第十一步，也依然体现了推理能力。

能推理三步，也依然是推理，哪怕你无法看清第四步。

这也许不是「超人级」的推理，但绝对属于人类推理能力。

严格说来，这对论文可能不太公平——

它本身并没有明确说模型「根本不能推理」（除非你把标题当真）。

然而，互联网上这么说的人太多了，所以他认为值得讨论一下。

苹果的论文《思维的幻觉》，不是特别好。

Sean Goedecke的主要反对意见是，他不认为推理模型像论文暗示的那样不擅长这些谜题：

更加一般性地，他不相信谜题是评估推理能力的好试验场，因为

（a）它们不是人工智能实验室的重点领域，

（b）它们需要像计算机一样遵循算法，而不是需要解决数学问题的那种推理。

Sean Goedecke认为，推理模型并非像论文暗示的那样不擅长这类谜题。

在他的测试中，模型在面对上百步算法时，往往主动放弃，而非能力崩溃。

他强调，放弃并不意味着无法推理——

就像人类在面对高度重复、枯燥任务时也可能选择中止。

这种行为更多体现的是认知边界，而非思维能力的缺失。

因此，他不认同将「未完成复杂任务」等同于「不具备推理能力」的观点。

这篇论文并非一无是处，Sean Goedecke认为它有下列亮点：

• 推理模型在简单问题上有时会「想太多」，表现不如非推理模型，这一点很有趣；

• 模型在长算法执行过程中「放弃」的现象也很有意思，尽管它可能并不能很好地说明其普遍推理能力；

• 他喜欢「问题三阶段」这一观点：简单、中等可推理、以及复杂到模型会放弃的阶段。如果某种模型可以被训练成「永不放弃」，那将非常有趣。

无论如何，苹果的研究提供了重要提醒：

当前语言模型的推理能力远非「通用智能」。

那么，该如何定义「推理」？

又如何测试「思维」？

这可能是下一代AI必须直面的核心问题。