从神经元到 Transformer：深度学习 80 年兴衰史

图 0：从神经元到 Transformer 的视觉索引。神经元、时间线和注意力矩阵共同指向深度学习从脑科学隐喻走向 Transformer 的历史主线。

深度学习的故事，最怕被讲得太顺。

最常见的版本是：大脑启发了人工神经网络，数据和算力让网络越堆越深，Transformer 又把 AI 推到所有人面前。这个说法不算错，但它漏掉了更关键的部分：神经网络并不是一路胜利，而是在热潮、怀疑、低潮和工程重做之间反复折返。

从 1943 年 McCulloch-Pitts 神经元，到感知机、反向传播、CNN/RNN、ImageNet，再到 Transformer，每次跃迁都不是某篇论文单独改变世界。一个想法要成为范式，往往要同时遇到可训练的架构、可优化的目标、足够的数据、跑得动的硬件、可信的评测，以及愿意继续押注的研究共同体。

所以这篇文章不是论文年表，也不是英雄发明史。它更关心三个问题：人工神经网络从脑科学借来了什么，又舍弃了什么；哪些节点真正改变了研究方向；回望这 80 年，未来研究能从中得到什么提醒。

先把判断放在前面：深度学习不是“把大脑搬进机器”的胜利，而是神经隐喻、数学形式、统计目标、反向传播、GPU、数据、开源框架和工业场景长期合流的结果。Transformer 也不是终点，只是目前最成功的阶段性答案。

正文保留论文首页、机构页面和奖项页面，是为了把叙事拉回现场。原始材料越具体，越能看见当时选择的不确定：热潮为什么会过度承诺，低潮为什么并非毫无价值，突破为什么常常来得很晚。

接下来，文章会沿着这条暗线展开：不急着造神，也不急着判死刑，只看每个问题在当时为什么难，又在后来怎样被重新打开。

图 1：深度学习 80 年总时间线。深度学习的几次跃迁，往往发生在算法、数据、算力和评测条件同时成熟的时候。

一、1943：神经元被写成逻辑元件

如果要寻找人工神经网络的形式化起点，通常会回到 1943 年。

那一年，神经生理学家 Warren McCulloch 和年轻数学家 Walter Pitts 发表了论文 A Logical Calculus of the Ideas Immanent in Nervous Activity。这篇论文做了一件今天看起来极其朴素、但当时非常大胆的事：把神经元抽象成一个可以进行逻辑计算的单元。

他们并没有真正复制生物神经元的复杂性。真实神经元有树突、轴突、突触、化学递质、电生理过程，也会受到时间、噪声、反馈、调制系统的影响。McCulloch-Pitts 模型把这些都大幅压缩了：输入信号到来，经过某种阈值判断，然后输出 0 或 1。

这听起来像一个过度简化。

但科学史里很多重要抽象，恰恰都来自过度简化。物理里的质点不是现实物体，经济学里的理性人不是现实人类，计算机科学里的图灵机也不是现实计算机。抽象的价值不在于完整，而在于把一个复杂对象变成可推理、可组合、可计算的形式。

McCulloch 和 Pitts 真正有穿透力的地方就在这里。

他们让“神经活动”第一次可以被系统地写成逻辑网络。只要把足够多的简单神经元连接起来，就可以表达复杂的逻辑关系。这让后来的研究者看到了一个可能性：智能也许不需要一个单一的中央机制来完成，而可能来自许多简单单元的组合。

这就是人工神经网络最早的灵感：不是把大脑原样搬进机器，而是把“许多简单单元连接后产生复杂行为”这件事写成形式系统。

权威截图 1：McCulloch 和 Pitts 1943 年论文首页。来源：CMU PDF。

这个起点值得反复咀嚼。脑科学对 AI 的影响，从一开始就不是“仿生工程”，而是“概念启发”。

后来的人工神经网络也基本沿着这条路走。它们会借用神经元、突触、激活、注意力、记忆这些词，但这些词在机器学习里已经重新技术化。所谓 attention 并不是人类注意力的完整模型，memory 也不是人类记忆的心理学解释。它们是可微分系统里有用的计算结构。

如果把深度学习理解成脑科学的机械复制，就会一直追问“它为什么不像大脑”。这个问题当然可以问，但不能只问这个。更好的问法是：它从脑科学拿走了哪些结构隐喻，又被数学和工程改写成了什么？

二、1949：Hebb 学习把“连接会改变”带进来

McCulloch-Pitts 神经元回答了一个问题：神经元网络能不能计算？

但学习的问题还没有被真正解决。

如果一个网络的连接是固定的，它当然可以实现某些逻辑功能。但智能系统真正让问题变复杂的地方，不只是能计算，而是能从经验中改变自己。1949 年，心理学家 Donald O. Hebb 在 The Organization of Behavior 中提出了一个影响极深的观点：神经系统的学习，可以理解为神经元之间连接强度的变化。

后来人们常把 Hebb 学习概括成一句话：一起激活的神经元，会加强彼此连接。

这句流行概括不是原文逐字引用，但它抓住了核心直觉：学习不是把知识写进一个中央存储器，而是改变网络内部的连接结构。

这一步把问题换了一个角度。

McCulloch-Pitts 给了人工神经网络“计算单元”，Hebb 给了它“学习机制”的想象。前者更像逻辑学，后者更像认知科学。两者合在一起，连接主义的基本信念才逐渐清晰：认知能力未必需要被人类写成一条条显式规则，它也可能藏在大量连接权重的调整里。

权威截图 2：Hebb 1949 年著作首页。来源：The Organization of Behavior PDF。

今天看大模型，其实还能看到 Hebb 传统的影子。

当然，现代 Transformer 的训练不是 Hebbian learning。它靠的是梯度下降、反向传播、海量数据和复杂优化技巧。但在更高层的思想上，它仍然延续了一个连接主义判断：知识不必全部写成符号规则；知识可以分布在参数空间里，通过数据驱动的训练形成。

这正是深度学习和经典符号主义 AI 最根本的分歧。

符号主义希望把知识显式表示为规则、逻辑和可操作的符号结构。连接主义则相信，如果系统有足够多可调连接，能够通过经验不断校正，那么很多能力可以从参数和表示中涌现出来。

后来几十年的 AI 史，很大程度上就是这两种路线的反复拉扯。

三、1958：感知机让“机器学习”第一次变成公众想象

1958 年，Frank Rosenblatt 发表了感知机论文 The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain。

如果说 McCulloch-Pitts 神经元是理论原型，Hebb 学习是心理学直觉，那么感知机第一次让“机器可以从样本中学习”变得可见。

感知机的思想很直接：输入一组特征，乘上权重，求和，再经过阈值判断输出类别。如果预测错了，就按照错误方向调整权重。它不像传统程序那样由人类逐条写规则，而是从数据中更新参数。

这件事今天看起来平常，但在 1950 年代足够震撼。

因为它改变了机器的形象。机器不只是执行人类写好的指令，还可以通过训练改变自身行为。

权威截图 3：Rosenblatt 1958 年感知机论文首页。来源：The Perceptron PDF。

Rosenblatt 不只写论文。他还推动了硬件实现。Mark I Perceptron 使用光电输入和可调整连接，尝试做图像模式识别。现在这台机器保存在美国国家历史博物馆。

权威图片 4：Smithsonian 馆藏中的 Mark I Perceptron。图片来源：Smithsonian IDS，馆藏页：National Museum of American History。

感知机时代也给 AI 史留下了一个反复出现的模式：技术突破、公众想象、资金涌入、承诺膨胀，然后遇到真实限制。

感知机确实能学习简单分类问题。问题在于，单层感知机的表达能力有限。它无法表示一些非线性可分问题，最经典的例子就是 XOR。更复杂的多层网络理论上可以解决，但当时缺少有效训练多层网络的方法，也缺少足够的计算资源。

1969 年，Marvin Minsky 和 Seymour Papert 出版 Perceptrons: An Introduction to Computational Geometry。这本书严格分析了感知机的能力边界，也被后人常常视为神经网络第一次低潮的重要节点。

权威图片 5：《Perceptrons》书封面。书目信息来源：MIT Press，封面图来源：Open Library Covers。

这里要稍微纠正一个流行说法：不是 Minsky 和 Papert “杀死”了神经网络。

历史很少这么简单。

他们确实指出了单层感知机的局限，也影响了研究共同体和资助方向。但神经网络陷入低潮，还因为当时硬件太弱、数据太少、多层网络难训练、符号主义 AI 正在取得看得见的进展。一本书可以成为转折点，却不可能单独解释整个潮汐。

这段历史的教训很直接：任何架构被过度宣传，都会提前透支信任。

技术本身可能有价值，但如果它被包装成“很快实现通用智能”，一旦现实进展跟不上承诺，就会迎来更猛烈的反噬。这个模式后来在专家系统、自动驾驶、通用大模型上都反复出现。

四、1970s-1980s：反向传播让多层网络重新可训练

神经网络的复兴，绕不开反向传播。

但这里也要避免另一个简化叙事：反向传播不是 1986 年从天而降。

从控制论、自动微分、最优控制到 Paul Werbos 1974 年博士论文，类似思想已经在不同领域出现。1986 年，David Rumelhart、Geoffrey Hinton 和 Ronald Williams 在 Nature 发表 Learning representations by back-propagating errors，真正把反向传播变成连接主义复兴的标志性方法。

这篇论文真正打开局面的地方，不是多了一个技巧。

它给了多层神经网络一个能跑起来的训练闭环：前向传播得到输出，损失函数衡量误差，误差沿网络反向传播，逐层计算梯度，再用梯度更新参数。多层网络不再只是理论上有表达能力，而是真的可以训练。

权威截图 6：Rumelhart、Hinton、Williams 1986 年反向传播论文扫描页。PDF 来源：Hinton 作者站，期刊页：Nature。

如果用今天的话讲，反向传播把神经网络推进了“可微分编程”的时代。

一旦系统由可微模块组成，就可以把复杂任务拆成一条计算图。只要最终有损失函数，梯度就能把错误信号分配给中间参数。这种机制后来支撑了 CNN、RNN、Transformer、扩散模型和几乎所有现代深度学习系统。

图 2：反向传播训练闭环示意图。前向计算、损失函数、反向梯度和参数更新构成了多层网络可训练的核心闭环。

不过，反向传播并没有立刻带来今天意义上的深度学习爆发。

1980 年代和 1990 年代的神经网络仍然面临很多限制。网络层数不能太深，梯度容易消失或爆炸，训练慢，数据规模有限，硬件也不支持大规模矩阵计算。那时的主流机器学习，更多是 SVM、决策树、概率图模型、核方法等路线。

但反向传播把一条关键技术路线留了下来。

等到后来的数据、GPU、初始化方法、激活函数、归一化、正则化和大规模软件框架逐渐成熟，这条路线才真正被放大。

这条规律在深度学习史里反复出现：一个算法的价值，可能要等几十年，才会被合适的工程环境放大。

五、CNN、RNN 与深度信念网络：爆发前的长时间蓄力

如果只看 2012 年之后，深度学习像是突然换了速度。

但这次换挡之前，已经有很长时间的蓄力。

其中一条线是卷积神经网络。

Yann LeCun 等人在手写数字识别和文档识别任务上发展了卷积网络。1998 年的 Gradient-Based Learning Applied to Document Recognition 系统展示了 LeNet-5 等方法在实际文档识别系统中的价值。卷积、局部感受野、权重共享、池化，这些后来成为计算机视觉基础设施的组件，在那个时期已经相当清楚。

权威截图 7：LeCun 等人 1998 年文档识别论文首页。来源：LeCun PDF。

CNN 当然借鉴了视觉系统，但它的好处不止是“像视觉皮层”。

它解决的是图像数据的结构约束。图像有局部性，边缘、纹理、形状通常由附近像素共同决定；图像也有平移不变性，同一个物体出现在左上角或右下角，类别不该因此改变。卷积网络把这些先验写进架构，因此比全连接网络更省参数，也更容易训练。

这条经验后来一次次出现：好的架构很少凭空发明，它往往把任务结构编码进可训练系统。

另一条线是循环神经网络。

语言、语音、时间序列都不是静态图片。它们有顺序、有上下文、有长距离依赖。RNN 试图用循环状态处理序列，但普通 RNN 很容易遇到梯度消失。1997 年，Sepp Hochreiter 和 Jürgen Schmidhuber 提出 LSTM，用门控机制帮助模型保存和遗忘信息，缓解长时间依赖问题。

权威来源 8：Hochreiter 和 Schmidhuber 1997 年 LSTM 论文首页截图。来源：Jürgen Schmidhuber / IDSIA PDF；期刊页面：MIT Press Direct。

再往后，2006 年 Hinton、Osindero 和 Teh 发表关于深度信念网络的论文，提出用逐层贪婪训练来初始化深层模型。这条路线后来没有成为主流终局，但它在当时很提气：研究者重新相信，深层网络也许真的能训练。

权威截图 9：Hinton、Osindero、Teh 2006 年深度信念网络论文首页。来源：PDF。

这段历史常常被 ImageNet 的光芒遮住，但它其实决定了深度学习爆发时的技术库存。

如果没有 CNN 对图像结构的处理，没有 RNN/LSTM 对序列建模的探索，没有深度网络训练技巧的积累，2012 年不会显得那么“突然”。所谓集中爆发，往往只是外部条件终于和内部积累对齐。

六、2012：ImageNet、GPU 与 AlexNet 引爆深度学习

2012 年是深度学习发展史上最常被标记的一年。

这一年，Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 用深度卷积网络 AlexNet 参加 ImageNet 大规模视觉识别挑战赛，取得了压倒性优势。

AlexNet 不是只赢了一场比赛。

它证明深度学习可以在真实大规模任务上击败长期主流的特征工程方法。过去计算机视觉常常依赖人工设计特征，比如 SIFT、HOG，再接分类器。AlexNet 则让网络从原始像素中学习多层表示：低层学边缘和纹理，中层学局部形状，高层学对象语义。

权威截图 10：ImageNet Large Scale Visual Recognition Challenge 论文首页。来源：arXiv。

权威截图 11：AlexNet NeurIPS 2012 论文首页。来源：NeurIPS。

AlexNet 能赢，不只是因为网络深。

它踩中了几个条件。

第一，ImageNet 提供了足够大的标注数据和公共评测。没有大规模数据，深层模型很容易过拟合；没有统一评测，研究者也很难判断谁是真的进步，谁只是换了实验设置。

第二，GPU 让大规模矩阵计算变得可承受。深度学习不是第一次需要算力，但它特别适合用 GPU 加速。AlexNet 当时使用 GPU 训练，后来这几乎成了深度学习工程的默认方向。

第三，ReLU、dropout、数据增强等训练技巧让深层网络更容易优化和泛化。

图 3：2012 年深度学习爆发的三驱动。AlexNet 的爆发不是单点事件，而是 CNN、ImageNet 和 GPU 同时对齐。

2012 年之后，深度学习迅速改变计算机视觉、语音识别和自然语言处理。

它也改变了研究文化。

过去很多领域强调人工特征设计。研究者需要对领域有很深理解，再把这种理解写成特征工程。深度学习则把重点转向表示学习：让模型从数据中自动学习特征。人类不再手写所有特征，而是设计架构、目标函数、训练流程和数据管线。

这不等于人类知识不重要。

恰恰相反，人类知识只是换了位置：从“手工写特征”转移到“设计可学习系统”。CNN 里的卷积先验、Transformer 里的注意力机制、AlphaFold 里的几何约束，本质上都是人类把任务理解写进系统的方式。

七、2014-2016：生成模型、残差网络与“深度”真正变成基础设施

2012 年之后，深度学习不再只是一个强势方法，开始变成一套基础设施。

2014 年，Ian Goodfellow 等人提出 GAN。GAN 的设定简洁而有张力：一个生成器试图生成逼真的样本，一个判别器试图区分真实样本和生成样本，两者在对抗中共同进化。

GAN 让“生成”从边缘议题走进深度学习的核心地带。

在此之前，很多深度学习成果集中在识别和分类：这张图是什么，这段语音说了什么，这个词属于哪个标签。GAN 之后，模型不再只是判断世界，也开始生成世界的样本。后来图像生成、视频生成、语音合成和多模态生成，都能在这里找到一部分源头。

权威截图 12：Goodfellow 等人 2014 年 GAN 论文首页。来源：arXiv。

2015 年，何恺明、张祥雨、任少卿、孙剑提出 ResNet。残差连接解决了一个非常实际的问题：网络越深，并不天然越好。深层网络可能更难优化，甚至训练误差也更高。ResNet 的做法是让网络学习残差映射，而不是每一层都从头学习完整变换。

这看似只是局部技巧，后来却变成许多架构反复借用的基本设计。

残差连接让极深网络变得可训练，也后来成为 Transformer 和许多现代网络里的基本结构。今天我们看大模型里的 residual stream，看到的也是这条思想的延续：不要让信息每经过一层就被彻底重写，而要给梯度和表示保留更稳定的通道。

权威截图 13：ResNet 论文首页。来源：arXiv。

这一阶段有个明显变化：工程经验开始沉淀成通用模块。

卷积、归一化、残差、dropout、embedding、attention、优化器、学习率调度，这些组件逐渐变成模型搭积木的语言。深度学习不再是“训练一个神经网络”，而是围绕数据、架构、训练、推理、部署形成完整工业体系。

2018 年，Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 获得 ACM 图灵奖。ACM 的获奖说明强调，他们在深度神经网络上的概念和工程突破，让深度网络成为计算中的重要组成部分。

权威截图 14：Bengio、Hinton、LeCun 关于深度学习的 CACM 文章首页。PDF 镜像来源：University of Illinois，图灵奖官方页：ACM Awards。

这是一种迟到的承认：深度学习已经从边缘路线走到计算机科学中心。

但真正把它推向全民认知的，还不是视觉网络，而是 Transformer。

八、2017：Transformer 把深度学习推向通用语言接口

2017 年，Google 研究者发表 Attention Is All You Need。

这篇论文提出 Transformer 架构，核心是自注意力机制。它不再依赖传统序列模型里的循环结构，因此训练可以更好地并行化。

RNN 处理序列时，天然要一步一步往前走。Transformer 则允许序列中不同位置直接建立关系。对机器翻译来说，一个词可以关注源句子中多个相关位置；对后来的语言模型来说，token 可以在上下文窗口内通过注意力建立大规模依赖。

权威截图 15：Attention Is All You Need* 论文首页。来源：arXiv。*

Transformer 真正改变局面的地方，不只在注意力。

它同时满足几个现实条件：表达能力强，训练可并行，适合规模化。深度学习史上，很多方法思路清楚，但难以规模化。Transformer 的特殊之处在于，它能和大数据、大算力、大模型训练系统接上。

图 4：Transformer 规模化机制示意图。自注意力、并行训练、残差归一化和预训练目标共同放大了 Transformer。

2018 年，BERT 展示了预训练加微调在自然语言理解任务中的威力。它用双向 Transformer 从无标注文本中学习语言表示，再通过少量任务数据适配下游任务。BERT 让 NLP 进入预训练模型时代。

权威截图 16：BERT 论文首页。来源：arXiv。

随后，GPT 路线把另一件事推到极致：用自回归语言建模进行大规模预训练，然后让模型通过上下文完成任务。

2020 年 GPT-3 发表。175B 参数规模和 few-shot 能力让很多人第一次感到：语言模型可能不只是 NLP 模块，而是一种通用任务接口。

权威截图 17：GPT-3 论文首页。来源：arXiv。

2022 年 InstructGPT 和 ChatGPT 又改变了重点。

模型变大，并不自动等于更会听人话。InstructGPT 用人类反馈强化学习把模型输出往“有帮助、遵循指令、减少有害输出”的方向拉。ChatGPT 则把这种能力包装成对话产品，让大模型从研究社区走向普通用户。

权威截图 18：InstructGPT/RLHF 论文首页。来源：arXiv。

2023 年 GPT-4 技术报告把大模型的多模态能力放到台前。它接受图像和文本输入，输出文本，并在多类专业和学术评测上表现突出。

权威截图 19：GPT-4 技术报告首页。来源：OpenAI PDF。

Transformer 之后，深度学习的边界不再只是识别、分类、翻译。

它开始进入写作、编程、搜索、客服、教育、科研、法律、设计、组织流程。模型不再只是一个后端算法，而是变成一种交互界面。人类用自然语言描述目标，模型调用内部表示和外部工具完成任务。

大模型时代的变化就在这里：深度学习从“感知系统”变成“语言化的认知接口”。

但也正因为如此，新的问题出现了。

模型会幻觉，会自信地犯错，会继承训练数据偏见，会被提示注入攻击，会在高风险场景里给出看似合理却不可验证的建议。能力越通用，责任结构越复杂。

从这一刻起，深度学习的历史就不只写在论文里，也写在数据中心、产品入口、评测榜单和监管讨论中。

九、后 Transformer：下一阶段不是一句“更大模型”能概括

Transformer 很强，但它也有代价。

深度学习历史反复提醒我们：每一个阶段性主流架构，都会在新约束下露出短板。

Transformer 的代价主要来自注意力机制。标准自注意力对序列长度有二次复杂度，长上下文推理成本高，推理时 KV cache 占用显著，训练和部署都高度依赖昂贵硬件。只要模型继续走向更长上下文、更高频调用、更低延迟、更边缘端部署，这些约束就会越来越硬。

所以，后 Transformer 探索不该被写成“谁取代谁”的宣传战。更朴素地说，它是在问：如果长上下文、低延迟、低能耗和低成本都变成硬指标，序列模型还能怎么设计？

MoE 是一种方向。Switch Transformer 展示了稀疏激活专家模型的潜力：模型可以有极大量参数，但每个 token 只激活其中一部分，从而在参数规模和计算成本之间找平衡。

权威截图 20：Switch Transformer 论文首页。来源：arXiv。

RetNet、RWKV、Mamba 代表另一批方向：重新审视 RNN、状态空间模型、线性复杂度和硬件友好设计。

RetNet 希望同时获得并行训练、低成本推理和长序列建模能力。RWKV 试图结合 Transformer 的并行训练和 RNN 的推理效率。Mamba 则用选择性状态空间模型处理长序列，希望在语言、音频、基因组等模态上取得更好的效率和扩展性。

权威截图 21：RetNet、RWKV、Mamba 三篇后 Transformer 探索论文首页拼图。来源：RetNet、RWKV、Mamba。

这些路线现在还不能简单宣布“替代 Transformer”。

但它们值得关注，因为研究问题正在变。2017 年之后，大家关心的是能不能把模型做大、把预训练做好、把指令对齐做好。现在越来越多问题变成：能不能更长上下文、更低延迟、更少能耗、更强工具使用、更可靠推理、更可解释、更容易被验证。

与此同时，深度学习也在进入科学发现。

AlphaFold 是一个很有代表性的例子。2021 年 Nature 论文系统展示 AlphaFold 对蛋白质结构预测的突破。2024 年诺贝尔化学奖授予 David Baker、Demis Hassabis 和 John Jumper，其中 Hassabis 和 Jumper 因蛋白质结构预测获奖。

权威截图 22：AlphaFold Nature 论文首页。来源：Nature。

同一年，2024 年诺贝尔物理学奖授予 John Hopfield 和 Geoffrey Hinton，表彰他们用物理学工具为机器学习中的人工神经网络奠定基础。

权威截图 23：2024 年诺贝尔物理学奖官方新闻稿页面。来源：NobelPrize.org。

这两个诺奖放在一起看，很耐人寻味。

一个说明神经网络路线已经被基础科学共同体认真对待；另一个说明深度学习不只是服务互联网产品，也开始反过来改变科学研究。

到 2026 年，Stanford AI Index 把一个问题说得很清楚：AI 能力、投资和采用在快速推进，但治理、评估、教育和数据透明度等支撑系统正在滞后。

权威截图 24：Stanford HAI 2026 AI Index 官方页面。来源：Stanford HAI。

这就是未来研究必须面对的现实。

模型能力已经不是唯一瓶颈。如何评测、如何验证、如何治理、如何接入真实世界、如何降低成本、如何让模型在科学和产业中持续产生价值，都会变成研究问题。

还有一条更隐蔽的变化：研究对象正在从“模型”变成“系统”。

早期论文常常可以把重点放在一个网络结构或一个训练算法上。今天的大模型系统却由更多层组成：预训练数据、后训练数据、对齐流程、检索系统、工具调用、推理加速、安全分类器、权限控制、日志审计、人工反馈和业务工作流。模型权重只是其中一部分。很多时候，用户体验和可靠性不是由模型单独决定，而是由整个系统共同决定。

这意味着深度学习研究会越来越跨界。算法研究者需要理解硬件和编译器，模型研究者需要理解数据治理，产品团队需要理解评测，安全团队需要理解模型能力边界，科学应用团队需要理解实验流程。谁还把深度学习只看成“训练一个更大的神经网络”，谁就会低估下一阶段的难度。

十、从 80 年历史里，能看见哪些未来启示

深度学习史不是怀旧材料，也不是给今天的大模型找祖宗。

它有用的地方，是帮我们判断下一阶段哪些问题值得投入，哪些叙事需要警惕。

第一，不要把脑科学隐喻当成机械仿生。

从 McCulloch-Pitts 到 Transformer，深度学习一直从大脑获得灵感，但从来没有原样复制大脑。人工神经元不是生物神经元，attention 不是完整人类注意力，memory 也不是心理学意义上的记忆。

未来研究当然可以继续从神经科学、认知科学和心理学中找灵感，但灵感必须变成可计算、可训练、可验证的机制。真正有效的不是“像大脑”，而是在某个约束下解决真实问题。

第二，架构创新必须回答约束，而不是只追求新名字。

CNN 成功，是因为它回答了图像的局部性和平移不变性。LSTM 成功，是因为它回答了序列中的长依赖和梯度消失。ResNet 成功，是因为它回答了深层网络难优化。Transformer 成功，是因为它回答了序列建模的并行训练和大规模预训练。

所以评价一个新架构，不该只问“它是不是比 Transformer 新”，而要问：它解决了什么硬约束？长上下文？推理成本？数据效率？可解释性？稳定训练？工具调用？科学约束？

没有约束问题的新架构，很容易只是论文里形式新颖的结构。

第三，规模定律有用，但规模不是终点。

GPT-3 之后，规模成为大模型时代主要的经验规律之一。参数、数据、计算共同放大，确实带来了能力跃迁。

但历史也说明，单纯扩大旧范式不会永远解决问题。感知机不能靠单层变大解决 XOR；普通深层网络不能靠硬堆层数解决退化；Transformer 也不能只靠更长上下文和更多参数解决可靠性、成本、持续学习和真实世界验证。

下一阶段需要在规模之外寻找新杠杆：更好的数据、更强反馈、更高效架构、更可靠工具使用、更清晰的评测，以及和外部世界更紧密的闭环。

这里尤其要警惕一种简单叙事：只要继续堆算力，智能就会自然浮现。历史并没有给出这么轻松的保证。ImageNet 之前，神经网络已经存在很久；GPU 之前，反向传播也早已写进教科书。真正的转折发生在几个条件同时成熟的时候：数据规模足够大，任务定义足够清楚，硬件吞吐足够高，训练技巧足够稳定，社区又有共同评测来识别进步。

大模型时代也是一样。参数规模当然重要，但如果数据质量下降、反馈信号失真、评测被刷穿、推理成本无法承受，继续扩大模型可能只是在放大旧问题。未来更有价值的研究，往往不是把模型再做大一点，而是让系统在同等或更少资源下变得更可靠：能知道自己不知道，能在关键步骤请求证据，能把推理过程交给工具校验，能把失败样本回流为训练和评测材料，能在真实工作流里长期接受约束。

换句话说，规模定律应该被当成工程定律，而不是信仰。它告诉我们在某些条件下增加计算会带来收益，但没有替我们回答收益从哪里来、成本由谁承担、风险如何控制、能力如何验证。下一阶段的深度学习，如果还想继续前进，就需要把“更大”重新翻译成“更有效、更可控、更可解释地扩大”。

第四，评测体系会塑造研究方向。

ImageNet 不只是数据集，它是一个公共竞技场。没有它，AlexNet 的意义很难以同样方式被整个领域看见。GLUE、SuperGLUE、MMLU、SWE-bench、Humanity's Last Exam 等评测，也都在不同阶段影响了模型发展。

但评测也会被模型追上、被训练数据污染、被过拟合、被简化成排行榜游戏。

未来评测必须更接近真实任务：长周期、多步骤、可审计、有成本约束，也能衡量失败后果。尤其是在医疗、法律、科研、安全、金融等场景，单题 benchmark 远远不够。我们需要的是能评估系统行为的测试，而不只是评估回答文本的测试。

第五，反馈机制决定能力边界。

Hebb 学习强调连接因经验而改变，反向传播把错误信号分配给参数，RLHF 把人类偏好引入语言模型，对话产品又通过真实用户反馈继续塑造系统。

这条线说明，模型能力不只由架构决定，也由反馈决定。

未来的关键问题是：哪些反馈可信？哪些反馈会把模型带偏？如何避免奖励黑客？如何让模型在真实环境中学习，但又不把用户和社会当成未经同意的实验场？

这是大模型从“会回答”走向“会行动”时绕不开的问题。

历史上每一次反馈机制变强，系统能力都会向前跨一步，同时也会引入新的失控方式。Hebb 学习让经验进入连接，反向传播让错误进入参数，强化学习让奖励进入策略，RLHF 又让人类偏好进入模型行为。未来如果模型开始持续调用工具、操作软件、参与科研和组织决策，反馈就不能只看短期满意度。它还要记录长期后果、错误成本、责任归属和可回滚性。没有这种反馈治理，所谓智能体很容易只是“更会执行的黑箱”，越能干，越需要边界、证据和责任，也更需要审慎。

第六，AI for Science 不能停在预测，必须连接实验验证。

AlphaFold 的突破不只是模型分数高。它进入了蛋白质结构这个长期科学难题，并且和生物学、化学、实验结构数据库、进化信息、几何约束结合起来。

未来 AI for Science 的价值，不在于生成更多看似合理的假设，而在于压缩科学循环：提出假设、设计实验、预测结果、筛选路径、验证失败、更新模型。

如果没有实验验证，AI 只是在科学文本上生成新文本。只有接入实验闭环，它才可能真正改变科研生产方式。

第七，安全、治理和研究透明度必须成为技术路线的一部分。

早期感知机的教训是宣传超前于能力。今天大模型的风险则更复杂：能力可能已经足够强，但我们对它的行为边界、失败模式、社会影响和治理框架理解不足。

Stanford AI Index 2026 提到的能力与治理落差，不是外部评论，而是这个领域必须解决的内部问题。

未来的深度学习研究不能把安全当成上线前的补丁。安全评估、数据治理、模型可解释性、对齐方法、红队测试、能力分级、审计接口，都应该进入系统设计。

结语：Transformer 不是终点，历史也不是直线

回看 80 年，深度学习最值得反复讨论的地方，不是它一路正确。

恰恰相反，它长期不被看好，反复被质疑，几次被认为已经走到尽头。感知机解决不了非线性问题，多层网络训练困难，神经网络不如核方法稳定，深度模型需要太多数据，Transformer 太耗计算，大模型会幻觉。

这些质疑很多都是对的。

历史耐人寻味的地方也在这里：正确的质疑并不必然终结一条路线。它也可能指出下一阶段真正要解决的问题。

感知机的局限，推动了多层网络和反向传播的重要性。深层网络难训练，推动了初始化、归一化、残差连接和优化方法。RNN 的串行瓶颈，推动了 Transformer。Transformer 的成本和长上下文问题，又推动了 MoE、状态空间模型、检索增强、稀疏计算和新型推理系统。

深度学习就是这样向前走的。

它不是靠一次决定性发明赢到最后，而是在一个又一个约束里不断改写自己。

所以，当我们今天讨论后 Transformer、世界模型、具身智能、AI for Science、可验证推理和智能体系统时，不必急着问“谁会成为最终答案”。

历史更可能给出的回答是：没有最终答案，只有在新任务、新数据、新计算和新社会约束下更合适的暂时答案。

从神经元到 Transformer，深度学习已经走了 80 年。

下一次突破，也许不会来自一句更响亮的口号，而会来自一个更诚实、更具体的问题：当前系统到底被什么约束住了？

谁能把这个约束说清楚，并把它变成可训练、可扩展、可验证的系统，谁就更可能推动下一阶段的进展。

参考资料与截图来源

Warren S. McCulloch, Walter Pitts, A logical calculus of the ideas immanent in nervous activity: Springer。
D. O. Hebb, The Organization of Behavior: PDF。
Frank Rosenblatt, The Perceptron: PDF。
Smithsonian Mark I Perceptron: National Museum of American History。
Marvin Minsky, Seymour Papert, Perceptrons: MIT Press。
Rumelhart, Hinton, Williams, Learning representations by back-propagating errors: Nature。
Yann LeCun et al., Gradient-Based Learning Applied to Document Recognition: PDF。
Hochreiter, Schmidhuber, Long Short-Term Memory: MIT Press Direct，PDF（IDSIA）。
Hinton, Osindero, Teh, A Fast Learning Algorithm for Deep Belief Nets: PDF。
ImageNet Large Scale Visual Recognition Challenge: arXiv。
Krizhevsky, Sutskever, Hinton, ImageNet Classification with Deep Convolutional Neural Networks: NeurIPS。
Goodfellow et al., Generative Adversarial Nets: NeurIPS。
He et al., Deep Residual Learning for Image Recognition: arXiv。
Vaswani et al., Attention Is All You Need: arXiv。
Devlin et al., BERT: arXiv。
Brown et al., Language Models are Few-Shot Learners: arXiv。
Ouyang et al., Training language models to follow instructions with human feedback: arXiv。
OpenAI, Introducing ChatGPT: OpenAI。
OpenAI, GPT-4 Technical Report: PDF。
Fedus, Zoph, Shazeer, Switch Transformers: arXiv。
Sun et al., Retentive Network: arXiv。
Peng et al., RWKV: arXiv。
Gu, Dao, Mamba: arXiv。
Jumper et al., Highly accurate protein structure prediction with AlphaFold: Nature。
Nobel Prize in Physics 2024: NobelPrize.org。
Nobel Prize in Chemistry 2024: NobelPrize.org。
ACM 2018 Turing Award: ACM Awards。
Stanford HAI, 2026 AI Index Report: Report Page。