告别2019：属于深度学习的十年，那些我们必须知道的经典

在这十年中，伴随着计算能力和大数据方面的发展，深度学习已经攻克了许多曾经让我们感到棘手的问题，尤其是计算机视觉和自然语言处理方面。此外，深度学习技术也越来越多地走进我们的生活，变得无处不在。

这篇文章总结了过去十年中在深度学习领域具有影响力的论文，从 ReLU、AlexNet、GAN 到 Transformer、BERT 等。每一年还有很多荣誉提名，包括了众多名声在外的研究成果。

2011 年：激活函数 ReLU

论文链接：

早期的神经网络大多使用 sigmoid 激活函数。虽然它具有很好的效果，但是，随着层数的增加，这种激活函数使得梯度很容易出现衰减。在 2011 年的这篇论文中，ReLU 被正式提出。它能够帮助解决梯度消失的问题，为神经网络增加深度铺路。

▲ Sigmoid 及其导数

当然，ReLU 也有一些缺点。在函数为 0 的时候不可微，而神经元可能会「死亡」。在 2011 年之后，很多针对 ReLU 的改进也被提了出来。

1、《Rectifier Nonlinearities Improve Neural Network Acoustic Models（Leaky ReLU）》

2、《Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)》

3、《Self-Normalizing Neural Networks（SELUs）》

4、《Gaussian Error Linear Units (GELUs)》

2012 年：掀起深度学习浪潮的 AlexNet

论文链接：

▲ AlexNet 架构

AlexNet 经常被认为是这一波人工智能浪潮的起点，该网络在 ImageNet 挑战赛中的错误率与前一届冠军相比减小了 10% 以上，比亚军高出 10.8 个百分点。AlexNet 是由多伦多大学 SuperVision 组设计的，由 Alex Krizhevsky, Geoffrey Hinton 和 Ilya Sutskever 组成。

AlexNet 是一个 8 层的卷积神经网络，使用 ReLU 激活函数，总共有 6 千万参数量。AlexNet 的最大贡献在于证明了深度学习的能力。它也是第一个使用并行计算和 GPU 进行加速的网络。

在 ImageNet 上，AlexNet 取得了很好的表现。它将识别错误率从 26.2% 降到了 15.3%。显著的性能提升吸引了业界关注深度学习，使得 AlexNet 成为了现在这一领域引用最多的论文。

1、《ImageNet: A Large-Scale Hierarchical Image Database（ImageNet）》

▲ ImageNet

2、《Flexible, High Performance Convolutional Neural Networks for Image Classification（Jurgen Schmidhuber 为通讯作者）》

3、《Gradient-Based Learning Applied to Document Recognition》

2013 年：NLP 的经典 word2vec；开启深度强化学习时代

论文链接：

Word2vec 是由谷歌研究团队里 Thomas Mikolov 等人提出的模型，该模型能从非常大的数据集中计算出用以表示词的连续型向量。word2vec 成为了 NLP 领域的深度学习主要的文本编码方式。它基于在相同语境中同时出现词具有相似含义的思路，使文本可以被嵌入为向量，并用于其他下游任务。

1、《GloVe: Global Vectors for Word Representation》

2、《Playing Atari with Deep Reinforcement Learning》

▲ DeepMind 的 DQN 模型玩雅达利游戏

DeepMind 在这一年提出的用 DQN 玩雅达利游戏开启了深度强化学习研究的大门。强化学习过去大多数情况下用在低维环境中，很难在更复杂的环境中使用。雅达利游戏是第一个强化学习在高维环境中的应用。这一研究提出了 Deep Q-learning 算法，使用了一个基于价值的奖励函数。

1、《Learning from Delayed Rewards（Q-Learning）》

2014 年：GAN；Adam；Attention 机制

论文链接：

▲ 生成对抗网络（Generative Adversarial Network，简称 GAN）是 Ian Goodefellow 等人提出的非监督式学习方法，通过让两个神经网络相互博弈的方式进行学习。自 2014 年 GAN 网络提出以来，其在 Computer Vision（计算机视觉）等领域获得了广泛的关注

生成对抗网络（GAN）的成功在于它能够生成逼真图片。这一网络通过使用生成器和判别器之间的最小最大（minimax）博弈，GAN 能够建模高纬度、复杂的数据分布。在 GAN 中，生成器用于生成假的样本，而判别器进行判断（是否为生成数据）。

1、《Wasserstein GAN & Improved Training of Wasserstein GANs（WGAN）》

2、《StyleGAN》

3、《Neural Machine Translation by Jointly Learning to Align and Translate（attention 机制）》

1、《Decoupled Weight Decay Regularization》

2、《RMSProp》

2015：超越人类的 ResNet；神奇的批归一化

论文链接：

▲ Residual Block 结构

大名鼎鼎的 ResNet，从 ResNet 开始，神经网络在视觉分类任务上的性能第一次超越了人类。这一方法赢得了 ImageNet 2015、以及 COCO 竞赛的冠军，也获得了 CVPR2016 的最佳论文奖：该研究的作者是何恺明、张祥雨、任少卿和孙剑。

最初 ResNet 的设计是用来处理深层 CNN 结构中梯度消失和梯度爆炸的问题，如今 Residual Block 已经成为了几乎所有 CNN 结构中的基本构造。

这个想法很简单：将输入（input）从卷积层的每个块添加到输出（output）。残差网络之后的启示是，神经网络不应分解为更多的层数，在最不理想的情况下，其他层可以简单设置为恒等映射（identity mapping）。但在实际情况中，更深层的网络常常在训练上遇到困难。残差网络让每一层更容易学习恒等映射，并且还减少了梯度消失的问题。

尽管并不复杂，但残差网络很大程度上优于常规的 CNN 架构，尤其在应用于更深层的网络上时。

▲ 几种 CNN 之间的对比

众多 CNN 架构都在争夺「头把交椅」，以下是一部分具有代表意义的样本：

▲ Inceptionv1 结构

论文链接：

批归一化（Batch normalization）是如今几乎所有神经网络的主流趋势。批归一基于另外一个简单但是很棒的想法：在训练过程中保持均值和方差统计，借此将 activation 的范围变换为零均值和单位方差。

关于批归一化效果的确切原因还未有定论，但从实践上说确实有效的。

▲ 不同归一化技术的可视化呈现

2、《实例归一化（Instance Normalization）》

3、《组归一化（Group Normalization）》

2016 年：攻陷最复杂的游戏——AlphaGo

登上 Nature 的 AlphaGo 论文《Mastering the game of Go with deep neural networks and tree search》

论文链接：

很多人对于现代 AI 的理解始于 DeepMind 的围棋程序 AlphaGo。AlphaGo 研究项目始于 2014 年，目的是为了测试一个使用深度学习的神经网络如何在 Go 上竞争。

AlphaGo 比以前的 Go 程序有了显着的改进，在与其他可用围棋程序（包括 Crazy Stone 和 Zen）的 500 场比赛中，在单台计算机上运行的 AlphaGo 赢得了除一个之外的所有胜利，而运行在多台计算机上的 AlphaGo 赢得了与其他 Go 程序对战的所有 500 场比赛，在与单台计算机上运行的 AlphaGo 比赛中赢下了 77％的对阵。2015 年 10 月的分布式版本使用了 1,202 个 CPU 和 176 个 GPU，当时它以 5: 0 的比分击败了欧洲围棋冠军樊麾（职业 2 段选手），轰动一时。

这是计算机围棋程序第一次在全局棋盘（19 × 19）且无让子的情况下击败了人类职业棋手。2016 年 3 月，通过自我对弈进行练习的加强版 AlphaGo 在比赛中以 4: 1 击败了世界围棋冠军李世石，成为第一个在无让子情况下击败围棋职业九段棋手的计算机程序，载入史册。赛后，AlphaGo 被韩国棋院授予名誉职业九段的称号。

1、DeepMind 的另一篇 AlphaGo Nature 论文《Mastering the game of Go without human knowledge》

2017 年：几乎人人都用的 Transformer

论文链接：

著名的 Transformer 架构出现了。2017 年 6 月，谷歌宣布又在机器翻译上更进了一步，实现了完全基于 attention 的 Transformer 机器翻译网络架构，并且还在 WMT 2014 的多种语言对的翻译任务上超越了之前 Facebook 的成绩，实现了新的最佳水平。

在编码器-解码器配置中，显性序列显性转导模型（dominant sequence transduction model）基于复杂的 RNN 或 CNN。表现最佳的模型也需通过注意力机制（attention mechanism）连接编码器和解码器。

谷歌提出了一种新型的简单网络架构——Transformer，它完全基于注意力机制，彻底放弃了循环和卷积。两项机器翻译任务的实验表明，这些模型的翻译质量更优，同时更并行，所需训练时间也大大减少。新的模型在 WMT 2014 英语转德语的翻译任务中取得了 BLEU 得分 28.4 的成绩，领先当前现有的最佳结果（包括集成模型）超过 2 个 BLEU 分值。在 WMT 2014 英语转法语翻译任务上，在 8 块 GPU 上训练了 3.5 天之后，新模型获得了新的单模型顶级 BLEU 得分 41.0，只是目前文献中最佳模型训练成本的一小部分。

Transformer 在其他任务上也泛化很好，把它成功应用到了有大量训练数据和有限训练数据的英语组别分析上。

论文链接：

神经结构搜索（NAS）表示自动设计人工神经网络（ANN）的过程，人工神经网络是机器学习领域中广泛使用的模型。NAS 的各种方法设计出的神经网络，其性能与手工设计的架构相当甚至更优越。可以根据搜索空间，搜索策略和性能评估策略三个方面对 NAS 的方法进行分类。其他方法，如《Regularized Evolution for Image Classifier Architecture Search》（即 AmoebaNet）使用了进化算法。

2018 年：预训练模型大热

当然是谷歌的 NLP 预训练模型 BERT：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，这篇论文现在已经有 3025 次引用量了。

论文链接：

本文介绍了一种新的语言表征模型 BERT——来自 Transformer 的双向编码器表征。与最近的语言表征模型不同，BERT 旨在基于所有层的左、右语境来预训练深度双向表征。BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定架构的系统，刷新了 11 项 NLP 任务的当前最优性能记录。

▲ BERT 与 GPT-2 和 ELMo 的模型结构对比

自 BERT 被提出以来，基于 Transformer 的语言模型呈井喷之势。这些论文尚需时间考验，还很难说哪一个最具影响力。

1、《Deep contextualized word representations》

2、《Improving Language Understanding by Generative Pre-Training》

3、《Language Models are Unsupervised Multitask Learners》——即 OpenAI 在 2 月份推出的，参数量高达 15 亿的预训练模型 GPT-2。

4、《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》

5、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》

6、《Neural Machine Translation of Rare Words with Subword Units》

2019 年：深度学习的原理改进

论文《Deep Double Descent: Where Bigger Models and More Data Hurt》，本文讨论的 Double Descent 现象与经典机器学习和现代深度学习中的流行观点背道而驰。

论文链接：

在本文中研究者证明，各种现代深度学习任务都表现出「双重下降」现象，并且随着模型尺寸的增加，性能首先变差，然后变好。此外，他们表明双重下降不仅作为模型大小的函数出现，而且还可以作为训练时间点数量的函数。研究者通过定义一个新的复杂性度量（称为有效模型复杂性，Effective Model Complexity）来统一上述现象，并针对该度量推测一个广义的双重下降。此外，他们对模型复杂性的概念使其能够确定某些方案，在这些方案中，增加（甚至四倍）训练样本的数量实际上会损害测试性能。

来自 MIT CSAIL 研究者的论文《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》，它也获得了 ICLR 2019 的最佳论文奖。

论文链接：

研究者们发现，标准的神经网络剪枝技术会自然地发现子网络，这些子网络经过初始化后能够有效进行训练。基于这些结果，研究者提出了「彩票假设」（lottery ticket hypothesis）：密集、随机初始化的前馈网络包含子网络（「中奖彩票」），当独立训练时，这些子网络能够在相似的迭代次数内达到与原始网络相当的测试准确率。

未来？

因为深度学习和基于梯度的神经网络出现技术突破，过去十年是人工智能高速发展的一段时期。这很大程度上是因为芯片算力的显著提高，神经网络正在变得越来越大，性能也越来越强。从计算机视觉到自然语言处理，新的方法已经大面积取代了传统的 AI 技术。

但是神经网络也有其缺点：它们需要大量已标注数据进行续联，无法解释自身的推断机制，难以推广到单个任务之外。不过因为深度学习的推动，AI 领域快速发展，越来越多的研究者正在致力于应对这些挑战。

在未来的几年里，人们对于神经网络的理解还会不断增加。人工智能的前景还是一片光明：深度学习是 AI 领域里最有力的工具，它会使我们进一步接近真正的智能。

让我们期待 2020 年的新成果吧。

参考链接：