Py学习  »  机器学习算法

如何评价 2018 年度图灵奖颁发给三位深度学习之父?

CVer • 5 年前 • 453 次点击  

点击上方“CVer”,选择加"星标"或“置顶”

重磅干货,第一时间送达

作者:Amusi

https://www.zhihu.com/question/317715156/answer/634111243

先恭喜 Bengio, Hinton and LeCun 三位深度学习之父荣获2018年度图灵奖!

有同学会问,为什么是这三位共获2018年度图灵奖呢?

本文试图从三位的科研成就角度,来分析"为什么"

部分资料参考:

https://awards.acm.org/about/2018-turing

Geoffrey Hinton

反向传播(Back Propagation):Geoffrey Hinton 在1986年与David Rumelhart和Ronald Williams共同撰写的“通过误差传播学习内部表征”《Learning Internal Representations by Error Propagation》一文中,证明了反向传播算法。反向传播算法是当今大多数神经网络的标准(必选项)。

玻尔兹曼机(Boltzmann Machines):1983年,Hinton与Terrence Sejnowski一起发明了Boltzmann机器,这是第一个能够学习不属于输入或输出的神经元内部表示的神经网络之一(生成式随机神经网络)。

卷积神经网络的改进:2012年,Hinton与他的学生 Alex Krizhevsky 和 Ilya Sutskever 一起使用整流线性神经元(ReLU)和 dropout 正则化改进了卷积神经网络。在著名的 ImageNet 竞赛中,Hinton 和他的学生几乎将目标识别的错误率减半,几乎“重塑”了计算机视觉领域。

Yoshua Bengio

序列的概率模型:在20世纪90年代,Bengio 将神经网络与序列的概率模型相结合,例如隐马尔可夫模型。这些想法被纳入AT&T / NCR 用于读取手写支票的系统中,被认为是20世纪90年代神经网络研究的巅峰之作,现代深度学习语音识别系统正在扩展这些概念。

高维词嵌入和关注(attention) :2000年,Bengio撰写了具有里程碑意义的论文“神经概率语言模型”《A Neural Probabilistic Language Model》,它引入了高维词嵌入作为词义的表示。 Bengio的见解对自然语言处理任务产生了巨大而持久的影响,包括语言翻译,问答和视觉问答。他的团队还引入了一种注意机制,这种机制导致了机器翻译的突破,并形成了深度学习的顺序处理的关键组成部分。

生成性对抗网络(GANs):自2010年以来,Bengio 关于生成性深度学习的论文,特别是与 Ian Goodfellow 共同提出的生成性对抗网络(GANs),引发了计算机视觉和计算机图形学的革命。在这项工作的一个引人入胜的应用中,计算机实际上可以创建原始图像,让人联想到被认为是人类智能标志的创造力。


Yann LeCun

卷积神经网络(CNN):在20世纪80年代,LeCun提出了卷积神经网络,这是深度学习领域的基本原理,除了其他优点之外,它还具有使深度学习更有效的必要性。在20世纪80年代后期,在多伦多大学和贝尔实验室工作期间,LeCun是第一个在手写数字图像上训练卷积神经网络系统的人。如今,卷积神经网络是计算机视觉以及语音识别,语音合成,图像合成和自然语言处理的行业标准。它们用于各种应用,包括自动驾驶,医学图像分析,语音助手和信息过滤。

改进反向传播算法(Back Propagation):LeCun提出了反向传播算法的早期版本(backprop),并根据变分原理(variational principles)对其进行了简洁的推导。他加快反向传播算法的工作包括描述两种加速学习时间的简单方法。

拓宽神经网络的视野:LeCun 还因其开发了更广泛的神经网络愿景,作为广泛任务的计算模型,在早期工作中引入了许多现在已成为AI基础的概念。例如,在识别图像的背景下,他研究了如何在神经网络中学习分层特征表示 - 这个概念现在通常用于许多识别任务中。与LéonBottou一起,他提出了在每个现代深度学习软件中使用的想法,即学习系统可以构建为复杂的模块网络,其中通过自动区分来执行反向传播。他们还提出了可以操纵结构化数据的深度学习架构,例如图形(graphs)。

侃侃

Amusi 认为 Bengio, Hinton and LeCun 三位深度学习之父共获2018年度图灵奖,实至名归!

很多人吐槽:"这么'没有深度'的深度学习居然可以获得 A.M.图灵奖",“为什么是这三位,Andrew Ng和Schmidhuber凭什么拿不到","背后肯定有利益关系"

我觉得就别瞎操心了,图灵奖授予这三位,无疑是确定深度学习的有效性。

总之:深度学习这把火,2019会烧的更旺~

CVer学术交流群


扫码添加CVer助手,可申请加入CVer-目标检测交流群、图像分割、目标跟踪和GAN等群。一定要备注:研究方向+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡)

▲长按加群


这么硬的论文速递,麻烦给我一个好看


▲长按关注我们

麻烦给我一个好看

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/30363
 
453 次点击