2012-2022: AI革命10周年，Hinton等大佬重拳出击「深度学习撞墙」论

编辑：David 武穆

2012年9月，一篇题为「用深度卷积神经网络进行ImageNet图像分类」的论文，让此前沉寂多年的人工智能领域热度骤起。

文中提出的AlexNet深度卷积神经网络，在当年的ImageNet分类任务比赛ILSVRC-2012上，以碾压之势轻松夺冠，大幅刷新了此前的SOTA。

说是碾压，毫不夸张。AlexNet一举将 top-5 错误率降低到了15.3%，比身后的第二名（26.2%）足足高出10多个百分点，堪称跃进式提升。

ImageNet是一个大型视觉数据集，用于视觉目标识别软件研究。该数据集由斯坦福大学计算机专家李飞飞团队创建于2007年。

直至目前，该数据集仍然是深度学习领域中图像分类、检测、定位的最常用数据集之一。

AlexNet摧枯拉朽般的大胜，让研究人员惊叹于大型卷积深度神经网络架构的神奇威力，这篇论文也成为深度学习和人工智能自「AI寒冬」后重新成为热门领域的重要里程碑。

后来人们所讲的「深度学习革命」，也借此文以发端，直到十年后的今天。

过去十年来，在AI领域诞生了无数成功的网络模型——从云计算、云存储、机器翻译、到AI画家和自动驾驶，AI技术遍地开花。

技术突破带来的是AI产业规模的升级和资本的青睐: 据统计，全球AI领域创业投资从2011年的6.7亿美元增长到2020年的360亿美元，在2021年再翻一番，达到770亿美元。

近日，这篇Alexnet论文的作者之一，2018年图灵奖得主Geoffrey Hinton、ImageNet创始人之一、斯坦福大学教授李飞飞、以及另一位AI大佬Yann LeCun一起回顾了过去10年来方兴未艾的AI革命。

在采访中，Hinton 对未来机器人技术的前景大为看好。

「机器人技术的巨大进步将诞生更灵巧、敏捷、顺从的机器人，可以像我们一样更高效、更温和地完成任务」，他说。

LeCun认为，过去阻碍AI发展的障碍，正在以令人难以置信的速度被清除。仅在过去的四、五年里，进展是惊人的。

李飞飞也表示，自2012年以来，深度学习的发展堪称「一场惊人的革命，令人做梦都没想到」。

实际上，作为深度学习先驱的Hinton和LeCun等人一直相信，深度学习革命即将到来。

早在1986年，Hinton等人发表的论文就让训练多层神经网络的「反向传播算法」广为人知。

「当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。」

1989年，LeCun率先使用了反向传播和卷积神经网络，他也同意Hinton的看法。

他说：「我毫不怀疑，最终我们在上世纪80-90年代开发的技术将被采用」。

李飞飞也一直相信自己多年来的假设，即通过正确的算法，ImageNet数据集是推进计算机视觉和深度学习研究的关键。

她说：「这是对机器学习的一种非常创新的思考方式，也是一种高风险的举动，但我们从科学上相信，我们的假设是正确的。」

10年AI热潮，论战与批评

巨大的成功往往会引来批评者。而且有强烈的声音指出深度学习的局限性，说它的成功范围极其狭窄。

他们还坚持认为，神经网络造成的炒作只是如此，并没有根本性突破：而所谓的通用人工智能（AGI）更是空中楼阁，在我们的有生之年，甚至在可预见的未来内，AI在推理能力上永远不可能接近人类。

Marcus是纽约大学名誉教授，也是Robust.AI的创始人兼首席执行官。作为和LeCun战了多年的老对手，他一直是深度学习的主要批评者。

早在2012年11月，他就为《纽约客》写了一篇文章。质疑「深度学习是AI革命」的说法。而当时距离AlexNet在Imagenet大赛上大杀四方仅过去了几个月。

Marcus文中说:「套用一个古老的寓言，Hinton造了一个更好的梯子，但更好的梯子并不一定能把你带到月球上。」

去年3月，他发表了一篇关于深度学习「碰壁」的文章，说尽管深度学习确实取得了进展，但「我们对世界的了解，仍然停留在对常识知识和推理上」。

Marcus表示，早在2016年，Hinton就说过，不用再培养放射科医生了。如今几年过去，AI并没有取代任何一位放射科医生。问题出在哪儿？

近年来，AI在大数据、大模型的深度学习之路上一路狂奔，但很多核心问题依然没有解决，比如如何让模型具备真正的理解能力。

Hinton和LeCun都反驳了Marcus的批评。

Hinton说，尽管他过去也承认深度学习的能力范围是有限的。「(深度学习)并没有碰壁——如果你看看最近的进展，就会发现它是惊人的」。

LeCun补充道:「没有撞墙这回事。是有一些障碍需要清除，虽然解决这些障碍的办法还不完全清楚。但我完全没有看到深度学习进展放缓的迹象……如果深度学习进展有迹象的话，那也是进展正在加速。」

除了Marcus之外，华盛顿大学计算机语言学教授Emily Bender也是「深度学习泡沫」的著名批评者之一。她表示，她不认为如今的NLP和CV模型能在「大家所说的AI和AGI方面取得实质性进展」。

Bender并不信服他们的说法。她通过电子邮件告诉VentureBeat:「从某种程度上说，他们只是在讨论基于ImageNet等基准提供的标签，对图像进行分类的进展，2012年后，这方面似乎有了一些质的突破。如果他们谈论的是比这更宏大的东西，那都是炒作。」

无论是乐观展望，还是犀利批评，我们可以从过去十年的深度学习进展中学到什么?这种已经改变世界的革命性技术，未来又会怎样呢?

下一个十年，更多的人仍然拭目以待。

参考资料：

https://venturebeat.com/ai/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/