社区
教程
Wiki
注册
登录
创作新主题
社区所有版块导航
Python
python开源
Django
Python
DjangoApp
pycharm
DATA
docker
Elasticsearch
分享
问与答
闲聊
招聘
翻译
创业
分享发现
分享创造
求职
区块链
支付之战
aigc
aigc
chatgpt
WEB开发
linux
MongoDB
Redis
DATABASE
NGINX
其他Web框架
web工具
zookeeper
tornado
NoSql
Bootstrap
js
peewee
Git
bottle
IE
MQ
Jquery
机器学习
机器学习算法
Python88.com
反馈
公告
社区推广
产品
短视频
印度
印度
一周十大热门主题
飒视频 | ChatGPT给你写的“调查报告”,可能不属于你
【Ludic:轻量Python框架,类似于 React,使用组件-20240322132157
写给不会代码的你:20分钟上手 Python + AI
类ChatGPT平台Cohere正融资5亿美元,估值50亿美元
本周github最火的开源项目是这个!!!
Python编程的终极十大工具
GPT-4「荣升」AI顶会同行评审专家?斯坦福最新研究:ICLR/NeurIPS等竟有16.9%评审...
GitHub(微博搜索)-20240324-1
Stability AI CEO宣布辞职;消息称OpenAI将与好莱坞电影公司会面并推荐Sora丨A...
内容整理人员招募|数据湖、大模型、推荐、图机器学习等
关注
Py学习
»
机器学习算法
2012-2022: AI革命10周年,Hinton等大佬重拳出击「深度学习撞墙」论
新智元
• 1 年前 • 232 次点击
新智元报道
编辑:David 武穆
【新智元导读】
AI与深度学习如何彻底走出寒冬,终成「显学」?一切始于2012年AlexNet那篇论文,10年过去,今天的AI怎么样了?
2012年9月,一篇题为「用深度卷积神经网络进行ImageNet图像分类」的论文,让此前沉寂多年的人工智能领域热度骤起。
文中提出的AlexNet深度卷积神经网络,在当年的ImageNet分类任务比赛ILSVRC-2012上,以碾压之势轻松夺冠,大幅刷新了此前的SOTA。
说是碾压,毫不夸张。AlexNet一举将 top-5 错误率降低到了15.3%,比身后的第二名(26.2%)足足高出10多个百分点,堪称跃进式提升。
ImageNet是一个大型视觉数据集,用于视觉目标识别软件研究。该数据集由斯坦福大学计算机专家李飞飞团队创建于2007年。
直至目前,该数据集仍然是深度学习领域中图像分类、检测、定位的最常用数据集之一。
AlexNet摧枯拉朽般的大胜,让研究人员惊叹于大型卷积深度神经网络架构的神奇威力,这篇论文也成为深度学习和人工智能自「AI寒冬」后重新成为热门领域的重要里程碑。
后来人们所讲的「深度学习革命」,也借此文以发端,直到十年后的今天。
过去十年来,在AI领域诞生了无数成功的网络模型——从云计算、云存储、机器翻译、到AI画家和自动驾驶,AI技术遍地开花。
技术突破带来的是AI产业规模的升级和资本的青睐: 据统计,全球AI领域创业投资从2011年的6.7亿美元增长到2020年的360亿美元,在2021年再翻一番,达到770亿美元。
近日,这篇Alexnet论文的作者之一,2018年图灵奖得主Geoffrey Hinton、ImageNet创始人之一、斯坦福大学教授李飞飞、以及另一位AI大佬Yann LeCun一起回顾了过去10年来方兴未艾的AI革命。
在采访中,Hinton 对未来机器人技术的前景大为看好。
「机器人技术的巨大进步将诞生更灵巧、敏捷、顺从的机器人,可以像我们一样更高效、更温和地完成任务」,他说。
LeCun认为,过去阻碍AI发展的障碍,正在以令人难以置信的速度被清除。仅在过去的四、五年里,进展是惊人的。
李飞飞也表示,自2012年以来,深度学习的发展堪称「一场惊人的革命,令人做梦都没想到」。
实际上,作为深度学习先驱的Hinton和LeCun等人一直相信,深度学习革命即将到来。
早在1986年,Hinton等人发表的论文就让训练多层神经网络的「反向传播算法」广为人知。
「当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。」
1989年,LeCun率先使用了反向传播和卷积神经网络,他也同意Hinton的看法。
他说:「我毫不怀疑,最终我们在上世纪80-90年代开发的技术将被采用」。
李飞飞也一直相信自己多年来的假设,即通过正确的算法,ImageNet数据集是推进计算机视觉和深度学习研究的关键。
她说:「这是对机器学习的一种非常创新的思考方式,也是一种高风险的举动,但我们从科学上相信,我们的假设是正确的。」
10年AI热潮 ,论战与批评
巨大的成功往往会引来批评者。
而且有强烈的声音指出深度学习的局限性,说它的成功范围极其狭窄。
他们还坚持认为,神经网络造成的炒作只是如此,并没有根本性突破:而所谓的通用人工智能(AGI)更是空中楼阁,在我们的有生之年,甚至在可预见的未来内,AI在推理能力上永远不可能接近人类。
Marcus是纽约大学名誉教授,也是Robust.AI的创始人兼首席执行官。作为和LeCun战了多年的老对手,他一直是深度学习的主要批评者。
早在2012年11月,他就为《纽约客》写了一篇文章。质疑「深度学习是AI革命」的说法。而当时距离AlexNet在Imagenet大赛上大杀四方仅过去了几个月。
Marcus文中说:「套用一个古老的寓言,Hinton造了一个更好的梯子,但更好的梯子并不一定能把你带到月球上。」
去年3月,他发表了一篇关于深度学习「碰壁」的文章,说尽管深度学习确实取得了进展,但「我们对世界的了解,仍然停留在对常识知识和推理上」。
Marcus表示,早在2016年,Hinton就说过,不用再培养放射科医生了。如今几年过去,AI并没有取代任何一位放射科医生。问题出在哪儿?
近年来,AI在大数据、大模型的深度学习之路上一路狂奔,但很多核心问题依然没有解决,比如如何让模型具备真正的理解能力。
Hinton和LeCun都反驳了Marcus的批评。
Hinton说,尽管他过去也承认深度学习的能力范围是有限的。「(深度学习)并没有碰壁——如果你看看最近的进展,就会发现它是惊人的」。
LeCun补充道:「没有撞墙这回事。是有一些障碍需要清除,虽然解决这些障碍的办法还不完全清楚。但我完全没有看到深度学习进展放缓的迹象……如果深度学习进展有迹象的话,那也是进展正在加速。」
除了Marcus之外,华盛顿大学计算机语言学教授Emily Bender也是「深度学习泡沫」的著名批评者之一。她表示,她不认为如今的NLP和CV模型能在「大家所说的AI和AGI方面取得实质性进展」。
Bender并不信服他们的说法。她通过电子邮件告诉VentureBeat:「从某种程度上说,他们只是在讨论基于ImageNet等基准提供的标签,对图像进行分类的进展,2012年后,这方面似乎有了一些质的突破。如果他们谈论的是比这更宏大的东西,那都是炒作。」
无论是乐观展望,还是犀利批评,我们可以从过去十年的深度学习进展中学到什么?这种已经改变世界的革命性技术,未来又会怎样呢?
下一个十年,更多的人仍然拭目以待。
参考资料:
https://venturebeat.com/ai/10-years-on-ai-pioneers-hinton-lecun-li-say-deep-learning-revolution-will-continue/
Python社区是高质量的Python/Django开发社区
本文地址:
http://www.python88.com/topic/147269
232 次点击
登录后回复