社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

从黑暗到黎明:图灵奖得主杰弗里·辛顿与深度学习的长夜坚守

图灵人工智能 • 2 月前 • 145 次点击  

点击上方图灵人工智能”,选择“星标”公众号

您想知道的人工智能干货,第一时间送达


图片

转自无聊的白日幻想家,仅用于学术分享,如有侵权留言删除

2012年秋天,一场比赛的排名传遍人工智能领域。在ImageNet 图像识别大赛上,一个来自多伦多大学的团队以压倒性优势夺冠。他们的神经网络AlexNet错误率比第二名低了十个百分点以上,几乎将此前公认难以企及的基准线一刀斩断。领队是一位年过六旬的英国裔教授,两鬓花白,说话带着温和的咬字,在庆祝声浪中却显得异常平静。

他叫杰弗里·辛顿。为了这一刻,他在极其孤独的道路上已经走了三十多年。当整个学术圈把他的研究方向视为“注定失败的死胡同”时,他独自坐在那间堆满论文的小办公室里,一遍遍把神经网络的方程推到纸上,等了整整一个长夜。

被姓氏压住的孩子

1947年12月6日,杰弗里·埃弗莱斯特·辛顿出生在伦敦温布尔登。这个家族的科学谱系厚得令人透不过气。

他的曾曾祖父是乔治·布尔,数理逻辑的创始人,布尔代数的命名者——今天每一块芯片内部的运算,都运行在布尔逻辑之上。布尔的妻子玛丽·埃弗莱斯特是数学家兼教育思想家,写过畅销的儿童数学启蒙书。他们的五个女儿中,艾丽西娅·布尔·斯托特以四维几何研究闻名——在没有计算机的年代,她全凭直觉想象出四维空间中六种正多面体的三维截面模型。长女玛丽·埃伦嫁给了数学家查尔斯·霍华德·辛顿,即杰弗里的外曾祖父,这位辛顿痴迷于第四维度,发明了“超立方体”一词,设计过用彩色方块帮助人们想象四维空间的装置。杰弗里的外祖父查尔斯·霍华德·辛顿同样是数学家,提出了四维空间几何的早期概念。到了父亲这一辈,霍华德·埃弗莱斯特·辛顿是英国皇家学会院士,一位昆虫学界的权威,以对甲虫分类的深入研究闻名,写过几十本专著。

图片

这样一个家族,对后代有一种无言的重量。父亲性格强硬,对子女的要求既有英式老派的严苛,又带着科学家式的绝对冷静。他曾强迫年幼的杰弗里背诵乘法表,背不出来就不许睡觉。在杰弗里眼里,父亲是一座无法撼动的山峰,他毕生都在暗暗较劲又深深敬畏。辛顿后来在不同场合谈到,他从小就有一种感觉:你无论做出什么成就,都不过是家族树上又添一片叶子。他需要一个完全属于自己的领域,一个家族谱系里无人涉足的方向。

在动物和数字之间

辛顿的母亲玛格丽特·克拉克是教师,性格温和。辛顿童年时极其内向,最早的记忆不是在书房,而是在乡下的后院里观察动物。他养过各种爬虫和两栖动物,把它们放进自制的饲养箱,长久蹲在旁边看它们爬行、进食。他后来说,自己最早关于“智能”的直觉,正是来自对动物行为的观察——一只蝾螈怎样判断猎物方位,一条蛇如何判断障碍物——这些朴素的好奇,日后以一种高度抽象的方式,进入了他对神经网络学习规则的研究中。

辛顿曾饲养一条宠物蝮蛇,把蛇养在自己房间的玻璃缸里。母亲对此既害怕又容忍。一位童年朋友后来回忆,去他家做客时,辛顿会平静地打开玻璃缸,让蛇在手臂上爬行,同时毫不间断地解释蛇的感受器官如何工作。那种冷静的专注,与他几十年后在黑板上逐行推导梯度下降方程时如出一辙。

克利夫顿学院的痛苦

七岁那年,辛顿被送到布里斯托尔的克利夫顿学院——一所严格到近乎冷酷的私立寄宿学校。他的父亲和家族里其他男性几乎都曾就读于此。学校实行宗教化的严格纪律,课堂死板,舍监冰冷。辛顿极度不适应。他不是那种在运动场上受欢迎的孩子——身体协调性差,不喜欢对抗,宁愿躲在角落看生物图鉴。

英国寄宿学校有一套残酷的等级秩序:高年级生有权驱使低年级生干活,辛顿因为不善社交,经常被分配去打扫厕所、擦皮鞋。他后来告诉一位采访者:“在那样的环境里,你学会了要么变强,要么找到内心的避难所。”辛顿找到的避难所,是抽象思考。当外界让人失望时,他在心里构建秩序。

剑桥的漫游者

1966年,辛顿进入剑桥大学国王学院。他的学术轨迹在此处变成了一条弯曲的河流——不是笔直向前,而是在不同领域间反复改道。

图片

他最初注册了自然科学,上物理和化学课。但他很快发现,自己痛恨实验。化学实验要求手稳、操作精确,而他的手总是微微发抖——这个细节后来被他自己拿来调侃:“我连滴定管都用不好,怎么可能做实验科学。”于是他转向建筑学,这似乎提供了一个中间地带,既有数学的秩序,又有艺术的自由。他上了一年建筑课,发现自己对结构力学的兴趣远超对美学风格的讨论。

接着他转修哲学,读维特根斯坦、罗素,思考语言和逻辑的边界。但他最终觉得纯哲学太过抽象,缺乏实验性的检验手段。他又转向心理学,尤其是认知心理学,开始关注记忆、知觉和概念形成。

1970年,辛顿获得实验心理学学士学位。但他的毕业证书背后是一份极其凌乱的成绩单——换过四次专业,上过横跨四个学院的课。一位剑桥同期同学后来回忆,那时候的辛顿“极其安静,走路时微微驼背,几乎从不主动发起谈话,但一旦被问到想法,就会给出一个长达半小时的、逻辑缜密到可怕的独白。”

剑桥这几年虽然没有留下任何发表的论文,却塑造了他后来研究风格的关键特征:他不信任任何单一学科的解释。要理解心智,可能需要物理学描述神经元的电活动,化学解释突触间神经递质的释放,信息科学解释信号编码,心理学解释行为表现,甚至哲学审视其中尚未澄清的概念。他在多学科之间穿梭的习惯,正是从这里开始的。

在人工智能的冬天出发

大学毕业后,辛顿做过一段时间的木匠和橱柜制作——这个事实常常被传记作者忽略。他手工并不灵巧,但他在伦敦一间小作坊里待了将近一年,学习刨木头、安装合页。他后来解释,那是他应对学术疲劳的方式:在做木工时,你的成败立即可见,这对一个常年沉浸在抽象问题中的人来说,是一种调节。

1972年,他重新回到学术轨道,进入爱丁堡大学攻读人工智能博士学位。他之所以选择爱丁堡,是因为克里斯托弗·朗盖特-希金斯在那里。朗盖特-希金斯是理论化学家出身,后来转向人工智能,是英国最早研究神经网络的学者之一。辛顿的博士方向从一开始就很明确:用人工神经网络模拟大脑的认知功能。

但问题在于,时代的选择几乎与他的方向彻底相悖。1969年,麻省理工的马文·明斯基和西摩尔·帕珀特出版了《感知机》一书,严格证明了单层感知机的根本局限——连“异或”这么简单的逻辑函数都无法学习。这本书在学术圈产生的影响是摧毁性的。政府削减拨款,期刊退稿率飙升,年轻学者被导师暗示“换方向吧”。到了1972年辛顿进入爱丁堡时,整个领域的温度已经降到了冰点以下。神经网络研究被视为不切实际的幻想,坚持做这个方向的人,大概率会毁掉自己的职业生涯。

导师反目与孤军深入

朗盖特-希金斯本人对辛顿的选择心情复杂。他一方面欣赏这个学生思维的原创性,另一方面也担心他走上一条死路。他鼓励辛顿去做更主流的符号人工智能,但辛顿拒绝了。博士读到中期,两人的关系明显变得紧张。

分歧在辛顿提出一种关于“条状检测神经元”的计算理论时达到了顶点。受神经生理学家休伯尔和威塞尔的经典实验启发,辛顿试图解释大脑视觉皮层中那些只对特定方向边缘做出反应的神经元是如何通过经验被“调谐”出来的。朗盖特-希金斯认为这项工作缺乏严谨的生物学和数学基础。据辛顿后来的回忆,导师曾对另一位同事说:“辛顿要么会做出极其重要的成果,要么会一败涂地,没有中间状态。”

博士论文答辩的前夜,朗盖特-希金斯召集了当时爱丁堡人工智能系几位核心成员,讨论是否应该让辛顿通过答辩。一位在场的年轻讲师后来告诉传记作者,那是一场激烈的辩论:一方认为辛顿的工作缺乏严密的数学框架,另一方认为他提出的问题本身就是重要的——哪怕暂时没有答案。最终,朗盖特-希金斯做出了让步。他让辛顿通过答辩,但两人的师生情谊也在此刻实质性破裂,此后几乎再无往来。

1978年,辛顿获得博士学位。论文题目是《放松及其在视觉中的作用》。论文的核心观点是:视觉系统不仅仅是一个从低到高的前馈处理系统,它内部存在着大量反馈连接,大脑在解释视觉输入时,实际上是在众多可能解释中寻找最“协调”的一种——这个过程很像一个物理系统在能量面上逐步松弛到最低能态。这个观点在当时的认知心理学和神经科学中都属异端,但它埋下了他后来玻尔兹曼机研究的种子。

穷得只剩下信念

博士毕业后的几年,是辛顿物质上最匮乏的时期。他在英国找不到教职——没有大学愿意雇一个专攻“已被证明失败”方向的研究者。他在美国加州大学圣迭戈分校做博士后,与戴维·鲁梅尔哈特和詹姆斯·麦克莱兰等人一起工作。这是一个松散的学术小团体,彼此取暖,被称为“PDP小组”(并行分布式处理小组)。

那几年,辛顿的婚姻也走到了尽头。他的第一任妻子乔安妮是他在剑桥时期认识的,两人有一个儿子和一个女儿。婚姻破裂后,辛顿独自带着两个孩子生活,同时继续研究那个没人看好的方向。他在加州的公寓里一边给孩子做晚饭,一边在餐巾纸上写方程。他的女儿后来回忆,父亲经常在洗碗槽旁边放一叠废纸,一旦有想法就擦干手写几笔。那些纸上留下的,很多后来成了玻尔兹曼机和反向传播算法的最初草图。

站在所有人对面

1980年代,人工智能存在两条截然不同的路。一条是符号主义:知识由逻辑命题表达,思维即符号操作。主流的专家系统风靡一时,企业大举投入,媒体热捧。另一条是连接主义:知识储存在大量简单神经元的连接权重中,从数据中学习产生。这一派支持者寥寥,几乎拿不到经费,在许多会议上被当作笑谈。

辛顿是连接主义最坚定、几乎唯一的旗手。他不是狂热分子,他比谁都清楚当前神经网络的局限。他的态度更像一个耐心的实验者:不是这个方向错了,而是旧的工具不够好。

图片

1983年,他与特伦斯·谢伊诺夫斯基发明了玻尔兹曼机——一种可以从数据中学习概率分布的随机神经网络。这是向着“真正能够学习的神经网络”迈出的决定性一步。但那时计算机算力仍然远远不够,模型无法真正展现实力。1986年,他与鲁梅尔哈特和罗纳德·威廉姆斯合作,完善了“反向传播算法”在神经网络训练中的应用,这篇论文后来成为连接主义的奠基文献。然而即便到了八十年代末,他的工作仍被学术主流视作边缘。申请项目遭到拒绝时,回函上常有类似的措辞:“这项工作缺乏理论基础,前景不明。”

图片

有一次,辛顿提交给某顶会的论文被拒绝,审稿意见只有一句话:“这篇论文研究的是一个已被证明没有前途的课题。”辛顿把这封信钉在办公室的软木板上,一钉就是十几年。

复利等待黎明

1990年代到2000年代中期,是神经网络最沉寂的漫长时间。大量学生转行,相关论文在顶会占比迅速萎缩。辛顿后来在接受访谈时平静地回忆:“在那二十多年里,多数人认为训练深层神经网络是不可能完成的任务,继续研究它是愚蠢的。”他留在多伦多大学计算机科学系任教,继续写着那些几乎没有人引用的论文。他的团队很小,预算很少,依然研究那些“不可能成功”的多层神经网络。

在这段漫长的学术寒冬里,辛顿保持了一种在外人看来不可思议的镇定。他并不过多抱怨经费短缺,也不攻击符号主义的拥趸。他几乎把所有精力都放在了理解“让更深、更复杂的网络学会学习”需要哪些计算条件上。同他一起工作的西蒙·奥辛德罗回忆说,辛顿当时一再对不同的人说同一句朴素的话:大脑有数十亿个神经元和数万亿个连接,说明深度计算本质上一定是可行的。我们只是还没找到正确的训练方法,还有,我们还在等待足够强大的机器。

图片

辛顿的秘诀之一是他对术语和方向的命名天才。当整个学界避谈“神经网络”时,他改用“深度学习”来描述他的研究。这个重新命名不单单是修辞策略,背后也蕴含着信念:网络层数越深,模型能提取的特征就越抽象、越接近人类认知的层次结构。只可惜在很长一段时间里,没有人愿意认真听他说这些。

转机出现在2006年前后。此时图形处理器GPU的计算能力开始大幅提升,大型数据集也不再那么稀缺。辛顿与合作者发表了一篇关于“深度信念网络”的论文,给出了一种通过逐层预训练来有效训练深度神经网络的方法。起初几年反响依然不算大,但引力中心已经开始悄然移动。他的周围渐渐重新聚拢起一小群痴心不改的学生和后辈,其中就包括伊尔亚·苏茨克维和亚历克斯·克里泽夫斯基。前者后来成为OpenAI的联合创始人和首席科学家,后者正是AlexNet的第一作者。

那个比赛的夜晚

图片
2012年的ImageNet大规模视觉识别挑战赛包含120万张图片,要分成一千个类别。当时主流的计算机视觉方法是费心手工设计特征提取器,准确率瓶颈已久,每年进步寥寥。苏茨克维和克里泽夫斯基在辛顿指导下,搭建了一个由卷积层构成的深度神经网络,用两块英伟达GPU训练了近一个星期。它完全从原始像素自学特征,中间没有任何人工设计的环节。

比赛结果出来时,AlexNet的正确率不仅夺冠,还较前一年冠军跃升近十个百分点。当时不少资深研究者直觉地意识到:这一刻之后,计算机视觉不会再回到过去了。后来辛顿在接受采访时说,他并不意外网络表现好,但“好到这个程度”还是远超预期。

被巨头追逐的学者

比赛结果传开后不久,世界各地的科技公司几乎同时意识到了深度学习的巨大潜力。一场对人才的争夺战瞬间打响。辛顿和他的学生们接到了无数电话和邮件。

图片

2013年,谷歌以数千万美元收购了辛顿与他的两名学生创立的DNNresearch公司。辛顿加入谷歌,同时保留多伦多大学的教职。此后数年他参与谷歌大脑项目,将深度学习应用于语音识别、翻译、搜索和计算机视觉等核心产品线。当年被嗤之以鼻的“无理论基础”方法,迅速长成了万亿级产业的中枢神经系统。

2018年,辛顿与本吉奥、勒坤一同获得图灵奖,神经网络终于获得计算机学界的最高正名。颁奖词写道:“他们在概念和工程上的突破,使深度神经网络成为计算的关键组成部分。”在获奖感言中,辛顿并不自诩先知,反而一再强调是因为学生们的努力,才让这一切成为可能。他说,让他感到最幸福的,是看到自己教过的年轻人,正在把不可能变为可能。

警告者的新角色

然而,当全世界将荣耀与掌声献给这位“深度学习教父”时,辛顿本人却在2023年做出了另一个令人惊讶的举动:他辞去了在谷歌的职位,开始公开谈论人工智能的潜在风险。

图片

他告诉媒体,自己过去曾认为真正通用的人工智能至少还有几十年,但大语言模型的表现改变了这个判断。他在多伦多大学的办公室里对着记者说:“我以为这些东西要到遥远的未来才会出现,我完全错了。”他担忧的不只是就业和虚假信息,而是更根本的问题:当模型真正比人类更聪明,人类如何保持对它的控制?作为一个研究大脑和智能数十年的学者,他比大多数批评者都更清楚这些系统正在变得多么强大。

与他共同获得图灵奖的本吉奥和勒坤在风险问题上观点并不完全一致,但辛顿仍然选择继续发声。朋友形容他说,这就像一个当初呕心沥血为灯塔添砖加瓦的人,现在却不停提醒远处的航船:光会越来越亮,但礁石还在,要小心方向。

长跑者的素描

多伦多大学的同事和学生说起辛顿,用得最多的词不是“天才”——尽管他当然配得上——而是“固执”与“温和”的奇特结合。他在学术上几乎从不随波逐流,但在待人上极少锋芒毕露。他指导研究生时,既有英式老派的客气,也会在关键时刻给出令人难堪的精准批评。

他有严重的背伤,常年不能久坐,很多工作都是站着完成的。他不用智能手机,大多数时候靠一台老旧的笔记本电脑工作。即使在病痛难忍的日子,他仍然会站在电脑前,修改学生的论文草稿,逐行写下批注。一个学生回忆说:“他不能坐,所以我们在实验室给他准备了一张高脚桌。他就站在那里,从下午一直站到深夜,和我们一起调模型。”

图片

在算法迭代以周为单位的技术世界,他的慢反而成了一种稀缺。他说过一句话,让许多曾经历过长夜的人深感触动:“如果你相信一件事从根本上说是正确的,那么你只需要坚持足够长的时间,等待世界追上来。”

未被磨掉的底色

回顾辛顿的一生,容易被简化为一个“天才被漠视最终得胜”的戏剧性叙事。但真实的版本更复杂。他没有被彻底否定——他始终有小笔经费、几个学生、发表论文的渠道。他也没有被完全遗忘——在认知心理学和神经科学的小圈子内,他的工作一直有读者。

真正罕见的是他的反应方式。他没有变得刻薄,没有去攻击符号主义的研究者,没有在经费被拒后大肆抱怨。他把几乎全部能量都用在了推进理论上。在多伦多大学一间没有空调的办公室里,他夏天开着窗扇,冬天加一件旧毛衣,日复一日地推导、实验、和学生讨论。这种耐心——可以在无人喝彩的情况下持续投入三十年的耐心——不是天赋,而是某种更深的东西。

他曾说过一段话,常被引用却很少被仔细琢磨:“我从父亲那里学到的最重要的一件事,就是真正的科学家不会因为别人不赞同就改变方向。我父亲研究甲虫一辈子,大多数人甚至不知道甲虫分类学是什么。但他不在乎。他关心的是甲虫,不是掌声。某种意义上说,他是我见过的最顽固的人。我想我继承了这个。”

那个在寄宿学校角落里观察蝮蛇的男孩,那个在剑桥反复更换专业寻找真正问题的漫游者,那个在人工智能的冬天孤守神经网络残火的研究者,那个在多伦多高脚桌前站到深夜的老人——他们最终是同一个人。他一生都在做一件事:不理睬噪声,专注于自己确信重要的方向,然后,以不可想象的长度坚持下去。

当年的嘲笑声早就散尽了。那条曾经空旷死寂的死胡同,现在挤满了全世界最聪明的脑袋、最多的资金和最亮的聚光灯。而最早站在那条胡同里的那个人,已经转身走向另一片未知的旷野——依然平静,依然带着那种不动声色的固执。他的背还很痛,但他仍然站着。

图片

文章精选:

1.编程时代已终结!ClaudeCode创始人断言:编程就像发短信一样自然,首曝个人最新工作流:自创Sloop循环,单日PR达150!传统SaaS护城河崩掉

2.HTML死了!前OpenAI工程师掀起网页革命:用AI将整个屏幕变成无限直播像素流,无一行html代码,网友:传统Web开发结束,前端真要失业了!
3.诺奖得主DeepMind掌门人最新访谈晓读:AI创业者护城河?AGI只差1-2个关键想法,最缺的不是算力,是这个
4.GPT之父把AI扔回1930年:没见过一行代码,却「发明」了Python!
5.图灵奖得主查尔斯·巴赫曼:他在数据未成海时,便为人工智能修好了岸
6.图灵奖得主理查德·萨顿(Richard Sutton)最新演讲:大模型只是一时狂热,AI的真正时代还没开始
7.图灵奖得主Bengio预言o1无法抵达AGI!Nature权威解读AI智能惊人进化,终极边界就在眼前
8.图灵奖得主、强化学习之父Rich Sutton:大语言模型是一个错误的起点
9.图灵奖得主杨立昆:大语言模型缺乏对物理世界的理解和推理能力,无法实现人类水平智能
10.压缩即是全部 —— 菲尔兹奖得主 Michael Freedman 给数学和 AI 的一封信

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/197771