Py学习  »  机器学习算法

深度学习崛起那年,百度差点签下了这位大神...

GitHubDaily • 3 年前 • 219 次点击  
公众号关注 “GitHubDaily”
设为 “星标”,每天带你逛 GitHub!


来自机器之心
一天傍晚,他们望向窗外。两架飞机交叉飞过,在山峰上空留下一个巨大的「X」形的尾迹。他们兴奋地思考着这其中的含义,然后才想起来谷歌总部就建在一个名叫「山景城」的地方。「这是不是表示我们应该加入谷歌?」Hinton 问道,「还是暗示我们不要去?」

这是神经网络之父 Geoffrey Hinton 和他的两个学生 ——Alex Krizhevsky 、Ilya Sutskever—— 之间的一段对话。对话发生在 2012 年 12 月。对于整个人工智能领域来说,这是非常重要的一个年份。

在这一年的 ImageNet 挑战赛上,Hinton 和 Krizhevsky、Sutskever 提出的深度神经网络 AlexNet 一骑绝尘,将图像分类的错误率降低了一半,以远超第二名的成绩拿到了比赛的冠军,证明了深度学习的巨大潜力。

Ilya Sutskever(左)、Alex Krizhevsky(中)和 Geoffrey Hinton(右)。

如此重大的进展自然逃不过科技巨头的敏锐触角。论文刚发出几天,Hinton 就收到了一封来自中国的电子邮件。发信者是余凯,彼时,他刚刚加入百度,领导新成立的多媒体部。

余凯和 Hinton 相识于加拿大的一个学术研讨会,两人的共同之处在于:他们都相信神经网络存在巨大潜力。在看到论文之后,余凯告诉百度高层,他们应该尽快招募 Hinton。通过这封电子邮件,余凯把 Hinton 引荐给了百度的一位副总裁,这位副总裁立即给出了高达 1200 万美元的 offer,邀请 Hinton 和他的学生为百度工作几年。

但与此同时,其他科技科技巨头也在给 Hinton 的办公室打电话,一场人才争夺战就此展开。从今天的角度来看,这场争夺战不仅决定了 Hinton、Krizhevsky、Sutskever 三人的去留,也是一把发令枪,标志着巨头之间的深度学习军备竞赛就此拉开帷幕。

很长一段时间里,外界都不知道究竟有哪些巨头参与了这场争夺战,也不知道他们以怎样的形式展开交锋。但最近出版的一本新书为我们揭开了这一谜底。


这本书的作者是《纽约时报》记者 Cade Metz,书中描写了几家科技巨头围绕 Hinton 等人展开的一场 AI 人才与技术竞争。虽然 Hinton 和几家参与竞标的公司签署了保密协议,但时过境迁,AI 赛道的几个头部玩家早已站稳脚跟,这些往事也就没有了保密的必要。透过《连线》关于此书的一篇报道,我们可以大体知道当年究竟发生了什么。

四家巨头的角逐

前面说到,AlexNet 的问世让全世界都看到了深度学习的巨大潜力,百度也在第一时间给出了 1200 万美元的 offer。但就在双方即将达成协议之际,Hinton 犹豫了,因为美国的几家巨头也向他抛出了橄榄枝。

在两个学生的激励下,Hinton 意识到,百度及其竞争对手更有可能斥巨资收购一家公司,而不是花同样的钱从学术界雇佣几个新员工。于是,Hinton 就创建了自己的公司,并将其命名为 DNNresearch。

但是,这家公司只有三名员工,没有产品,也没有历史,怎么才能卖个好价钱呢?Hinton 带着这个问题去咨询了律师。律师给出了两条建议,一是聘请一位谈判专家,但是这个做法有激怒潜在买家的风险;二是组织一场竞拍,价高者得。权衡利弊之后,Hinton 等人选择了后者。

Hinton 将竞拍的时间选在了 2012 年的 12 月份,这也是当年的 NeurIPS 大会举办的时间。在他看来,那年的 NeurIPS 大会是举行高风险拍卖的理想场所,因为大会地点就选在两家著名的赌场酒店 Harrahs 和 Harveys。

对于 Hinton 来说,这趟从加拿大到美国的旅程并不轻松,因为他只能躺在交通工具上,否则就会有椎间盘突出的风险。

拍卖周前夕,谷歌高级副总裁 Alan Eustace 驾驶自己的双引擎飞机降落在机场,与他一起代表谷歌的还有 Jeff Dean。百度派出的代表则是余凯。其他几个潜在买家还包括微软和刚成立两年的 DeepMind。

整个竞拍过程通过电子邮件的方式进行,竞标者们并不知道彼此的身份,只和 Hinton 团队单独见面或沟通。

Hinton 在自己下榻的 Harrah 酒店 731 房间里主持竞拍。他每天都会为下一轮竞标设定一个时间,然后和他的学生在笔记本电脑上查看竞标数据。为了方便 Hinton 站着打字,他们把两个垃圾桶倒扣在床尾的书桌上,然后把笔记本电脑架在上面。

拍卖规则很简单:在每轮出价之后,四家公司都有一个小时的时间将出价提高至少 100 万美元。一小时后,如果没有人给出更好的价格,竞拍就结束了。

第一个出局的是 DeepMind。这家公司给出的筹码是自己的股票,而非现金。

从 1500 万到 2000 万,DNNresearch 的身价不断攀升。中途,微软也退出过一次,但之后又回来了。

到了 2200 万美元,Hinton 暂停了竞拍并与其中一家公司展开了讨论。

半小时后,微软再次退出,只剩下百度和谷歌两家公司。

在新一轮的出价中,DNNresearch 身价涨到了 2400 万美元。百度总部的高管开始亲自参与竞标。

竞拍过程中,余凯会时不时地到 Hinton 的房间转一转,希望打听到哪怕一点点消息。但他不知道的是,他的每次到来都会让 Hinton 的两个学生手忙脚乱。

酒店所在的太浩湖空气又冷又干,Hinton 在这样的环境中很容易生病。因此,他在酒店房间自制了一套加湿器 —— 把沙发垫子铺在床边,中间盖上熨衣板等比较长的物体,然后再把湿毛巾铺在上面。但是,Hinton 不想让余凯等科技巨头代表看到这套设备。用他自己的话来说就是:「我不想让他们看到我又老又衰( old and decrepit)」。因此,余凯每来一次,Hinton 的学生就要收拾一次。他还跟两个收床垫的学生说:「这是副总裁才能干的活儿。」

有一次,余凯离开房间时没有带背包。Hinton 和他的学生注意到了这个背包,他们想,要不要打开它?看看百度到底愿意出多少钱。但他们知道这样做不对,所以后来也没有打开。

随着拍卖过程的深入,他们很快发现,百度总是愿意出更高的价格:2500 万美元、3000 万美元、3500 万美元。后来,Hinton 把竞价窗口时间从 1 小时缩短到 30 分钟。随后出价迅速攀升到了 4000 万美元、4100 万美元、4200 万美元、4300 万美元。

Hinton 说:「感觉我们就像在电影里一样。」价格在午夜时分达到了 4400 万美元。这一刻,他再次暂停竞标,他需要睡觉。第二天, 大约在投标开始前 30 分钟,Hinton 发了一封电子邮件说开始时间要推迟一会儿。

大约一个小时后,他又发了一封宣告拍卖结束的邮件。Hinton 决定把他的公司卖给谷歌,而不是继续抬高价格。在给百度的电子邮件中,他说公司发送的任何其他信息都会转发给他的新雇主,但他没有说雇主是谁。

一场新的比赛开始了

Hinton 的背不好,他应该不会去中国。余凯猜到 Hinton 最终会去谷歌,或者至少是一家美国公司,但百度位列「竞拍者」之席总归是一件好事。在这次拍卖过程中,他们意识到深度学习技术将在未来的几年变得非常重要。


当 Hinton 宣布自己将以 4400 万美元的价格停止拍卖时,竞标者们认为他是在开玩笑 —— 难道 Hinton 会放弃源源不断的美元?

其实对他来说,为自己的研究找到合适的归属比要价更重要。他们是学者,不是企业家,更忠于自己的想法,而不是其他任何东西。

Hinton 没有意识到他们的想法多么值钱,也没人意识到深度学习的兴起对全球科技发展的深远影响。深度学习让机器可以从大量的数据中学习经验并加以应用,甚至无人能够真正理解其背后的工作原理。其结果是一种新的计算类型,不仅比以前的任何东西都更强大,而且更神秘和不可预测。

但败也败在这种强大的能力,随着谷歌等多个科技巨头采用这项技术,越来越多的人意识到深度学习技术同时也学习了研究者本身的偏见。

竞拍结束后,余凯登上了回北京的航班,同在这一航班上的还有华人学者邓力。邓力也参加了 Hinton 的拍卖,代表的是微软。两人花了几个小时的时间讨论深度学习的崛起。但由于参与的是保密竞拍,双方都尽量规避与此次竞拍相关的话题。虽然没有明说,但两人都知道,新的竞争即将到来,这场拍卖就好比一声发令枪。他们的公司都要开始正视谷歌在深度学习领域的重大举措了。

这是一场全球军备竞赛的开始,在几年内以看似荒谬的方式迅速升级。

起初,这场竞赛只吸引了一小部分科学家,这些人主要分布在参与 Hinton 拍卖的四家公司。后来的事情我们也知道了,他们的研究工作大部分成为了科技行业的焦点。

彼时默默无闻的伦敦初创公司 DeepMind,在后来的十年内成长为最著名和最有影响力的 AI 实验室,其动力来自联合创始人 Demis Hassabis 的远大理想:制造能够实现通用 AI 的机器。Hinton 和 Hassabis 对这一目标的想法有些出入,但 2014 年 1 月,谷歌收购了 DeepMind,他们开始在同一家母公司的伞下从事研究工作。 

最终,Facebook 和一家名为 OpenAI 的初创公司也将加入竞争,微软在 2019 年向后者投资了 10 亿美元用于开发通用 AI 平台。这些入局者之间的竞争将极大地加速人工智能的进步,包括对话数字助手、自动驾驶汽车、智能机器人、医疗保健等方面的应用,远远超过了 Hinton 团队的初衷。

离开 731 房间后,Hinton 登上了一列火车,准备返回多伦多 —— 他仍然没有坐下。多年后,在 2017 年,当他被要求透露竞标他的初创公司的公司时,他以自己的方式回答了。

「我签了合同,永远不会透露我们和谁谈过。我和微软签了一个,和百度签了一个,和谷歌签了一个。」他没有提及 DeepMind,这意味着一些拍卖参与者直到现在才拿到当年竞争对手的完整名单。

参考链接:
https://www.wired.com/story/secret-auction-race-ai-supremacy-google-microsoft-baidu/
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/110344
 
219 次点击