社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

深度学习崛起那年,百度差点签下了这位大神...

GitHubDaily • 5 年前 • 535 次点击  
公众号关注 “GitHubDaily”
设为 “星标”,每天带你逛 GitHub!


来自机器之心
一天傍晚,他们望向窗外。两架飞机交叉飞过,在山峰上空留下一个巨大的「X」形的尾迹。他们兴奋地思考着这其中的含义,然后才想起来谷歌总部就建在一个名叫「山景城」的地方。「这是不是表示我们应该加入谷歌?」Hinton 问道,「还是暗示我们不要去?」

这是神经网络之父 Geoffrey Hinton 和他的两个学生 ——Alex Krizhevsky 、Ilya Sutskever—— 之间的一段对话。对话发生在 2012 年 12 月。对于整个人工智能领域来说,这是非常重要的一个年份。

在这一年的 ImageNet 挑战赛上,Hinton 和 Krizhevsky、Sutskever 提出的深度神经网络 AlexNet 一骑绝尘,将图像分类的错误率降低了一半,以远超第二名的成绩拿到了比赛的冠军,证明了深度学习的巨大潜力。

Ilya Sutskever(左)、Alex Krizhevsky(中)和 Geoffrey Hinton(右)。

如此重大的进展自然逃不过科技巨头的敏锐触角。论文刚发出几天,Hinton 就收到了一封来自中国的电子邮件。发信者是余凯,彼时,他刚刚加入百度,领导新成立的多媒体部。

余凯和 Hinton 相识于加拿大的一个学术研讨会,两人的共同之处在于:他们都相信神经网络存在巨大潜力。在看到论文之后,余凯告诉百度高层,他们应该尽快招募 Hinton。通过这封电子邮件,余凯把 Hinton 引荐给了百度的一位副总裁,这位副总裁立即给出了高达 1200 万美元的 offer,邀请 Hinton 和他的学生为百度工作几年。

但与此同时,其他科技科技巨头也在给 Hinton 的办公室打电话,一场人才争夺战就此展开。从今天的角度来看,这场争夺战不仅决定了 Hinton、Krizhevsky、Sutskever 三人的去留,也是一把发令枪,标志着巨头之间的深度学习军备竞赛就此拉开帷幕。

很长一段时间里,外界都不知道究竟有哪些巨头参与了这场争夺战,也不知道他们以怎样的形式展开交锋。但最近出版的一本新书为我们揭开了这一谜底。


这本书的作者是《纽约时报》记者 Cade Metz,书中描写了几家科技巨头围绕 Hinton 等人展开的一场 AI 人才与技术竞争。虽然 Hinton 和几家参与竞标的公司签署了保密协议,但时过境迁,AI 赛道的几个头部玩家早已站稳脚跟,这些往事也就没有了保密的必要。透过《连线》关于此书的一篇报道,我们可以大体知道当年究竟发生了什么。

四家巨头的角逐

前面说到,AlexNet 的问世让全世界都看到了深度学习的巨大潜力,百度也在第一时间给出了 1200 万美元的 offer。但就在双方即将达成协议之际,Hinton 犹豫了,因为美国的几家巨头也向他抛出了橄榄枝。

在两个学生的激励下,Hinton 意识到,百度及其竞争对手更有可能斥巨资收购一家公司,而不是花同样的钱从学术界雇佣几个新员工。于是,Hinton 就创建了自己的公司,并将其命名为 DNNresearch。

但是,这家公司只有三名员工,没有产品,也没有历史,怎么才能卖个好价钱呢?Hinton 带着这个问题去咨询了律师。律师给出了两条建议,一是聘请一位谈判专家,但是这个做法有激怒潜在买家的风险;二是组织一场竞拍,价高者得。权衡利弊之后,Hinton 等人选择了后者。

Hinton 将竞拍的时间选在了 2012 年的 12 月份,这也是当年的 NeurIPS 大会举办的时间。在他看来,那年的 NeurIPS 大会是举行高风险拍卖的理想场所,因为大会地点就选在两家著名的赌场酒店 Harrahs 和 Harveys。

对于 Hinton 来说,这趟从加拿大到美国的旅程并不轻松,因为他只能躺在交通工具上,否则就会有椎间盘突出的风险。

拍卖周前夕,谷歌高级副总裁 Alan Eustace 驾驶自己的双引擎飞机降落在机场,与他一起代表谷歌的还有 Jeff Dean。百度派出的代表则是余凯。其他几个潜在买家还包括微软和刚成立两年的 DeepMind。

整个竞拍过程通过电子邮件的方式进行,竞标者们并不知道彼此的身份,只和 Hinton 团队单独见面或沟通。

Hinton 在自己下榻的 Harrah 酒店 731 房间里主持竞拍。他每天都会为下一轮竞标设定一个时间,然后和他的学生在笔记本电脑上查看竞标数据。为了方便 Hinton 站着打字,他们把两个垃圾桶倒扣在床尾的书桌上,然后把笔记本电脑架在上面。

拍卖规则很简单:在每轮出价之后,四家公司都有一个小时的时间将出价提高至少 100 万美元。一小时后,如果没有人给出更好的价格,竞拍就结束了。

第一个出局的是 DeepMind。这家公司给出的筹码是自己的股票,而非现金。

从 1500 万到 2000 万,DNNresearch 的身价不断攀升。中途,微软也退出过一次,但之后又回来了。

到了 2200 万美元,Hinton 暂停了竞拍并与其中一家公司展开了讨论。

半小时后,微软再次退出,只剩下百度和谷歌两家公司。

在新一轮的出价中,DNNresearch 身价涨到了 2400 万美元。百度总部的高管开始亲自参与竞标。

竞拍过程中,余凯会时不时地到 Hinton 的房间转一转,希望打听到哪怕一点点消息。但他不知道的是,他的每次到来都会让 Hinton 的两个学生手忙脚乱。

酒店所在的太浩湖空气又冷又干,Hinton 在这样的环境中很容易生病。因此,他在酒店房间自制了一套加湿器 —— 把沙发垫子铺在床边,中间盖上熨衣板等比较长的物体,然后再把湿毛巾铺在上面。但是,Hinton 不想让余凯等科技巨头代表看到这套设备。用他自己的话来说就是:「我不想让他们看到我又老又衰( old and decrepit)」。因此,余凯每来一次,Hinton 的学生就要收拾一次。他还跟两个收床垫的学生说:「这是副总裁才能干的活儿。」

有一次,余凯离开房间时没有带背包。Hinton 和他的学生注意到了这个背包,他们想,要不要打开它?看看百度到底愿意出多少钱。但他们知道这样做不对,所以后来也没有打开。

随着拍卖过程的深入,他们很快发现,百度总是愿意出更高的价格:2500 万美元、3000 万美元、3500 万美元。后来,Hinton 把竞价窗口时间从 1 小时缩短到 30 分钟。随后出价迅速攀升到了 4000 万美元、4100 万美元、4200 万美元、4300 万美元。

Hinton 说:「感觉我们就像在电影里一样。」价格在午夜时分达到了 4400 万美元。这一刻,他再次暂停竞标,他需要睡觉。第二天, 大约在投标开始前 30 分钟,Hinton 发了一封电子邮件说开始时间要推迟一会儿。

大约一个小时后,他又发了一封宣告拍卖结束的邮件。Hinton 决定把他的公司卖给谷歌,而不是继续抬高价格。在给百度的电子邮件中,他说公司发送的任何其他信息都会转发给他的新雇主,但他没有说雇主是谁。

一场新的比赛开始了

Hinton 的背不好,他应该不会去中国。余凯猜到 Hinton 最终会去谷歌,或者至少是一家美国公司,但百度位列「竞拍者」之席总归是一件好事。在这次拍卖过程中,他们意识到深度学习技术将在未来的几年变得非常重要。


当 Hinton 宣布自己将以 4400 万美元的价格停止拍卖时,竞标者们认为他是在开玩笑 —— 难道 Hinton 会放弃源源不断的美元?

其实对他来说,为自己的研究找到合适的归属比要价更重要。他们是学者,不是企业家,更忠于自己的想法,而不是其他任何东西。

Hinton 没有意识到他们的想法多么值钱,也没人意识到深度学习的兴起对全球科技发展的深远影响。深度学习让机器可以从大量的数据中学习经验并加以应用,甚至无人能够真正理解其背后的工作原理。其结果是一种新的计算类型,不仅比以前的任何东西都更强大,而且更神秘和不可预测。

但败也败在这种强大的能力,随着谷歌等多个科技巨头采用这项技术,越来越多的人意识到深度学习技术同时也学习了研究者本身的偏见。

竞拍结束后,余凯登上了回北京的航班,同在这一航班上的还有华人学者邓力。邓力也参加了 Hinton 的拍卖,代表的是微软。两人花了几个小时的时间讨论深度学习的崛起。但由于参与的是保密竞拍,双方都尽量规避与此次竞拍相关的话题。虽然没有明说,但两人都知道,新的竞争即将到来,这场拍卖就好比一声发令枪。他们的公司都要开始正视谷歌在深度学习领域的重大举措了。

这是一场全球军备竞赛的开始,在几年内以看似荒谬的方式迅速升级。

起初,这场竞赛只吸引了一小部分科学家,这些人主要分布在参与 Hinton 拍卖的四家公司。后来的事情我们也知道了,他们的研究工作大部分成为了科技行业的焦点。

彼时默默无闻的伦敦初创公司 DeepMind,在后来的十年内成长为最著名和最有影响力的 AI 实验室,其动力来自联合创始人 Demis Hassabis 的远大理想:制造能够实现通用 AI 的机器。Hinton 和 Hassabis 对这一目标的想法有些出入,但 2014 年 1 月,谷歌收购了 DeepMind,他们开始在同一家母公司的伞下从事研究工作。 

最终,Facebook 和一家名为 OpenAI 的初创公司也将加入竞争,微软在 2019 年向后者投资了 10 亿美元用于开发通用 AI 平台。这些入局者之间的竞争将极大地加速人工智能的进步,包括对话数字助手、自动驾驶汽车、智能机器人、医疗保健等方面的应用,远远超过了 Hinton 团队的初衷。

离开 731 房间后,Hinton 登上了一列火车,准备返回多伦多 —— 他仍然没有坐下。多年后,在 2017 年,当他被要求透露竞标他的初创公司的公司时,他以自己的方式回答了。

「我签了合同,永远不会透露我们和谁谈过。我和微软签了一个,和百度签了一个,和谷歌签了一个。」他没有提及 DeepMind,这意味着一些拍卖参与者直到现在才拿到当年竞争对手的完整名单。

参考链接:
https://www.wired.com/story/secret-auction-race-ai-supremacy-google-microsoft-baidu/
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/110344