Python社区  »  机器学习算法

2021顶尖技术专题报道 9:达到光速的深度学习

IEEE电气电子工程师 • 7 月前 • 58 次点击  

2011年,风险投资公司安德森霍洛维茨(Andreessen Horowitz)的普通合伙人马克•安德森(Marc Andreessen)在《华尔街日报》发表了一篇颇具影响力的文章,题为《为什么软件正在吞噬世界》。10年后的今天,正在吞噬世界的是深度学习。
深度学习(也就是具有许多隐藏层的人工神经网络)经常带来让人惊讶不已的解决现实问题的方案。它涉猎的领域越来越多,包括自然语言处理、欺诈检测、图像识别和自动驾驶。事实上,这些神经网络正在变得越来越好。
不过,取得这些进步的代价是计算资源和能源的大量消耗。因此,工程师和计算机科学家正在努力寻找更有效的方法来训练和运行深度神经网络。
今年,一项雄心勃勃的新战略即将浮出水面,即用光子代替电子来进行必要的数学计算。一家名为Lightmatter的公司将于今年晚些时候开始销售一种用光计算的神经网络加速器芯片。它是该公司去年8月在热门芯片(Hot Chips)虚拟大会上展示的Mars芯片原型的改进版本。
虽然商用深度学习光学加速器的开发是一项了不起的成就,但用光进行计算的总体思路并不新鲜。20世纪60年代和70年代,工程师们就经常采用这种策略,当时电子数字计算机不够强大,无法执行处理合成孔径雷达数据所需的复杂计算,所以他们在模拟域中用光处理数据。
后来由于摩尔定律在数字电子技术方面的发展,光计算从未真正流行起来,虽然光在用作数据通信的载体方面具有优势地位。不过,这一切即将改变:随着深度学习的计算需求激增,摩尔定律可能即将走向终点。
解决这个问题的方法并不多。当然,深度学习研究人员可以开发出更有效的算法,但很难想象这些成果是否足够。Lightmatter的首席执行官尼古拉斯•哈里斯(Nicholas Harris)说:“我们不可能把一群理论家关在一个房间里,让他们每18个月提出一个更好的算法。”因此,他和他的同事正在致力于“开发一种不依赖晶体管的新计算技术”。

那么它依靠什么呢?

Lightmatter芯片的基本元件是马赫-曾德尔干涉仪。这种光学装置是19世纪90年代由路德维希•马赫(Ludwig Mach)和路德维希•曾德尔(Ludwig Zehnder)共同发明的,但这种光学装置直到最近才小型化,可大量集成到芯片中,并用于执行神经网络计算中涉及的矩阵乘法。

纽约哥伦比亚大学的电气工程学教授、光波研究实验室主任凯伦•伯格曼(Keren Bergman)解释道,由于制造通信光子芯片所需要的集成光子学制造生态系统的成熟,这些壮举直到近几年才成为可能。30年前你能在工作台上做的事情,现在他们都可以在芯片上完成。”她说。

处理光携带的模拟信号可以大幅降低能源成本并提高计算速度,但其精度无法与数字域相比。“我们有一个8位等效系统。”哈里斯说。这使他公司的芯片仅限用于神经网络推理计算——网络经过训练后进行的计算。哈里斯和他的同事希望有一天他们的技术也能应用到神经网络的训练中,但是训练要求的精度比他们的光学处理器现在能实现的精度要高。
Lightmatter并不是唯一一家寻求利用光进行神经网络计算的企业。其他从事这方面研究的初创企业包括Fathom Computing、LightIntelligence、LightOn、Luminous和Optalysis。其中,Luminous希望将光学计算应用到脉冲神经网络,这种网络利用了大脑神经元处理信息的方式,它也许可以解释为什么人类大脑只用十几瓦左右的功率就能做出非凡的事情。

Luminous预计将在2022年至2025年间开发实用系统。因此,我们还需要等几年,看看它的做法会有什么结果。许多人都对它的前景很感兴趣,包括该公司的知名投资者比尔•盖茨。

不过,很明显,人工智能系统的专用计算资源无法一直保持当前每3到4个月就翻一番的增长速度。现在,工程师们都希望能够利用集成光子学来解决这一挑战,开发出与传统电子芯片有着巨大不同的新计算机器,而传统电子芯片目前能够实现实际生产。伯格曼表示:“我们有能力制造出过去只能想象的设备。”

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/114839
 
58 次点击  
分享到微博