深度学习现在有许多普遍的技术应用，比如用于语言翻译、预测蛋白质折叠、分析医学扫描以及玩围棋等复杂的游戏等。在这些领域和其他领域的成功使这种机器学习技术从21世纪初的默默无闻发展到了今天的主导地位。
尽管深度学习的成名时间相对较短，但其起源却并非如此。1958 年，当大型计算机充满房间并在真空管上运行时，受大脑神经元之间互连的知识启发，康奈尔大学的Frank Rosenblatt设计了第一个人工神经网络；他将其描述为“模式识别设备”。但Rosenblatt的想法远远超过了他那个时代的硬件承载能力——他本人也清楚这一点。甚至他的就职论文也被迫承认神经网络对计算能力的贪婪需求，并不得不哀叹随着网络中连接数量的增加......传统数字计算机的负担很快就会变得过重。
幸运的是，这种人工神经网络后来被重新命名为“深度学习”，当它们包括额外的神经元层时，几十年的摩尔定律和计算机硬件的其他改进使计算机在一秒钟内可以完成的计算量增加了约1000万倍。因此，当研究人员在21世纪末重返深度学习时，他们拥有了足以应对挑战的工具。
这些功能更强大的计算机使构建具有大量连接和神经元的网络成为可能，从而增强了对复杂现象建模的能力。研究人员在将深度学习应用于新任务时，利用这种能力打破了一个又一个记录。
虽然深度学习的兴起可能是昙花一现，但它的未来可能是坎坷的。与之前的Rosenblatt一样，今天的深度学习研究人员正在接近他们的工具能够实现的前沿。要理解这将重塑机器学习的原因，您必须首先理解为什么深度学习如此成功，以及保持这种方式的成本。
深度学习是人工智能长期趋势的现代体现，这种趋势已经从基于专家知识的简化系统转向灵活的统计模型。早期的人工智能系统是基于规则的，应用逻辑和专家知识得出结果。后来的系统结合了设置可调参数的学习，但通常数量很少。
今天的神经网络也学习参数值，但这些参数是如此灵活的计算机模型的一部分，如果它们足够大，它们将成为通用函数近似器，这意味着它们可以适应任何类型的数据。这种无限的灵活性正是深度学习可以应用于如此多不同领域的原因。
神经网络的灵活性来自于将许多数据输入模型并让网络以多种方式将它们组合起来。这意味着输出不会是应用简单公式的结果，而是非常复杂的关联结果。
例如，当尖端图像识别系统Noised Student将图像的像素值转换为图像中对象的概率时，它使用具有4.8亿个参数的网络进行转换。确定如此大量参数值的培训更为显著，因为它只使用了120万张带标签的图像。
深度学习模型过于参数化，也就是说，它们的参数比可用于训练的数据点多。传统上，这会导致过度拟合，模型不仅可以了解一般趋势，还可以了解训练数据的随机变化。深度学习通过随机初始化参数，然后使用称为随机梯度下降的方法迭代调整参数集以更好地拟合数据，从而避免了这种陷阱。令人惊讶的是，这一过程已被证明可以确保所学模型具有良好的泛化能力。
灵活的深度学习模式的成功可以从机器翻译中看出。几十年来，软件一直被用来将文本从一种语言翻译成另一种语言。早期解决这个问题的方法是使用语法专家设计的规则。但随着越来越多的文本数据在特定语言中可用，可以应用统计方法等深奥的名称。
最初，对每种语言最有效的方法因数据可用性和语法特性而异。例如，最初在翻译乌尔都语、阿拉伯语和马来语等语言时，基于规则的方法优于统计方法。如今，所有这些方法都被深度学习所超越，深度学习几乎在任何应用到它的地方都证明了自己的优越性。
然而，就深度学习而言，有一个好消息和一个坏消息。好消息是深度学习提供了巨大的灵活性；坏消息是这种灵活性带来了巨大的计算成本。
更多相关内容，可点击“阅读原文”，或输入以下网址进行查看：https://spectrum.ieee.org/deep-learning-computational-cost
