AI浪潮：AI发展经历3次浪潮，深度学习从边缘到主流，带来AGI曙光｜GBAT 2023 大湾区智能时代产业峰会

第五届GBAT 2023 大湾区智能时代产业峰会，采用线上专题形式发布。2023年12月25日起，我们通过六合商业研选全网媒体矩阵，围绕智能时代主题，发布AI浪潮、算力演化、模型开悟、硬件进化、诸神之战5期专题文章。

智能时代大幕已启，未来将加速演进，让我们一起跟踪AI技术创新与产业发展，见证AI融入与改变人类生活，展望智能时代未来图景，共同迎接无限可能的新世界到来。

本期我们带来GBAT 2023 大湾区智能时代产业峰会第一篇报告AI浪潮，梳理AI发展史与3次浪潮，尤其是深度学习从边缘走向主流历程，分享给大家，enjoy！

正文：

全文3,968字

预计阅读8分钟

AI概念诞生已久，不断曲折发展。1956年，AI概念在美国达特茅斯会议上被首次提出，此后半个多世纪发展过程，经历多次高潮与低谷，在两者交织中曲折发展。

算力、算法、数据三者相互依赖，类似生产力、生产关系、生产资料，共同决定AI发展。算力，用于执行计算任务的硬件资源，是实现复杂AI算法至关重要的基础设施。算法，AI系统核心部分，决定AI如何从数据中学习、推理、执行任务，直接影响AI性能与效果。数据，训练AI的基础物资，丰富、高质量数据对训练与优化算法至关重要。

算力、算法、数据相互影响，AI发展呈现周期性起伏。随着通用电子计算机问世，更好的算力支持，为AI算法发展创造条件；当新算法被提出，需计算资源与数据进行训练与验证，此时算法发展可能超过算力与数据可用性，导致AI发展瓶颈；随者摩尔定律推动算力发展，数据爆发式增长，GPU、TPU等专用硬件问世，新算法得到更好应用，再次打开人们想象空间，AI浪潮再次来临。

回顾AI发展史，主要经历三次浪潮，目前以深度学习为代表的第三次浪潮蓬勃发展。AI第一次浪潮：20世纪50年代~70年代中期，注重机器逻辑推理能力。AI第二次浪潮：20世纪80年代~90年代初期，专家系统推动AI应用发展。AI第三次浪潮：20世纪90年代末期~至今，深度学习逐渐从早期边缘研究，成为AI主流技术，推动AI更全面发展与应用，为探索AGI带来曙光。

AI第一次浪潮：注重机器逻辑推理能力

AI第一次浪潮（20世纪50年代~70年代中期）：1956年夏天，美国达特茅斯学院举行历史上第一次AI研讨会，成为AI正式诞生标志，作为前沿新兴概念，人们对AI技术寄予厚望，催生AI第一次浪潮。

达特茅斯会议照片

1958 年，美国国防部高级研究计划局DARPA成立，开始对AI领域进行数百万美元投资，让计算机科学家们自由探索AI技术新领域，助力AI第一次浪潮；同年，达特茅斯会议发起者约翰·麦卡锡John McCarthy，组建全球第一个AI实验室，开发Lisp，成为后来30年AI领域最主要编程语言。

20世纪60年代，自然语言处理与人机对话技术突破性进展，大幅提升人们对AI期望。

第一次AI浪潮，主要围绕机器逻辑推理能力，总体成就有限。当时AI技术研发，通过引入符号方法，进行语义处理，将待研究与解决问题，转化为计算机能处理的符号，应用逻辑公理进行求解，主要用于解决代数、几何等问题。由于当时计算机性能与可获取数据量限制，AI发展与应用不达预期，进入第一次低谷期。

AI第二次浪潮：专家系统推动AI应用发展

AI第二次浪潮（20世纪80年代~90年代初期）：1968年，美国斯坦福大学教授爱德华·费根鲍姆Edward Feigenbaum，提出首个专家系统DENDRAL，随后专家系统被AI学者广泛采用，推动AI应用发展，孕育AI第二次浪潮。

专家系统

1980年，美国卡耐基梅隆大学为美国数字设备公司DEC，开发专家系统XCON，每年节省4,000万美元成本。

20世纪80年代开始，专家系统在多领域广泛使用，让AI变得更实用，建立专家系统的知识库系统与知识工程，成为当时主要研究方向。

1981年，日本东京大学计算机中心主任元冈达TohruMoto-Oka受日本政府所托，研究提出第五代计算机计划，旨在开发专家系统、自然语言处理、计算机视觉、并行推理机、逻辑编程语言等领域，以实现发展AI目标；随后，英国、美国纷纷响应，开始向第五代计算机研究，提供大量资金。

专家系统智能有限，AI进入第二次低谷期。专家系统性能受知识获取的限制，主要依托规则与知识库，需人工编写大量规则，同时升级难度高、维护成本居高不下，缺乏灵活性与推理能力；当时计算机处理能力受限，无法处理大规模数据与复杂模式识别任务。

AI第三次浪潮：深度学习成为主流，带来AGI曙光

AI第三次浪潮（20世纪90年代末期~至今）：1997年5月11日，IBM超级计算机深蓝Deep Blue，战胜国际象棋世界冠军卡斯帕罗夫，标志机器智能在某种程度上能超越人类智能，引发AI第三次浪潮，企业、学术界、政府纷纷加大对AI投入。

深蓝超级计算机战胜国际象棋世界冠军卡斯帕罗夫

这次AI浪潮中，深度学习大放异彩。深度学习是机器学习领域研究方向之一，起源自20世纪40年代开始的人工神经网络研究，经过80多年曲折发展，从早期边缘研究，逐渐成为AI领域主流技术。

深度学习作为 AI技术，持续创新发展，背后是算法、算力、数据三方面不断突破

算法方面，深度学习以算法为主线，主要经历三次兴衰。深度学习在人工神经网络基础上发展而来，经过1958年感知机Perceptron等早期神经网络结构探索；20世纪80年代，1980卷积神经网络CNN、1982年循环神经网络RNN、1985年玻尔兹曼机等多层网络结构开始出现；21世纪以来，2006年深度信念网络DBN、2014年生成对抗网络GAN、2017年Transformer架构的大型语言模型等不断发展，推动深度学习算法突破。

2006年，深度学习概念正式诞生，AI进入深度学习时代，助力大型语言模型兴起。2006年，深度学习三巨头之一杰弗里·辛顿Geoffrey Hinton团队，在《科学》发表论文，正式提出深度学习Deep Learning概念，推动深度学习真正成为系统性研究课题与理论框架，为后续研发奠定基础。

深度学习之后不断取代其他算法，广泛用于自然语言处理、计算机视觉、语音识别、时序分析等任务，取得超过先前技术的效果。

杰弗里·辛顿Geoffrey Hinton

2012年，在英伟达GPU支持下，深度学习实现重大突破，由此加速发展。Geoffrey Hinton带领学生Alex koshevsky、Elias suskaver，参加全球知名图片识别ImageNet比赛，通过在2个英伟达Geforce GTX 580 GPU上，使用1,400万张图片训练7天，成功构建深度神经网络模型AlexNet，识别准确率达80%，以压倒性优势取得冠军。

作为对比，谷歌猫项目使用1.6万个CPU，AlexNet创新性使用具有高并行计算能力的2个英伟达GPU，在算力与算法上都取得突破性贡献，带来震撼性影响力。

比赛后不久，Geoffrey Hinton团队创立仅数月的公司DNNResearch，计划对外出售，谷歌、微软、百度、DeepMind等参与竞拍。最终，谷歌以4,400万美元成功收购DNNResearch，对应Hinton三人团队人均估值1,467万美元。

AlexNet成功与DNNResearch竞拍，成为深度学习史上重要转折点，开启深度学习大爆发序幕，并从学术界主导转为产业界主导，科技巨头成为AI发展主力军，发展势头不仅没有丝毫减缓，反而一直在加速。

2012年前，深度学习基本上是学术研究，由大学学者引领；2012年后，全球科技公司大规模投资深度学习研发，大量AI创业公司创立、快速发展，越来越多顶尖学者加入谷歌、微软、OpenAI、DeepMind等公司。

2010年，DeepMind成立，总部位于英国伦敦，早期定位非盈利AI研发实验室，以开发AGI为长期目标。

2011年，Google Brain立项，著名计算机科学家杰夫·迪恩Jeff Dean、深度学习专家吴恩达是项目成员。

2013年，深度学习三巨头之一杨立昆Yann LeCun领导的Facebook AI研究实验室FAIR成立；同年，百度创立深度学习研究院IDL，成为中国最早做深度学习的团队。

2014 年，谷歌以4亿英镑/5亿美元，收购全球顶级AI研究机构DeepMind，2023年将DeepMind与Google Brain合并为Google DeepMind。

2015年，马斯克、Sam Altman、Ilya Sutskever、Greg Brockman等共同成立OpenAI，坚定探索AGI。

2016年，Google旗下DeepMind开发的AlphaGo，以4：1战胜世界顶级围棋选手李世石，实现AI领域重大突破。

2017年，谷歌提出基于自注意力机制Self-Attention的Transformer模型，首次将其用于自然语言处理领域。

2018年，谷歌、OpenAI分别推出基于Transformers的大型语言模型BERT、GPT-1，标志着大型语言模型形成完整研发体系与路径，引领AI技术进入大模型时代。

2022年11月30日，OpenAI发布生成式聊天大模型ChatGPT，展现令人惊叹的智能涌现能力，仅2个月，注册用户破亿，成为史上增长最快的消费级应用。

2023年以来，全球科技巨头以AI大模型为核心，掀起新一轮军备竞赛，AI大模型密集发布，性能持续提升，成为大国科技竞争新的主战场。

2023年7月，马斯克领导的团队宣布成立AI公司xAI，专注建立好的AGI，目标是理解宇宙真实本质，将与X/推特、特斯拉密切合作，成为数字超级智能的第三家竞争者。

算力方面，AI模型训练算力设备，经历从CPU到GPU，从单机到集群，再到专用芯片演进过程。

2007年，英伟达推出并行计算平台与编程模型CUDA，进一步发挥GPU方便、高效的并行计算能力，降低训练神经网络模型难度。

英伟达CUDA架构技术体系

2010年开始，学术界发现GPU用于模型训练，效率远超CPU，开始使用英伟达GPU用于模型训练。

2012年，Geoffrey Hinton团队通过英伟达GPU训练AlexNet深度神经网络模型后，AI相关研究开始越来越多采用GPU，逐渐成为模型训练主流方式。

2016年后，AI训练中使用大量GPU集群进行模型训练成为趋势；微软云、谷歌云、亚马逊AWS等平台，采用英伟达GPU，搭建计算集群，逐渐成为AI算力主要提供商；英伟达DPU、谷歌TPU等专用硬件相继问世，为模型训练提供更多选择。

GPU加持下，长期限制深度学习发展的算力瓶颈被很大程度突破，加上英伟达不断升级GPU架构，提升算力，满足深度学习指数级增长的算力需求。

从2012年AlexNet，到2016年深度残差网路ResNet，算力消耗增长近2个数量级；从2018年谷歌BERT，到2021年OpenAI GPT-3，算力消耗增长近4个数量级；2022年，OpenAI为训练ChatGPT，采用微软Azure云平台的1万多块英伟达A100 GPU；在此期间，受益神经网络技术进步，模型训练效率提升，节省不少算力，否则算力消耗会更夸张。

数据方面，神经网络模型相比其他AI技术，对数据规模要求更高，神经网络模型训练数据，整体从小规模专业数据集，逐步发展到海量多领域混合数据集。

20世纪90年代前，AI模型训练使用数据，主要由学者收集，基本属于学术研究，资金等限制下，数据集规模有限，成为影响模型性能瓶颈之一。

20世纪90年代开始，随着互联网兴起，部分网页与文本数据，开始用于模型训练。

21世纪以来，随着算法规模不断扩大与复杂化，AI模型需大量专业数据进行训练，ImageNet、Pascal等专业大数据集开始出现。

2012年后，随着科技巨头加大布局深度学习领域，加上移动互联网逐渐普及，各类电子设备与互联网应用产生海量数据，为AI模型训练提供丰富数据资源。AI模型训练，开始大规模采集互联网数据与自然语言资源，同时采用更广泛领域的混合多源数据，提升训练效果。

随着数据来源不断丰富，AI模型训练使用数据规模，不断指数级增长。OpenAI GPT系列模型为例，GPT-2采用网上共800万网页、超过40GB 文字资料进行训练；GPT-3采用45TB（1TB=1,024GB）数据进行训练，相比GPT-2数据量增加1,000倍以上。OpenAI官方未披露ChatGPT、GPT-4训练数据情况。

研究机构预测，机器学习数据集可能2026年前耗尽所有高质量语言数据，届时大模型为进一步发展，需收集、使用图像与视频等多模态数据进行训练，还有望借助大模型自己生成新数据等技术。

智能时代专题，欢迎扫描识别下方图中二维码或点击文末“阅读原文”购买