机器学习正在突破摩尔定律，Epoch 最新AI发展趋势预测

数据趋势

2028年前，人类的文本Token会被消耗殆尽

有多少文本可以用于训练？

Common Crawl (CC) 是一个广泛使用的爬取数据存储库，包含超过 100 万亿个 Token，大约是最大数据集的 10 倍。

Epoch AI 采用常用于研究搜索引擎的方法来估算索引网站的大小。使用CC等网络语料库计算词频，然后在Google搜索词频不同的单词，并记录每个单词的页面数量。由此计算出索引网络上大概有500万亿个Token，排除掉不适合LLM训练的数据集，最终网络文本库存将下降至 100 万亿个 Token。

那么何时会耗尽网络上的文本？在大概 100T Token上训练一个4个Epochs的模型大概会消耗~5e28 FLOP的计算资源，预计比GPT4高出3个数量级（OOMs），根据模型算法的增长速度，大概在2028年会达到这个临界点，如果过度训练，这一时间甚至会更早到来。

目前，Llama3 70B 表示其接受了 15 万亿个Token的训练，使其成为公开确认的拥有最大训练数据集的模型。

当然，还有一些未编入索引的“深层”网络和私人数据。Epoch AI估算，在Facebook、Instagram 和 WhatsApp 等社交媒体和消息应用中有约 3000T Token。

为了在 2028 年（或 5e28 FLOP）之后保持当前的进展速度，开发或改进替代数据源（如合成数据）似乎至关重要。尽管挑战仍然存在，但这些挑战可以使机器学习继续扩展到公共文本之外。

03.

硬件趋势：

ML 硬件的 FLOP/s 性能每 2.3 年翻一番

Epoch AI 使用 2010 年至 2023 年机器学习实验中常用的 47 个机器学习加速器（GPU 和其他 AI 芯片）来研究 GPU 等硬件的计算性能发现：

大型硬件集群对于最先进的 ML 模型训练和推理的整体性能取决于多种因素，包括 GPU 本身的计算性能、内存容量、内存带宽和互连。ML 硬件加速器中的 FLOP/s 性能每 2.3 年翻一番，内存容量和带宽每 4 年翻一番。

鉴于现代 ML 训练运行需要数千个芯片的有效交互，因此内存和互连带宽是利用大型分布式 ML 训练场景中的峰值计算性能的瓶颈。

使用硬件成本或估算的云成本计算 GPU 性价比：ML GPU 的计算性价比 [FLOP/$] 每 2.1 年翻一番，通用 GPU 每 2.5 年翻一番。

04.

算法趋势：

语言模型性能每 5 到 14 个月翻一番

在对 LLM 的算法升级进行研究时，Epoch AI发现，算法进步使得模型实现给定性能水平所需的计算量大约每 8 个月减 半，95% 的置信区间为 5 到 14 个月，再次超过摩尔定律。

尤其是两个特别值得注意的算法创新，一个是 Transformer 架构，他的引入相当于该领域近两年的算法进展。另一项创新是另一项创新是 Chinchilla 缩放定律的引入，相当于 8 到 16 个月的算法进展。

Epoch AI 在研究模型性能改善时，尝试归因算法的影响比重。其数据发现，计算效率的提高解释了自 2014 年以来语言建模性能改进的大约 35%，而计算规模的增加则解释了模型 65% 的性能改进。