来自The Information的猛料：ChatGPT的训练好-20241111101222

来自The Information的猛料：ChatGPT的训练好像卡住了⋯⋯

- 先说乐观的，OpenAI的下一代模型GPT-Orion虽然只完成了20%的训练，但它的能力已经和GPT-4持平了；

- 但是——没错，但是来了——和GPT-3到GPT-4之间的飞跃进步相比，GPT-Orion的提升要小很多，所以它配不上GPT-5这个命名；

- 更坏的消息是，GPT-Orion的成本更高，它对语言的理解更好，但在编码上可能还不如老模型那样可靠；

- GPT-Orion的困境可能破坏了AI行业的一个核心假设，即只要有更多的数据和算力，大模型就能以不衰减的速度变聪明；

- OpenAI和Meta都开始以底层技术没有突破的前提下开发产品，比如接管个人电脑和浏览器去模拟用户执行真实操作的功能；

- 最大的问题在于互联网上的数据早就被用得精光了，GPT-Orion大量依赖合成数据——也就是AI自己生成的内容——来做训练，结果导致了内卷；

- 内卷的表现就是烧钱训练出来的新模型越来越像旧模型，原因不难猜到，因为它的数据都是由旧模型提供的，一切学习都在原地踏步；

- ChatGPT新尝试的推理链在科研行业表现很不错，很多科学家和数学家都在使用，但因为成本是通用模型的6倍以上，很难被大众市场接受；

- OpenAI的股东Ben Horowitz已经开始抱怨，说公司采购GPU的数量持续增长，但根本上的AI智商没有同步提高；

- 深度接入主流大模型的数据商Databricks表示，AI在多步骤任务上还有改进空间，但是日常类型的任务，比如情感对话这种，已经没有进展了；

- 总结是，大模型进入了平台期，需要想办法获取更多的真实数据，合成数据起不到作用了。

* 这篇报道在行业内争议很大，很多从业者都跳出来表示不信谣不传谣，反对AGI虚无主义传播，so⋯⋯兼听则明。