社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

“额度想重置就重置”,Codex负责人Tibo谈OpenAI幕后:产品没做好就补偿、ChatGPT与Codex合并、暂停部分前沿模型RL训练

AI思想会 • 昨天 • 16 次点击  
【前言】AI 正以前所未有的速度发展,新的机遇不断涌现,如果你希望:与技术专家、产品经理和创业者深度交流,一起探索 AI如何改变各行各业。欢迎在文末扫二维码,加入「AI思想会」交流群,和一群志同道合的伙伴共同学习、思考、创造!

出品 | CSDN(ID:CSDNnews)
  • “只要我认为时机合适,随时都可以按下那个「重置」按钮。”

  • “我不太关注竞争对手,我真正看重的是我们能独特地做好什么,我们的价值观是什么,以及我们如何最大限度地向这些目标加速。”

  • “未来的模型显然需要比单台笔记本电脑更多的资源。”

  • ......

最近频频在 X 上宣布为用户重置 Codex 使用额度的 Tibo Sottiaux,又抛出了不少耐人寻味的观点。

作为 OpenAI 产品负责人,Tibo 曾在 Google DeepMind 工作,如今则负责 OpenAI 核心产品,亲历了从早期语言模型到 ChatGPT、Codex 等产品不断演进的过程。更有意思的是,他口中的那个“重置按钮”,甚至真的被做成了一枚实体按钮——在他看来,只要产品体验出了问题,或者用户值得获得一些补偿,他就可以直接按下去。

时下,他在接受科技博主 Matthew Berman 的最新一期访谈,罕见地聊起了不少 OpenAI 产品和模型研发背后的故事:从 ChatGPT 与 Codex 为什么最终走向合并,到未来 AI Agent 会变成什么样;再到为什么 Sam Altman 曾叫停部分前沿模型的强化学习(RL)训练,Tibo 几乎把 OpenAI 如何做产品、做模型以及分配资源的思考,都摆到了台面上。

而这些看似分散的话题背后,其实都指向一个更大的问题:当 AI 能力以越来越快的速度向前发展,OpenAI 究竟该如何判断什么值得做、什么值得投入,又该如何在不断变化的技术浪潮中找到自己的位置?

这场访谈里,Tibo 给出了他的答案。

图片

完整采访:https://www.youtube.com/watch?v=4qjEgPojjzM


图片

DeepMind 早有 ChatGPT 级产品,只是不敢发

Matthew Berman:Tibo,非常感谢你接受我的采访。

Tibo:当然,很高兴来到这里。

Matthew Berman:我想先从你在 Google 的那段经历聊起。当时你在 DeepMind 团队。其实在 ChatGPT 出现之前,Google 内部就已经有一个叫 LMChat 的项目。你曾在推特上提到,Google 当时太过谨慎,不敢把它发布出来,甚至还禁止 DeepMind 发布任何可能颠覆 Google 核心业务的产品。那么,如今回忆起来,当时你在开发这些领先于时代的产品时,心里究竟在想些什么?

Tibo:那确实是一个非常令人兴奋的时期。DeepMind 是一个极具创造力的地方。当时,我主要负责基础设施以及加速研究相关的产品。团队里还有一个专门研究语言模型及其规模化的小组,而且已经取得了非常出色的成果。

于是,一个很自然的想法就出现了:能不能把这些成果做成一个可以对话、能够应用于各种场景的工具?LMChat 就是在这样的背景下诞生的。当时,我们内部确实有过将它进一步做成公开产品的想法。

Matthew Berman:那是在哪一年?

Tibo:大约是在 ChatGPT 发布前一年。除了 LMChat 之外,我们当时还在开发各种各样的东西。虽然现在不方便具体透露,但可以说,那里的创意密度非常高。不过,当时的 DeepMind 并不是一个以发布产品为主要目标的机构。

相比之下,OpenAI 完全是另一种氛围。在 OpenAI,研究团队和产品团队之间的协作非常紧密,我们会一起设计很多东西。我们有非常强烈的“发布倾向”,希望尽快把技术真正交到用户手中,让更多人从中受益。这也是吸引我加入 OpenAI 的核心原因:使命感、人才密度,以及对产品化的极致追求。

Matthew Berman:在开发 LMChat 的时候,你就意识到它会成为如此特别的东西吗?

Tibo:当时确实感觉很特别。那是我们第一次意识到,模型可以生成如此连贯且有用的文本。起初它更多是显得有趣(Funny),但逐渐地,它变得越来越有用(Helpful)。

Matthew Berman:你提到你经常思考这段经历。在很多方面,Google 确实绊倒了自己。你从 Google 带到 OpenAI 的最重要教训是什么?

Tibo:我经常会从团队文化以及 OpenAI 整体文化的角度来思考这个问题。OpenAI 有一种自下而上、充分授权的文化。大家可以提出各种各样的想法,迅速聚在一起展开合作,然后非常快地把产品做出来、发布出去。对于新产品的想法,这里几乎没有什么阻力。这种氛围非常令人振奋,而对我来说,保护好这种文化至关重要。

另一方面,我们也非常强调简洁和一致性,不希望产品最终变成功能的杂乱堆砌。我们对产品质量一直很自豪。比如 ChatGPT 的 iOS 应用,我认为它是目前市面上最好的 App 之一。我们在“用户愉悦感”、性能、效率和简洁性上投入了大量精力。也就是说,在充分赋予每个人尝试新事物的空间的同时,也要始终守住这些核心原则。

Matthew Berman:如果你要给一些创业者关于如何培养这种文化的建议,有哪些具体的要素或者 OpenAI 内部的某些做法可以提供参考?

Tibo:首先,要有信念。其次,要找到一种方式,让用户参与进来,并根据他们的反馈快速迭代。最后,还要敢于自我颠覆。

对于 OpenAI 这样的公司来说,这一点尤其重要。我们不断会有新的研究成果和创意出现,你必须能够判断,什么时候应该把资源投入这些新方向,即使这意味着要从现有的核心业务中重新分配资源。这很难,但能做到这一点至关重要。

Matthew Berman:这正是你描述的 Google 没能做到的地方。

Tibo:公平地说,Google 也有一个宏大的计划,但对我个人而言,那里不是最合适的地方。

Matthew Berman:随着公司逐渐成熟,尤其是有了一个像“摇钱树”一样持续盈利的产品后,保持这种发布倾向和自我颠覆的意愿是否会变得更加困难?

Tibo:我们是一家具有前瞻性的公司。AI 会走向哪里、未来会是什么样,以及人类如何从中受益,这些宏大的问题不会停下来等着我们消化过去几个月取得的成果。我认为,积极参与其中非常重要。同时,也要保持敏锐,睁大眼睛看清这一切正在朝什么方向发展。只有这样,你才能知道自己该如何定位,才能真正抓住那一波浪潮。

即使在 OpenAI 内部,我们也经常在训练完模型后才发现它的新能力。基准测试并不能告诉你一切。我们需要大量把玩模型,才能意识到:“噢,我们以前没想过它能这样造福人类”,或者“它居然能做到这个”。这会改变我们对产品的思考。

比如我们最近推出的新版 ChatGPT 语音功能,对话感觉非常自然,而且它现在具备了工具调用能力。

这彻底改变了我的使用习惯。我现在花更多时间直接与它交谈或进行听写,因为它的效率比打字高得多。早晨我会拿着手机,对 ChatGPT 交代几件事,它就能直接访问我的工具并完成任务。在拥有如此强大的语音模型之前,这是无法想象的。


图片

笔记本撑不起下一代模型,算力瓶颈已经显现

Matthew Berman:让我们继续讨论新模型。你几周前发推说,Codex(OpenAI 的代码模型)在两三个月内就会显得过时,下一代模型需要的资源将远超一台笔记本电脑。随着模型能力的提升,Harness 的哪些方面仍有创新空间?

Tibo:太多了。目前的资深用户在使用 Codex 或其他 Coding Agent 时,其实已经习惯了一些“笨拙感”。比如你必须手动管理 skill files(技能文件),这虽然是教导 AI 的一种方式,但很多人已经意识到,随着时间的推移,这种方式很难维护。

记忆力也是个问题,它并不总能记住所有事情。如果你使用子代理(sub-agents),你就必须操心这些子代理并构建一个小网络。当你与之交互时,那种“智能”的幻觉会在多个环节破灭。而你真正想要的,是一个能深度理解你、理解你的目标、理解你的日常工作,甚至理解你的团队动态的工具。它应该能以最优的方式做出反应,同时具备前瞻性,在日常工作中协助你且不打破那种完美的协作感。这就是我们正在努力的方向。

另外,你会发现性能强大的模型会让笔记本电脑本身成为瓶颈。笔记本电脑是为人类设计的,它处理工作的能力大致匹配人类的产出:你的打字速度、思考速度、需要同时打开的应用数量。这些都是人类的局限,但模型没有这些限制。未来的模型或许能同时完美处理 100 个应用程序。就资源获取而言,未来的模型显然需要比单台笔记本电脑更多的资源。

Matthew Berman:我猜你指的是云端代理。当我们谈论像 UltraFast 这样、Token 速度比现在的“快速”还要快 10 到 14 倍的技术时,带宽限制就发生了变化。现在 CPU 成了带宽瓶颈,工具调用、网络请求以及堆栈中的任何开销都成了限制因素。

Tibo:没错。网络请求、工具调用,协议栈中的任何开销都会变成限制因素。但你可以通过并发来补偿:模型可以一边探索问题,一边写测试用例,同时进行编译和验证假设。这种高度并发的处理能力会彻底改变我们对产品的认知。

Matthew Berman:在目前的 Token 速度下,我发现自己会并行启动 10 到 15 个 Agent。但这对我来说产生了相当大的认知负担,因为我需要不断切换上下文,等待 30 到 45 分钟任务才返回。有了 UltraFast 的速度,工作流将发生巨大变化。我可能不需要同时开 15 个 Agent,也许一次只开 3 到 4 个。你认为个人开发者的工作流会如何随时间演变?

Tibo:管理并对用户保持“友好”,是我们非常关心的。毕竟我们是在为人类开发工具,试图打造能赋予人类最强能力的个人技术。这需要围绕你的多任务处理能力、你管理注意力的方式,以及你希望现在还是 30 分钟后收到反馈来构建。

当 UltraFast 的速度与语音结合时,AI 的运行速度可以与你持平甚至更快。你能保持在“心流”状态中,实时进行构思、查看原型、生成报告。这种体验非常好。

一旦习惯了这种流畅感,你就不会想回到过去那种同时开启 10 个 Agent 并反复切换的状态。我们正努力带来这种极其自然、且感觉是为你量身定制的体验——不是让你去适应技术,而是让技术适应你。

Matthew Berman:过去几个月讨论了很多代理编码技术,比如 Loops 和 Graphs。这些技术是否都是为了让个人开发者能更轻松地管理?

Tibo:我将这些问题分为两类。第一类是构建最好的“个人 AGI”或个人 Agent。它能与你保持同步,具有前瞻性,能提出重要的新想法,并极其高效地执行你的指令。无论它是解决技术问题、做研究还是提供建议,它都是高度定制化的,深植于对你这个独特个体的理解。

第二类是完全的自动化。即构建能处理复杂流程的智能系统。例如,自动查看生产日志并进行性能优化,或者观察回归测试并自动修复。在网络安全领域,我们也能看到这种应用:扫描器发现漏洞后,系统自动修复,将风险窗口缩短到接近零。这一切都无需人类干预,或者只需人类审批高风险操作。在这些自动化系统中,你是否拥有直接控制权并不那么重要。


图片

ChatGPT 和 Codex 为什么合并?

Matthew Berman:ChatGPT 和 Codex 在过去几个月里一直处于合并的过程中。我想先问问,这个进展如何?内部感觉如何?你从客户那里得到了什么反馈?

Tibo:这确实是一件非常有意义的事情。最初我们收到的反馈是:“为什么要把它们合并?真的有必要这么做吗?”答案是肯定的,我们未来的模型需要它们被合并。所以我们最终还是这么做了,因为这是最简单、也是正确的选择。

我们正在打造一个高度个性化、功能非常强大的智能体,它可以通过各种方式帮助你。底层采用的是相同的技术、相同的架构,以及我们对它一贯的思考方式。它具备高度多模态能力,以语音为优先,同时非常高效。无论你是不是在编程,这个智能体都能够胜任各种任务,并以最高效的方式完成。

至于你所需要的界面,它应该根据你的需求进行调整,而不是预先假定“我是程序员,所以我需要程序员界面”,或者“我不懂技术,所以我需要非技术界面”。人本身就是多种多样的。我们发明了“软件工程师”“设计师”等各种标签,只是因为现实过于复杂,人类需要借助这些概念来理解和处理它。但归根结底,每个人都是独特的个体,在这个光谱上的位置也各不相同。

所以,我们希望打造一个能够真正适应每个人的界面。无论你是否懂技术,它都会根据你的具体需求和个性进行调整。这就是我们决定这么做的原因。

Matthew Berman:这是否意味着最终它会变成一个单一的界面?不再有在产品之间切换的下拉菜单?想到我妈妈可能会和我使用完全相同的界面,这确实挺神奇的。当然,它会根据我的需求进行定制,如果我正在做更复杂的工作,我可能需要更多信息。但对你来说,最终的状态是什么样的?

Tibo:没错,就是同一种东西。你和你妈妈将使用相同的东西,它将是你的个人 AGI。你们会有截然不同的任务和用途。你会把它连接到生活中不同的工具,带来不同的想法和需求,然后它会不断地自我调整,以最大限度地造福你。它对你的朋友和每个人也都会这样做。

Matthew Berman:我想回到你刚才说的一点。你几次提到了“幻觉”这个词。在那个最终状态下,对于典型用户来说,完美的交互体验是什么样的?如果你能展望几年后,AI 与人类之间的互动会是什么样?

Tibo:对我来说,它应该是一种非常贴近人类的技术。

这也是大语言模型(LLM)能够取得成功的原因之一:它使用的是自然语言。而自然语言本身就是人类创造出来的,我们已经习惯了通过交谈来沟通。比如,如果你明天给我写一封信,我完全可以读懂它。我们彼此足够熟悉的话,我甚至能够从信中感受到一些情绪和微妙之处。

这些都是非常具有人性的东西。所以,我们正在构建的技术,也应该根植于人性,根植于人类沟通和完成任务的方式。不应该再出现这样的情况:“你误解了我,因为你没有完全理解我的语气,也没有真正理解我文字背后的意思。”这正是我们希望避免的。

我们真正想做的,是让人去适应技术,而不是让技术要求人去适应它。技术应该成为人类在这个世界上沟通、行动和完成任务方式的一种自然延伸。

Matthew Berman:当我想到人与人之间的交流时,很大一部分是非语言的——比如我移动双手的姿势、面部表情。你认为在未来,AI 能通过视觉感知或读取多少这类信息?这是否重要?因为你现在描述的是纯文本。对于我们这些在网络环境下长大的人来说,我们非常习惯通过文本交流,并在文本中加入微妙的语调来传达真实意图。但让 AI 能够读取我们的面部表情、手势等等,是否依然重要?

Tibo:我认为这是非常重要的。当我思考我们正在构建的未来时,我希望它是一种环境化、非常自然的体验。比如,稍后我回到办公室,在白板上写下了一些东西,突然有了一个想法,AI 也应该能够出现在那里,理解我在做什么。或者,我可以直接对它说:“嘿,你觉得这个怎么样?”然后,我们就可以通过语音进行自然的交流。

自从我们发布新的 ChatGPT 语音模式以来,它的使用量确实出现了爆发式增长,通过语音与 ChatGPT 互动的用户数量增长得非常快。这里面有一个很重要的启示:当你提供一种更自然的交互方式时,人类总会选择阻力最小的那条路。

正如你所说,在一个小框里打字,对有些人来说可能很自然,但并不是所有人都这样。当有一种更简单、更好的方式摆在面前时,人们往往会自然而然地选择它。


图片

“我不怎么看竞争对手,我真正看重我们能做成什么”

Matthew Berman:首先恭喜你们。我看到你今天早上发布的消息,Codex 的用户达到了 2000 万。我看过那个增长图表,有一段时间是平稳的,然后突然变成了垂直增长。所以,恭喜。

我想谈谈与 Anthropic 的竞争,因为很多人认为 OpenAI 和 Anthropic 是行业内目前两个主要的竞争对手。曾有一段时间 Anthropic 似乎抢走了所有的风头,但突然之间情况发生了变化。你对现在的市场有什么看法?

Tibo:现在我们专注于构建最强大的模型,构建高效的模型,并以能为每个人提供产品而自豪。我认为 OpenAI 做得非常好的一点是关心这个世界,关心我们如何将这种非常强大的技术交到尽可能多的人手中。

这就是我们合并 Codex 和 ChatGPT 的初衷——这种愿望。我们拥有这项技术,我们可以让它更安全,让它更容易被每个人使用,无论你是产品经理、设计师、销售、市场还是公关,你都应该能够使用所有这些功能。

然后我们通过已经拥有大量用户的 ChatGPT 快速分发。这确实推动了你提到的这种增长。我不怎么看竞争对手,我真正看重的是我们能独特地做好什么,我们的价值观是什么,以及我们如何最大限度地向这些目标加速。

Matthew Berman:我想再深入探讨一下,因为我知道你不太考虑 Anthropic,但其他很多人都在考虑。他们在思考该相信哪个产品,该把钱花在哪个产品上。当你观察 OpenAI 的市场地位、品牌和语气,以及它与开发者和更广泛受众互动的方式时,你认为这与 Anthropic 的方式相比如何?

Tibo:我非常在意的是构建社区,为世界而构建,带着大家一起前进。

你可以从我们对事物的透明度中感受到这一点。我们从社区中吸取了很多想法。说实话,这非常有意思,因为我们从中获得了巨大的能量。我们构建这项技术不仅仅是为了我们自己,也不仅仅是为了加速 OpenAI。使命非常重要,这也是我们能量的来源。对我来说,这感觉非常接地气、很有趣,并因此产生了好的结果。


图片

“我随时可以按下重置按钮,不用层层审批”

Matthew Berman:让我们谈谈其中一些好的结果。我想谈谈“重置”。似乎每个人都在因为这个关注你的每一条推文。具体来说,再次观察 Codex 的增长曲线,这些“重置”在多大程度上促进了市场营销和增长?还是说这仅仅是对开发者社区的一种善意?

Tibo:这可能有点反直觉,但 OpenAI 是一个可以真正放手去做事情的地方。所以在最初的产品迭代中,如果我们不小心把什么东西弄坏了,或者因为配置有误导致用户体验不如预期,那么给用户一些补偿是很自然的选择。

我们会告诉用户:“感谢你愿意尝试这些产品。我们知道现在还处于早期阶段,我们也在努力把它做好。如果因为我们的失误导致服务中断了 30 分钟,我们会额外给你一些使用额度作为补偿。我们知道这对你很重要,你可能依赖这项服务,也感谢你成为我们的用户。”

这就是这件事最初的由来,也是我现在一直坚持的做法。如果我们把产品弄坏了,或者用户体验不佳,而我们又还没有完全弄清楚问题出在哪里,那么我们就应该进行补偿,比如重置使用限制。

后来,这件事逐渐变得越来越重要,现在甚至已经有了一个专门的“重置”按钮。但这背后并没有太多复杂的审批流程,也不需要和市场部或财务部协调。只要我认为时机合适,随时都可以按下那个按钮。

这就是我们一直坚持的原则:我们努力去打造令人惊叹的产品;如果没有做到,就应该想办法弥补。

Matthew Berman:我依然觉得这种做法在社区中建立了很多好感,在某种程度上促进了增长。

Tibo:关心用户确实能起到很大作用。你可以只在口头上说你关心,也可以像我们这样通过实际行动证明:我们真的在意,如果我们弄坏了它,真的很抱歉,这是我们的弥补方式。

Matthew Berman:这有点像亚马逊的退货政策:如果你有任何不满意,尽管退货。你也在 OpenAI 建立了一种类似的文化认知:如果我们犯了错,请继续使用这些 Token。

Tibo:此外,还有一些我们想要庆祝和纪念的好时刻。有时候并没有比给用户更多额度更具意义的礼物了。我们会一直推出新功能,并尽可能广泛地发布。为了与整个社区分享,我们会说:“去探索这个新功能吧,你还没试过 Ultra,这里有一些额外的额度,去试试吧。”


图片

模型正在优化模型,已经进入递归自我提升阶段

Matthew Berman:不过,只有在完成了大量的算力容量规划后,你才能进行这些大规模的重置。你必须有足够的算力来支持这些重置。我想谈谈自我改进。说到容量,几周前你发布了一篇文章,提到 Sol 优化了 Luna 的效率。你将 Luna 的价格降低了 80%,Terra 的价格也有所下降。Luna 的效率提升有多少是算法带来的,又有多少是因为出色的算力容量规划使得利润空间足够大,从而可以降价来吸引用户?

Tibo:我们提前规划了算力。如果你回看两年前,OpenAI 曾因为在算力上投入如此之大而受到质疑。现在我们很高兴拥有它。很大一部分算力用于研究,我们投资于未来和更好的模型,以及我们现有模型的效率。

令人惊奇的是,当我们突破最先进模型的性能边界时,我们可以利用这些模型非常快速地找出如何服务、重构或重新设计我们的架构栈,从而获得显著的效率或性能提升。我们不仅提高了成本效率(我们也会发布相关内容),还提高了速度效率。除了 Ultra 模式之外,其他东西的速度都在不断提升。如果你把数据画成图表,现在的速度比三个月前快了大约 60%。

我们正在审查架构栈的每一部分,确保针对我们的工作负载进行优化设计。我们拥有的最强大的模型,让我们的一支小团队能够实现这些目标。每当我们获得显著的效率提升和成本优化时,我们的承诺就是保持性能成本的最佳平衡,而不是私藏这些效率增益,而是与我们的客户和用户分享。这就是我们对 Luna 所做的。

Matthew Berman:你们内部是如何讨论计算资源分配的?在研究新模型、提升现有模型的效率以及推理成本之间,你们是如何权衡这种张力的?

Tibo:我们通常从第一性原则出发来看待问题。我们有专门分配给研究的资源,也有分配给产品的资源。在产品内部,我们会做出不同类型的权衡。但这一次几乎谈不上是权衡,因为效率提升是实实在在的。我们能够使用相同的计算包络来支撑显著增加的吞吐量。

Matthew Berman:几个月前,在价格下调的公告之前,我看到一篇博客文章提到一个模型在训练下一个模型,或者在帮助优化下一个模型。然后我们看到了仅仅通过观察 Luna 的运行方式就实现的效率提升。这在我看来,像是处于早期阶段的递归自我提升。你对此有什么看法?这就是正在发生的事情吗?

Tibo:递归自我提升现在确实是一个巨大的话题。它最常被应用于研究领域,即模型开发其他模型。但我们现在看到巨大成功的,是利用这些模型来开发处于使用这些模型的关键路径上的基础设施。这也是一种递归自我提升的形式。无论是推理栈、硬件优化,还是我们使用的 CUDA Kernel,甚至是开发与这些模型交互的新产品和新方式,都在追求更高效。

你提到了云端 Agent,如果我们真的攻克了云端 Agent,生产力会突然大幅提升。这是否也是一种递归自我提升?因为你拥有了更好的能力从模型中获取效用。我认为从某种意义上说是的,但它更多体现在基础设施上,然后再将其反馈给模型本身。我们当然在做这些事情,如果不这样做,那就太愚蠢了。


图片

OpenAI 为何会暂停前沿 RL 训练?

Matthew Berman:既然聊到了递归自我提升,Sam Altman 曾提到过暂时搁置绝对前沿的强化学习(RL)研究。你能聊聊这个决定吗?当时的情况是怎样的?我知道我们简短讨论过 Hugging Face 事件,但那个决定背后的讨论过程是怎样的?

Tibo:这属于研究范畴。OpenAI 总是能够将资源投入到最重要的地方。随着模型能力的增强,对齐(Alignment)和安全性显然变得愈发重要,因此在这里投入巨大资源对 OpenAI 来说是很自然的事情,也是我们坚定承诺的方向。

这次暂停是为了让团队和个人能够真正理解并加固系统的所有部分,以确保我们能在完全掌控的情况下重新开始训练。我相信 OpenAI 在必要时会一直这样做。在内部决策方面,我们能够非常高效地做出这类决定。

Matthew Berman:是否有一个预设的目标,明确要求在取消暂停之前必须达到某个特定点?还是说“我们看到目标达成时自然会知道”?

Tibo:这是由安全团队负责的。这很大程度上是一个随着进展不断讨论和发现的过程。但他们确实达成了一套非常明确的原则,一旦达到这些原则,我们就处于一个良好的位置。

Matthew Berman:让我们回到“极速模式”(Ultra Fast Mode)。我觉得人们还没意识到这种速度能释放出什么样的潜力。你们内部有哪些在使用极速模式、但在之前低速情况下无法实现的用例?

Tibo:我们发现当风险很高时,极速模式被大量使用。例如当发生故障时,事故指挥官和响应团队会获得极速模式的使用权限,因为每一秒都很关键。高风险场景确实值得使用极速模式。

另外有趣的是,那些正在处理关键任务或认为自己正在处理关键任务的团队,也总是要求使用极速模式。比如有人在构思一个新想法,他们觉得这可能很特别,但必须在周一决定是否将其纳入开发者大会(DevDay),这时极速模式就派上用场了。

人们对工作方式有不同的偏好,是喜欢单线程处理还是喜欢多任务并行。对于喜欢多任务的人来说,极速模式的收益可能没那么明显;但有些人不喜欢频繁切换上下文,他们希望保持专注和心流,对他们来说极速模式体验极佳。

Matthew Berman:你在这两者之间属于哪一类?

Tibo:我有 ADHD(多动症),所以我一直在切换上下文。

Matthew Berman:这很有趣,因为我也有 ADHD,但我其实不想频繁切换上下文,那对我来说很难。我更愿意专注于两三件事,这也是为什么极速模式让我兴奋。

Tibo:我在切换上下文和做大量细微决策中感到如鱼得水。但有时我也想专注于一件事,那时极速模式就太棒了,它能让你保持在心流中。

极速模式在工具调用(Tool Calls)较少或生成内容较多的场景下表现极其出色。例如如果你在原型化一个网站或视频游戏,需要编写大量代码,它的速度会提升 10 倍。但如果涉及大量工具调用,开销在网络或其他 Agent 轨迹中,你可能只会感受到 3 到 4 倍的速度提升,而无法感受到完整的 14 倍。

Matthew Berman:我知道 OpenAI 的员工有无限量的 Token。如果换做是我,我肯定会一直开着最强的思维模型(比如 5.6 Sol)和极速模式。在内部是这样的吗?

Tibo:我们不会给每个人都开放极速模式,我们会为外部用户和客户保留大量容量。OpenAI 的员工有能力消耗掉所有的资源——所有的生产环境 GPU 和极速模式额度。但我们不会这样做,我们会进行限制,以确保我们在理解产品并持续改进的同时,将绝大部分资源留给客户。

Matthew Berman:除了 OpenAI 内部,你最看好哪些由这种速度解锁的对延迟敏感的外部用例?

Tibo:我对非文本交互非常感兴趣。比如在共享画布上操作,创作东西,生成不同的创意或图像,然后选择一个,像“选择你自己的冒险”一样。通过语音或文本实时引导原型设计并迅速看到结果。这种极具创意的过程正是这些速度所允许的。作为工程师,有时你需要坐下来设计整个系统,考虑权衡和需求;但也许现在你可以在一分钟内创建它,看看它的实际效果,更沉浸在心流中,更直观地感知事物。

Matthew Berman:我假设极速模式的价格会比正常速度高很多。你认为极速模式会成为未来的标准,还是会一直保持溢价?

Tibo:我认为它会遵循技术发展的普遍规律,随着时间的推移变得越来越普及。Agent 完成任务的速度会持续提升,我们每个月都能看到巨大的进步。这不仅是推理速度,还包括模型的 Token 效率。Sol 模型比 Terra 模型高效得多,下一个模型也会比 Sol 更高效。随着推理和硬件的持续创新,也许在一两年内,这种速度即使不成为默认标准,也会非常接近默认标准。但届时,你可能又会有更高一级的需求,可以用更多的硬件和成本去换取额外的性能。


图片

低成本大模型会普惠所有人

Matthew Berman:最后一个问题是针对大众读者的。现在很多人对 AI 感到焦虑,无论是担心工作自动化、环境影响,还是这种新事物带来的陌生感。你会给这些听众什么样的鼓励?

Tibo:我们通过 ChatGPT 真正为世界构建工具。我们投入大量精力提升其效率,这与广泛的准入和实用性直接相关。运行成本越低,你能用它做的事情就越多,它在日常生活中的价值就越大。

Luna 模型就是一个例子,它是一个更小的模型,极其高效。如果回退到六个月前,它也曾处于前沿水平。看看 Luna 的成本,它便宜得惊人。Replit 现在甚至免费提供它。这种获取顶尖智能的途径将变得无处不在,而这只有在持续追求效率的情况下才可能实现。前沿模型在六个月后运行成本会大幅下降。我们专注于更广泛的准入,并优化你能直接从中获得的效用。

Matthew Berman:对于那些甚至还不敢尝试 AI 的人,你有什么想说的?你能为他们描绘一个 AI 帮助世界的未来愿景吗?

Tibo:其实不必看太远,ChatGPT 已经在以非常个人且深刻的方式帮助人们了。很多人用它来辅助写作,但也有人用它获取个人建议、理财建议或医疗建议。我自己也经常使用它,它给予我很多支持。比如在看医生之前,它让我了解更多信息。你不必看太远就能发现它的效用。看看别人是如何使用它并从中受益的,这会启发你思考如何利用它改善自己的生活。

Matthew Berman:Tibo,非常感谢,感谢你的分享。

Tibo:谢谢,聊的很愉快。

本文系学术转载,如有侵权,请联系后台删文
(👇 长按识别二维码)
图片
转自:CSDN

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/200250