社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

OpenAI上线第二期播客:揭秘ChatGPT幕后故事

AGI Hunt • 1 周前 • 39 次点击  

OpenAI的官方播客第二期刚刚发布,这次他们请来了ChatGPT的两位核心人物。

机翻未校对

OpenAI首席研究官Mark Chen和ChatGPT负责人Nick Turley做客Andrew Mayne主持的播客,首次详细披露了ChatGPT诞生的幕后故事。

从差点叫「Chat with GPT-3.5」这个拗口名字,到发布前夜还在纠结要不要上线,再到ImageGen如何一夜爆红——这期播客信息量极大。

ChatGPT差点就不叫ChatGPT

最让人意外的是,ChatGPT这个如今家喻户晓的名字,竟然是发布前一晚才敲定的

Nick Turley透露,原本的名字是「Chat with GPT-3.5」——光是念出来就觉得舌头打结。

团队意识到这会是个问题,在发布前的最后时刻改成了现在朗朗上口的ChatGPT。

更有趣的是,Mark Chen爆料说,研究团队里有一半人都不知道GPT到底代表什么

有人以为是「Generative Pretrained」,有人以为是「Generative Pre-trained Transformer」。正确答案是后者。

发布前的灵魂拷问

ChatGPT的发布远没有外界想象的那么顺利。

Mark回忆道,就在发布前夜,Ilya Sutskever对模型进行了最后的测试——连续问了10个刁钻的问题,结果只有5个答案让他满意。

「我们真的要发布这个东西吗?世界真的会有反应吗?」

Mark解释道:「当你在内部开发这些模型时,你会迅速适应它们的能力。很难站在没有经历过模型训练循环的人的角度,看到其中真正的魔力。」

最终,他们还是决定发布。这个决定改变了一切。

从「研究预览」到病毒式传播

ChatGPT最初只是被定位为一个「低调的研究预览」。

毕竟,GPT-3.5模型已经发布了几个月,从技术指标看并没有革命性突破。团队只是给它加了个对话界面,让用户不需要太多提示词技巧就能使用。

但用户的反应完全超出了所有人的预期。

Nick回忆起那段「非常混乱的时期」:

  • 第一天:「仪表盘是不是坏了?」经典的「日志不可能是对的」反应
  • 第二天:「可能是日本Reddit用户发现了这个东西,应该只是局部现象」
  • 第三天:「好吧,它在传播,但肯定会降温的」
  • 第四天:「这要改变世界了」

服务器不断崩溃,GPU资源告急,数据库连接耗尽,甚至一些供应商对他们进行了速率限制。

「没有任何东西是为运行产品而设置的」,Nick说。

团队不得不紧急开发了一个叫「fail whale」的错误页面,用GPT-3生成的诗歌来安抚等待的用户,好让大家能在圣诞假期稍作喘息。

有个细节特别有意思:Mark的父母终于不再劝他去Google工作了。

在ChatGPT之前,他们从没听说过OpenAI,一直觉得AGI是天方夜谭,儿子没有「正经工作」。

产品哲学:速度与迭代

这次爆红背后,体现的是OpenAI独特的产品开发理念。

Nick强调,ChatGPT的产品开发遵循了极其严格的原则:不让范围膨胀

他们的目标是尽快获得反馈和数据。比如,发布时甚至没有历史记录功能——尽管团队知道用户肯定想要这个功能。果不其然,这成了用户的第一个请求。

「是否能在两周内训练出更好的模型?」团队当时确实有这样的讨论。

但Nick很庆幸他们没有等待:「我们获得了大量反馈。」

Mark补充道:「反馈真的已经成为我们构建产品不可或缺的一部分。你可以在真空中反复考虑用户会更喜欢这个还是那个,但这永远比不上直接推出产品。我们的理念是让模型与世界接触。如果需要撤回什么,那也没关系。」

从硬件思维到软件思维

Nick观察到一个有趣的转变:「我们最初发布模型的方式更像硬件——你做一次发布,非常罕见,必须完全正确,你不会更新它,然后开始下一个大项目。资本密集,时间线很长。」

「但随着时间推移,从ChatGPT开始,它看起来更像软件——频繁更新,世界可以采用的恒定节奏。如果某些东西不起作用,你可以撤回它,这样做降低了风险,增加了实证性。」

模型行为的微妙平衡

讨论到模型变得过于谄媚的问题时,Mark解释了背后的机制。

当用户享受对话时会给出正面信号(比如点赞),团队训练模型偏好能获得更多点赞的回应方式。

回想起来这很明显,但如果平衡不当,就会导致模型变得更加谄媚。你可以想象用户可能想要那种感觉,模型对他们说好话,但我认为这不是一个很好的长期结果。」

令人印象深刻的是,团队在问题被发现后48小时内就做出了回应。Joanne Zhang发布了详细解释,说明了具体发生了什么。

Nick谈到了产品设计的幸运之处:「我们的产品非常实用。人们用它来更快或更轻松地完成他们知道如何做但不想做的事情,或者用它来做他们根本不会做的事情。」

这种实用性意味着,随着产品改进,用户实际上会在产品上花费更少的时间——这与社交媒体完全相反。

ImageGen:另一个意外爆红

谈到ImageGen的成功,Mark坦言:「说实话,它也让我措手不及。」

成功的关键在于团队的一个核心洞察:当模型足够好,能够一次就生成符合提示词的完美图像时,就会创造巨大价值

「人们不想从网格中挑选最佳结果」,Mark说,「你得到了非常好的提示词遵循能力,以及出色的风格迁移能力。」

Nick分享了一个惊人的数据:发布后的第一个周末,5%的印度网民都尝试了ImageGen。「我们触达了甚至可能没想过使用ChatGPT的新用户类型。」

ImageGen的深度也让团队惊讶。人们开始用它创建动漫版本的自己,但很快发现它能做更多:信息图表、漫画面板、家居装修模拟。团队甚至用它来设计播客录制室的布置。

关于使用场景的选择,Mark透露,直到发布当天,他们还在纠结展示什么用例。最终选择动漫风格是因为「每个人看起来都很好看作为动画角色」。

AI安全:在保守与自由之间寻找平衡

关于AI安全,团队经历了明显的文化转变。Nick坦言:「当我加入OpenAI时,对于应该给用户什么能力存在很多保守主义,也许有充分的理由。技术真的很新,我们很多人都是新手。」

但随着时间推移,团队意识到:「当你对模型做出任意限制时,实际上阻止了太多积极的使用案例。」

他分享了一个关于人脸识别的内部辩论。团队讨论过是否应该在上传包含人脸的图片时将脸部灰化处理,这样可以避免很多潜在问题。但Nick坚持:「我一直认为我们需要站在自由这一边,做困难的工作。」

「如果我想要关于化妆或发型的反馈,我想能够和ChatGPT讨论。这些都是有价值且良性的使用案例。我更愿意先允许,然后研究哪里有不足,哪里有害,然后从那里迭代,而不是采取默认不允许的立场。」

代码的未来:从自动补全到智能代理

关于备受关注的Codex,Mark和Nick都强调这代表着编程范式的根本转变。

Mark解释了「代理式编程」的概念:「你可以区分实时响应模型和更加代理式的模型。前者你提出提示,很快得到响应。后者你给它一个相当复杂的任务,让它在后台工作,经过一段时间后,它会带着接近最佳答案的结果回来找你。」

我们越来越看到未来会更像异步模式——你要求它做非常困难的事情,让模型思考和推理,然后带着真正最好的版本回来。」

Nick补充道,让他惊讶的是代码中的「品味」元素:「结果证明理性的人在这些情况下对模型应该如何表现可能会有分歧。而且,你不会总是做对,但你可以对我们采取的方法保持透明。」

他强调,成为专业软件工程师不仅仅是智商问题:「他们学会的是如何在组织内构建软件。什么是写好测试的意义?什么是写好文档的意义?当有人不同意你的代码时如何回应?

内部使用:最真实的测试场

令人惊讶的是,OpenAI内部对这些工具的使用已经相当深入。

Nick透露:「从完全符合预期的情况,比如人们使用Codex来外包他们的测试,到我们有一个分析工作流,会查看日志错误并自动标记它们,在Slack中通知相关人员。」

甚至有人把Codex当作待办事项工具使用——把未来要做的任务都交给Codex去执行。

Mark提到,发布前有些内部用户每天生成数百个PR。「我们不会向外部推出自己都不觉得有价值的东西。」

招聘哲学:好奇心胜过一切

谈到团队建设和所需技能,两位的观点出奇一致。

Nick强调:「好奇心是我寻找的首要品质。对我们来说,有太多未知的东西。你必须对构建这项技术保持一定的谦逊,因为你不知道什么是有价值的,什么是有风险的,直到你真正研究、深入并尝试理解。」

「当涉及到与AI合作时,提出正确的问题是瓶颈,而不一定是得到答案。」

Mark补充道,即使在研究团队,他们也越来越少强调必须有AI博士学位:「这是一个人们可以相当快速掌握的领域。我自己也是作为resident加入公司的,没有太多正式的AI培训。」

更重要的是「代理能力」(agency)——OpenAI不是一个会告诉你「今天做事项一、二、三」的地方。它需要的是那些能够主动发现问题并解决问题的人。

如何保持创新速度

当被问及OpenAI如何保持快速的产品发布节奏时,Nick回答:「老实说,我总觉得我们可以更快。但从根本上说,我们只是有很多具有代理能力的人,他们可以交付。」

我们所有人在OpenAI做着非常不同的事情,但我认为能够真正做事的人的比例,以及除了重要领域外缺乏繁文缛节——这使得OpenAI非常独特。

Andrew Mayne分享了自己的经历:他因为每周制作GPT-3使用案例的视频而被OpenAI注意并招募。

「他们告诉我,去做事就好,别搞砸太关键的东西。」这种精神至今仍在。

Nick提到ChatGPT本身就是黑客马拉松的产物:「我们说,谁对构建消费产品感兴趣?各种不同背景的人聚集在一起——有来自超级计算团队的人说'我可以做个iOS应用',有研究员写后端代码。」

对未来的建议:在AI时代如何准备

面对人们对AI时代的焦虑,两位给出了深思熟虑的建议。

Mark的核心观点是:「你必须真正投入使用这项技术。看看你自己的能力如何被增强,如何通过使用技术变得更有生产力、更有效率。」

他认为AI帮助最大的是那些在某个领域能力不够高级的人:「当这些模型在医疗建议方面变得更好时,它们将最大程度地帮助那些无法获得医疗服务的人。图像生成不是为专家或专业艺术家提供替代品,而是让像我和Nick这样的人能够创造性地表达。」

Nick的建议更加具体和深刻:

世界将发生巨大变化,我认为每个人都会有那么一个时刻,AI做了一些他们认为是神圣和人类独有的事情。

但他强调,关键不是学习提示词工程或理解AI的复杂性:「我认为有些基本的人类技能,比如学习如何委派任务,这是极其重要的。因为你口袋里将有一个智能体,它可以是你的导师、顾问或软件工程师。」

更重要的是你理解自己和你面临的问题,以及其他人如何帮助你,而不是对AI的具体理解。

他还提到了三个关键能力:

  • 好奇心:「提出正确的问题,你只能得到你投入的东西」
  • 学习新事物的准备:「你越了解如何学习新主题和领域,就越能为工作性质比以往任何时候都变化更快的世界做好准备」
  • 适应性:「我已经准备好我的产品工作可能看起来不同或根本不存在,但我期待着学习新东西」

医疗与教育:AI的真正影响

Nick特别强调了AI在医疗领域的潜力:「我真的不认为你最终会取代医生。你最终取代的是不去看医生。你最终使获得第二意见的能力民主化。」

他指出,很多人没有资源或不知道如何利用第二意见这样的资源。AI将把医疗保健带到世界上还没有的地方,并帮助医生获得信心。「你会惊讶于使用ChatGPT的医生数量。」

教育是另一个让他兴奋的领域:「我认为有巨大的机会来帮助人们。」

未来18个月:最令人期待的突破

当被问及未来最令人惊讶的发展时,两位给出了互补但同样激动人心的答案。

Mark预测:「老实说,我认为将是由我们构建的模型推动的研究成果数量。」

他解释道,模型推理能力的提升已经悄然改变了研究领域。「今天,在许多研究论文中,人们几乎把o3当作子程序使用。研究问题中的子问题通过接入像o3这样的模型完全自动化和解决。」

他分享了与顶尖物理学家的对话:「他们说,'我有这个无法简化的表达式,但o3在上面取得了进展。'这些来自全国最好的物理学家。所以我认为你会看到这种情况越来越多地发生,我们将看到物理学和数学等领域的进展加速。」

Nick则着眼于产品层面:「任何可以很好描述且受智力限制的问题,我认为都将被解决。」

他预见企业和消费者领域都将发生巨大变化。在企业方面,无论是软件工程、数据分析还是客户支持,模型今天还做不到的许多问题都很容易描述和评估,将取得巨大进展。

在消费者方面,从报税到旅行规划,从购房到买衣服,「所有这些问题都需要多一点智能和正确的形式因素。」

最重要的是,Nick预测AI的交互形式将发生根本变化:「聊天仍然是一个非常有用的交互模型,我认为它不会消失,但你会越来越多地看到这些异步工作流。编码只是一个例子,但对于消费者来说,可能是让它去找你完美的鞋子,或者去计划旅行,或者完成你的税务。」

深度研究:代理式AI的典范

Andrew提到深度研究(Deep Research)功能是目前最好的代理式模型使用示例。它不再只是搜索和总结,而是会找到一些数据,分析它,提出问题,然后去寻找新数据,不断迭代。

Nick对此并不感到惊讶:「要构建超级助手,你必须放松约束。今天的产品完全是同步的,你必须启动一切。这不是帮助人们的最佳方式。」

「能够执行五分钟任务、五小时任务,最终是五天任务的能力,是一个非常基本的东西,我认为这将在产品中解锁不同程度的价值。」

Mark补充道:「我们这样做真的是出于必要。模型需要那个时间来解决真正困难的编码问题或数学问题,用更少的时间是做不到的。就像我给你一个脑筋急转弯,你的快速答案可能是直觉上错误的,你需要实际的时间来解决所有情况。」

这期播客让我们看到了ChatGPT成功背后的深层逻辑:不是技术的单一突破,而是产品理念、用户体验和技术创新的完美结合。

正如Nick所说:「我们构建的是非常通用的技术,它将被各种各样的人使用。」而OpenAI的使命,就是确保这项技术能真正帮助到每一个人。

从一个差点叫「Chat with GPT-3.5」的研究预览,到改变世界的ChatGPT,这个故事告诉我们——

有时候,最伟大的创新就隐藏在最简单的改变之中




[1]

Spotify: https://open.spotify.com/show/0zojMEDizKMh3aTxnGLENP

[2]

Apple Podcasts: https://podcasts.apple.com/us/podcast/openai-podcast/id1820330260

[3]

YouTube: https://www.youtube.com/watch?v=atXyXP3yYZ4

[4]

@markchen90: https://twitter.com/markchen90

[5]

@nickaturley: https://twitter.com/nickaturley

[6]

@AndrewMayne: https://twitter.com/AndrewMayne

[7]

@OpenAI: https://twitter.com/OpenAI

[8]

openai.com: https://openai.com

[9]

openai.com/careers: https://openai.com/careers

👇

👇

👇

另外,我还用AI 进行了全网的AI 资讯采集,并用AI 进行挑选、审核、翻译、总结后发布到《AGI Hunt》的实时AI 快讯群中。

这是个只有信息、没有感情的 AI 资讯信息流(不是推荐流、不卖课、不讲道理、不教你做人、只提供信息、希望能为你节省一些时间)

欢迎加入!

也欢迎加群和2000+群友交流。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/183863
 
39 次点击