Py学习  »  chatgpt

OpenAI 的性能工厂如何让 ChatGPT 保持快速响应

AINLP • 7 小时前 • 16 次点击  

OpenAI 的工程团队介绍了内部的 Performance Factory:从性能告警、根因调查,到修复后的验证,Codex 怎样接手这条工作流,工程师又在哪些环节作出决定。以下是全文翻译。


Agent 开发的速度快得惊人,传统的性能工程方法已经难以为继。为了跟上这一节奏,我们构建了 Performance Factory。这套自主系统充分利用 Codex 和模型的能力,以前所未有的速度发现并修复性能回退。它运行在云端,自动调查和处理性能问题,让我们能够跟上产品路线图的推进速度。

在 Performance Factory 中,工程师为反复出现的工作定义工作流,并为负责执行的 Codex Agent 编写指令。其中,性能回退工作流(Regression Workflow)会在性能告警触发时创建任务。Agent 调查变慢的原因,把发现记录到任务中,再提出修复方案,交给工程师审查。修复部署后,另一个 Agent 会接手同一任务,检查性能是否回到了基线。

从调查、编写修复到验证问题是否缓解,Performance Factory 的第一个工作流已经把性能回退处理的整个过程自动化了。三个多月里,这条工作流跟踪了超过 1700 次调查,为 600 多个案例找到了根因,相当于每天自动开展 17 次调查。

接下来,我们会介绍 Codex 的使用方式如何逐步演变成今天的 Performance Factory,带大家走一遍首个已经运行的工作流,并分享在生产环境中构建和运行 Agent 工作流的初步经验。

从人工调查到自动化工作流

随着 Codex 越来越多地参与性能工作,我们发现团队的工作方式经历了一个逐步演变的过程。希望其他服务团队在把 Agent 工作流引入其他领域时,也能从中获得借鉴。

软件工作从人工劳动,发展到人与机器协作,再到 Agent 工厂。

软件工作从人工劳动,发展到人与机器协作,再到 Agent 工厂。

1. Codex 出现之前。工程师要手动查看指标和日志、对比调用链、调试运行中的机器、阅读代码,才能调查一次性能变慢。这项工作很耗时,而且往往需要深入了解服务,才能知道该从哪里查起,相关信号也很容易漏掉。对于反复出现的同类问题,例如 ChatGPT 首 token 延迟的性能回退,我们开发了 CPU 性能分析器、内存分配分析器等更完善的工具,让调查更容易进行。随着时间推移,我们积累了 30 多种性能工具。
2. 把 Codex 当作搭档。有了 Codex,工程师可以直接问“为什么这里变慢了?”,与它一起调查,即使面对不熟悉的系统也是如此。Codex 能搜索大型代码库,找到相关指标和调用链,追踪服务之间的交互,进行适当的性能分析,把事情的来龙去脉拼起来。但工程师仍然需要掌握方向,知道该用哪些性能工具,以及怎样引导调查。更多人能够调试原本棘手的问题,对专业知识和时间的要求也降低了。
3. 可复用的 skill。为了进一步自动化,我们把性能团队的调查流程整理成一个共享 skill,名叫 perf-forensics。它告诉 Codex 有哪些工具、何时使用,以及应该怎样调查一次变慢,让 Codex 能从几个角度尝试解决问题:
  • 找到性能从什么时候开始变差
  • 识别受到影响的请求
  • 调查部署或配置变化能否解释这一现象

我们根据过去的性能回退案例构建评估,测试并改进 perf-forensics。对于我们重点关注的几类问题,例如 ChatGPT 延迟增加和可用性下降,现在只需把告警交给 Codex,一次运行就能得到诊断,不用再逐步指导。

4. 人成了中转站。随着 perf-forensics 等性能相关 skill 不断增加和完善,我们开始觉得自己像是告警与 Codex 之间的代理。告警触发后,工程师只需把它复制到 Codex,配上合适的 skill,再把结果粘贴回 Slack。
5. 自动化调查。接下来,我们把调查搬到云端,让告警能够自动启动 Codex 会话。Codex 调查变慢的原因,再把发现发到 Slack 讨论串里,但自动化到这条回复就结束了。工程师仍然要接过诊断、编写修复,并在部署后检查修复是否有效。随着告警积累,连判断哪些性能回退需要优先处理,都得翻找大量 Slack 讨论串。
6. 工厂。我们构建了 Performance Factory,让它运行端到端的 Agent 性能工程工作流。它跟踪每个活跃任务下一步需要做什么,等这一步可以开始时,再分配一个 Agent。每项任务都保存自己的状态和调查结果,因此工作可以在 Agent 与工程师之间交接,也能在代码审查或部署后继续。对于一次性能回退,工作从调查告警开始,到验证生产环境中的性能恢复结束。

我们也可以把常见优化转成工作流,定期在各个服务中运行。某个工作流发现潜在优化后,可以在另一个工作流中创建任务,继续测试和实现。

Performance Factory 的四个组成部分

Performance Factory 由四个组件组成:支持配置工作流的任务跟踪系统、把就绪任务分配给 Agent 的调度循环、在云端运行 Codex 的 API,以及在情况发生变化时唤醒 Agent 的订阅机制,例如 GitHub 上出现新的审查意见,或某次部署已经完成。

Performance Factory 包括任务服务、调度循环、云端执行和订阅机制。

Performance Factory 包括任务服务、调度循环、云端执行和订阅机制。

支持配置工作流的任务服务

工程师通过任务服务定义工作流,添加配置文件,以及供 Agent 执行的 Markdown 提示词。配置文件列出任务能够进入哪些状态、允许怎样转换,以及哪些步骤需要工程师介入。各步骤另有独立的提示词,告诉 Agent 具体要做什么。

code-change/
├── config.toml
└── work/
    ├── implementing.md
    └── reviewing.md

代码修改任务包含一个配置文件,以及分别用于实现和审查的 Markdown 提示词。

每项工作都会成为某条工作流中的任务,所有工作流都能在界面中查看。工程师可以看到还有哪些工作待处理、跟踪进度,也可以把任务分享给掌握更多背景或能够协助下一步的同事。

负责分配工作的调度循环

调度循环会定期检查哪些任务已经可以进入下一步。它为每个任务启动一次 Codex 执行回合,带上任务当前状态对应的指令,从而完成 Agent 分配。Agent 把进展记录到任务中,完成这一步后,再把任务推进到下一状态。

云端运行的 Codex

任务分配后,Agent 需要一个执行环境,并且能够使用工程师平时使用的工具。我们构建了一个内部 API,可以通过程序在云端发起一次 Codex 执行回合。这个回合运行在我们网络内部的环境里,能够访问代码仓库,以及工程师使用的可观测性工具,包括指标、日志、调用链、CPU 性能剖析数据和内存快照。

Agent 使用服务身份运行,因此我们可以限定它的权限,也能辨认哪些操作来自性能 Agent。把 Agent 的工作搬到云端后,就可以并行执行,不必依赖工程师的笔记本一直开着,也不用手动管理一台台云端开发机。

变化发生时唤醒 Agent 的订阅机制

有些工作必须等待人来处理,或者等待部署完成,Agent 不应该在这段时间里一直运行。任务需要等待时,可以订阅 GitHub pull request 上的审查意见、CI 检查失败等事件,在需要接着工作时收到通知。传入事件命中订阅后,任务重新变为就绪,调度循环就能分配 Agent 继续执行。

第一个工作流:从告警到恢复

发现性能回退、定位根因并解决问题,是我们在 Performance Factory 中构建的第一个工作流,称为 Regression Workflow。一次性能回退会经过几个阶段:待调查、已定位根因、已提出修复、已解决。因此,我们也让自动化工作流对应这些阶段,并推动任务逐步流转。

当它配置的某个性能告警被触发时,Regression Workflow 会创建任务,由 Agent 接手并推进。任务状态与关键发现保存在任何单个 Agent 的上下文之外,因此其他 Agent 或工程师都能接着做。工程师可以在 Slack 或 Regression Workflow 的界面中跟进、补充背景并审查修复方案。

修复部署后,Agent 会检查性能是否恢复到原先的状态,确认恢复后才关闭任务。

性能回退工作流包括查找根因、提出修复、审查与部署,以及验证恢复。

性能回退工作流包括查找根因、提出修复、审查与部署,以及验证恢复。

让 Agent 查找根因

找出一个或多个根因,是工作流中的第一个主要步骤。Agent 首先要弄清哪些指标恶化了、从什么时候开始变化,以及哪些服务请求受到影响。perf-forensics 为 Codex 提供了性能工程师使用的工具,以及一套逐步回答这些问题的调查方法。

指标越过阈值时才会触发告警,但性能回退可能在几小时前就已经开始。Agent 会回看数据,找到指标最早变差的时间,再对不同请求组进行比较:是同类请求真的变慢了,还是我们接到了更多本来就慢的请求?这两种发现指向不同的原因。

明确应该检查哪个时间段、哪个位置后,Agent 会查看部署和功能开关的变化,再阅读相关代码。它会确认一项变更何时真正影响到这些请求,并借助日志或调用链,检验代码是否能够解释实际发生的情况。

用对抗式审查加强诊断

早期,Agent 有时找到第一个看起来合理的解释就停下了,其中一些诊断后来被证明是错的。为发现这类错误,我们加入了对抗式审查:另开一个 Codex 会话,尝试推翻已经提出的诊断。审查者会重新检查假设,并检验反事实情况。如果某次发布导致了变慢,没有受到这次发布影响的同类请求是否仍然正常?如果可疑变更已经回滚,受影响的指标是否恢复了?

在一次调查中,Agent 把 ChatGPT 对话失败追溯到图片下载错误,并标记为已找到原因。Codex 审查者却发现,负责定位文件的内部服务已经恢复,图片请求仍然在失败。这个诊断无法解释持续出现的失败,于是 AI 审查者重新开启调查,并记录还有哪些问题需要查明。

把大任务拆成目标集中的多次 Codex 执行回合,已经取得了一些成效。在人工检查的 100 条根因建议中,我们将 70% 评为准确,另外 30% 仍需进一步细化,或没有充分建立因果关系。Regression Workflow 用不同的执行回合分别调查性能回退、质疑诊断和提出修复,通过相互检查与制衡来提高准确率。

修复性能回退才是难点

诊断通过对抗式审查后,工作流会要求 Codex 实现修复并创建 pull request。工程师审查 PR,决定是否合并。我们投入了大量工作,让这次交接尽可能轻松。每项任务都有一份报告,自动总结性能回退、影响、根因和修复方案。

我们不断调整这些摘要,让它们便于快速浏览,并加入指标时间序列、CPU 火焰图和调用链,帮助工程师迅速理解发现、检查证据。工程师可以直接修改 PR,也可以根据诊断自行编写修复。如果他们在 PR 上留下意见,工作流就会唤醒 Agent 继续处理。

一份性能回退任务报告示例,包含关键细节、根因和修复方案。

一份性能回退任务报告示例,包含关键细节、根因和修复方案。

工程师部署修复后,工作流会唤醒 Agent,检查性能是否恢复到之前的基线。如果已经恢复,Agent 就把任务标为已解决。如果只恢复了一部分,Agent 会关闭原来的性能回退任务,再为剩余的变慢创建新任务,因为它可能由另一个原因引起。如果完全没有改善,Agent 会记录情况,把任务退回调查阶段。

修复做对,比找到原因更难。例如,我们见过 Agent 提出的改动过于复杂,或引入了新的问题。与根因分析阶段类似,我们也为每个修复方案加入了对抗式审查,检查它是否真正解决根因,并尽早发现 bug 或意外影响。有些修复还需要更高层面的架构决策,例如加入缓存虽然可能改善性能,却也可能带来过期数据。

这类变更需要熟悉服务的工程师提供指导,权衡其中的取舍。

我们正在利用这些案例建立评估与改进闭环。通过比较 Agent 提出的修复和工程师最终合并的改动,可以更好地理解方案的不足,构建评估并改进工作流。我们也在尝试合成性能测试,让 Agent 在请工程师审查之前,先测量修复效果,再自行修改。

此外,我们正在探索怎样让 Agent 借助其他 Agent 审查工具识别低风险改动,并最终在没有人类介入的情况下交付这些修复。

我们学到了什么

构建和运行 Performance Factory,让我们在生产环境中开发和运维 Agent 工作流这件事上积累了很多经验。下面几条,供正在构建自身 Agent 工作流的团队参考。

保护工程师的注意力

Codex 调查的原始输出可能是一大墙难以消化的文字。要弄清 Agent 究竟在声称什么,再找到图表确认数据是否支持这些说法,都需要花精力。我们希望工程师把注意力用在决策上,而不是重新拼凑 Agent 做过的工作。

Agent 能调查的性能回退,可能比团队来得及阅读的还要多。第一版给工程师提供了一个塞满调查发现的界面,但仍然需要有人判断哪些信息重要。同一次性能回退,还可能以多个事件的形式出现在不同告警、监控和频道中。现在,工作流会关联相关事件,按团队关心的指标分组,并根据预计影响排序。工程师便能专注于补充背景、权衡取舍,以及决定交付什么。

评估对 Agent 的改动

更新调查 skill 或升级模型,可能让 Agent 更善于诊断某些案例,却在另一些案例上退步。因此,更新前需要测试影响。我们把两件事分开测试:一是 Agent 调查得怎么样,二是它的摘要对工程师有没有帮助。

评估调查过程

对于调查,我们会用过去的生产事故做回测。把这些事故变成一组测试用例,每次修改 skill 后都能重新运行。一个 Codex Agent 尝试调查并解决事故,然后我们把它的行为与当时实际的处理记录进行比较。每个案例都从一个全新的 Codex 调查者和原始信号开始,可能泄露答案的细节会事先移除。

历史测试需要谨慎处理。指标和调用链会过期,而故障恢复后才收集到的证据,又可能泄露原因。只有弄清调查者能够看到哪些证据,测试才有意义。Agent 可以在规定范围内查看代码、查询生产遥测数据,但不能使用保存的记忆,也就是此前调查的笔记,不能阅读事故复盘,也不能看到之前运行的结果。之后,我们还会检查它的完整对话记录,看有没有可能让测试失去公正性的提示。

我们会对问题何时开始、影响有多大、哪些请求受到影响分别评分,还会评估 Agent 怎样利用证据排列可能的原因,以及如何说明仍不确定的部分。Agent 可能找对了时间,却怪错了部署,因此这些项目要分开评分。

评估 Agent 与工程师的交接

我们利用保存下来的任务快照评估任务摘要。这些快照特别适合做回测,因为摘要生成不依赖会过期的外部指标或调用链。一个独立的评分者会检查:不熟悉系统的工程师能否理解发生了什么、为什么重要,有用的图表是否得到保留,以及提出的下一步是否有证据支持。

把反复出现的故障转为自我修复

最后,Agent 和它们调查的服务一样,也需要监控。性能分析器损坏,或缺少一项权限,都可能导致 Agent 无法验证变慢的原因。这些失败在最终报告里不一定显眼,因此我们每天运行一个 Agent,检查近期运行的消息与日志,寻找工具故障和访问错误。

我们使用 Performance Factory 自我修复,解决这项检查发现的问题。同一工具错误阻碍多次调查时,Agent 就会创建修复任务。如果原因明确,Agent 会提出修复,再由工程师审查并决定是否合并。合并这类改动后,我们也会通过评估,检查 Agent 能否跨过此前卡住的步骤。

下一步:更广的应用与主动监控

Regression Workflow 只是 Agent 工厂模式的一个实例,用明确的状态推动任务流转。有工作可以继续时,Agent 就推进任务;独立审查者质疑结论;下一项决策需要判断力时,工程师介入。其他工作流也能复用同一套机制,只需换上不同的状态、指令和事件。

从一个工作流扩展到多个工作流。Performance Factory 可以在不同工作流之间协调 Agent,一个工作流中的 Agent 也能为另一个工作流创建任务。

从一个工作流扩展到多个工作流。Performance Factory 可以在不同工作流之间协调 Agent,一个工作流中的 Agent 也能为另一个工作流创建任务。

目前,Regression Workflow 从告警触发开始。但我们正在开发更主动的方法,让 Performance Factory 即使没有收到告警,也能发现变慢和优化机会。我们希望 Agent 利用已经收集的大量细粒度性能数据,识别告警遗漏的性能回退,或者找到新的优化。

例如,通过比较不同版本的 CPU 和内存性能剖析数据、堆转储和请求调用链,Agent 也许会注意到某类请求的 CPU 开销略有上升。随后,它就能在 Regression Workflow 中创建任务,追溯增长原因、实现修复,再创建 PR,交给工程师审查。

对于已经知道该查什么的情况,我们正在把已知信号纳入更多 Performance Factory 工作流。例如,服务资源规格优化 skill 能帮助 Agent 找到那些保留了过多运行副本的自动扩缩容配置。一旦我们学会识别这样的模式,就希望为它构建工作流,定期在全部服务上运行,在快速变化的环境中持续优化。

有了 Performance Factory,工程师从一次变慢中学到的东西,即使过了几个月、换了另一个服务,仍能影响下一次调查和修复的方式。

下次使用 ChatGPT 发现它变慢时,Performance Factory 很可能已经在调查原因。今天,瓶颈也许是等待工程师审查并合并修复,而我们已经在探索 Agent 能否自己完成这一步。随着 Codex 持续加速产品开发,性能系统也需要变得更加自主、能够自我改进,才能跟上节奏。Codex 已经帮助我们更快地构建 ChatGPT,现在,它也在帮助我们让 ChatGPT 保持快速响应。

作者

Okay Zed、Cyrus Forbes,OpenAI 技术团队成员。

原文发布于 2026 年 11 月 19 日。

致谢

特别感谢构建 Performance Factory 的团队,以及为本文作出贡献的 Brendan Gregg、Pieter Hooimeijer、Nick Cooper 和 Louis Brandy。

参考链接

  • 原文:https://openai.com/index/how-openai-performance-factory-keeps-chatgpt-fast/

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203679