RTK 压缩输出反致成本飙升。GitHub 团队在 Copilot 实测,仅砍行号前缀,推理成本直降 5%。
先说结论:
- 局部优化是陷阱:用 RTK 压缩单次工具输出,会导致模型重跑命令,全局 token 消耗不降反升。
- 格式清理最稳妥:移除 view 工具中无用的行号前缀,离线推理成本降 5%,线上降 3%,且无质量回归。
- 压缩 Prompt 需谨慎:用 meta-prompting 将指令缩短一半,首次线上实验引发并行任务串行化的回归,被迫叫停。
做 Agent 落地时,盯着单次 tool call 的 token 数抠成本,是典型的局部优化陷阱。上下文缺失导致的重试和状态恢复,会吃掉你省下的所有预算。评估效率必须看端到端任务完成率,而不是单步消耗。
局部压缩的代价与选择性保留策略
在 Agent 架构中,上下文利用率决定任务成败。RTK 试图缩短 shell 输出,但在 agentic coding benchmarks 实测中,被省略的文本若包含关键信息,模型会重新打开原始输出或重跑命令。这些恢复步骤增加了交互轮数,迫使模型携带更多上下文,导致全局 token 不降反升。
单纯追求单次响应简短行不通。优化的核心在于区分噪音与有效信息。GitHub 团队分析表明,install、build、test 输出含大量重复噪音,而 source-like 输出是核心依赖。他们确立保留策略:对 cat、git diff、git show 等输出保持原样;对 grep 结果重组但不丢弃内容;仅在节省空间极大时压缩重复噪音。
这种压缩是在信息密度与上下文完整性间寻找平衡。若移除必需信息,模型会频繁触发恢复路径。监控 agent 是否重跑命令,可量化压缩器的激进程度。离线任务中,该保守策略未引起成功率下降,线上实验也证实了成本降低。
格式清理与 Prompt 压缩的实测数据
除了输出压缩,清理无用格式和压缩 Prompt 也是降本手段,但风险截然不同。移除行号前缀:view 工具原本在每行前加行号,用于早期编辑定位。现在工具改用上下文匹配,行号成了格式冗余。移除后,离线 benchmarks 中推理成本下降约 5%。线上 Copilot CLI 用户实验中,每用户日均推理成本下降约 3%,编辑失败率未增加。
压缩 Prompt 指令:task tool 用于启动并行工作,其指导说明散落在工具描述和系统指令中。通过 meta-prompting 循环,Copilot 将这部分 prompt 缩减了约一半。
首次线上实验暴露了 Prompt 压缩的致命风险:meta-prompting 循环将谨慎的并行指导改写成了硬性调度策略,导致原本独立的 custom agents 变成了顺序执行。团队立即停止了该实验。
对比这两项优化,移除行号前缀是无损的,它不改变信息内容,只去除了模型不再依赖的格式标记,没有引入恢复成本。而 Prompt 压缩改变了模型的决策逻辑,一旦大模型在重写指令时丢失了关键的边界条件,就会引发严重的任务回退。这提醒我们,在优化系统提示词时,必须保留针对特定行为的回归测试,不能仅看 token 数量的减少。
落地 Agent 成本优化的排查清单
原文未提供直接代码库链接,但其工程思路可复用到你的 Agent 部署中。如果你使用类似 Copilot 的底层 harness,或搭建 Copilot CLI、Copilot code review,可参考以下清单优化 token 消耗:1. 审计工具输出:检查 agent 读取 shell 输出时,是否因信息缺失频繁重跑命令。若是,停止激进截断,改用基于内容类型的选择性压缩。2. 清理历史格式:排查 context 注入逻辑,是否还在为旧版编辑工具保留行号等无用格式。3. 建立行为回归测试:压缩 system prompt 前,先跑核心任务流,确保未改变并发策略和错误处理逻辑。
在实际工程中,你可以写个简单脚本,统计 agent 单次任务中调用同一个 bash 命令的次数。若某个命令被重复调用超过 3 次,大概率是上下文压缩策略切断了关键信息。此时应优先检查输出截断逻辑,而不是盲目更换更便宜的模型。
做 AI 应用落地,最容易踩的坑就是把省 token 等同于降本增效。GitHub 团队的实测证明,局部视角的优化往往会引发全局的灾难。模型在缺失上下文时产生的幻觉和重试,其计算成本远超你省下的输入 token。效率提升的关键,来自于精准识别哪些信息是 agent 推进任务的必需品,哪些是纯粹的格式噪音。在调整任何上下文注入策略前,先建立端到端的质量监控,否则你省下的每一分钱,都会以任务失败的形式加倍偿还。
评论区唠唠
你主力跑什么 Agent 框架?单次任务 token 多少?
往期推荐
- ·1375亿算力投资,Meta靠199刀订阅回本?
- ·28区自动路由,默认配置小心隐性加价与窗口截断
- ·一台本地电脑触发云同步,智能体跑电路仿真无法洗白
点击公众号头像 → 历史消息,可翻阅以上文章