社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

Github狂揽万星!腾讯开源沙箱的生产级Agent实践

Datawhale • 8 小时前 • 12 次点击  

 Datawhale干货 

大会:Cube Talk 上海站

上周,在 Cube Talk 上海站,腾讯 CubeSandbox 核心研发团队、芒果 TV、弘则研究、花椒直播与 openFuyao 社区,分别复盘了各自把 Agent 跑进生产环境的过程。

我们把这五场一线实战整理成了一份落地参考,供大家对照借鉴。

一、腾讯开源 Agent 沙箱底座

CubeSandbox 核心维护者徐黎科在开场提了一个观察:Agent 正在成为一朵新的云。

这朵云上跑的负载大致能分成三类。第一类是工具执行,由 token 驱动,要求在几秒到几分钟内跑完单次任务。第二类是常驻任务,由 Harness 承载,替人持续处理日常工作。第三类是服务类 Agent,比如大模型厂商做强化学习,特点是短时间内会产生海量并发。

这三类负载有一个共同点:状态需要被高频操作。

在 token 驱动和人工干预下,Agent 的状态会跟着人走,随时要回滚、分岔或者直接销毁。这也是为什么以前的 Serverless 底座接不住今天的 Agent 负载。Serverless 的函数实例是无状态的,用完即焚。而 Agent 沙箱必须把状态管理起来。

和 DeepSeek 公开的沙箱方案「提供容器、micro-VM、完整 VM 三档」相比,今年 4 月开源的 CubeSandbox 选择了 micro-VM(轻量级虚拟机) 这一档。因为容器共享内核隔离性不够,完整虚拟机又太重,micro-VM 刚好能在强隔离的同时把单节点并发和密度提上去。目前它的冷启动压到了 6 0ms 级别,单台 96 核服务器可以同时运行 2000 个 Agent。

从开源至今,项目保持着平均两周一个版本的迭代节奏,陆续补齐了增量快照、出网网关、自动启停、K8s 部署、跨机 S3 恢复,以及最新 v0.8.0 中的 JuiceFS 存储后端与仅文件系统(FS-only)快照。

Image

二、芒果 TV 的生产实践

作为湖南广电体系旗下子公司,芒果 TV 既有互联网内容业务,又有严格的国企合规要求。

因此,芒果 TV 在沙箱选型上做过多轮测试。最早测试的是 nono,但其只有轻量进程隔离,做不到资源隔离。接着也调研了基于 KVM 的 Microsandbox,Microsandbox虽然支持隔离执行,但缺少集群调度的控制面。后来又测试了功能完整的 Daytona 自托管版,发现自建控制面的运维成本太高。最后他们选择了底层基于 CubeSandbox 的腾讯云托管沙箱服务,直接省掉了自建控制面的运维与安全治理成本。

在架构上,芒果 TV 采用了 Sandbox as Tool(沙箱即工具) 的模式。

为什么要这么切分?因为他们的 Agent 主循环「Planning、Context、Session」需要对接内部系统和会话状态,留在内部可信平台里最安全。真正有风险的是执行外部 CLI、Bash、Skill 和媒体处理,所以只把这些不可信动作发到远端沙箱里去运行,按需创建、按会话绑定。用刘旭升的话说,沙箱不是一个简单的 Execute API,而是一套远端执行基础设施。

在这套体系里,CubeSandbox 负责提供 MicroVM 级的基础隔离、生命周期管理与低延迟启动。芒果 TV 则在底座之上自己加了一层业务安全管控。

首先是自研了 Fence 行为约束,在沙箱内限制 Agent 能访问的文件、网络和环境变量。因为生产环境的宿主机内核还是 4.6.x,不支持 Landlock,团队专门在 Fence 里加了 ptrace 后端做兼容,并严格执行 Fail Closed 原则,只要安全隔离初始化失败就直接拒绝执行,绝不静默降级。

其次是管控密钥和 Bash 权限。沙箱里的脚本访问外部服务全部走 Vault 代理,长期密钥由平台集中轮换,出站流量通过 VPC 策略和白名单统一管控。Bash 权限也细分成了三档:No Bash 只开放结构化工具,Restricted Bash 用 AST 语法树做语义分析加单次审批,Full Bash 则在明确授权边界内才开放完整 Shell。

这层安全管控带来的额外开销不大。Fence 引入约 100ms 执行耗时,Vault 代理增加 30ms 以内的请求延迟,放在内容生产这类非强实时场景里完全够用。

刘旭升还分享了一个容量测算经验:1000 个 Agent 并发,不等于需要开 1000 个沙箱。因为 Agent 大部分时间在等大模型思考,只有真正调工具的那几秒才用得上沙箱,所以沙箱池的实际容量取决于「任务到达率 × 单次占用时间」,而不是在线 Agent 的数量。

Image

三、弘则研究的生产实践

芒果 TV 只把工具调用放进沙箱,金融研究机构弘则的 CTO 王正凯则采用了相反的架构:把整个投研 Agent 放进沙箱里运行。

为什么弘则不把主循环和工具拆开?因为他们的投研 Agent 是基于开源 Pi coding agent 改造的,在分析研报和计算金融数据时,模型循环需要围绕工作区里的本地文件、计算脚本和看板反复读写迭代。如果把主循环留在外面、只把单次命令发进沙箱,上下文和本地文件就会割裂。

因此,弘则干脆把模型循环、工具选择、工作区与会话日志整体打包放进了 CubeSandbox。沙箱外的 Runtime Harness 只管事件持久化、身份授权、超时取消和生命周期。

弘则敢把整个 Agent 放进沙箱,是因为他们把每个沙箱实例都设计成了随时可丢弃的消耗品。首次请求时新建沙箱,执行完保留约 5 分钟热状态供用户追问。5 分钟没动静,就由 Cube 的 AutoPause 自动暂停,下次提问时再自动唤醒。满 12 小时没有请求就直接销毁,下次再来重新冷启动重建。这套设计完全依赖底层毫秒级的启停性能,要是冷启动慢十倍,这个模式就跑不通。

沙箱可以随时销毁,但里面的投研资产不能跟着一起丢。

王正凯指出,一次投研任务里同时存在三种归属和权限完全不同的东西。如果像传统方案那样混装在同一个容器里,沙箱一旦销毁数据就丢了,或者研究员更新一版分析方法,所有人的容器都得重做。于是弘则把这三样东西彻底拆开,让沙箱只做「三者在运行时交汇的地方」。

第一种是研究团队发布的行业跟踪方法,被打包成只读的 DAS(Domain Analyst Service)。里面装着研究框架、判断口径、计算代码、Skills 与默认看板,每次发布生成一个不可修改的 revision,创建沙箱时按授权只读挂载。之所以做成不可变的只读包,是因为金融合规对可追溯性要求极高,哪怕过了半年,有人问起“这份研报是按哪一版方法算出来的”,系统都必须能挂载当时的版本准确复现。

第二种是用户自己的分析材料与成果,放进可读写的 Workspace 里独立持久化保存,不随沙箱回收而丢失。

第三种是平台持有的模型与数据服务密钥,做到「凭据永远不进沙箱」。因为投研 Agent 在沙箱里拥有完整的代码执行权限,长期 API key 一旦进了环境变量或本地文件,就可能被恶意 prompt 诱导打印带出来。所以在弘则的方案里,只有当请求离开沙箱时,才由 CubeEgress 在出口网关侧按目标服务动态注入 Authorization 头,密钥由平台集中轮换。最终在沙箱的 prompt、文件和日志里,完全没有 key 的痕迹。

拆开这三部分之后,弘则不需要提前为每个用户打包专属镜像,只在沙箱启动时按需挂载目录就行。

用户的沙箱拉起时,系统按他的订阅权限,把对应的 DAS 版本只读挂载进来(比如同时订阅半导体和医药,就挂两个目录),再挂上他可读写的 Workspace,当场拼出一台专属的工作环境。目前这套模式已落地 3 家机构的本地部署,中心端与机构端保持接口与挂载布局一致,一套业务代码可以直接在两边运行。

Image

四、花椒直播的生产实践

花椒直播把沙箱做成了平台上的一个可配置选项。他们的 Agent 平台底层可以是裸金属、云服务器、K8s,也可以是 CubeSandbox。

为什么要做成可配置的?因为公司内部不同 Agent 的安全等级和成本预算不一样。有的内部小工具跑在普通容器里就够了,只有当执行环境的资源需要在多个用户之间做严格的物理隔离时,才按需切到沙箱。

既然底层执行环境可以随时切换,状态就不能绑死在某一台机器或沙箱上。为此,花椒把一次任务拆成彼此独立存储的三层:Seed 是平台保存的任务上下文,Sandbox 是任务绑定的执行环境,Session 是沙箱内的命令会话。这样哪怕底层沙箱突然挂掉,或者中途切换了执行环境,平台保存的任务上下文也不会丢,换个沙箱就能接着跑。

Image

花椒从 CubeSandbox 第一个版本就开始在生产环境使用,现场复盘了三个线上踩过的坑。

第一个坑是把沙箱误当成了按需计费的弹性资源池。团队早期以为沙箱只有在实际跑命令时才消耗资源,于是线上直接预创建了大量沙箱,结果触发告警后紧急扩容。事后他们才明确,沙箱是强隔离的轻量虚拟机,一创建就会实打实占住 CPU 和内存。

第二个坑是长耗时命令的状态判定。沙箱跑长任务时,经常遇到半天没有输出回传的情况。如果简单按超时失败处理,其实沙箱里的进程可能还在正常跑。所以他们把命令超时、正常退出和持续失联做了严格区分,失联状态必须单独标记,不能直接当进程停止处理。

第三个坑涉及重复执行风险。当 Agent 调用发布机上线代码时,对方可能已经发布成功,只是没有及时回传状态。如果平台把「结果不明」直接当成「失败」并触发重试,就会造成线上重复发布。花椒现在的做法是:遇到结果不明先去原系统查询确认,必要时交给人工判断,不把未知直接当失败处理。

五、openFuyao 的 K8s 实践

openFuyao 社区的沙箱架构师王文涛聊的是底层基础设施问题:怎么在现有的 K8s 集群里部署和管理沙箱。

为什么一定要把沙箱搬上 K8s?因为在很多政企与传统行业里,客户的算力底座已经统一建在了 K8s 上。如果沙箱还保留物理机部署形态,同一个平台就得维护两套运维体系:发版一套走 K8s CI/CD、一套走 systemd,监控一套接 Prometheus、一套走宿主机脚本,运维成本直接翻倍。

openFuyao 给出的方案是八个字的职责切分:K8s 管节点,Cube 管沙箱。

K8s 负责节点编排、Pod 调度、弹性扩缩与滚动升级。CubeSandbox 则负责沙箱生命周期、沙箱级调度、模板分发、快照与网络隔离。

在具体实现上,三层组件都被封装成了标准 K8s workload。访问层用 Deployment + Service 多副本部署,控制层的有状态服务用 StatefulSet。计算层则是把 cubelet、CubeVS 与 CubeEgress 一起放进同一个特权模式的 Big Pod(DaemonSet) 里。之所以把这三个组件塞进同一个大 Pod,是因为微虚拟机需要直接挂载宿主机的 /dev/kvm 硬件虚拟化设备,并在本机就近完成虚拟存储挂载与出网流量拦截,合在一起能省去跨容器的通信与权限配置麻烦。

Image

把原本跑在物理机上的虚拟机管理组件放进容器里运行,openFuyao 解决了三个底层的冲突。

第一个是容器内孤儿进程导致反复退出的问题。cubelet 原本假设自己跑在宿主机的 systemd 下:进程 A 建立 mount namespace 后 fork 出进程 B,进程 B 杀死进程 A 释放资源,自己变成孤儿,交由宿主机 PID 1 收养。进了容器之后,容器默认的 PID 1 不会收养孤儿,cubelet 容器因此反复退出。openFuyao 的解法是给 Pod 引入 tini 作为 PID 1,由它负责回收孤儿进程并转发信号,entrypoint 脚本在后台拉起 cubelet,再配上 pidfile 与 preStop hook。靠这套组合,他们没有为 K8s 改一行 cubelet 源码。

第二个是同节点访问沙箱网络不通的问题。K8s 托管后,主机网络、容器网络与沙箱网络多层嵌套,再叠加 Cilium 等 eBPF CNI,排查链路很长。王文涛还原了当时的定位过程:先用 nettrace 抓包观察内核态转发路径,再用 tcpdump 挂 TAP 设备查看出入口流量,然后用 bpftool 查看 eBPF 程序挂载状态与 BPF Map,接着用 bpf_printk 埋点把日志打进 trace_pipe,最后读源码验证。根因是 eBPF 转发本节点流量时没有填充伪首部字段,导致 checksum 校验必败,包被内核丢弃了。这个问题被整理成  Issue #443 提交上游后,在 CubeSandbox v0.4.0 的修复 PR #469 中被解决。

第三个是双调度器冲突。K8s 有自己的 scheduler,CubeSandbox 也有自己的调度器(默认支持 CPU 超卖 3 倍、内存 2 倍)。如果 K8s 给计算面 Pod 的 resources.limits 设得很死,当 Cube 判断还能继续装入沙箱时,外层 K8s 的 cgroup 已经把 CPU 配额限制住了。openFuyao 的规避方案是把 K8s 调度限制在节点级,节点内部怎么分配沙箱交给 Cube 自己决定。

目前这套方案已经在多家行业伙伴那里稳定运行了数月。下一步他们计划从 Helm 静态模板走向 K8s 原生 Operator,并在超节点上构建分布式镜像缓存池,解决批量创建沙箱时的镜像分发带宽瓶颈。

写在最后

花椒封冰清在分享结尾提了一个判断:接下来 Agent 的基础设施会逐步走向标准化,底层的沙箱、模型与接口能力都可以直接复用;而上层的应用形态则会越来越多元,工作台、Chat 与 Bot 各有各的场景。

目前 CubeSandbox 刚刚更新到 v0.8.0 版本,文中提到的几处线上排障记录和 PR 都在仓库里有完整留档,正在搭 Agent 执行环境的团队可以直接拉下来试试。

CubeSandbox 开源仓库:https://github.com/TencentCloud/CubeSandbox
图片
一起“点赞”三连 ↓

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203546