GitHub Copilot 开放 computer use 预览。不用写 API，不用接 MCP，它直接靠视觉接管桌面 GUI。
先说结论：
- GitHub Copilot CLI 和桌面端应用现已支持 computer use，可直接操作 macOS 和 Windows 上的桌面软件。
- 通过读取视觉上下文和辅助功能，Copilot 能自动化没有 API 或 MCP 集成的遗留 GUI 工作流。
- 用户可通过 /computer on 一键开启，系统会在执行前请求批准，并引导配置 macOS 的辅助功能权限。
绕过 API 限制的桌面级 Agent
详细拆解 computer use 的工作原理，它读取 accessible app content 和 visual context。这相当于给大模型装上了眼睛和手。以前做自动化，依赖的是 DOM 树或者 API 接口。现在直接走视觉和系统级辅助功能。此举直接打通了遗留软件的自动化死角。对于那些没有提供 CLI 或 MCP 集成的纯 GUI 软件，Copilot 可以代替你点击控件、输入文本、按键、滚动甚至跨应用拖拽。
原文提到了一个具体场景：在 Safari 中导航费用报告工作流。这在实际业务中非常典型，很多老旧的 ERP 或内部系统只有 Web 端或客户端，没有接口。从系统架构的角度看，这种基于视觉和辅助功能的交互，绕过了传统 RPA 需要针对每个软件编写特定选择器的痛点。模型直接理解界面语义，大幅降低了维护成本。安全机制方面，Copilot 保持了克制。它在控制应用前会请求批准，你可以审查或重置“始终允许”的应用。在 macOS 上，还会引导你完成 Accessibility 和 Screen Recording 权限的配置。组织管理员也可以通过设置直接禁用该功能。这种设计在工程上非常必要，避免了 Agent 在后台静默执行导致的数据损坏。
工程落地中的边界与排查清单
视觉上下文依赖屏幕分辨率和 UI 缩放。如果 UI 元素重叠或动态加载延迟，Agent 可能会点错。以下是实际部署中的排查清单与失败条件。第一，权限检查：macOS 必须授予 Accessibility 和 Screen Recording。Windows 需要相应的 UI 自动化权限。缺少任何一个，Copilot 都无法读取视觉上下文。第二，屏幕状态：确保目标应用在前台且未被遮挡。视觉上下文需要完整的窗口渲染，后台最小化会导致读取失败。
第三，约束描述：原文建议描述你想要的结果、涉及的应用和重要约束。Prompt 越具体，Agent 的幻觉和误操作概率越低。模糊的指令会导致模型在多个相似按钮间犹豫。第四，状态监控：在 CLI 中随时使用 /computer show 检查状态，避免后台静默执行导致失控。失败条件方面，如果目标软件使用了高度自定义的 Canvas 渲染，或者界面元素没有标准的 accessible 标签，视觉识别的准确率会断崖式下跌。这种情况下，建议退回传统的 API 或 MCP 集成方案。
配置参数与启用指南
在 Copilot CLI 中，运行 /computer on 开启。使用 /computer show 检查状态，/computer off 禁用。这三个命令构成了最基础的闭环控制。在 GitHub Copilot app 中，打开 Settings，选择 Computer Use，打开 Enable Computer Use。同样可以使用 /computer on 命令。对于企业用户，Organization-managed settings 提供了集中管控能力。你可以直接在管理后台禁用该功能，防止员工在生产环境中误操作。
computer use 把 Agent 的能力从调用接口下沉到了操作界面。此举解决了长尾软件的集成难题，但也引入了新的不确定性。GUI 的变更（比如按钮换个位置、换个颜色）可能导致原有的自动化流程失效。在企业级落地时，建议先在非核心业务流（如费用报销、通知汇总）中灰度测试，不要直接上生产环境的强一致性流程。同时，组织管理员务必利用管理设置，在初期关闭该功能，等权限管控和安全审计流程跑通后再逐步放开。视觉 Agent 的下一步演进，必然是多模态模型在端侧的本地化部署，以降低延迟和隐私风险。
评论区唠唠
你现在主力用的是哪个 RPA 工具？遇到没 API 的遗留系统怎么破？
往期推荐
- ·一亿美元投资开源平台，GPT-6.1 Astra 取消发布
- ·OpenAI 抢微软饭碗，ChatGPT 上线协作幻灯片功能
- ·OpenAI 上市无时间表，安全对齐成最大拦路虎
点击公众号头像 → 历史消息，可翻阅以上文章
