平时用 Claude Code 这类 Agent 工具，想让它们操作电脑桌面软件，总是不太行。
没点几下就卡住了，而且它们在操作的时候，我们还不能碰电脑，只能坐在旁边干等着它做完。
另外，现在的 Agent 工具很多是通过截图识别到内容后，再开始动手操作的。
这样就需要消耗大量 Token，任务还没有完成额度就没了，成本相当高。
直到最近，Vercel 团队发布了 agent-desktop，让任何 Agent 都能自己操作电脑。
不靠截图，直接识别界面，后台运行不抢鼠标不影响我们使用电脑，还能多个 Agent 同时干活。
项目在正式发布后，就连续几天霸榜 GitHub Trending，直接暴涨了 13000+ Star。
在了解 agent-desktop 时，发现它最早是开发者 Lahfir 在写的，后来他加入到 Vercel Labs。
说起来也是巧，agent-desktop 正好和 Vercel 之前开源的 agent-browser 能组成互补搭档。
agent-browser 负责操作网页，而 agent-desktop 负责操作桌面软件，两者强强组合。
其中这次我觉得 agent-desktop 最实用的一点，就是能在后台干活。
默认情况下，AI 操作软件的时候鼠标不会动，窗口也不会跳到最前面，不会打断我们手头的事。
比如让 AI 去苹果地图里查景点、看营业时间、放大地图，我们在旁边的文本编辑里照常写周六的行程，两边各干各的，互不打扰。
当然，拖拽、菜单这类操作还是离不开真实的鼠标，需要加一个 --headed 参数切过去，这时候 AI 才会真的去动鼠标。
Windows 上也能在后台点击、填写内容和滚动页面，被别的窗口挡住的软件照样能操作，只是最小化的窗口不行。
手头的事多，也可以多叫几个 AI 来帮忙，打开多 Agent 模式就能一起干了。
每个 AI 都有自己的光标，上面标着名字，哪个 AI 在点哪里，都能看得到。
它还会锁住 AI 正在操作的元素，避免其他 AI 同时过来点这个按钮。
而且不用都在一个 Agent 工具里，可以同时将 Claude Code 和 Codex 里的 AI 接进来，一起操作同一个桌面。
比如让一个 AI 在备忘录里写清单，另一个去提醒事项里加待办，计算器那边也可以交给其他 AI。
甚至还能叫上三个 AI，在 GarageBand 里分工合奏一段钢琴曲，这个玩法我倒是没想到。
那 AI 是怎么知道要点哪里呢？这里用到了软件的辅助功能。
软件里按钮、输入框叫什么，能做什么操作，原本就会提供给读屏软件等辅助工具，agent-desktop 也能读到。
拿到这些信息，它就给能操作的元素编个号，AI 照着编号去点，点完再读一遍界面，确认刚才有没有操作成功。
碰到内容多的窗口，也可以只读需要操作的那一块，不用每次都读整个窗口。
比如苹果地图，整个窗口读下来有 75 个可操作的元素，只读地点卡片的话，就少到了 45 个，交给 AI 的内容少一些，也能省点 Token。
每条命令的响应都在 200 毫秒以内，至于 AI 做完一件事要花多长时间，还得看用的模型和 Agent 工具。
平时在软件里点按钮、填文字，或者滚动一下页面，都有对应的操作，拖拽和切换窗口也能做。
另外还能读写剪贴板、处理系统通知，这两天更新的 1.1 版，Mac 上的程序坞、菜单栏图标和系统面板也可以操作了。
不过，有些软件提供的界面信息不全，AI 读不到要点的按钮，操作就可能做不下去。
这时候可以切到真实鼠标模式再试试，agent-desktop 本身不会自动切换，得让 AI 加上参数换过去。
如果自己正在写桌面 App，还可以让 AI 帮忙做测试，把做好的功能从头到尾点一遍。
想装来使用的话，跑下面一条命令就行，支持 Windows、macOS 和 Linux 系统。
npm install -g agent-desktop
如果我们用的是 macOS，也可以用 Homebrew 安装，命令如下：
brew install agent-desktop
另外 Mac 电脑需要先打开辅助功能权限，AI 才能操作软件。
接着把 agent-desktop 的 Skill，装到平时我们用的 Claude Code 或 Codex 等 Agent 工具。
装完就能在 Agent 里提需求，告诉它在哪个软件里做什么，想通过 MCP 接入的，项目也有提供相应的方式。
写在最后
我觉得可以先从备忘录、提醒事项这些小任务试起，将平时要自己来回重复点的活，交给 AI 做。
尤其是经常用 Claude Code、Codex 的朋友，写代码之外，也能让它们帮忙操作桌面软件。
而且是在后台操作时，我们还能接着干手头上其他的事情，这一点比其他工具要好上许多。
手头有一些要在软件里来回点的重复操作，或者正在做桌面 App 的朋友，可以装个来试试。
GitHub 项目地址：https://github.com/vercel-labs/agent-desktop
今天的分享到此结束，感谢大家抽空阅读，我们下期再见，Respect！
