社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

让 AI 接管 Windows 和 MacOS,这个 GitHub 开源项目牛啊。

逛逛GitHub • 6 月前 • 415 次点击  

这个叫 TuriX-CUA 的开源项目也是一个让 AI 替你玩电脑的 AI 智能体。

它也是给 AI 装上眼睛和手,让它像人一样看着屏幕,动鼠标、敲键盘,帮你把活儿干了。

前两天,TuriX-CUA 刚更新了一波大的,引入了多模型架构,在测试集通过率超过 了 80%,确实有点东西。

开源地址:https://github.com/TurixAI/TuriX-CUA

01

开源项目简介

TuriX-CUA(Computer Use Agent)是一个基于 Python 的开源 Agent。它的核心逻辑非常暴力美学:

看(See):每隔几秒截一张你屏幕的图。

想(Think):把截图扔给多模态大模型,问它:“老铁,用户让我订机票,现在屏幕上这情况,我下一步该点哪?”

动(Act):模型返回坐标,TuriX 控制你的鼠标移过去点击,或者在输入框里打字。

听起来是不是像个宏?不,宏是死的,它是活的。遇到弹窗它知道关,遇到网页加载慢它知道等,这就很灵性。

而且在成功率和速度方面比其它开源 Agent 要好:

02

为什么它值得关注?

跨平台支持

最开始这项目是专门搞MacOS的,但到了2025年下半年,它已经支持 Windows 了。

这对于咱们大多数用 PC 打工的人来说太重要了。只要切换到 Windows 分支,就能在 Windows 上跑。

MacOS 端支持

预订机票、酒店和 Uber。

搜索 iPhone 价格,创建 Pages 文档,并发送给联系人
把 Discord 中老板发送的数字文件中生成柱状图,并插入到我的 PowerPoint 的合适位置,然后回复老板。

Windows 端支持

在 YouTube 搜索视频内容并点赞

支持 MCP 协议

支持 MCP 意味着你可以把 TuriX 当成一个工具人挂载到 Claude for Desktop 或者 Cursor 上。

你可以直接对 Claude 说:“帮我查一下最近的 AI 新闻,然后写个文档发给老张。”

Claude 通过 MCP 指挥 TuriX 去浏览器搜索、去 Word 里打字、去微信里发消息。这简直就是左右互搏术,效率翻倍:

除此之外,它还支持多模型架构(Multi-Agent),Planner(规划师)负责把大任务拆解成步骤。

Executor(执行者)负责具体的点击和输入。这种脑手分离的设计,大大降低了模型发癫乱点的概率。

03

如何使用

虽然 GitHub 上有文档,但有些坑还得我替你们踩。这里以 Mac 为例,Windows 逻辑差不多。

第一步:环境准备

首先,你得有 Python 环境。强烈建议用 Conda,不然依赖包能把你搞疯。

conda create -n turix_env python=3.12conda activate turix_envgit clone https://github.com/TurixAI/TuriX-CUA.gitcd TuriX-CUApip install -r requirements.txt

第二步:搞定模型

在 examples/config.json 里配置模型。官方默认推荐用它们自家的 API(Turix API),注册送点额度。

既然是开源,咱们其实可以换成自己的模型。如果你有 OpenAI 兼容的接口,或者本地跑了个 Qwen3-VL,改改 main.py 里的 build_llm 函数就能用。

注意:现在的 Qwen3-VL 在处理 UI 界面上的能力非常强,识别小图标贼准,强烈推荐试试。

第三步:权限地狱

因为 TuriX 要控制鼠标键盘,还要录屏,Mac 的安全机制会疯狂报警。

去 系统设置 -> 隐私与安全性 -> 辅助功能,把你的终端和 IDE都勾上。如果你要操作 Safari,记得在 Safari 的开发菜单里勾上允许远程自动化。

第一次运行时,系统可能会弹窗问你是否允许控制电脑,一定要点允许,不然鼠标只会原地抽搐。

第四步:开跑

配置好任务,比如在 config.json 里写上:

{  "agent": {


    
    "task": "打开Safari,搜索一下iPhone 17 Pro现在的价格,然后打开备忘录记下来"  }}

然后运行:

python examples/main.py

这时候,你双手离开键盘,就会看到鼠标自己动了起来,像幽灵一样打开浏览器,输入文字,真有点赛博朋克的感觉。

04

点击下方卡片,关注逛逛 GitHub

这个公众号历史发布过很多有趣的开源项目,如果你懒得翻文章一个个找,你直接关注微信公众号:逛逛 GitHub ,后台对话聊天就行了:

图片

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/191278