大家好，我是熊叔，今天我们继续逛 GitHub。
让AI自动操作iPhone终于有了更简单的方案。
最近，GitHub上出现了一个新项目，只需一块40多元的小板子，就可以让AI直接接管你的手机。
这个项目名为 esp32-iphone-agent，目前已经获得 1800 多个 Star。
它其实就是给AI装上一双眼睛和一双手，让它像人一样用真实的iPhone。
它不需要 Mac、不需要开发者账号、不需要越狱，手机上也不需要安装任何 App。
它把投屏当作眼睛，把板子当作手，把大模型当作大脑，用的全是现成的技术。
先看看最后的效果
作者放了一个视频，让 AI 根据一句话在白板上画一个笑脸。
AI 先把手机屏幕投到电脑上，方便看清当前画面。
都看清楚了才开始操作。
接着，它用鼠标一点一点操作，网页不但保存了每个步骤的截图，还清楚地标注了点击的位置和原因。
然后一笔一笔画，最后把整个笑脸都画完了。
再给一个任务：每天早上 7 点设一个闹钟。上下滚动滚轮调节时间的操作都是 AI 来完成的。
打开时钟、滚动时间、勾选重复、点击保存，整个过程都不需要你碰手机。
闹钟设置完成后，它还会确认一遍。
如果稍微有点偏差也没有关系，它会自己纠正错误，重新开始，直到界面真的有反应为止。
网页上用红圈和黄线表示 AI 的所有动作，每一步是如何琢磨出来的都展示得清清楚楚。
下达完命令后就可以放手了，观察、判断、执行都是它自己来完成的。
整个过程就像围观一个认真的人干活。
有人要好奇了，怎么做到的
01 眼睛：AirPlay 屏幕镜像。
简单说，手机会把画面投屏到电脑上，把视频变成一张张截图。
AI 每次思考怎么点的时候，看到的就是这些真实的画面，不是背后复杂的代码。
因为它不需要读取 App 里的任何控件数据，完全是像人一样用眼睛看，所以就算是玩游戏这种全靠画面的操作，它也能轻松搞定。
02 手：USB HID 桥。
只要把这块 ESP32-S3 插进手机的 USB 口，手机就会把它当成一套外接的鼠标和键盘。
打开辅助触控之后，屏幕上就会出现一个指针。点击就是点按，拖动就是滑动。
板子没有逻辑，所有的命令都是通过电脑来执行的。手机休眠的时候它会先尝试去唤醒，如果唤醒不了就立刻报错，不会卡住。
03 大脑：规划和执行两个模型分工。
它的工作方式就和大脑和手的合作一样。
作为大脑的规划模型，会先扫一眼当前屏幕和任务，快速盘算出一套行动策略；作为手的执行模型，则紧盯实时更新的截图，决定每一步该点哪、怎么滑、敲什么字。
有意思的是，这两个角色完全可以让同一个大模型来兼职，不管接云端 API 还是跑在本地都行。
据作者实测，这样一套边想边看边动的操作，每个动作也就花了 1.3 秒左右，很干脆。
04 闭环校验：AI 会回头确认自己点没点中。
每次点击屏幕之前，它都会先找到位置，然后点击之后再看一下画面有没有变化。
没点上？
那么就再试一次；总是在同一个动作上卡住？它会自己换一个思路；就算断线了也能默默重连。
由于有做完还要检查的机制，所以它和傻瓜遥控器是完全不同的东西。
如果要试的话，安装起来也很简单
需要的东西有三样：一台 macOS 或 Linux 系统的电脑、一部iPhone、一块大约40元左右的XIAO ESP32S3。
hardware/flash.sh
对电脑的要求很低：安装 UxPlay 和服务器软件，给板子刷一次固件，剩下的都是网页操作。
刷好固件、安装好UxPlay和服务器后，浏览器打开 8890 端口就能看到实时画面。
校准也很简单，在网页上点一下，几秒钟就可以自动完成。
更省事的办法：把 README 丢给 Claude Code 这类工具，让它照着帮你装。
有几个要关注的问题也给大家提提
虽然这个 AI 可以看懂屏幕，但是它的限制还是很多的：
对于密码、Apple Pay和版权视频等涉及到隐私的画面，它一概不看。
目前它只能打英文不能打中文，不支持横屏，投屏还要保证手机和电脑连着同一个WiFi。
连作者都承认这只是个尝鲜版原型，想稳定当工具用，还得再等它进化几次。
写在最后
其实这种物理外挂就是个折中方案，只用到了视觉和模拟点击，一旦系统稍微卡一下或者界面变了就容易出错。
指望用它来做批量控制或者做成稳定的产品，目前肯定是不现实的，但是值的长期关注。
有兴趣的朋友可以试试。
开源地址：https://github.com/onehumanbeing/esp32-iphone-agent
平时我会持续分享一些有趣的开源项目，有兴趣的朋友可以点击关注一下。
回复关键词，可以找到你想要的项目。
