RPA真的要完蛋了,Codex最近推出了Record & Play功能。
再也不用python写什么爬虫代码,也不用影刀,八爪鱼来写RPA操作了。
只需要把操作录制一遍,就能自动生成操作代码并形成skills,后续多次调用。
Codex Record & Play的核心逻辑就是通过演示来教学,它的操作过程分成4个步骤
1 主动录制:
用户在电脑上正常执行一项复杂的多步骤任务,比如从 Excel 提取数据->登录后台网页 ->上传视频或填写表单 ->检查保存状态)。Codex 在后台通过屏幕截图和操作捕获进行观察
2 意图提取
录制结束后,Codex 不仅是记录你的鼠标轨迹或坐标,而是理解你每一步的业务意图: 知道你在验证订单号、在提取表格的第三列。
3 生成自动化技能
结合多模态大模型,Codex 会自动将这一串操作翻译并编码成一个结构化、可复用、可参数化的Skills
4 自主重放
下次遇到同类任务,只需给它新的数据集,Codex 就会通过操作系统底层的事件注入和 API 插件的结合,像真人一样自主操控屏幕完成任务,甚至包括处理异常分支
Record & Replay 的出现,意味着RPA从基于规则的玩法升级成了基于意图。真正的所见即所得。
传统RAP的死穴在于非常依赖具体的 UI 选择器、DOM 节点或绝对屏幕坐标。一旦目标网页更新、按钮改了颜色、或者响应式布局导致元素位移,传统 RPA 脚本就会崩溃报错,后期需要投入不少的维护成本去修正。
而Codex凭借的是语义和视觉理解来实现精准点击。
且就算是影刀这样的低代码RPA平台,要掌握好也需要经过一段时间学习。Record & Replay 将开发门槛直接降为零。
任何不懂技术的普通业务人员,只要自己操作一遍,就完成了代码编写。
可以用一个公式来表达:Record & Play=Computer use + Broswer use。
不过有一点遗憾的是,目前只能在Mac电脑上玩,Windows还不行。