英伟达机器人与边缘AI副总裁Deepu Talla认为,机器人的ChatGPT时刻,是几百个甚至上千种用途都“够格上场”,而且不用为每种用途专门训练。“够格上场”借自短跑:想拿奥运金牌,得先跑进10秒才有资格参赛。他估计还要一到三年,而且是一档一档往上跳。最近的一次大跳,是OpenAI的Astra,让造虚拟训练环境和把机器人接入工厂系统,都快了约100倍。
这是The Information“AI深度探讨”里一场75分钟的对话,主持人是Rocket Drew,访谈录制于黄仁勋辞任英伟达CEO之前。
图1:Deepu Talla(右)和主持人Rocket Drew
本文素材源于 Nvidia's Plan for Robotics' ChatGPT Moment | TITV's AI Deep Dive
一、机器人落地要过两道关
Talla从GTC Berlin说起:他看到的是大量欧洲中小制造企业,活儿精密、种类多、每种量少,没法给机器人逐个编程,需要机器人自己能应对。要做到这点,有两道关。
第一道是大脑:能理解物理世界的通用大脑,还没到像2022年11月ChatGPT对数字世界那样的临界点,它要准确、可靠、安全、划算。第二道是接入:把机器人装进工厂现有的流程,和别的机器人、数字AI、人一起工作,每个案例都要单独定制,过去没有技术能解决,直到大约一个月前的Astra时刻。
图2:机器人落地要过的两道关:通用大脑,和接入现有系统
二、Astra时刻:各快了约100倍
在物理世界里,光靠真实数据不够,要用软件生成训练数据,但过去要靠美术或CAD把工厂建成三维模型,做一个虚拟复制品要几个月。Astra这样的智能体AI在物理世界的数据上训练过,懂物理规律,只靠几张照片和一段视频就能把环境搭出来,过去要几个月的事,快了约100倍。
接入工厂也一样。工厂里有二三十年前的控制设备,还要连接各种管理软件,写对接代码又无聊又没几个人懂,但手册都在。智能体能读完手册、把代码写出来,Talla说这是又一个100倍。
图3:Astra之后,前期和后期各快了约100倍
例子是GTC Berlin上展示的micro duck小鸭机器人:从想法到做出演示不到一周,六个月前不可能这么快。全程由智能体完成:造虚拟环境、生成训练数据、训练模型,再放进英伟达的仿真工具里反复测试。
三、物理世界要的是更多个9
但这还不够。数字世界里,模型有90%、95%的准确率就已经很好,因为旁边有人补最后几个百分点;物理世界几乎没人在旁边,从99%提到99.99%已经是100倍的提升,后面还要继续往上。在大规模部署之前,还差好几十倍、上百倍的提升。
图4:数字世界和物理世界对准确率的要求
怎么办?先在仿真里做。英伟达自己造芯片,用软件模拟芯片运行已经30多年,没有100%把握不会交给工厂生产;同样的思路用到机器人上,英伟达做了15年。在仿真里可以多做一千倍甚至一百万倍的实验,更快、更安全、更便宜。准确率的要求也看用途:micro duck翻个跟头98%就行,工业机器人要99.99%左右。
四、“够格上场”:判断机器人离能用有多近
Talla的类比是:一个100米运动员想赢金牌,男子大约要跑进9.7秒,但得先跑进10秒才有资格参赛。他把这道门槛叫“10秒线”:一项技术跑进10秒线,说明已经够格上场、离真正用起来很近,但离大规模普及(金牌)还要时间。
自动驾驶已经够格:Waymo在旧金山规模涨了10倍,因为有了能像人一样推理的模型,和能生成大量罕见突发情况的仿真。机器人这边,移动和导航(工厂搬运车、巡检、送货)接近或已到,抓取摆放不变形的东西(拆箱、装箱、分拣)已经够格,最终目标的通用人形机器人还没到。
图5:“够格上场”:各类应用离能用有多近
在他的定义里,机器人的ChatGPT时刻,是几百个甚至几千种用途都够格上场,而且不用为每种用途专门训练,因为ChatGPT之前的AI都是只能解决一两个问题的“专才”。他预计还要一年,也许两三年,进步不是慢慢爬,而是一档一档往上跳,Astra就是一档。
五、机器人的大脑怎么分工
模型的演进是:大语言模型只会语言,然后加上视觉,再加上动作,也就是VLA。VLA是必要的起点,但准确率不够,因为人做一个动作,还会预测世界会因此怎么变。英伟达的Cosmos就是这样一个“世界模型”,能预测动作的后果。Talla认为,世界模型和动作模型最终会合并在一起。
图6:机器人AI模型的演进
他还把机器人的大脑分成四层:系统一是快速的感知和动作,系统二是思考,系统零是关节处不用想的反射,系统三是“打电话给朋友”,一个更大的、有更多专业知识的大脑。系统零和系统一一定要在机器人上,因为响应速度放不进云里,而且很多仓库连Wi-Fi都没有;系统二可以在机器人或工厂机房,系统三在云端。
图7:机器人的四层大脑:系统零到系统三
机器人上算力有限,所以模型要做小。一年前约1万亿参数才有的智能,现在约300亿参数就能达到,缩小了约30倍,靠的是更好的训练方法和蒸馏,也就是用大模型教小模型。
六、数据、客户和人形
1. 数据够不够
有说法是物理AI已经有约2000万小时的数据,不缺了。Talla的看法是:采集某个具体任务,到一定量之后,再多采同一个工作也不会再进步,真正缺的是跨任务的数据。现在可以把真实的第一人称数据交给智能体,让它在仿真里生成更多变化的版本,他估计这个循环又是100倍。世界模型还能把一次部署中的失败扩成上千个版本去训练,甚至预测失败。
2. 客户要做多少
要规模化到中小企业,客户自己要做的事,必须是“几乎为零”:机器人像新员工,做错了你演示给它看,从采集数据到重新训练的流程全自动、用户看不见。他认为还需要一两个Astra这样的突破。
3. 为什么是人形,又不只是人形
Talla说,没有人形,几乎不可能到ChatGPT时刻,因为具备灵巧手的机器人几乎为零,而通用机器人需要手。人形是最快得到通用大脑的路径:第一人称数据对得上,世界大部分是为人设计的,有腿能在各种环境里走。但这不是每个工作的最佳形态,大制造商会用专用自动化,机械臂和搬运车也会一直在;越往小批量、多品种的中小企业走,人形越多。人形的量大了,供应链朝它靠拢,也会更便宜。
对他个人来说,终极应用是照顾老人的家庭社交机器人,但那比工业仓库更远,因为家里安全要求更高。通用机器人要按顺序解决五件事,不能让人毛骨悚然排在第五。
图8:通用机器人要按顺序解决的五件事
访谈最后,Talla说他三月在GTC上和主持人聊过,感觉像十年前;他觉得到明年三月,今天聊的一切,又会像十年前。