本期嘉宾:Deepu Talla(英伟达机器人与边缘AI副总裁)
主持人:Rocket Drew(The Information)
机器人的ChatGPT时刻什么时候来?英伟达机器人与边缘AI副总裁Deepu Talla给出的门槛很具体:几百、上千种任务,不用针对每一种专门训练,就能达到可以上场的水平。按现在的速度,这可能就在一到三年内。
推着时间表往前走的,是一个原本不属于机器人行业的变量。GPT-6 Astra这类Agent,能把搭建仿真环境、生成合成数据的周期从几个月压到一周,也能替工厂写那些没人愿意写的胶水代码。这是机器人开发的第一个100倍。
要点总结
Astra为什么是机器人的一次突破?
● 它同时打通了模型训练的前端和落地部署的后端。过去为合成数据搭一个数字孪生要几个月,现在给几张照片和视频就能建好环境,速度提升约100倍。
● 部署时要对接二三十年前的PLC、ERP和楼宇系统,胶水代码没人愿写;Agent读完手册就能写,这又是一个100倍。
100倍够不够?
● 必要但不充分。数字世界90%到95%的准确率已经不错,有人兜底;物理世界通常没人在环里,要的是99后面跟六个甚至八个9。
● 100倍可能只是把99%推到99.99%,还需要更多这样的阶跃。
哪些机器人已经够格上场?
● 用百米跑作比方:10秒是奥运入场线,9.6秒才是金牌。自动驾驶已经过了10秒线,Waymo规模一年涨了10倍。
● 仓库和工厂里的AMR导航、刚性物体分拣,已经接近或越过10秒线;灵巧操作和通用人形机器人还在路上。
机器人的大脑会长成什么样?
● VLA是起点,但不够;世界模型能预测动作的后果,两者正在融合成世界动作模型。英伟达开源的GR00T 1.7,前端就是视觉语言模型。
● 控制会分成系统0到系统3:关节上千赫兹的反射、本体上的快慢思考,再到云端“打电话问朋友”,算力是端云混合的。
数据还是瓶颈吗?
● 真实数据从遥操作走到第一视角数据,同一任务数据攒到一定量后边际收益就小了。现在把真实数据交给Agent在仿真里扩增,效率又是约100倍。
● 预计未来6到12个月,单靠数据的提升,新机器人模型的准确率就会远超今天最好的模型。
ChatGPT时刻之后,需要人形机器人吗?
● 要先有人形机器人,才最快练出通用大脑:数据好采,世界本来就是按人的尺寸设计的。之后再把大脑部署到机械臂、AMR等各种形态。
● 家里的终极应用是照顾老人的陪伴机器人,比工业场景更晚,因为家里没法围栏,安全要求更高。
访谈干货全文
这期节目录制前,英伟达刚在柏林开完GTC开发者大会。欧洲尤其德国的制造业以中小企业为主,Mittelstand这类企业做的是小批量、高精度、非常专门的活,任务变化极多,根本没法给机器人逐条编程,只能靠真正自主的能力。过去技术一直不够好,现在才开始成熟到能解决这类问题,整个欧洲的创业公司、研究者、开发者和大公司都挤在柏林,气氛极其热烈。
真正落地要过两关。第一关是智能本身:完成一项或一组任务的大脑必须足够准确、足够可靠、每次都一样,还得安全、划算。能理解物理世界的通用大脑,还没走到2022年11月ChatGPT给数字世界带来的那个临界点,全世界最好的研究者、开发者和实验室都在攻这个问题。
第二关是部署:有了大脑,还要把它装进具体的机器人形态,接进现有的工作流程。机器人要和能力不同的其他机器人配合,要和数字AI配合,也要和人配合,而这一步每个场景都得定制,并不容易。直到大约一个月前,Astra时刻出现,Agent第一次真正能调用仿真、训练、部署这一整套物理AI工具,反复尝试把好的机器人大脑接进现有流程。
(加州这边常有一种AI傲慢,觉得AI就是一切。硅谷的机器人从业者,能从欧洲传统制造商那里学到什么?)
问题不在傲慢。既然通用准确率这一关还没过,大家也就从没被逼着去大规模解决集成问题,而集成本质上是把智能规模化。幸运的是,数字世界的Agent革命今年2月才刚发生,进展快得惊人。
02
Astra的两个100倍:前端造数据,后端写胶水代码
Astra发布时,英伟达团队都有点意外。训练机器人大脑需要大量数据,物理世界对准确率的要求又比数字世界高得多。真实数据在采,但不够,合成数据是显而易见的方向。难点在于,合成数据需要美术师或CAD模型,为各种物体和空间做出准确的三维表示,哪怕用上生成式AI,为一个环境做数字孪生也要好几个月。
Astra这类Agent是在物理世界的数据上训练过的,对物理规律、对时空关系有不错的理解。它会研究物体的属性,去网上找现成的CAD,或者只凭几张照片、一段视频,不需要精确的三维扫描,就能把环境搭出来。过去要几个月的合成资产和环境生成,一下子提速了100倍,模型因此能用更好的数据训练得更快、收敛更快、更聪明。
第二个同样重要。就算已经有一个够用的大脑,部署也很麻烦:工厂里有些机器由二三十年前的PLC控制,用的是各家自己的编程语言;供应链场景还要接ERP,有的要接楼宇管理系统。这些胶水代码写起来很无聊,懂的人也不多,手册其实都在某个地方。把Agent丢进去,它能读完所有手册、理解接口、写出代码,这又是一个100倍。
训练智能之前的准备工作好了100倍,训练之后的部署也好了100倍,做出有用物理AI的速度,已经和一年前不在同一艘火箭上。
(为什么偏偏是Astra,突然这么擅长CAD、Blender和物理理解?)
过去三到五年先解决的是语言,几年前加进了视频和其他传感器。这是自然的下一步:物理AI就是最大的机会,语言和视频都变好之后,下一步就是把它们结合起来解决时空问题。OpenAI确实把模型训练得很好,正好能做这类最需要解决的任务。没有专门问过OpenAI,但这大概不是意外得来的,而是瞄准了这类问题去做的。
(就算LLM把这些都自动化了,难道就没有别的瓶颈?比如说服工厂的IT同意让机器人连Wi-Fi,这可是很人性的问题。)
没错,大规模部署之前,还需要好几个数量级的改进。数字世界里,模型有90%到95%的准确率就算很好,因为大多数消费级应用更像是给个提示,最后5%到10%有人来兜底。物理世界里,几乎所有情况下都没有人在环里,问题不是90还是95,而是99之后还要几个9。
100倍很好,但如果起点是99%,也只是从99%走到99.99%,而目标可能是99后面再跟六个甚至八个9。所以还需要很多次这样的阶跃。Agent解决资产生成和部署,是方向正确的一步,必要但不充分。
制造、物流这些场景有一个好处:规则很多,来自第一性原理、安全、效率等各种考量。主持人打趣说还有官僚主义,但很多规则背后其实有道理,而且大多被很好地写成了文档。LLM可以读完这些文档,写出严格遵守规则的软件。同时,始终应该有人在环里,确认一切按预期执行。
(就算LLM能读完所有文档,也不等于能让企业相信投资回报、让厂长和产线工人愿意接受机器人。五年后,一家工厂从零到自动化一个大流程要多快?)
最适合搭建和测试这些系统的地方,首先不是现实世界。现实里慢、可能危险,也贵,方案错了要到最后才发现。答案是仿真。
仿真并不新。英伟达做芯片,芯片行业用仿真和硬件仿真已经超过30年,不到百分之百有把握就不会把设计送去台积电或别的晶圆厂流片,而出来的芯片几乎总能工作。物理AI和机器人也应该这样。英伟达在这件事上已经做了15年。
借助AI,仿真技术也成熟了:Isaac Lab负责策略评估和强化学习,Isaac Sim负责搭建虚拟环境,可以合成数据,也可以把真实传感器以软件在环或硬件在环的方式接进来,测单个机器人,也测机器人集群以及它们和数字AI的交互。在仿真里可以多做一千倍甚至一百万倍的试验,更快、更安全、也更便宜。
Agent也开始把这些仿真器当工具用。黄仁勋在GTC柏林主题演讲上展示的微型小鸭子机器人就是例子:AI跑在一台RTX Spark PC上,和小鸭子通信。从想法到部署不到一周,换成六个月前,绝不可能这么快。
做法是让Astra这类Agent先建一个数字孪生环境,再往里放各种物体。对工厂来说,告诉它厂房尺寸,给几张照片和视频就行,有CAD更好。它能认出那是机器、桌子还是书桌,也能像人一样估出尺寸、体积和大致强度。接着生成合成数据,调用另一个Agent训练模型,再把小鸭子的机电参数放进Isaac Lab和Isaac Sim做策略评估,全程由Agent迭代,得到够好的结果后,再把大脑部署出去。
对仓库和工厂的经营者来说,过去光生成资产就要很久,现在一周内就能跑起来。至于小鸭子的sim-to-real差距,它可爱就够了,98%、99%的成功率也行;工业机器人干关键活,就得99.99%以上。归根结底,环境能造、模型能部署之后,问题又回到模型本身:它把具体任务做得有多好。
判断离部署有多近,Talla常用一个百米跑的比方。百米运动员的终极目标是奥运金牌,男子大概要跑9.6到9.7秒;但在那之前,先得达到10秒才能入场。跑进10秒,说明够格参赛,离金牌可能还要好几年,也可能永远到不了。
物理AI里,最近刚有一个应用过了10秒线:自动驾驶。旧金山街头到处是Waymo,规模涨了10倍。业界试了15年,之所以最近才过线,是因为几项技术终于够好:带推理的端到端模型,加上能生成现实中几乎碰不到的长尾场景的仿真。就像16岁的人学六七个小时就能上路,因为人会推理。
10秒线只是入场。自动驾驶的终点,是有朝一日地球上每辆车都自动驾驶,那还要更准、更可靠、更安全,还有监管、社区接受度和合适的价格。
机器人的用例有几百甚至上千种。左边的球门柱是那些接近或刚越过10秒线的应用,右边的球门柱是具备精细灵巧操作、触觉、强壮低延迟机电的通用人形机器人。工厂里的AMR、户外巡检、配送机器人这类移动和导航任务,把东西从A点搬到B点,已经很接近甚至越过了10秒线。
再往右是操作,也是最有价值的部分。人之所以强于其他物种,一是大脑,二是对生拇指。工业机械臂和协作机械臂抓放、分拣那些不太会变形、不需要精确知道重量和力矩的刚性物体,比如拆包、装箱、分拣,AI已经过了10秒线,部署明显在起量。
工厂和仓库比家里多一个优势:可以把环境设计得更安全,用围栏把人隔开,算是半结构化环境。完全非结构化的环境里,没法靠环境保安全,安全本身就得做到极高的可靠性。
图 01|机器人应用离“10秒线”有多远
(10秒线只看准确率,还是也看成本和吞吐量?)
要回到为什么需要机器人:一是干人本不该干的危险活,比如整天搬100磅、200磅的重物,或者在采矿、油气这类恶劣环境里作业;二是干极其单调、重复、容易出错、没人想干的活。过去五到十年,工厂里先上了按固定路线走的AGV,地上贴着二维码,只能直线走。现在加上传感器就能变成AMR,可以在半结构化甚至更非结构化的环境里自己走。
机械臂也一样。汽车这种大规模、大批量的制造早就自动化了,因为值得把机器人编程到完美。可一到中小企业,世界上90%到95%的GDP在这里,没法给机器人逐条编程,太贵,也维护不起,处理的也多是小物件,所以用的是负载5公斤、10公斤、20公斤的六自由度协作机械臂,在人身边一起干活。
(除了让LLM调用仿真器、生成仿真资产,AI还在怎样改进仿真?)
通用机器人最需要解决的是灵巧操作,这是人手最了不起的地方:不只能处理刚体,还能处理软体,而处理软体就得相当准确地模拟物理。直到一两年前,物理仿真器要么是为游戏做的,要么只针对流体力学等特定任务,带力和力矩感知的可变形物体仿真几乎没有。所以去年英伟达和Google DeepMind、Disney Research合作发布了物理引擎Newton,借鉴了流行的MuJoCo,并扩展了GPU加速和求解器。把Newton放进Isaac Lab做灵巧操作的策略评估,再加上Agent,试验数量和效率提升了一个数量级甚至更多。
(Cosmos在其中扮演什么角色?世界模型怎样改进仿真?)
回看机器人模型的演进:2022年前后的LLM只懂语言,不会行动;2023年很快有了视觉语言模型;机器人领域接着说,懂语言、懂视觉还不够,机器人得行动,于是有了VLA,即视觉语言动作模型。VLA是起点,必要,但拿不到所有准确率。就像人伸手做动作时,大脑会推理周围整个世界,动作一出,世界的状态就变了。
Cosmos是一个世界基础模型,能根据某个动作预测未来的结果。要预测就得模拟,要模拟就得推理。它既是模拟器、预测器,也天然带着策略评估器的功能。去年初最好的机器人模型还是VLA,到去年底,大家意识到单靠VLA走不到底,需要把世界基础模型和VLA配对,于是有了世界动作模型。最终,世界模型和动作模型都会合到一起。
(今年世界模型风头正劲,VLA是不是要过时了?)
谈不上过时。英伟达开源的GR00T 1.7,前端是视觉语言模型,后端是动作模型。新版本还在路上,可以合理预期,前端不只是视觉语言模型,还会加进世界模型;最终仍要把动作编码成具体指令,可能是VLA,也可能是VAM,但VAM里依然会有视觉语言推理的部分。
前端为什么还要语言?任务的意图往往由一句指令描述,比如“拿起那把扳手,拧上那个套筒”。机器人得有LLM理解这句话,得理解三维环境,知道扳手和套筒在哪、扳手朝向如何,最后还要决定握在哪里最好,再把指令发给机器人。人类天然就这么做,机器人也得一步步来。
人们常说系统1和系统2:系统1是快速的感知与反应,系统2是会思考的大脑。机器人里大概不止这两层。系统1在30到100赫兹,相当于眼睛感知的速度;系统2是思考,几十到几百毫秒,有时要几秒。
更底层还有系统0。手碰到很烫的东西,人不会想,一两毫秒就缩回来了,相当于1000赫兹。机器人的关节上,大概也会有这种局部智能。往上还有系统3:一个问题想了又想,重来几次,一两分钟还没解决,人会怎么做?打电话问朋友。这个系统3可以在云端,也可以在机器人上或厂区本地,可能是一个庞大的专家大脑。
(系统0到系统3,是不是分别对应机器人端侧和数据中心的算力?)
系统0肯定在关节和执行器上。一台通用人形机器人很可能有100个甚至更多执行器,光一只手就有20到25个自由度,至少两只手,所以要有不做深度思考的本地感知处理。系统1在30到100赫兹,也很可能在机器人本体上,就像车的智能要放在车里:不是不能联网,而是可能断网、延迟太高,可解释性也更好,还有隐私等规则要求。
系统2可以在机器人里,也可以在厂区附近。可以想象工厂里放一台大计算机,机器人本身大脑不大,由它来帮忙。再远一点,云端或电信边缘总会有一个“问朋友”的能力。何况在工厂和仓库,最终不是一台机器人的事,就像一家公司不是一个员工的事:不同形态、不同大脑、不同机电能力的机器人,要和数字AI Agent、和人一起工作,全都需要编排。当天有新方案,就要在仿真里一夜跑上百万次。所以会是端云混合的算力架构,还要在仿真里跑百万倍的算力去试错。
图 02|机器人大脑的四层:从关节反射到云端求助
(一年后,世界模型和VLA的区分还会存在吗?)
会在一定程度上合并,已经能看到苗头。但机器人本体能装的算力有限,人形机器人的质量、体积、功耗和散热都有上限。在通用准确率达标之前,只能尽量加算力;有了好模型之后,怎么把它做便宜、做低功耗,数据中心里已经做过一遍。
多数VLA只有20亿、40亿参数,不是因为不想做到200亿、300亿,而是机器人本体装不下那么多算力。如果不够解决准确率问题,已经能看到有的应用会在工厂里放一台工作站,或者一个小型算力舱来帮机器人。摩尔定律就是摩尔定律,英伟达的Jetson每一代都有一个数量级的性能提升,但能放进本体的终归有限。该放本体的尽量放本体,别教条,放别处能更好解决问题就放别处。
(机器人AI创业公司Physical Intelligence最近推出了模型API,意外吗?)
一点也不意外。英伟达几乎和地球上每家机器人公司都有某种合作。十多年前开始做机器人平台时,就提出机器人是三台计算机:第一台用来训练和生成数据;第二台在中间,基于Omniverse,带Isaac Sim和Isaac Lab,用来在仿真里测试;第三台是机器人本体,大家一想到机器人只想到它,它需要低延迟、高性能的大脑,未来要连几十个传感器和上百个执行器,安全要从底层做起,软件和模型要开放。
英伟达提供这三台计算机,也提供加速库、参考模型和工作流,覆盖数据生成、训练、仿真测试评估和运行时部署。Physical Intelligence在训练π0.5等模型时,就在用英伟达的训练计算机和工具。模型做好后可以部署在Jetson上,也可以部署在别的硬件上;模型太大、没法全放边缘时,就做成API服务,API也可以看成一种“问朋友”。
(要让模型跑在边缘,一个办法是压缩。英伟达在压缩模型上做了什么?)
回到一年前,比如去年6月,当时最强的前沿大模型,像Kimi K2、DeepSeek V4,大约是万亿参数级。到今天,同样的智能水平,大约300亿参数,十几、二三十、四十亿到上百亿之间的模型就能做到,同样的智能,参数减少了约30倍。前沿模型当然也没停下,已经到两三万亿参数,智能还在涨。可以打赌,几个月到一年内,这个水平的智能会出现在个位数十亿参数的模型里。
办法有很多:更好的训练方法、更好的蒸馏。老师第一次学的时候走了很多弯路,教给学生时不必把没用的都传下去。任务收窄后,也能扔掉不关心的部分。理论上可以造一个同时是世界最好高尔夫球手、水管工、电工和网球选手的机器人,但没什么用。具体工作会在机电上专门优化,同时保留通用大脑处理相邻的事,好水管工也会顺手收拾周围。机器人也会这样变小。但物理AI还没到通用智能的ChatGPT时刻,仍需要更多技术、算力和算法。
(业界一直认为,要到机器人的ChatGPT时刻需要多得多的数据。最近有人提出,也许现在大约2000万小时的物理AI数据已经够了,数据不再是瓶颈。怎么看?)
两三年前,机器人和物理世界的真实数据几乎是零。互联网视频里有各种动作,但没有物理信息、没有明确目的,用它训练出来的也许是个会跳舞的机器人,当不了水管工,做不了精细灵巧的活。后来研究者自己搭设备采数据,再后来用遥操作扩大规模,模仿学习也有了,但这些都是必要不充分。于是第一视角数据变得极其重要,最近一两年公开和私下采的数据,大多是第一视角:把传感器戴在人身上,照常干活,叠衣服、修水管、做制造和分拣。
那句话大概是指:同一任务,比如叠衣服或抓放,数据攒到一定量后,再采更多同样的数据,收益就不大了,关键在跨任务、通用的能力。好消息是,现在可以把视频、真实采集数据、第一视角数据交给Agent,让它用仿真和物理工具做出更多准确的变体,并完成标注。整条合成数据流水线也是约100倍的提升。
未来6个月到一年,即便算法没怎么变,光靠数据,新出的机器人模型在通用性和准确率上就会有大幅提升。世界模型在这里也很有用:模型越可靠,失败越少见,但失败最有价值。在部署中抓到一次失败,就可以用世界模型做出上千个略有不同的仿真变体去训练。更进一步,世界模型还能预测失败,比如一直推这瓶水,大概能预判它什么时候会倒,这个迭代循环会让进展快得多。
09
机器人的ChatGPT时刻:几百上千种任务过10秒线
(按现在的速度,机器人什么时候跨过ChatGPT时刻?)
先定义清楚:机器人的ChatGPT时刻,是几百甚至上千个用例都达到了10秒线,而且不需要针对这些用例专门训练。否则,挑出十个过了10秒线的应用就宣称时刻已到,那可以做得很完美,却不是一回事。ChatGPT之前,AI模型都是只解决一两个问题的专才。
所有预测都注定会错,但感觉上,离机器人的ChatGPT时刻也就几年,可能一年,也可能两三年,甚至可能更快。进步不是线性的,也不是指数的,而是阶跃式的。Astra这样的模型出现,对生产力就是一个100倍的阶跃。模型能用所有工具之后,基于已有真实数据的合成数据生成会爆发,未来6个月到一年出来的模型,准确率会远超今天最好的模型。对大多数关心的场景来说,并不遥远。
但这还只是10秒线。规模化部署要技术、安全、可靠性、监管和经济性一起到位,不同用例、不同地区差别很大。
(很多客户不会为了部署机器人去采1000小时微调数据。客户自己要做多少工作?)
要扩展到中小企业,这正是世界GDP的大头所在,客户那边的工作量必须几乎为零。客户不该采数据,机器人进门,告诉它做什么,它就去做,像新员工一样;做得不对,就说“等一下,我做给你看”。从数据采集到重新训练的整条流水线,都得自动化、藏在底下,用户看不见,也不需要知道采了一千条还是多少条数据。
(这用现有技术就能做到,还是需要持续学习上的突破?)
Astra时刻是第一个100倍,大概还需要一两个这样的阶跃,但应该不远,因为大家已经知道这类能力能做到什么。训练前造智能、训练后做部署,这两头会突然加速并被解决,剩下的大部分工作,又回到模型本身能把活干得多好。
(机器人的ChatGPT时刻,需要人形机器人吗?)
没有某种人形形态,几乎不可能到达那个时刻。今天有灵巧手的机器人有多少?离开人形机器人,几乎为零。没有通用能力,机器人通常只做一两三种任务,而通用智能需要手。主持人提到,也可以把五指手装在普通工业机械臂上,比如创业公司Tactic Systems在做的那种。这当然可以,最终部署会有大量形态,灵巧手不一定长在人形身上,也可以装在固定的协作机械臂上。
但人形形态是练出通用大脑最快的路,练出来之后再派生、部署到各种形态。原因一是数据好采;二是世界大多是棕地,本来就按人的身高和臂展设计,物品放在人够得着的地方,尤其是那些非结构化的场景。解决操作的同时,也要解决移动和导航,有腿的人形形态能走进各种通用环境。
这不是说人形对每份工作都最好,工业场景里多半不是,协作机械臂、工业机械臂和AMR都不会消失。但在极其非结构化的环境里,工厂或仓库放几台人形机器人有道理;到了家里,完全非结构化,多半就是人形。
(对资本开支有限的中小企业,工业机械臂难道不比人形更划算?)
如果有足够大量的单一任务,别的形态在机电、经济性和可靠性上更合适,当然就用别的形态。越是中小企业、越是多品种小批量,人形就越多。就像单反拍照比手机好,专业摄影师用单反,多数人用手机。通用人形机器人可能会比其他任何形态的产量都大,供应链会向它靠拢,造起来也更便宜。不是二选一,两者都会有,平衡点要逐案判断。如果能把环境设计成可灵活重组的专用工位,再把人形机器人那套大脑装进去,那确实不需要人形。
(你个人的ChatGPT时刻,会是什么样的机器人?)
家里的终极应用是社交机器人:照顾老人,提供需要的体力帮助,也是一个懂你的好伙伴,做我们不想做的家务,而且像我们自己能做时那样去做。这个时刻会比通用工业和仓储任务更晚,而后者才是最需要创造经济产出的地方。
今天的人形机器人大多一米七几、160磅左右。未来的孩子可能从小和一台30厘米高、比小鸭子大一点、力气很小、身上毛茸茸的人形机器人一起长大,它的大脑会随孩子一起学习成长,形态也跟着长大,记忆一直保留。家里也不需要一台整天搬100磅的人形,偶尔要搬重物,叫别的来就行。
通用机器人要按顺序解决五件事:通用准确率,可靠性,安全,经济性,第五是不能让人觉得毛骨悚然,要有好的人机交互。排第五不是因为不重要,而是前四件不解决,第五件无从谈起。
家用和工业的可靠性要求都很高,只是类型不同。工业场景里搬的是重物、动作快,人和机器人应尽量少交互,能不挡路就不挡路;家里要拿啤酒、捡东西,没法围栏,不管谁的错,人绊倒机器人都可能有严重后果,所以安全要求更高。不过不必等到完美再进家门,没什么力气、毛茸茸的宠物机器人,配上很好的LLM交互,已经可以先当陪伴。
今年3月的GTC上聊过一次,现在回看,在物理AI和机器人领域像是十年前,当时讨论的技术和行业今天做到的,判若云泥。等到明年春天的GTC,今天聊的这一切,大概也会像十年前的事。
关注公众号,每日获取全球AI最新一手访谈