社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  chatgpt

英伟达机器人负责人如何判断机器人的ChatGPT时刻?

AI工业 • 6 小时前 • 15 次点击  

英伟达机器人与边缘AI副总裁Deepu Talla认为,机器人的ChatGPT时刻,是几百个甚至上千种用途都“够格上场”,而且不用为每种用途专门训练。“够格上场”借自短跑:想拿奥运金牌,得先跑进10秒才有资格参赛。他估计还要一到三年,而且是一档一档往上跳。最近的一次大跳,是OpenAI的Astra,让造虚拟训练环境和把机器人接入工厂系统,都快了约100倍。

这是The Information“AI深度探讨”里一场75分钟的对话,主持人是Rocket Drew,访谈录制于黄仁勋辞任英伟达CEO之前。

图1:Deepu Talla(右)和主持人Rocket Drew

Deepu Talla(右)和主持人Rocket Drew

本文素材源于 Nvidia's Plan for Robotics' ChatGPT Moment | TITV's AI Deep Dive

一、机器人落地要过两道关

Talla从GTC Berlin说起:他看到的是大量欧洲中小制造企业,活儿精密、种类多、每种量少,没法给机器人逐个编程,需要机器人自己能应对。要做到这点,有两道关。

第一道是大脑:能理解物理世界的通用大脑,还没到像2022年11月ChatGPT对数字世界那样的临界点,它要准确、可靠、安全、划算。第二道是接入:把机器人装进工厂现有的流程,和别的机器人、数字AI、人一起工作,每个案例都要单独定制,过去没有技术能解决,直到大约一个月前的Astra时刻。

图2:机器人落地要过的两道关:通用大脑,和接入现有系统

机器人落地要过的两道关:通用大脑,和接入现有系统

二、Astra时刻:各快了约100倍

在物理世界里,光靠真实数据不够,要用软件生成训练数据,但过去要靠美术或CAD把工厂建成三维模型,做一个虚拟复制品要几个月。Astra这样的智能体AI在物理世界的数据上训练过,懂物理规律,只靠几张照片和一段视频就能把环境搭出来,过去要几个月的事,快了约100倍。

接入工厂也一样。工厂里有二三十年前的控制设备,还要连接各种管理软件,写对接代码又无聊又没几个人懂,但手册都在。智能体能读完手册、把代码写出来,Talla说这是又一个100倍。

图3:Astra之后,前期和后期各快了约100倍

Astra之后,前期和后期各快了约100倍

例子是GTC Berlin上展示的micro duck小鸭机器人:从想法到做出演示不到一周,六个月前不可能这么快。全程由智能体完成:造虚拟环境、生成训练数据、训练模型,再放进英伟达的仿真工具里反复测试。

三、物理世界要的是更多个9

但这还不够。数字世界里,模型有90%、95%的准确率就已经很好,因为旁边有人补最后几个百分点;物理世界几乎没人在旁边,从99%提到99.99%已经是100倍的提升,后面还要继续往上。在大规模部署之前,还差好几十倍、上百倍的提升。

图4:数字世界和物理世界对准确率的要求

数字世界和物理世界对准确率的要求

怎么办?先在仿真里做。英伟达自己造芯片,用软件模拟芯片运行已经30多年,没有100%把握不会交给工厂生产;同样的思路用到机器人上,英伟达做了15年。在仿真里可以多做一千倍甚至一百万倍的实验,更快、更安全、更便宜。准确率的要求也看用途:micro duck翻个跟头98%就行,工业机器人要99.99%左右。

四、“够格上场”:判断机器人离能用有多近

Talla的类比是:一个100米运动员想赢金牌,男子大约要跑进9.7秒,但得先跑进10秒才有资格参赛。他把这道门槛叫“10秒线”:一项技术跑进10秒线,说明已经够格上场、离真正用起来很近,但离大规模普及(金牌)还要时间。

自动驾驶已经够格:Waymo在旧金山规模涨了10倍,因为有了能像人一样推理的模型,和能生成大量罕见突发情况的仿真。机器人这边,移动和导航(工厂搬运车、巡检、送货)接近或已到,抓取摆放不变形的东西(拆箱、装箱、分拣)已经够格,最终目标的通用人形机器人还没到。

图5:“够格上场”:各类应用离能用有多近

“够格上场”:各类应用离能用有多近

在他的定义里,机器人的ChatGPT时刻,是几百个甚至几千种用途都够格上场,而且不用为每种用途专门训练,因为ChatGPT之前的AI都是只能解决一两个问题的“专才”。他预计还要一年,也许两三年,进步不是慢慢爬,而是一档一档往上跳,Astra就是一档。

五、机器人的大脑怎么分工

模型的演进是:大语言模型只会语言,然后加上视觉,再加上动作,也就是VLA。VLA是必要的起点,但准确率不够,因为人做一个动作,还会预测世界会因此怎么变。英伟达的Cosmos就是这样一个“世界模型”,能预测动作的后果。Talla认为,世界模型和动作模型最终会合并在一起。

图6:机器人AI模型的演进

机器人AI模型的演进

他还把机器人的大脑分成四层:系统一是快速的感知和动作,系统二是思考,系统零是关节处不用想的反射,系统三是“打电话给朋友”,一个更大的、有更多专业知识的大脑。系统零和系统一一定要在机器人上,因为响应速度放不进云里,而且很多仓库连Wi-Fi都没有;系统二可以在机器人或工厂机房,系统三在云端。

图7:机器人的四层大脑:系统零到系统三

机器人的四层大脑:系统零到系统三

机器人上算力有限,所以模型要做小。一年前约1万亿参数才有的智能,现在约300亿参数就能达到,缩小了约30倍,靠的是更好的训练方法和蒸馏,也就是用大模型教小模型。

六、数据、客户和人形

1. 数据够不够

有说法是物理AI已经有约2000万小时的数据,不缺了。Talla的看法是:采集某个具体任务,到一定量之后,再多采同一个工作也不会再进步,真正缺的是跨任务的数据。现在可以把真实的第一人称数据交给智能体,让它在仿真里生成更多变化的版本,他估计这个循环又是100倍。世界模型还能把一次部署中的失败扩成上千个版本去训练,甚至预测失败。

2. 客户要做多少

要规模化到中小企业,客户自己要做的事,必须是“几乎为零”:机器人像新员工,做错了你演示给它看,从采集数据到重新训练的流程全自动、用户看不见。他认为还需要一两个Astra这样的突破。

3. 为什么是人形,又不只是人形

Talla说,没有人形,几乎不可能到ChatGPT时刻,因为具备灵巧手的机器人几乎为零,而通用机器人需要手。人形是最快得到通用大脑的路径:第一人称数据对得上,世界大部分是为人设计的,有腿能在各种环境里走。但这不是每个工作的最佳形态,大制造商会用专用自动化,机械臂和搬运车也会一直在;越往小批量、多品种的中小企业走,人形越多。人形的量大了,供应链朝它靠拢,也会更便宜。

对他个人来说,终极应用是照顾老人的家庭社交机器人,但那比工业仓库更远,因为家里安全要求更高。通用机器人要按顺序解决五件事,不能让人毛骨悚然排在第五。

图8:通用机器人要按顺序解决的五件事

通用机器人要按顺序解决的五件事

访谈最后,Talla说他三月在GTC上和主持人聊过,感觉像十年前;他觉得到明年三月,今天聊的一切,又会像十年前。

商务合作:如有品牌传播、内容共创等商务合作需求,欢迎通过公众号后台联系我们。

声明:素材来源 https://www.youtube.com/watch?v=rarKwkLN-Bg。内容仅供行业交流与参考,不构成任何投资建议;如涉及引用问题,请联系后台处理。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203726