Py学习  »  chatgpt

黄仁勋:机器人领域的ChatGPT时刻即将到来!(附CES2025演讲视频)

焉知人形机器人 • 1 年前 • 149 次点击  

在CES 2025展开幕式上,NVIDIA CEO黄仁勋发表了一场精彩纷呈的主题演讲,话题涵盖AI、芯片、机器人、自动驾驶、GPU以及游戏产业等多个热点话题,并发布了多款极具影响力的产品,令人震撼。


黄仁勋CES2025开幕演讲

演讲中,黄仁勋还率领14款人形机器人惊艳亮相,它们分别是银河通用的G1、Apptronik的Apollo、星动纪元的Star1、智元机器人的远征A2、NEURA Robotics的4NE-1、傅利叶的GR-2、Agility Robotics的Digit、Figure的Figure 02、1X的NEO、Mentee的MnteeBot、宇树的H1、小鹏的Iron以及Sanctuary AI的Phoenix。


英伟达继续秉承“卖铲人”的战略定位,黄仁勋提出将继续与全球多家知名的机器人解决方案提供商、操作系统企业、AI视觉技术公司、机器人传感器制造商以及本体制造企业等携手合作,共同打造机器人生态系统。



1
焉知
首款世界基础模型开发平台Cosmos
为先进物理AI而生


黄仁勋表示,“机器人的‘ChatGPT时刻’即将到来。与大模型一样,世界基础模型对于推进机器人和自动驾驶汽车的开发至关重要,但并非所有开发人员都拥有培训自己的专业知识和资源。我们创造Cosmos是为了让每个开发人员都能接触到通用机器人。”


演讲现场,黄仁勋宣布英伟达将开源允许商用的生成式世界基础模型开发平台Cosmos,该平台专门为机器人和自动驾驶的开发而设计。


物理AI模型的开发成本很高,需要大量的真实世界数据和测试。Cosmos世界基础模型(world foundation models,简称wfm)为开发人员提供了一种简单的方法来生成大量真实的、基于物理的合成数据,以训练和评估他们现有的模型。开发人员还可以通过微调Cosmos wfm来构建定制模型。



Cosmos有三款:Nano、Super、Ultra


1)Nano(约15B):超低延迟的实时模型,适合边缘端设备部署;


2)Super(34B):高性能基线模型,支持开箱即用的微调与部署;


3)Ultra(约70B):最高准确度和质量,适合大规模数据中心场景。



这些模型接受了18000万亿次tokens的训练,包括2000万小时的真实世界自动驾驶、机器人、无人机镜头和合成数据,通过训练“教AI理解物理世界。”



通过将Omniverse与Cosmos相结合,开发人员能够更便捷地生成大量可控且逼真的合成数据,这不仅助力物理AI模型做出更明智的行动决策,还有效减轻了世界模型可能产生的幻觉问题。


简而言之,当真实世界的数据不足时,可以利用Cosmos和Omniverse的模拟技术来生成视频数据,进而用这些合成数据来训练机器人。



Cosmos对各类企业均开放使用,无论规模大小。英伟达模拟技术副总裁Rev Lebaredian表示:“对于那些拥有数亿小时数据需要整理的自动驾驶和机器人企业来说,这套方案绝对是颠覆性的。”

目前,已有银河通用、1X、Agility Robotics、FigureAI、小鹏、Uber等公司率先开始了试用。


2
焉知
Omnvierse Blueprint
攻克人形机器人训练难题


人形机器人的智能化发展依赖于大量的真实世界数据,但直接通过人类演示获取这些数据成本高昂。针对这一问题,发布了Isaac GR00T合成运动生成Blueprint,可帮助开发者生成指数级规模的合成运动数据,以便使用模仿学习来训练他们的人形机器人。



模仿学习作为机器人学习的一个分支,使人形机器人能够通过观察并模仿人类专家的行为来掌握新技能。模仿学习作为机器人学习的一个分支,使人形机器人能够通过观察并模仿人类专家的行为来掌握新技能。然而,在现实中收集大量高质量的数据集既复杂又耗时,且成本往往令人难以承受。

通过实施Isaac GR00T合成运动生成蓝图,团队可以采用远程操作和人体动作捕捉技术来创建基础训练样本,并借助算法生成大量变体以进行深度训练。目前,波士顿动力、Figure等人形机器人公司已经开始应用并展示Isaac GR00T的成果。



在GR00T的工作流程中,首先通过遥操作(Teleop)阶段,用户可以利用Apple Vision Pro在数字孪生环境中捕捉人类动作。这些动作随后被模拟中的机器人模仿并记录,,用作真实数据。


接着,模仿(Mimic)工作流程将捕获的人类演示扩展为更庞大的合成运动数据集。


最后,基于 NVIDIA Omniverse 和 NVIDIA Cosmos 平台构建的 GR00T - 生成(Gen)工作流程通过域随机化和 3D 放大以指数方式扩展该数据集。这个数据集随后可以作为输入,用于在NVIDIA Isaac Lab(一个开源的机器人学习模块化框架)中训练机器人,使它们能够高效且安全地移动并与环境进行交互。


此外,英伟达还发布了Thor芯片,该芯片已投入量产,其处理能力相较于上一代Orin提升了20倍。Thor芯片不仅适用于汽车领域,还可在传统机器人领域发挥重要作用。



小结


黄仁勋表示,AI的发展将经历从当前的生成式AI到Agentic AI,再到未来的Physical AI的演变过程,其应用领域将广泛涉及智能驾驶、机器人等。英伟达凭借AI的迅猛发展,已从一家普通芯片企业蜕变为全球科技巨头。如今,随着机器人领域的ChatGPT时代即将来临,英伟达是否还会再造奇迹,让我们拭目以待吧~


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/177773