【国盛通信·深度】机器人的泛化和ChatGPT时刻：挑战、路径与猜想

“泛化”能力直接决定了机器人应用的天花板。宇树科技创始人兼CEO王兴兴表示，人形机器人面临的最大挑战是AI泛化能力不足，提前训练过的特定场景中，成功率可达100%，一旦更换场景，便急剧下跌。我们认为，泛化能力弱的机器人就像人类的“提线木偶”，在训练分布之外的新样本/新条件上难以保持性能，置身人类社会多样的环境，商业价值有限。

曙光：π0.5、π0.7、Dyna-2等模型验证机器人存在泛化。可喜的是，我们在机器人产业中注意到“泛化”存在的证据：1）语义泛化（RT-2）：能从视觉-语言预训练中迁移机器人数据中完全不存在的语义知识，如“将可乐罐挪动到字母 X卡片旁边”；2）环境泛化（π0.5）：能清理没在训练数据中见过的新家中的厨房或卧室；3）组合泛化（π0.7）：能将不同任务中的技能直接整合起来，从而解决新的问题，比如使用新的厨房设备，甚至让机器人完成洗衣服的任务——而训练数据中没有关于如何洗衣服的数据；4）跨本体泛化（π0.7）：两个带有 Robotiq 并联夹持器的 UR5e 工业手臂能像训练中的静态双手动机器人一样折叠衣物，成功率与那些在原始机器人上接受过相关训练的人类远程操作员的“零尝试”成功率一致。

对照：机器人当前处于GPT-2与GPT-3之间。 GPT各代模型经历了从“专用任务能力”向“跨分布迁移能力”的演进。我们认为，做一个模糊比较，当前机器人接近GPT-3水平，原因是：1）π0.7开始根据语言指令调用和组合不同技能，面对没有完整示范的新任务也能作出合理尝试，这比 GPT-2 更进一步；2）π0.7 在只有一句 指令时通常只能完成部分任务，要实现更加稳定的自主执行，仍需要逐步语言指导，甚至需要利用多次指导数据对高层策略进行微调，才能够自行生成语言子目标，而GPT-3原则上不需要更新模型参数，仅依靠上下文中的少量示例即可调整任务行为。

挑战：当前机器人泛化存在的问题与归因。当前机器人泛化能力的局限可以进一步归纳为三个层面：1、实际任务执行能力距离商用仍然较远，π0.5单次执行物品放进抽屉、把衣服放入洗衣篮、把餐具放入水槽等任务通常持续约2—5分钟；2、第三方独立验证仍不充分，能力较强的π0.7尚未开源，第三方难复现；3）不同研究的泛化评测口径尚未统一。我们认为，当前机器人泛化增强的障碍主要是：1）模型侧：当前机器人基础模型路线尚未收敛，究竟是VLA，还是世界模型，还是其他“具身原生”模型，尚未有定论。其中，VLA当前仍是主流，但业界在不断探索利用世界模型，来预测机器人所处环境的下一个状态、甚至是机器人自身的动作会如何改变所处环境，如2026年8月发布的Dyna-2，宣称使用世界模型比VLA效果更佳。2）数据侧：在数据金字塔中，真机数据价值量最高，但也最难获取，而较容易获取的人类视频数据，有效性仍然有待验证。

展望：机器人的ChatGPT时刻与实现路径。关于机器人的ChatGPT时刻，“能力强”和“使用门槛低”是产业公认的两大关键要素，另外，多位行业人士预言机器人将在未来5年内接近ChatGPT时刻。而在实现路径上，部分产业人士提出机器人GPT时刻或需1亿小时量级数据；部分则认为应用“部署量”期待新场景适配成本下降。我们注意到，当前已经在泛化上取得进展的机器人模型主要是在“数据”上发力，例如使用异构数据训练、使用人类视频数据、使用有针对性的数据、使用更多数据等等。

投资建议：在迎接机器人ChatGPT时刻的路上，建议关注：1）整机：越疆、优必选、仙工智能等；2）芯片：地平线等；3）核心零部件：奥比中光、步科股份、来福谐波等。

风险提示：机器人模型进展不及预期，机器人数据采集进展不及预期，机器人硬件技术提升不及预期。

1 我们为何关注“泛化”？

1.1 “泛化”是当前机器人的关键问题

“泛化”是当前机器人、具身智能、物理AI领域的关键问题。宇树科技创始人兼CEO 王兴兴表示，当前人形机器人面临的最大挑战是AI泛化能力不足，提前训练过的特定场 景中，机器人成功率可达 100%，但场景一旦更换，成功率便急剧下跌。机器人公司 Physical Intelligence 同样认为，比起灵巧操作，当前机器人技术面临的最大挑战在于泛 化。        

“泛化”能力意味着能力可迁移性和通用性，直接决定了机器人应用的天花板。我们认为，如果“具身智能”语境中的“机器人”（下文简称“机器人”），即具备一定智能 的机器人（形态包括但不限于人形机器人、四足机器人等），只能完成人类预编程的动 作，一旦更换光线、物体等要素，就要花费较大成本重新训练，才能完成任务，那么它 就像人类的““ 提线木偶”。这样的机器人置身人类社会千变万化的环境，商业价值有限。

1.2 定义：模型在OOD（未见分布）保持性能

基于学术视角，Star-Gen项目将“泛化”定义为“能应对某个基线任务不曾受到的扰动”。对泛化能力的另一种比较常见的表达是，模型在训练分布之外（Out-of-distribution，OOD）的新样本/新条件上保持性能。

1.3 分类：视觉/语义/行为泛化等

Star-Gen项目将机器人模型范式VLA（Vision-Language-Action，视觉-语言-动作）语境中的泛化分类为三种：

• 语义泛化：改变语言指令；

• 视觉泛化：改变初始图像；

• 行为泛化：改变专家示教动作分布。

某种特定的干扰因素可能会出现在这些类型中的一个或多个的交集中。例如，在“把胡萝卜放到盘子上”这个任务中，改变胡萝卜的位置就会同时影响图像呈现（视觉方面）以及所需的操作行为（行为层面）。

Physical Intelligence认为机器人的泛化等级不同。其中，

• 语义泛化层级较高

▪ 例如，应该把衣服和鞋子放在哪里。应该把物品放在洗衣篮或衣柜里，而不是床上。同时，还需要确定适合用于擦拭污渍的工具。

• 视觉泛化层级较低

▪ 例如，机器人必须理解如何拿起勺子或盘子，即使它之前从未见过这些特定的餐具，而且这些餐具还被放在了一堆脏盘子之中。

2 曙光：当前机器人存在“泛化”的几个案例

可喜的是，我们已经在机器人产业中注意到“泛化”存在的证据。

2.1 语义泛化（RT-2）：听懂模糊指令

RT-2（Robotics Transformer 2）是Google DeepMind在2023年提出的VLA模型，其核心目标是将VLM（Vision Language Model，视觉-语言模型）中的知识，直接纳入端到端机器人控制中，使其既能理解“图像”和“语言”，也能输出“机器人动作”。

经过6000次评估试验，RT-2 在多种泛化实验（新物体、新背景、新环境）中显著优于基线。

为评估RT-2泛化能力，研究人员向机器人展示了大量新物体并设定各类任务，发现其可以完成“将草莓放到对应的碗中”“捡起快要从桌子边缘掉落的袋子”等需要深层次语义理解的任务。具体而言，RT-2拥有三类能力：

• 符号理解：从视觉-语言预训练（注：用海量数据训练，得到基础模型，目标是“学语言/世界知识”，不针对具体任务）中迁移机器人数据中完全不存在的语义知识，如“将可乐罐挪动到字母X卡片旁边”。

• 逻辑推理：将底层VLM的各类推理能力应用于控制任务的能力，包括视觉推理(“将苹果移动至颜色相同的杯子旁”)、数学推理(“把香蕉放到数字‘2加1’的计算结果旁边”)和多语言理解（“mueve la manzana al vaso verde（注：西班牙语，意为把苹果移到绿色杯子里）”）。

• 人物和物体识别：展示以人和物体为中心的理解与识别能力，如“将可乐罐放置在泰勒・斯威夫特的人像照片旁”“将苹果放到印有丹佛掘金队卡片位置处”。

2.2 环境泛化（π0.5）：新环境中的泛化并不总能成功，但存在

2025年4月，Physical Intelligence宣布其新开发的π0.5模型能够在完全新的环境中实现有效的泛化能力，比如清理机器人没在训练数据中见过的新家中的厨房或卧室，“并不总是能第一次尝试就成功，但往往能体现出一个人面对新挑战时的灵活性和机智处理能力。”

2.3 组合泛化（π0.7）：从“用空气炸锅烤红薯”瞥见组合泛化的曙光

组合泛化是能以新方式整合训练数据中的概念，例如，如果某个大语言模型知道如何将英语翻译成法语，同时又能生成JSON格式的输出，那么它就可以提供以JSON格式呈现的翻译结果。2026年4月，Physical Intelligence宣布其新推出的π0.7模型展现了组合性泛化的初步迹象——无需微调（注：在特定任务数据上继续训练预训练模型，调整模型权重，让模型适配下游任务，属于后训练阶段），它能够将不同任务中的技能直接整合起来，从而解决新的问题，比如使用新的厨房设备，甚至让机器人完成洗衣服的任务——而训练数据中没有关于如何洗衣服的数据。

Physical Intelligence首先在让π0.7操作各种厨房电器时观察到了泛化能力。Physical Intelligence没有收集这些具体操作任务的示范视频，而是尝试直接提示模型进行操作。对于每一种电器，机器人都会收到关于如何使用该电器的语言指导——这些指令一步步地引导机器人完成操作，就像指导一个初次使用电器的人一样。当Physical Intelligence要求机器人使用空气炸锅来烹饪红薯时，它尝试了一下，在几次失败后终于完成了部分任务，但并没有完全完成整个操作。

虽然Physical Intelligence发现在训练数据中π0.7看到过红薯和空气炸锅的组合，但训练数据和π0.7的任务有较大不同，此种情况下，π0.7还能部分完成任务，说明它已经有部分泛化能力。

Physical Intelligence宣称，在多次对机器人进行语言训练之后，可以利用这些指令来优化高层级策略，这样，机器人就能完全自主地生成语言上的子目标，从而显著提升任务的完全自主执行能力，而无需任何额外的远程操控。

2.4 跨本体泛化（π0.7）：“一脑千手”的可能性显现

Physical Intelligence还观察到π0.7拥有跨本体泛化能力：两个带有 Robotiq 并联夹持器的UR5e工业手臂能像训练中的静态双手动机器人一样折叠衣物，成功率与那些在原始机器人上接受过相关训练的人类远程操作员的“零尝试”成功率一致。当这些远程操作员被要求使用双手动UR5e系统来执行这项任务时，他们的平均操作经验为375小时。

3 对照：GPT珠玉在前，机器人处于何种阶段？

机器人的代际能力跃迁并不能与大语言模型直接比较，但我们可以做一个大致的比对，来感受前者距离成为ChatGPT时刻还有多远。数字智能先经历AlphaGo在专精任务上的突破，再由GPT系列通过Scaling走向通用，最终在ChatGPT中让普通用户直接感受到能力跃迁；具身智能同样需要先在足够复杂、足够代表性的任务上突破“专精”，再走向通用，银行通用创始人兼CTO王鹤提出。

GPT各代模型经历了从“专用任务能力”向“跨分布迁移能力”的演进。

• GPT-1：证明“无监督预训练+下游任务适配”路线可行；

• GPT-2：开始展示zero-shot（无需针对下游任务专门训练）的泛化苗头；

• GPT-3：进一步体现few-shot/in-context learning（通过少量示例和上下文学习完成任务）的能力。

• InstructGPT（并非全新一代模型，而是在GPT-3基础上增加了一套指令对齐的后训练流程）：能按照“用户希望的方式”完成任务。

• ChatGPT（针对对话场景，微调GPT-3.5而得）：模型不仅能够执行一条指令，还能够根据前文继续回答、接受纠正和维持上下文。

对应到机器人领域，泛化水平也可以理解为从固定程序执行，逐步走向多任务策略、新环境泛化、组合泛化和跨本体泛化。

3.1 多任务策略：π0可类比GPT-1

3.1.1 大模型：GPT-1验证通用预训练路线

GPT-1的重要意义，在于证明Transformer与大规模无监督预训练结合后，可以先利用大量无标注文本训练一个通用模型，再用规模较小的监督数据针对不同下游任务进行微调。

同一个预训练模型由此能够适配文本蕴含、语义相似度、阅读理解、常识推理等不同任务，而无需针对每类任务重新设计一套完全不同的模型架构。

3.1.2 机器人：从固定程序走向通用策略

较基础的机器人泛化表现，是从“固定程序”走向“多任务”策略。

• 传统工业机器人：多在固定产线、固定位置重复执行固定动作，任务或环境变化后通常需要重新编程。

• 具身智能语境中的机器人：Physical Intelligence的π0模型使用互联网视觉、语言数据预训练、OpenX-Embodiment数据和自有8种机器人数据训练通用机器人策略，任务覆盖叠衣、做咖啡、收拾餐桌、打开爆米花等。这一阶段类似GPT-1：重点不是证明模型已经具备强泛化能力，而是证明通用预训练的路线在机器人领域可行。

从这一角度看，π0与GPT-1具有较强的路线相似性，GPT-1 模型适配多个NLP任务，而π0则覆盖多种操作任务。

3.2 新环境泛化：π0.5可类比GPT-2

3.2.1 大模型：GPT-2，初步的泛化能力

GPT-2能实现“不针对下游任务专门训练”和“不调整参数”，也能完成部分任务。GPT 2 相较于GPT-1的重要变化，是模型开始在不针对专门任务训练和调整参数的情况下， 仅依靠大规模预训练形成的通用知识，完成翻译、问答、阅读理解和摘要等不同任务， 即表现出初步的泛化能力。这背后的核心逻辑是，当训练数据的规模和多样性达到一定 程度后，模型可以从自然语言数据中隐式学习多种任务，并将这些能力迁移到训练时没 有被明确标注的新任务中。       

但GPT-2在“阅读理解”任务表现较好，在“摘要”等任务表现初级，在“问答”和“翻译”等任务要求模型具备足够参数规模。不过，GPT-2论文同时指出，当时的z泛化能 力仍处于早期阶段，模型在“阅读理解”等部分任务上已经能够取得有竞争力的表现， 但在“摘要”任务上的定量表现仍较为初级；从实际应用角度看，其泛化能力距离可用 仍有较大差距，在“问答”和“翻译”等任务中，也只有当模型具备足够的参数规模时 才开始超过简单基线。         

3.2.2 机器人：π0.5，新环境泛化

对应到机器人领域，π0.5所展现的新环境泛化，接近GPT-2阶段的zero-shot（零样本）能力跃迁。二者都说明，规模化、多样化的预训练能够产生超出单一训练分布的迁移能力。

但这一类比仍需保持克制。π0.5的主要突破是，换到新的环境后，仍能尝试完成已经学过的任务，而不是直接掌握完全陌生的新技能；而模型也不总能在第一次尝试时成功，长流程任务中的局部错误还可能不断累积。

3.3 组合泛化：π0.7介于GPT-2与GPT-3之间

3.3.1 大模型：GPT-3，上下文学习能力

GPT-2的突破是开始在没有专门训练的情况下执行新任务，GPT-3则进一步展示了in-context learning（上下文学习）能力，用户只需要在输入中提供任务说明和少量示例，模型就可以识别其中的规律并完成任务，根据当前上下文重新组合知识和调整输出方式，例如依据少量示例完成新的文本转换、推理或领域适配任务，而不需要进行梯度更新或重新微调。

3.3.2 大模型：从InstructGPT到ChatGPT，从做任务到按人类意图交互

GPT-3已经展示出较强的上下文学习能力，但“能够完成很多任务”并不意味着模型“会按照用户希望的方式”完成任务。OpenAI随后推出InstructGPT，它不是GPT-2、GPT-3类全新一代基础模型，而是在GPT-3基础上增加了一套指令对齐的后训练流程，其训练大致分为三个步骤：首先收集人工示范答案，对GPT-3进行监督微调（SFT）；随后让人工对多个模型的回答排序，并据此训练奖励模型；最后再通过PPO和人类反馈强化学习（RLHF）调整模型行为。

ChatGPT在GPT-3.5上，针对对话场景，进一步微调而得。具体而言，ChatGPT在训练数据中进一步加入了人类扮演用户和助手的多轮对话，引入了人类反馈强化学习（RLHF），使模型不仅能够执行一条指令，还能够根据前文继续回答、接受纠正和维持上下文。

3.3.3 机器人：π0.7，已超越新环境泛化，但还不是ChatGPT式交互

能力水平上，π0.7介于GPT-2和GPT-3之间。           

• 一方面，它已经超过了单纯的新环境迁移：机器人开始根据语言指令调用和组合不同技能，面对没有完整示范的新任务也能作出合理尝试，这比GPT-2更进一步。

• 另一方面，它尚未达到GPT-3式的成熟上下文学习能力：π0.7在只有一句指令时通常只能完成部分任务，要实现更加稳定的自主执行，仍需要逐步语言指导，甚至需要利用多次指导数据对高层策略进行微调，使其能够自行生成语言子目标。相比之下，GPT-3原则上不需要更新模型参数，仅依靠上下文中的少量示例即可调整任务行为。

π0.7也有InstructGPT的“神韵”，但还无法实现ChatGPT式自然交互。在Physical Intelligence 在空气炸锅实验中，人类先逐步提供语言指导，再利用这些指令数据微调高 层策略，使其能够自主产生语言子任务。我们认为，这个过程也令人想起InstructGPT““ 通 过人工示范数据继续调整模型”的监督微调思想。           

作为佐证，我们注意到，人形机器人公司逐际动力创始人、南方科技大学长聘教授张巍在2026年7月表示，当前机器人的脑系统的进化水平接近语言模型领域的GPT-3阶段，他解释称，人形机器人的大脑是一个复杂的智能体Agentic系统，包括很多类型的模型、记忆系统与持续学习机制等等能力的融合，不能用单一模型的能力来衡量它的水平。

也有产业人士认为当前机器人大脑尚未达到GPT-3状态，例如，黎曼动力创始人刘扬提出，到2027年末或2028年初，世界模型可能接近大语言模型当年的GPT-3时刻，届时，很多技术路线会收敛，也会有一部分玩家被淘汰。它最大的赋能可能是机器人的API市场，让大量机器人厂商从卖机器人走向卖服务。

4 挑战：当前机器人泛化的局限性与原因

当前机器人泛化能力的局限可以进一步归纳为三个层面：一是实际任务执行能力仍存在边界，二是第三方独立验证仍不充分，三是不同研究的泛化评测口径尚未统一。第一项回答的是机器人能否在现实中稳定做成，后两项则关系到这些能力是否已经得到独立、可重复和可比较的验证。

4.1 问题1：从任务执行看，效率、稳定性与长时程能力仍不足

4.1.1 基础操作与执行效率有限

机器人泛化能力的进步已经相当明显，但“能够进入新环境”不能等同于“能够自主解决开放世界中的新问题”。

π0.5主要证明的是，机器人可以把已经掌握的清洁、抓取和物品归位等能力迁移到未见过的家庭环境中。Physical Intelligence也明确表示，π0.5仍远非完美，其主要目标不是获得“全新”的技能或表现出很高的“灵巧性”，而是在新环境中调用已有能力；机器人也并不总能在第一次尝试时成功。

从任务跨度看，目前所谓的“长时程任务”仍有一定边界。π0.5在真实家庭中的定量评测主要包括将物品放进抽屉、把衣服放入洗衣篮、把餐具放入水槽等任务，单次执行通常持续约2—5分钟，明显超过了付费用户可以接受的时长。

4.1.2 长时程任务的全流程完成能力不足

当前核心指标是“任务进度”，而非任务全流程完成度。Physical Intelligence官方采用 的核心指标是“任务进度”：根据完成了多少物品或子步骤计算得分，而不是要求机器 人从头到尾无差错地完成整个任务。例如，成功将一半餐具放入水槽，也可以获得约一 半的任务进度。因此，较高的任务进度并不一定意味着机器人已经具备稳定的全流程自 主执行能力；它也可能是完成了多数子任务，但在某个关键环节停滞或失败。         

长时程任务的困难，还在于机器人必须让每一个中间动作都在物理世界中真实成立。语言模型生成一段较长的回答时，即使前面的文字存在小幅偏差，后文仍可能保持基本连贯；机器人则不同，一次抓取位置偏移、物体滑动或抽屉未完全打开，都会直接改变后续步骤所面对的状态。

4.1.3 现实扰动下，模型表现仍不稳定

近期更严格的真实世界压力测试进一步表明，当前VLA模型的较高成绩仍较依赖相对稳定的实验条件。RADAR基准分别改变物体配置、机械臂初始状态、照明、背景、语言表达和传感器噪声，用以考察模型在现实扰动下的表现。结果显示，多款先进VLA模型在条件发生变化后均出现了明显的性能下降。其中，传感器噪声条件下的3D IoU期望值由基准环境中的约0.261降至约0.068。

这一结果不能直接等同于π0.7的实际表现，因为RADAR并未针对π0.7进行测试，但它揭示了当前VLA模型普遍面临的问题，机器人在标准环境中学会完成一项任务，并不意味着它能够在光照变化、背景干扰或传感器误差出现后继续稳定执行。实验室中的会做，距离现实环境中的“持续有效地做”，仍有相当长的距离。

4.2 问题2：从第三方验证看，公开复测仍不充分

4.2.1 π0.5：测试揭示泛化表现并不均衡

π0.5基础动作能力不够稳定，对语言表达变化、初始状态变化和复杂双臂任务仍较敏感。           

评测结果表明，π0.5已经表现出一定的视觉和动作迁移能力，但基础动作能力不够稳定，对语言表达变化、初始状态变化和复杂双臂任务仍较敏感。第三方评测所揭示的，是一种“局部泛化能力已经形成，但整体能力尚不均衡”的状态：

• 基础任务成功率偏低。在未加入扰动的情况下，π0.5在单臂和双臂任务上的总体成功表现均低于ACT（Action Chunking with Transformers，基于Transformer的动作分块策略），说明通用预训练并未自然转化为较高的基础动作成功率。ACT指一次前向推理预测未来k步连续动作，由斯坦福ALOHA团队在2023年论文中提出。

• 视觉泛化相对较强。视觉扰动下，π0.5在单臂和双臂任务中的平均成功率降幅分别为7.73%和9.86%，小于ACT的降幅。

• 语言泛化仍有明显短板。当指令含义不变、仅改变表达方式时，π0.5在单臂和双臂任务的的平均成功率分别下降19.16%和24.0%。

• 复杂动作扰动下稳定性不足。在初始物体位置随机变化时，π0.5在双臂任务中的成功率平均下降51.4%，说明涉及更大动作空间和双臂协同后，泛化能力会显著削弱。

4.2.2 π0.7：缺少公开权重验证

与π0.5相比，π0.7的第三方验证条件更加有限。Physical Intelligence已经通过论文和官方演示展示了π0.7的组合泛化、跨本体迁移和语言指导能力。例如，在空气炸锅任务中，模型能够根据zero-shot（零样本）指令进行尝试，并在逐步语言指导和高层策略训练后较为完整地执行任务。不过，这些结果目前主要来自Physical Intelligence自身的实验，没有其他验证。

Physical Intelligence官方OpenPI仓库列出的模型是π0、π0-FAST和π0.5。仓库提供的基础模型checkpoint也只包括上述三类，尚未列出π0.7的官方模型权重或对应检查点。这意味着，外部研究团队目前可以阅读π0.7论文、观察官方演示，并依据论文设计类似实验，但尚难使用完全相同的模型权重，在统一硬件和评测协议下复现其空气炸锅、跨本体折衣等结果。

缺少公开权重并不表明官方结果不可信，但会限制外部团队对模型性能边界的判断，特别是在机器人领域，硬件状态、相机位置、控制频率和任务设置的微小变化都可能影响结果。只有在权重、代码和评测协议进一步开放后，才能判断π0.7的组合泛化究竟是少数条件下的突出表现，还是能够稳定迁移到不同机器人和现实环境中的通用能力。

4.3 问题3：评测口径不一，模型成绩难以横向比较

当前机器人泛化研究的另一个局限，并不完全来自模型本身，也来自评测体系，不同研究对“泛化”的理解和测试方式并不一致。有的只是改变物体颜色、纹理或背景，有的要求机器人进入完全陌生的住宅，有的测试不同的语言指令，或把同一套策略迁移到不同机器人本体上。这些测试都可以被归入“泛化”，但难度并不在同一层级。

与此同时，不同研究采用的机器人硬件、训练数据、试验次数和成功判定方式也各不相同，一些论文报告完整任务成功率，另一些论文则统计任务进度、子任务完成率或语言指令跟随率。即使两个模型都公布了80%的成功率，背后所代表的能力也可能相去甚远。

STAR-Gen将当前机器人泛化评测形容为一种近似“各自为战”的状态，不同研究分别提出并测量自己关注的泛化形式，部分实验条件又很难被外部团队准确复现。因此，STAR-Gen尝试按照视觉、语义和动作三个维度，进一步拆分机器人可能面对的分布变化，为后续评测提供更统一的分类框架。STAR-Gen据此构建了BridgeV2-STAR评测：从4个分布内基础任务出发，设置55种任务变化，覆盖STAR-Gen全部22个泛化轴中的13个。测试对象包括OpenVLA、MiniVLA以及第三方复现的π0，共完成885次真实机器人试验。

STAR-Gen的测试结果显示，现有VLA模型在多数泛化维度上的绝对表现仍然有限，语义泛化尤其薄弱。模型较容易在以下情形中失效：

• 从多个相似物体中识别语言真正指向的对象；

• 根据颜色、形状或用途等属性选择正确物体；

• 理解同一动作的不同语言表达；

• 处理包含多重条件或更复杂关系的指令。

也就是说，采用大语言模型或视觉语言模型作为骨干，并不会自然解决机器人侧的语义泛化问题。语言模型知道一个词“是什么意思”，不代表机器人已经学会如何把这一语义稳定转化为物理动作。

4.4 归因：为什么机器人泛化仍显著弱于大语言模型？

4.4.1 模型侧：VLA、世界模型等模型路线尚未收敛，数据Scaling方向未定；可用开源模型少

机器人任务持续时间越长、包含的操作阶段越多，机器人需要连续正确完成的感知、规划和控制决策也就越多，局部误差如果不能及时发现和纠正，就可能在后续步骤中不断放大。因而，一个真正适用于家庭和工厂的通用机器人，不仅需要知道下一步应该做什么，还应当具备以下能力：

• 判断当前动作是否真正完成；

• 识别执行结果与预期目标之间的偏差；

• 在物体位置或环境状态发生变化后重新规划；

• 在任务失败时自主恢复，而不是等待人工接管。

目前的VLA模型已经在前三项能力上显露出一定苗头，但在复杂任务中的稳定性和失败恢复能力仍然有限。

当前机器人基础模型路线尚未收敛，究竟是VLA，还是世界模型，还是其他“具身原生”模型，尚未有定论。           

另外，可以发现，机器人可用的开源模型较少，仅有π0.5等。

4.4.2 数据侧：高质量训练数据规模增长难度大

机器人训练数据规模增速提升难度大。数据的“小时数”和大语言模型的“token(词元) 数”不能直接横向比较。一个token是离散文本单位，而一小时机器人数据往往包含视 频、关节状态、力/触觉、控制指令、语言任务描述等多模态连续信号，其信息密度、采 集成本和可用性均不同，训练数据规模增长难度较大。例如，机器人数据采集必须同时 处理视觉识别、空间定位、运动规划等信息。一次抓取偏移、物体滑动或相机噪声，会 真实改变后续状态，使错误在物理世界中累积。同样是“拿起杯子”，不同机械臂、夹 爪、相机位置和控制频率都会导致动作分布变化，机器人模型不仅要理解任务语义，还 要学会特定身体如何执行任务。           

要积累高质量的机器人训练数据，行业当前主要依靠夹爪、遥操作、仿真、视频等方式，其中，遥操作等真机数据训练效果最好，但成本较高。机器人基础模型所需的数据可以被抽象为数据金字塔结构。

• 顶层：Real-World Data（真机交互数据）

▪ 收集方式：遥操作、人头戴摄像头收集第一视角、人手带数据手套或手持UMI夹爪等；

▪ 优点：直接采集自机器人本体，动作标签准确，任务分布贴近部署场景，与机器人落地任务匹配度最高，包含完整真实物理反馈，是实现强泛化能力的核心数据；

▪ 缺点：依赖机器人硬件、场地、操作员、运维和质检体系，单小时成本高，规模化速度较慢、存量稀缺。

• 中层：Synthetic Data（仿真合成数据）

▪ 收集目的：能够在虚拟环境批量生成机器人视角交互样本；

▪ 优点：低成本、变量可控和快速扩展；

▪ 缺点：难以规避虚实鸿沟问题，与真实物理世界之间仍存在迁移差距，即模型在仿真中学到的策略，部署到真实机器人时可能因摩擦、接触力、材料形变、传感器噪声、液体流动和复杂光照等差异而性能下降。

• 底层：Web Data & Human Videos（互联网数据与人类视频）

▪ 收集目的：主要帮助模型学习通用视觉常识与人类行为逻辑；

▪ 优点：最容易获取；

▪ 缺点：均为人类行为数据，运动形态与机器人本体存在显著差异，使用成本较高。

智元机器人合伙人、觅蜂科技董事长兼CEO姚卯青在2026WAIC表示，主流大语言模型领先团队的预训练数据已达100万亿token，等效于100亿小时的英语对话——且语言信息密度高、噪声低；相比之下，具身智能所能获取的数据规模，保守估计还差一万倍以上，物理世界多模态数据冗余巨大，有效信息提取更为艰难。

模型路线的发散，在一定程度上，也意味着机器人数据采集维度与验收标准也尚未收敛。           

• 部分数据需求较为刚性：视觉数据（包括深度相机数据）、关节角度、电机力矩、力传感器读数等；

• 部分数据维度较新，需求弹性存在一定分歧。

▪ 触觉：如果模型能力提升，可能在一定程度上降低对此类数据的需求；

▪ 人类视频：数据量大，但第一人称视角之外的视频对机器人是否有用，仍然有待探索。

5 展望：机器人泛化提高的路径与ChatGPT时刻

5.1 路径：当前产业提高机器人泛化的几个经验

5.1.1 使用更多数据：GEN-0验证机器人Scaling Law

GEN-0 27万小时验证机器人存在Scaling Law。机器人泛化能力与训练数据的规模和 多样性存在一定关系。Generalist 在 GEN-0 中使用超过 27 万小时真实物理交互数据进 行预训练，并观察到预训练数据规模与下游任务表现之间较稳定的Scaling关系；随着预 训练数据增加，多项任务的动作预测误差下降，真实机器人成功率也随之提高。大语言 模型中“数据和计算规模扩大带来能力持续提升”的经验，已经开始在机器人领域出现 一些迹象。           

GEN-0在2025年披露的预训练数据超过27万小时；到2026年4月，GEN-1使用的数据已经超过50万小时。Generalist官方实验进一步显示，在大规模预训练的基础上，GEN-1在部分简单任务上仅使用约1小时机器人特定数据进行适配，就可以获得较高成功率；相比GEN-0，一些测试所需的任务专用数据和微调步数也明显下降。它提出了一个更值得关注的指标：基础模型规模扩大后，学习一个新任务所需要的新增数据是否能够持续下降。

5.1.2 在异构数据上协同训练

Physical Intelligence表示π0.5背后的核心原理是在异构数据上进行协同训练：通过在不同数据源上训练其VLA模型，可以教会它：

• 理解每项技能的语义上下文；

▪ 例如，如果任务是清洁厨房，那么应该拿起并放置哪些物品，以及将它们放在哪里；

• 推断任务的宏观结构；

▪ 例如，整理床铺所需的步骤；

• 将其他机器人的物理行为迁移到该模型中；

▪ 例如，那些只有一只手臂或没有移动基座的简单机器人，或者来自环境较为简单环境下的数据。

在分享π0.7的泛化原因时，Physical Intelligence进一步分享了如何在异构数据上训练：

• 将多种数据统一在单一的任务指令框架下：

▪ 多种机器人的数据；

▪ 人类数据，包括人类视频等；

▪ 执行各种策略所收集到的自主场景数据，包括失败案例：为失败案例添加适当的元数据（如“较低质量”或“较低速度”等描述），就可以避免让模型执行质量较低的操作。

• 为任务指令添加多样化的上下文信息：

▪ 视觉子目标：可以由轻量级世界模型生成，可以定义出物体的精确空间布局；

▪ 任务的元数据，例如速度、质量等；

▪ 控制模式标签：用于指示是使用联合控制还是末端执行器控制；

▪ 子任务：任务的各步骤。

• 所有这些元素都需要结合起来才能实现有效的泛化。这些信息有助于消除歧义，使得不同的数据能够被纳入训练中。

Star-Gen也发现“更大且更多样化的数据集能够显著提升泛化能力，例如视觉泛化和行为泛化”。

事实上，较早期的VLA模型之所以能实现语义泛化，也是将动作与视觉和语言这些异构数据共同训练。RT‑2的语义泛化本质上源于从互联网数据到物理世界的知识迁移。例如： 即使机器人数据中从未出现过“红牛”或“泰勒·斯威夫特”，模型也能从VLM的知识 中理解这些概念并执行相应操作。在训练阶段，RT-2把动作转化为token，与互联网视 觉和语言数据共同训练；推理阶段，RT-2将token反解为动作，实现闭环控制。         

• 视觉-语言预训练

▪ RT-2继承了VLM在互联网数据上预训练获得的广泛视觉和语义知识。VLM在数十亿图像‑文本对上训练后，能够识别视觉模式、理解语言指令并跨不同语言进行操作，而这些能力通过共同微调被迁移到机器人控制中。

• 动作即token的统一表示范式

▪ RT‑2将机器人动作表示为token，与自然语言token以完全相同的方式处理。这些离散动作被转换为字符串格式（例如“1 128 91 241 5 101 127”），这一设计使VLM无需改变输入输出空间即可在机器人数据上训练，是泛化得以实现的关键技术前提。

• 端到端统一架构

▪ RT‑2实现了单一端到端训练的模型，直接训练VLM输出低级机器人动作，将视觉理解、语义推理和动作生成统一在同一个网络中。

▪ 思维链推理的融合：受大语言模型思维链提示方法的启发，研究者对RT-2的PaLM-E变体进行了少量梯度步微调，并引入“计划”步骤，使模型在输出动作前先用自然语言描述动作目的，作为视觉推理与动作生成之间的桥梁。实验表明，该方法使RT-2能处理更加复杂的指令。例如：“指令：我饿了。计划：拿rxbar巧克力棒。动作：1 128 124 136 121 158 111 255。”这种数据扩充方案充当了视觉推理生成动作之间的桥梁。

5.1.3 使用多模态网络数据

Physical Intelligence量化了异构数据对泛化的意义，它发现在训练数据中加入网络数据，能显著提升机器人在未见环境中完成任务的跟随率和准确率。Physical Intelligence训练了π0.5模型的各个版本，这些版本排除了完整训练集中某些部分的数据，发现对OOD而言：

• 多模态网络数据对泛化很有帮助

▪ 如果在训练模型时没有训练网络数据（WD），在OOD跟随率（指机器人行为遵循用户指令的程度）和成功率（指任务完成的程度）上，都比包含网络数据的版本（即π0.5）低很多。

• 多重环境数据和跨本体数据也非常重要，尤其是前者

▪ 如果在训练模型时没有训练多重环境数据（ME）和跨本体数据（CE)，在OOD跟随率（指机器人行为遵循用户指令的程度）和成功率（指任务完成的程度）上，都比包含网络数据的版本（即π0.5）低很多；多重环境数据（ME）尤其重要。

注：图中WD、ME、CE分别指Web Data（网络数据）、Multiple Environment data（多重环境数据）、Cross Embodiment data（跨本体数据），相对应地，“no WD”版本不含多模态网络数据（问题解答、标题生成和物体检测）；“no ME”版本不含由非移动机器人收集的多重环境数据（例如，被放置在不同家庭中的静态机器人）；“no CE”版本不含作为原始π0训练集一部分的跨本体数据；而“no ME no CE”版本则排除了所有机器人相关数据。

Dyna-2实验显示，当人类视频数据从1000小时扩展至100万小时，模型不仅在人类动作预测上持续改善，在未见过的机器人数据上也呈现出跨本体规模效应（scaling law），即仅扩大人类视频预训练数据规模，模型对陌生机器人动作的预测能力也随之提升；在更多数据下，机器人甚至展现出“涌现能力”：锁盒转钥匙在10万小时以下成功率为0，100万小时约为90%。

5.1.4 使用有针对性的数据训练

使用有针对性的数据训练可以提升泛化。Physical Intelligence的扩展实验进一步显示，π0.5在新场景中的表现会随着训练环境数量增加而提升。在其特定评测中，当训练环境扩展至约100个时（图中的最右侧点），模型在未见场景中的表现（图中黄色部分）已经接近直接使用测试环境数据训练的基线模型（图中绿色部分）。这一结果表明，机器人不一定需要预先进入每一个目标场景收集数据，通过足够多样化的环境训练，也可能形成跨场景迁移能力。

RT-2研究团队将两个RT-2变体（基于PaLM-E-12B的RT-2，与基于PaLI-X-55B的RT-2）与RT-1、VC-1进行比较，RT-2各项性能评估的成功率约为基线的3倍。较大的PaLI-X模型在符号理解、推理和人类识别上整体更优，而较小的 PaLM-E 模型在数学推理任务上更具优势，推测源于 PaLM-E 预训练数据中包含更多数学相关内容。

5.2 猜想：1亿小时、部署Scaling Law与机器人的ChatGPT时刻

5.2.1 如何定义机器人的ChatGPT时刻？

关于机器人的ChatGPT时刻，“能力强”和“使用门槛低”是产业公认的两大关键要素：

• 银河通用创始人兼CTO王鹤（北京智源大会，2026年6月）：

▪ 能力强：zero-shot完成普通人不需专门学习的技能，成功率达到70%至80%；

▪ 使用门槛低：普通人可用少量现场数据完成后训练并部署到饮料店、药房等场景。

• 智元合伙人、觅蜂科技董事长兼CEO姚卯青（2026WAIC）：

▪ 能力强：开箱后能够以较高成功率完成任务；

▪ 使用门槛低：能够直接通过自然语言接受指令。

• 宇树科技创始人王兴兴（2026互联网大会）

▪ 能力强：在绝大多数陌生场景里，仅凭指令就能够独立工作，完成大量基础任务；

▪ 使用门槛低：无需提前定制化调试。

5.2.2 如何实现？机器人GPT时刻需1亿小时量级数据、或“部署Scaling Law”

部分产业人士提出机器人GPT时刻或需1亿小时量级数据。2026年WAIC（世界人工 智能大会）期间，智元合伙人、觅蜂科技董事长兼CEO姚卯青给出判断：行业可能需要 达到1亿小时量级的真实交互数据，才可能迎来物理世界的“GPT时刻”；他同时提到， 业内也存在1000万小时左右的估计。           

我们认为，这“1亿小时”未必意味着全部是昂贵的真机遥操作数据。Generalist披露，GEN-1的基础预训练并未使用机器人数据，而是主要利用低成本穿戴设备采集人类进行真实物理活动的数据，再通过少量机器人数据适配具体本体和任务。由此看，未来机器人基础模型的数据结构可能更接近一个分层体系，大量、低成本的人类和真实环境数据负责扩大对物理世界的覆盖，高质量真机数据负责完成动作空间对齐，而机器人实际部署后产生的成功、失败和纠错轨迹则继续用于提高稳定性。

部分产业人士则认为应当用“部署量”期待机器人Scaling Law。2026年6月，时任上海创智学院副教授、智元机器人首席科学家罗剑岚则提出，“大语言模型的Scaling Law 建立在预训练 Loss 与模型能力之间相对稳定、可预测的统计关系上；但机器人的训练 Loss 下降，仅代表模型更好地拟合了静态数据，并不等同于其在物理世界中的部署成功 率提升。物理交互的复杂性意味着，模型“记住”了数据，并不代表它能‘驾驭’现实。 因此，具身智能的金标准，绝全数据规模或Loss值，而是真实场景的部署效能。真正的 突破点在于，当我们观察到随着部署台数增加，新场景适配成本持续下降，模型迭代效 率持续提升——这才是数据飞轮开始转动的临界点。”           

5.2.3 还要多久：多位产业人士预言未来五年内机器人或迎ChatGPT时刻

多位产业人士共同预言，机器人将在未来5年内接近ChatGPT时刻。

6 投资建议：如何提前布局机器人的“ChatGPT时刻”

同大模型一样，机器人泛化能力的提升也离不开“数据—模型—应用”的共同推进。但与大模型不同，机器人面对的是物理世界：既需要大量高质量、跨场景的数据，也需要端侧算力支撑实时感知与控制，最终还要通过真实场景部署不断产生新的数据和失败案例，形成持续迭代的闭环。

6.1 整机：关注软硬一体、垂直整合

我们看好有能力软硬一体、做垂直整合的公司，我们认为此类公司有望生产出最适配机器人大脑的硬件，尤其是有大量工厂客户的公司，我们认为此类公司更了解终端客户需求，而机器人有望率先在对泛化水平要求低的工业场景落地。

关注标的：优必选、越疆、仙工智能等。           

6.2 核心零部件：视觉传感器、谐波减速器、无框电机、行星滚柱丝杠、灵巧手等

大语言模型可以从互联网获得海量文本，而机器人每一条高质量动作轨迹都要和真实的物理状态相对应。机器人从单一场景走向环境泛化、组合泛化和跨本体泛化后，真正稀缺的已经不只是“数据量”，而是视觉、动作、位姿、力触觉等信息能够准确对齐，并覆盖不同环境、不同本体和失败案例的高质量数据。

模型解决“机器人应该做什么”，核心零部件则决定模型生成的动作能否在物理世界中准确、稳定地执行出来。

我们认为，模型泛化能力越强、能够处理的任务类型越多，硬件执行端的一致性和精度就越重要，局部动作误差否则可能在长任务链中不断放大。从产业链看，视觉传感器、谐波减速器、无框电机、行星滚珠丝杠等是这一过程中值得关注的核心环节。

关注标的：奥比中光、步科股份、来福谐波等。           

风险提示

机器人模型进展不及预期。当前机器人模型路线尚未收敛，VLA、世界模型等路线都在 被业界探索，这在一定程度上，阻碍了机器人的应用。 

机器人数据采集进展不及预期。当前机器人所需的数据类型亦尚未收敛，真机数据、 人类数据等都在被业界探索，尤其是人类第一视角的视频运用于训练的有效性仍然存 疑。 

机器人硬件技术提升不及预期。即便机器人在模型和数据上稳步发展，硬件也是瓶颈， 存在短期内硬件无法跟上机器人软件端发展的风险。