社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

从 Digital AI 到 Physical AI:梅涛提出智能体化世界模型的新思路

AI科技评论 • 5 小时前 • 14 次点击  
世界模型,就是让AI先在“大脑”里预演世界,再输出符合物理因果的真实表达。

    编辑丨李希

                                                                                                       

自达特茅斯会议首次提出人工智能的概念,至今已近70年。如今,大语言模型推开了 Digital AI 的大门,但 AI 通往物理世界的道路,依然充满挑战。

随着全球人工智能技术持续加速发展,一些长期以来悬而未决的问题,开始有了新的探索方向。

近日,在2026世界顶尖科学家论坛上,加拿大工程院外籍院士、智象元一(HiDream)创始人兼 CEO 梅涛发表演讲,提出智能体化的全模态世界模型( Agentic World Models)理念,为Digital AI 向 Physical AI 跨越提供了一条新的技术路径。

加拿大工程院外籍院士、智象元一(HiDream)创始人兼 CEO 梅涛

01


AI 的进化和分化

AI 无处不在,世界日新月异。

当前,全球大模型的调用规模已进入爆发期。根据 OpenRouter 统计,截至今年10月,中国周 Token 调用量达到93万亿,是美国的4.16倍,连续26周位居全球第一;高盛研究报告预测,未来二十年内这一数字仍将保持指数级增长。

比总量更值得关注的是增长结构。高盛研究报告认为,2030年前,企业级 Agent 将成为 Token 消耗的核心;2030年后,物理 AI  将打开第二增长曲线,且增长动能更强。

这些数字背后,是AI 正从一种工具,逐渐演变为像水、电一样的新型社会基础设施。

伴随 AI 经济快速发展,模型迭代也在持续加速。2023年,大模型大致以12个月为周期迭代,此后迭代周期不断缩短:六个月、三个月、一个月……如今,模型迭代已按周推进。但这种进化并不均衡,AI 在数字世界与物理世界的能力,正在形成显著分化。

Digital AI 的发展极为迅猛。在文本对话、逻辑推理与多模态生成等方面,其能力已经逼近人类顶尖水平。近期,AI 在数学领域取得了标志性进展:OpenAI 于10月一次性公布377项数学成果,DeepMind 独立攻克9个厄多斯问题,其中两个难题此前已悬置56年。在其他学科的科研领域,AI 同样展现出强大的潜力。顶尖科学家群体已经开始深度使用 AI 辅助科学发现,在美国,部分科研人员单日 Token 消耗可达上千美元。

相比之下,Physical AI 的进展相对滞后。简单来说,Physical AI 由智能大脑与能够执行智能行为的物理载体共同构成。当前,Physical AI 正从“理解世界 ”走向“作用世界”,但规模化应用仍面临三项共性挑战:对物理世界的理解与预测不足,真实交互数据获取和规模化学习受限,以及闭环执行的泛化能力与可靠性不足。

如何跨越 Digital AI 与 Physical AI 之间的鸿沟,是下一代人工智能发展必须回答的问题。

世界模型作为行业关注的重要方向,被寄予厚望。

02


  三条路径通往世界模型,

但各有局限

世界模型目前尚无一个被所有人公认的统一定义。2018年,两位 AI 学者 David Ha 与 Jürgen Schmidhuber 在一篇论文中提出了一个理解框架:世界模型 = 观察世界(V )+ 预测世界(M)+ 在内部世界中学习行动(C)。这一框架后来成为学术界与产业界讨论世界模型时经常引用的理论基础。

从2024年开始,世界模型的热度明显上升。许多视频生成、机器人和自动驾驶企业都开始强调世界模型,但对于世界模型究竟包含哪些核心能力,行业仍缺少清晰、统一的界定。

在顶尖科学家论坛上,梅涛再次阐述了 HiDream 对世界模型的理解。他认为,世界模型的核心可以概括为“表达、推演、重构”:让 AI 理解世界如何运行,并推演未来可能发生的事件。它通过对文本、图像、视频、声音、动作、位姿等全模态信息的统一理解与生成,对世界状态、物理规律和因果关系进行建模,从而实现对真实世界的感知、推演与预测。

梅涛的经历横跨科研与产业两个领域:他曾在微软亚洲研究院从事基础研究,之后又在产业一线主导人工智能落地实践。这使他能够从前沿理论与工程实践两个角度思考世界模型的发展。

从这一理解出发,世界模型需要建模的不只是语言,而是世界状态、物理规律与因果关系本身。这意味着它的技术应用横跨虚拟与现实,发展路径也更加复杂。

目前,全球主要 AI 企业都在探索世界模型。行业大致形成了三种技术路径,分别侧重不同的能力基础:

第一种是大语言模型路线,以语言符号为核心载体,重点发展自然语言理解、逻辑推理与结构化知识处理能力,典型代表有 ChatGPT。今年9月, GPT-6 Astra 横空出世,语言大模型开始从语言任务向机器人操作领域延伸。宇树科技团队很快将 GPT-6 接入人形机器人,开展多场景任务测试。据王兴兴公开介绍,宇树并未对该模型进行专门的具身训练,但模型仍能控制机器人完成识别调色盘、更换颜料、清洗画笔等操作,并取得了不错的效果。这让语言大模型通往物理世界的路径展现出新的可能。

第二种是多模态模型路线,以图像、文本、音视频等多模态信息为核心,重点发展理解、感知与内容生成能力,代表性模型包括腾讯混元 HY-World、阿里 Happy Oyster 和智象 HiDream-O1 系列。

第三种是具身大模型路线,强调物理世界感知、闭环交互与可执行动作生成。代表模型包括 Gemini Robotics、英伟达 GR00T 等。英伟达 GR00T 已从仿真训练走向真实机器人部署,谷歌的 Gemini Robotics 则实现了对完整人形机器人的控制,覆盖从双腿到手指的全身自由度。

三种路径各有其技术逻辑,但单独发展也面临不同的局限:LLM 以离散文本符号为主要载体,难以直接建立对物理世界的完整感知;视频模型能够进行二维像素层面的生成,却难以仅凭视觉生成实现三维世界中的因果推演;具身智能虽然能够直接参与真实物理交互,但如何获得更强的通用能力,行业仍在探索有效方法。

世界模型最终会发展成什么形态,目前还没有标准答案。但可以确定的是,它需要具备跨模态、跨任务、跨场景、跨硬件的能力。依赖单一模态或载体,都难以覆盖真实世界的复杂性。进一步说,世界模型需要在统一的状态空间中,不仅承载人、物体与环境的动态变化,还要表达时序演化、空间关系、物理约束与因果结构。

因此,梅涛认为,三条技术路径最终将汇聚为全模态模型。真实世界是一个包含空间、时间、物理与因果关系的连续系统,因此模型需要统一处理文字、图像、视频、空间、动作、位姿、力触与传感器等不同模态。但这只解决了“表达”的问题,世界模型还需要进一步实现“推演”和“重建”。

在全模态的基础上,还需要通过 Agentic  引入目标驱动、主动探索、多步规划与外部反馈。这样,智能体就不再只进行一次预测,而是可以借助世界模型模拟、比较并选择多种可能的未来,再通过真实行动验证。与此同时,世界模型还需要将感知转化为状态估计,在时空中保持对象的持续性,并学习动作条件下的世界演化规律。

在顶尖科学家论坛上,梅涛以全模态、Agentic Learning 与世界模型三个核心要素为基础,提出了“智能体化的世界模型”(以下简称 AWM)。

03


智能体化的世界模型是什么?

如何理解 AWM?梅涛给出了这样的解释:面对一项任务,AWM 不仅能够推演某一行动可能带来的结果,还能围绕目标主动拆解任务、比较多种行动方案,并在执行过程中根据环境反馈调整后续步骤。由此,模型不再只是提供一次预测,而是参与从规划、行动到反馈调整的持续过程。梅涛将这一技术路线形象地概括为One Token Space, One World,即探索在统一的表征体系下连接推理、世界模拟与物理交互。

AWM 由三个部分组成,各自承担不同职责:LLM 作为智能体的决策大脑,负责理解意图、进行推理和制定任务规划;Omni-Model 根据 LLM  的意图模拟物理世界的运行,推演行动后果并预测下一步动作;Embodied Context 负责执行具身行动,同时将真实环境的观测数据回传,用于校准世界模型物理规律、因果关系的建模。更精妙的是,这三个部分并非简单的线性串联,而是在运转中形成一套「内外双环」的形态。

在认知内环中,LLM 与 Omni-Model 高效协同:LLM 生成意图,Omni-Model 预演行动后果,再由 LLM 动态修正,形成“先谋后动”的决策过程。在物理外环中,系统通过真实行动获取环境反馈,实现物理因果关系的闭环对齐,让 AI 不仅具备“想象力”,也能够不断接受现实检验。

以视频生成场景为例,传统视频模型主要基于大规模数据学习像素之间的统计关系。比如输入提示词“一个杯子倒在地上”,模型会根据概率生成符合描述的画面,但画面中的物理过程未必符合真实规律。

而在 AWM 模式下,同样是杯子倒地,模型会先进行内部推演,像人一样预演这一过程,将杯子和倒地动作构建成一个可推演的数字世界。随后,智能体系统会对这个世界进行持续分析:杯子是铁制还是塑料制?地面是水泥还是木板?杯子以什么角度倒下?从多高的位置落下?在重力作用下,几秒后落地?接触不同材质后会反弹多高,产生什么撞击声?空中姿态又会如何变化?这些因素都需要纳入推演,再由模型生成相应画面。

在2026世界顶尖科学家论坛上,梅涛以世界模型的三大核心能力为脉络,展示了三段demo,为理解 HiDream 下一代世界模型提供了具体案例。

第一,重建世界的能力。

提示词:生成一段连续视频,构建3D世界,打开门,观察房间四周,打开抽屉拿出水杯接水,放下水杯,再离开

这是一个生成的3D世界,人推开房门步入其中,探索四周环境,随后拉开抽屉拿起水杯,到饮水机旁接水。整个过程一气呵成,物理空间的纵深感与物体的真实质感被高度还原。这不是简单的3D生成,而是理解空间结构之后的重建。模型「知道」墙后面是什么,柜子里面有什么。镜头走进去,再走出来,房间原来的所有物体都还在,没有消失也没有变形,物理一致性保持得非常好。未来,这种能力在数字孪生、3D场景设计、VR/AR等领域,应当具备很大的应用潜力。

第二,体现的是推演物理规律的能力。

提示词:生成一段10秒的连续视频,832×480、24 fps。以给定图像为首帧。相机固定。四节车在水平轨道上由锁扣和刚性连接杆串联。最右侧为第1节,向左依次为第2、3、4节,只有第1节有驱动。每车长0.12米、宽0.06米,相邻车体表面间距 0.04米。前1秒静止,第1至3秒用自动机构解开第3节与第4节之间的连接,解锁时不推动车体,其余锁扣不操作。第3至7秒驱动第1节车向右平滑行驶0.30米并制动停车,此后关闭驱动至结束

模型需要根据提示词完成精确推演:先解锁第三节与第四节小车的连接,再驱动第一节向右行驶0.30米并制动停车。在整个过程中,每一节车的运动状态、碰撞传播以及最终停止位置,都必须严格符合真实物理规律。而模型近乎完美的呈现了整个过程。

和普通视频生成追求视觉奇观不同,世界模型追求的是物理可信。这种强大的物理推演能力,有望在机器人决策、自动驾驶仿真及科学计算等场景中加速落地,释放出巨大的产业价值。

第三、体现的是空间交互的能力。

提示词:生成9秒连续视频。固定相机,一镜到底,保持初始场景的几何、对象身份和尺寸。未指派动作的对象保持静止。先将红球放入绿色篮子并完全释放,使球由篮子承托;然后抓取同一个篮子,将篮子连同红球一起搬到右侧高台并释放。最终球仍在篮内,篮底由高台稳定支撑,保持至少1秒。

画面中,机械臂先把红球放进绿篮子并松开机械爪,紧接着抓起同一个篮子,平移放置到右侧的高台上。请注意,在这个连续的过程中,不仅场景的几何结构没有被破坏,对象身份和尺寸也保持了高度一致,因果关系完全正确。这意味着世界模型已经能支撑一定程度的具身交互和动作预测,可以为具身智能训练提供安全、高效的虚拟环境。

沿着AWM的技术思路,智象的一项落地实践,在于自研出原生全模态架构UiT。基于UiT架构,智象从图像模型HiDream-O1-Image从静态图像入手,探索对空间关系的理解;利用视频模型HiDream-O1-Video从静态走向动态,探索符合物理规律的时序生成;打造交互世界模型HiDream-O1-World面向三维空间和交互环境,探索世界状态的连续变化;构建具身世界模型HiDream-O1-Embodied ,面向物理环境,探索感知、行动与反馈的协同。

这四大模型的同源演进,勾勒出智能体化原生全模态世界模型的初步雏形。作为一个独立的创业公司,智象在构建世界模型的实践上,既有一往无前的坚定决心,也展示出了顶尖科学家创始团队前瞻宏大的布局视野。

04


前沿实践:

具身、生命科学与影视的三个切面

除了模型本身的进展,产业应用也是值得关注的方向。智象正在多个领域推进相关技术的工程验证。

在具身智能研发领域。

具身智能面临的一个重要瓶颈是数据:高质量真机数据采集成本高、规模有限、来源单一,而且容易受到光照和场景变化的影响,产生视觉鸿沟(Vision Gap)。世界模型为降低真机数据采集成本、扩大数据规模提供了新的思路。

原始真机采集数据

物理级仿真,规模化生成高保真数据

第一段demo展示了机械臂通过真机采集数据的场景。这种方式采集成本较高,数据规模有限,场景泛化能力也受到一定限制。下面三段demo则展示了智象利用世界模型模拟机械臂在不同光照、背景和物体材料下的操作场景,并生成新的训练数据。

这种方式有三个优势:首先,基于物理一致性生成数据,有望实现高精度、大规模的数据扩展;其次,通过改变光照、背景和材料等条件,提高数据的多样性;第三,通过每帧画面与底层操作数据的精准匹配,实现视觉与动作的一致对齐。这些数据可用于后续的真机训练。

在微观生命科学领域。

生命科学研究常常面临细胞、组织和器官影像跨尺度对比困难的问题,样本筛选也高度依赖人工。智象与百图生科联合打造的BioVisual Foundation Model,将多尺度生物影像映射到统一表征空间,把形态信息转化为可计算的特征,支持跨样本、跨时间以及干预前后的对比,帮助研究人员快速发现差异样本,为后续实验提供参考。

药物研发中的批量试错成本较高,也是行业面临的长期挑战。智象联合百图生科打造的Bio Flow Model,能够基于细胞观测图像与干预条件,预测细胞演化轨迹。例如,输入 AU565 乳腺癌细胞图像后,可以模拟给予30 μM 吉西他滨约2.5天后的细胞变化,辅助科研人员预判趋势、筛选优先验证方案,从而提高实验效率。

细胞原始数据图像

Bio Flow Model 生成的预测视频

(视频说明:模型预测结果,非真实实验录像,相关预测仍需通过实验验证)

在影视领域。

在金鸡百花电影节上,智象将世界模型带到了影视产业的展示场景中。

某知名视频生成模型

智象(HiDream)下一代世界模型

提示词(部分):生成一段12秒、16:9的电影写实视频,单镜头,正常速度。夜晚的狭窄街巷,一名成年人穿着敞开的深色厚棉斜纹长风衣,背对镜头缓慢行走。0—3秒:环境只有微风;3—6秒:一阵风从画面右侧吹向左侧;6—9 秒:阵风持续,人物向左转身约90度,并迈出一步;9—12秒:人物停止脚步,风势逐渐减弱。

智象展示了两款模型在相同提示词下的生成效果。

先看视频1:在3—6秒的画面中,出现了一处不符合物理常识的细节:风明明只朝一个方向吹,衣服却在左右摆动。

再看智象生成的视频:无论是微风、阵风还是风力减弱,大衣的摆动姿态和方向都与风势变化相对应;街边水蒸气的飘散轨迹,也随着风向发生变化。

一边是“看起来像在刮风”,一边是“风真的在刮”。两者的差别就在这里。

这背后体现的是世界模型将物理规律与因果关系融入视频生成的尝试。传统电影制作中,导演先构思一个完整的故事世界,最终呈现给观众的却是一组经过选择和剪辑的画面。镜头之外的空间,往往存在于剧本、美术设计和观众的想象中,并不一定被完整建构出来。

世界模型则尝试将人物、场景与物理环境组织成一个按照规则运行的系统。创作者改变机位、人物动作或环境条件,模型便可以推演并生成相应画面。如果这类能力进一步成熟,同一虚拟场景就有望从不同角度拍摄,角色的动作与空间位置也能保持一致,导演还可以在制作过程中反复调整复杂场面。世界模型改变的就不只是单个镜头的可信度,也可能改变整个虚拟片场的组织和制作方式。

需要承认的是,世界模型的技术路线仍在演进,对于其未来发展方向的判断,远比大语言模型发展早期更加复杂。但回顾 AI 发展历程,每一次范式更替都伴随着长期探索:深度学习经历过多次起伏,CNN 也曾沉寂多年,最终随着 AlexNet 的出现重新受到关注。许多重要的技术构想,恰恰诞生于路线未定、方向未明之时。

通往世界模型,没有现成的路线可循。任何方向的突破,都需要在持续探索中实现。

//

推荐阅读

91% ≈ 0%?谷歌最新研究,戳破工程 Agent 的高正确率泡沫


黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

图片

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203586