Embodied Intelligent Digital Twin for autonomous operations: concept and implementation guidelines
Tianliang Hu, Tianyi Sun , Jingkai Li , Lili Dong & Tongjia Zhang
a School of Mechanical Engineering, Shandong University, Jinan, China;
b Key Laboratory of High Efficiency and Clean Mechanical Manufacture Shandong University, Ministry of Education, Jinan, P.R. China;
c National Demonstration Center for Experimental Mechanical Engineering Education at Shandong University, Jinan, China;
dSchool of Mechanical and Electronic Engineering, Shandong Jianzhu University, Jinan, China
为支持复杂动态场景下的装备自主作业,本文提出具身智能孪生体(EIDT)的概念及实施指南。通过适配并融合数字孪生(DT)技术与作业领域大模型(DSFM),具身智能孪生体将物理实体的机理特征、动态状态与作业领域知识进行关联,形成“机理-数据-知识”协同驱动的任务认知与自主运行机制,建立任务与孪生体之间、孪生体与物理实体之间的桥梁,为对作业任务、作业主体、作业环境和作业对象的动态认知、理解与掌控提供理论框架。
本文提出由机理模型单元(MU)、数据模型单元(DU)、作业领域大模型(DSFM)和交互接口(I)组成的具身智能孪生体统一表达范式,并给出一体化构建方案。在此基础上,围绕任务驱动的自主作业、跨任务与跨场景适配、全生命周期持续演化三个方面,本文提出了具身智能孪生体的实施路径,并以RV减速机人机协作装配为典型案例,展示了具身智能孪生体构建、协同作业系统组建、自主作业流程及应用拓展方式。
当前,智能装备已成为替代人类作业的有力智能工具。然而,随着智能装备作业任务和场景逐渐繁杂,其应用要求也不断提高,自身结构和操作也逐渐复杂。传统依赖人工辅助编程、执行预设代码和人工修改程序的智能装备作业模式,逐渐难以应对复杂需求。
智能大模型为解决智能装备的以上问题提供了新契机,然而其欠缺对装备本身、作业任务及场景的深度理解,导致其决策过程存在“幻觉”问题。数字孪生能够表征装备的机理特征与动态状态,为大模型生成的作业方案提供物理约束和状态依据。
基于数字孪生与智能大模型的能力互补,提出具身智能孪生体概念,将机理约束、状态数据和作业领域知识融入任务理解与规划决策,形成“感知-规划-决策-执行”一体化自主运行框架。
2.1 概念
具身智能孪生体是在数字孪生与智能大模型(如大语言模型、视觉语言模型和视觉语言动作模型等)深度融合基础上形成的、具备作业任务自主执行能力的智能体。其由数字孪生机理模型、数字孪生数据模型、作业领域大模型及交互接口构成。
2.2 内涵
具身智能孪生体(EIDT)的内涵体现在“具身”“智能”和“孪生”三个互相关联的方面。其中,孪生体依托数字孪生“机理-数据”模型实现对物理实体的“具身”理解与掌控;通过融合作业领域知识的智能大模型,支撑面向任务的“智能”理解、推理与决策;以物理实体与虚拟孪生体之间持续的双向交互、状态同步与适配演化体现“孪生”协同,共同支撑具身智能孪生体面向复杂任务场景的一体化自主运行。
2.3 表达范式
为实现对具身智能孪生体(EIDT)关键构成要素的统一组织与规范化表达,本文进一步提出具身智能孪生体统一表达范式。其中机理模型单元(MU)负责计算、仿真和约束检查,给出作业主体的能力边界和可行参数范围。数据模型单元(DU)处理多源感知数据,描述与任务有关的实时状态和变化趋势。作业领域大模型(DSFM)把工艺规则、操作知识和历史经验与上述机理与状态信息结合,用于任务解析、规划和决策。交互接口(I)则用于采集状态信息、同步状态、下达控制指令,并支持不同孪生体交换任务信息。
2.4 特征
在孪生体自主运行过程中,装备状态、任务需求及环境条件会随任务执行持续变化。同时,随着物理实体经历设计、制造、运维与回收等不同生命周期阶段,其结构、性能、运行状态及相关知识不断变化。因此,具身智能孪生体不仅需要实现物理实体、数字孪生与领域知识之间的深度融合,还应具备面向复杂动态任务的自主运行、动态适配与生命周期进化能力。为支撑上述能力,具身智能孪生体需要具备以下四项特征:
虚拟空间、物理空间与任务域的动态融合,
“感知-规划-决策-执行”一体化具身自主运行,
面向任务和环境变化的动态适配演化,
跨生命周期阶段的持续演化。
2.5 具身智能孪生体作业系统
复杂作业任务的自主执行通常需要物理空间中的单个或多个作业主体、作业对象及作业环境等多类要素协同作用,任务执行过程中涉及不同要素之间持续的交互协作、信息共享与动态调整。因此,在数字空间中分别构建作业主体的具身智能孪生体(EIDT)及作业对象、作业环境的数字孪生体(DT),通过虚实交互与多孪生体协同,形成具身智能孪生体作业系统。
3.1 如何构建
先分析任务、设备及场景,明确模型的输入、输出和调用方式。机理模型描述几何结构、行为和作业约束,数据模型对多源信号进行清洗、时空对齐和特征提取。随后,根据任务类型选择基础模型,利用领域知识库开展适配,再将这些模型和交互接口统一封装。
3.2 如何运行
接到任务后,系统采集设备、工件和环境的状态,调用机理模型检查设备能力和作业约束。作业领域大模型结合这些信息与工艺知识,制定作业方案、分配任务并生成技能指令。执行过程中,系统根据动作偏差、设备状态和环境变化调整参数、策略或计划。
3.3 如何迁移和演化
任务或场景变化时,先比较源任务与目标任务在设备能力、对象属性、环境条件和任务约束上的差异,再复用适用的模型、知识和技能,更新参数、接口和规则。跨生命周期阶段时,本文提出用实体关联映射和模型版本管理追踪变化,让设计、制造、运行维护和回收阶段的信息逐步积累,并将后期经验反馈至设计和制造环节。
实验平台以RV减速机装配工作站为场景。操作人员主要负责精密装配、质量判断和异常处理,协作机器人负责递送和回收工装、抓取搬运零件,以及辅助定位和夹持。工作系统分别为操作人员和机器人构建具身智能孪生体,为RV减速机和装配工作站构建数字孪生,用于共享装配进度、工位空间和资源约束。
以协作机器人为例,研究团队用统一机器人描述格式(URDF)描述六自由度机器人的结构和运动关系,通过 MoveIt 配置运动规划、关节运动约束和碰撞安全参数。数据模型处理关节位置、目标关节状态以及规划轨迹。团队将装配工艺、机器人技能及人机协作规则组织为作业知识库,通过知识检索与任务提示适配智能大模型,并依托ROS通信与控制框架实现指令下发和执行反馈。
运行时,视觉传感器、称重传感器、射频识别设备和可穿戴惯性传感器等提供现场信息。系统结合操作人员的动作、装配进度和工艺要求,判断何时需要机器人协助。机器人EIDT融合人员协作需求、机器人实时状态及装配知识,从预设技能库中自主选择作业动作;结合运动学模型、目标位置与环境约束,开展运动规划、避障校核及控制参数适配,驱动机器人完成抓取搬运、工装递送与回收等按需辅助装配动作。
面向复杂动态作业场景下作业装备的自主作业需求,论文提出了具身智能孪生体概念。通过“机理-数据-知识”的协同融合,将装备运行机理、动态状态与作业领域知识融入任务解析和规划决策过程,为作业装备实现自身认知、任务理解与自主执行提供方法支撑,并以RV减速机人机协作装配为典型案例,展示了具身智能孪生体作业系统的构建与应用过程。
当前研究主要侧重于具身智能孪生体构建方法与核心功能的验证。未来,团队将进一步面向复杂动态作业场景,开展复杂任务自主规划、多主体协同决策及跨任务、跨场景迁移与适配等方面的研究,推动具身智能孪生体向复杂动态场景的拓展应用。