CommandTwin: natural language interaction for industrial digital twins with semantic, spatial, and behavioral grounding
Chenchang Tian , Fengming Chen , Jinsong Bao & Chaofan Lv
a City University of Hong Kong, Hong Kong, China;
b Shanghai Waigaoqiao Shipbuilding and Offshore CO., LTD, Shanghai, China;
c College of Mechanical Engineering, Donghua University, Shanghai, China
工业数字孪生通常依赖图形界面，用户需要在场景树、属性面板和功能菜单之间反复切换，影响信息获取与操作效率。引入大语言模型能够支持自然语言交互，但工业数据缺乏统一的语义表达，空间指代依赖观察视角，设备控制又需要满足确定性和安全性要求。
针对这些问题，本文提出CommandTwin框架，将语义、空间与行为本体（SSB）、选择与语言协同定位机制，以及数字孪生领域专用语言（DT-DSL）和分层安全验证相结合。在包含201条测试指令的离散制造仿真场景中，该框架的任务成功率达到90.7%，实体解析准确率达到93.8%，并成功拦截全部40条违规控制指令，为工业数字孪生的自然语言交互提供了一种兼顾效率与安全性的方法。
传统工业数字孪生界面通常要求用户通过场景树定位设备、查看属性、选择功能并配置参数，在复杂三维场景中操作成本较高。自然语言交互可以简化这一过程，但系统不仅需要理解用户意图，还必须准确识别目标设备、理解设备之间的工程关系和空间位置，并确保生成的控制指令符合运行约束。
为此，本文提出CommandTwin，将对象定位、任务规划和安全验证整合为统一流程，使自然语言能够与工业数字孪生中的实际对象和操作建立明确联系。
现有数字孪生自然语言交互研究已探索符号程序转换、多步骤任务规划和工业系统查询等方法，但对复杂三维空间指代、设备关系和安全控制的协同处理仍不充分。
另一方面，大语言模型安全研究通过规则约束和独立验证降低错误操作风险，三维定位研究则利用几何信息、对象标识和场景图识别空间目标。然而，这些方法尚未充分结合工业设备层级、动态状态和控制语义。
因此，本文重点解决三个问题：如何统一描述工业对象及其关系，如何结合观察视角准确理解空间指代，以及如何在大语言模型参与任务规划的情况下保证指令执行安全。
作者将工业数字孪生交互任务分为三类：场景聚焦、数据查询和设备控制。场景聚焦包括设备定位、视角调整、对象高亮和局部剖切；数据查询用于获取设备属性、实时状态或历史趋势；设备控制则涉及参数调整和状态转换。
系统接收自然语言指令、用户在三维场景中的可选对象选择，以及当前视角、历史交互和设备状态等上下文信息，最终生成有序的执行指令。
为连接语言理解与底层平台，研究提出DT-DSL作为中间表示，将对象选择与操作分离。例如，调整输送带速度时，系统需要先确定目标设备，再生成相应的控制指令。这种结构化表示便于检查操作参数、验证执行条件和记录执行结果。
针对工业数据中设备语义、空间布局和运行约束相互分离的问题，研究提出语义、空间与行为本体（semantic, spatial, and behavioural ontology, SSB)，为对象定位、任务规划和操作验证提供统一的知识基础。
SSB分为三个部分。
语义部分描述设备、物料、人员、生产区域等对象类型，以及对象属性和工程关系。例如，系统可以依据设备连接关系，查找与某台泵相连的阀门。
空间部分描述对象的位置、方向、包围盒及空间关系，为三维场景中的对象筛选和定位提供依据。研究特别区分工程关系与几何关系：设备之间存在连接关系，并不意味着它们在空间中相邻；工艺流向也不等于空间方向。
行为部分描述设备的离散运行状态、可执行动作及约束规则。例如，设备处于故障或锁定状态时，启动操作可能不满足执行条件。系统据此检查状态前提、参数范围和联锁要求。
SSB还区分模式层与实例层：模式层定义对象类型、属性、关系和约束，实例层保存具体设备及其当前状态。通过组合对象类型、属性、运行状态、工程关系和空间条件，系统能够筛选符合用户意图的目标对象，并为后续执行提供明确依据。
CommandTwin采用感知、推理和行动相结合的架构。感知模块接收用户指令、可选的对象选择和当前上下文；推理模块利用大语言模型理解意图并规划任务；行动模块通过工具调用执行DT-DSL指令，并在执行前进行规则验证。执行结果会写回上下文记忆，以支持后续交互。
大语言模型仅负责理解意图和生成候选指令，不直接决定设备操作能否执行。对象筛选、参数检查、运行状态验证及最终执行许可由确定性组件负责，从而将语言生成与安全决策分离。
5.2 选择与语言协同定位
为减少复杂场景中的对象混淆，系统允许用户先在三维场景中选中设备，再通过自然语言补充操作需求。系统将显式选择作为定位锚点，结合对象类型、属性及工程关系逐步筛选目标。没有显式选择时，则直接根据语言中的约束进行检索。
对于“左侧的设备”“前方的输送带”等依赖观察视角的表达，研究提出视角依赖场景图（VDSG）。系统先根据摄像机视野和遮挡情况筛选可见对象，再将其位置转换到摄像机坐标系，计算左右、前后及距离等空间关系。
系统综合名称匹配、类型一致性、工程关系、空间条件和上下文信息对候选对象排序。当最优候选与次优候选难以区分时，会请求用户进一步澄清，而不是直接执行可能错误的指令。
5.3 意图理解、任务规划与安全验证
系统将用户意图划分为场景聚焦、数据查询和设备控制，并生成相应的DT-DSL指令序列。复杂任务可以拆分为多个步骤。例如，显示减速器内部的齿轮时，系统可以先隐藏外壳，再定位并显示内部齿轮，必要时启用剖切功能。
在执行前，系统采用三个层级的安全验证机制。L0适用于只读查询、视角调整和显示操作，主要检查语法、数据类型和属性结构；L1适用于满足确定性验证条件的状态变更操作，需要检查设备状态、参数范围和联锁条件；L2适用于不可逆或后果严重的操作，在规则检查通过后，还需获得授权人员确认。
对于要求绕过联锁或超出已验证规则覆盖范围的操作，系统会拒绝执行并转交工程审核。验证失败时，系统还会返回具体原因，便于用户修正指令并保留操作审计记录。
5.4 记忆与模板复用
研究还设计了可选的历史案例检索和参数化模板复用机制，以减少重复的指令生成工作。不过，历史案例和模板不能直接作为当前操作的执行许可。系统仍须根据当前设备状态重新定位目标，并通过完整的安全验证后才能执行。作者尚未量化模板复用带来的实际运行速度提升。
6.1 实验设置
研究基于Visual Components平台构建空调室外机装配工厂数字孪生仿真环境，包含零部件仓储、预装配、总装配、包装和成品发运五个区域，共636个对象。
测试集包含201条指令，其中161条为有效任务，涵盖场景聚焦、数据查询和合法设备控制；另有40条违反控制约束的指令，用于测试安全拦截能力。研究将CommandTwin与两种经过适配的基线方法进行比较，并评估任务成功率、实体解析准确率、平均交互轮次和安全拦截率。
6.2 实验结果
CommandTwin的任务成功率达到90.7%，高于两种基线方法的62.7%和67.1%；实体解析准确率达到93.8%，而两种基线方法分别为78.3%和82.0%。其平均交互轮次为1.18轮，也低于两种基线方法的1.85轮和1.60轮。
在空间指代任务中，CommandTwin的成功率达到88%—90%，而基线方法为44%—50%。在关系定位和多级关系查询任务中，其成功率分别为86.7%和85.0%，说明结合工程关系和视角相关空间信息有助于处理复杂的设备定位任务。
在安全验证方面，系统成功拦截测试集中的全部40条违规控制指令，安全拦截率达到100%。
不过，实验仅在单一仿真场景中开展，未进行核心模块的受控消融实验，也未通过多次随机试验评估结果的波动。因此，这些结果主要证明了该框架在当前场景中的可行性，不能直接视为其在真实工业环境中具备同等表现或完整安全保证。
本文提出CommandTwin，将统一的工业知识表示、视角感知空间定位、自然语言任务规划和分层安全验证整合为三维工业数字孪生交互框架。实验表明，该方法在任务成功率、实体解析、复杂空间指代和违规控制拦截方面取得了较好的结果。
其主要价值在于，使用户能够通过自然语言访问工业数字孪生，同时利用结构化知识和确定性规则约束设备操作。未来仍需在真实工业环境中验证其跨场景泛化能力、规则覆盖程度和实际使用效果。
