基于机器学习的空战行为建模综述

随着机器学习技术的不断进步，创建能在模拟空战中表现逼真的智能体已成为一个越来越受关注的领域。本调查探讨了机器学习技术在空战行为建模中的应用，其动机是提高基于模拟的飞行员培训的潜力。目前的模拟实体往往缺乏逼真的行为，而传统的行为建模耗费大量人力物力，而且容易在开发步骤之间丢失基本的领域知识。强化学习和模仿学习算法的进步已经证明，智能体可以从数据中学习复杂的行为，这可能比人工方法更快、更具扩展性。然而，要使自适应智能体能够执行战术演习、操作武器和传感器，仍然是一个巨大的挑战。

调查研究了应用、行为模型类型、流行的机器学习方法，以及开发自适应和行为逼真的智能体所面临的技术和人力挑战。另一个挑战是将智能体从学习环境转移到军事模拟系统，以及随之而来的标准化需求。

本文提出了四项主要建议，涉及更加重视超视距场景、多智能体机器学习与合作、分层行为模型的利用以及标准化和研究合作倡议。这些建议旨在解决当前的问题，并指导开发更全面、适应性更强、更逼真的基于机器学习的空战应用行为模型。

行为建模

行为模型是一个广义的术语，指根据感知选择行动的模型，在机器学习中通常用数学函数表示。行为表示法的选择基于任务、应用、以往研究和相关技术要求。

图 1. BTN 示例，展示了与多个过渡相连的行动如何分配优先级。

A. 行为转换网络（BTN）

Stottler Henke Associates 公司于 2000 年代初开发了行为转换网络（BTN），它本质上是一种以图形表示的行为脚本。行为按顺序执行，下一步执行哪个行为由转换决定。

图 2. 斯特恩转换截距表示为 BT。改编自 Ramirez 等人。

B. 行为树（BT）

行为树是任务切换的另一种范例，在 2000 年代成为主流，用于为《侠盗猎车手》、《光环》和《生化奇兵》等游戏中的非玩家角色建模。BT 的现代描述包括序列（→）、回退（？）、并行（⇉）、动作（阴影框）和条件（椭圆形）五种节点类型，如图 2 所示。示例显示了一架飞机拦截另一架飞机的演习。BT 从根节点（本例中为并行节点）开始，在每个刻度处进行评估。因此，飞机将同时执行三个子树，在执行代表转向的左侧子树的同时，匹配另一架飞机的速度和高度。回退从左到右执行子树，直到有一个子树成功为止，而序列则执行子树，直到有一个子树失败为止。按照这种逻辑，飞机必须达到一系列子目标，才能最终完成转换。

C. 模糊树（FT）

模糊树是一种模糊系统（FS），是一种分层树结构。模糊树的一个显著特点是，感知和行动由语言变量表示，如接近、威胁、防御或回避。这符合人类的推理习惯，因为人类的推理是建立在定性描述而非数字的基础上的。

D. 神经网络（NN）

神经网络是一种多功能行为模型，其行动原理是隐含的。这种灵活的结构允许通过数据驱动方法学习各种行为。图 3 是神经网络的一个示例，由感知 𝑋1 、 𝑋2 和 𝑋3 、两个灰色显示的隐藏层以及动作 𝑌1 和 𝑌2 组成。网络中的边代表权重，是行为模型的可训练参数。在最基本的网络中，每个节点的值都是其输入的加权和，但现代网络通常会采用一些额外的非线性变换，从而大大增加了函数空间。隐藏层的数量和大小也是可调的。。

空对空作战

最常见的学习任务是空对空格斗，特别是狗斗。斗狗是一种近距离 WVR 空中格斗，利用战斗机基本机动（BFM）到达敌机后方，占据有利的交战位置。它是在第一次世界大战中自然产生的一门艺术，遵循的原则包括平衡空速和高度、尽量减少转弯率、从太阳方向攻击和避免过冲。从广义上讲，“狗斗 ”是一个受飞机和飞行员物理限制制约的三维几何问题。

美国国防部高级研究计划局（DARPA）的 “空战进化（ACE）”计划 “以人机协同狗斗为挑战问题，寻求提高对战斗自主性的信任”。

讨论

所审查的大多数研究都是为了改进战斗机飞行员的模拟训练。这些研究代表了为空战部分任务和使命制作行为模型的共同努力。无论如何，从在此类任务中展示适当的行为，到成功地将智能体融入飞行员培训，从而增强体验，还有很长的路要走。这其中既有技术方面的挑战，也有人为方面的挑战。

基于机器学习的空战行为模型最突出的应用是加强基于仿真的飞行员培训、任务规划、开发新战术和战略，以及优化无人驾驶航空战斗飞行器。所审查的研究表明，人们正在共同努力为特定空战任务建立行为模型，特别是在战斗机飞行员的模拟训练方面。然而，尽管取得了显著进展，将这些模型无缝集成到综合飞行员培训计划中的挑战依然存在，这既是技术上的障碍，也是人力上的障碍，需要引起重视。

在对研究领域的现状进行调查后，提出了四项建议，旨在帮助推进基于机器学习的空战行为模型更加全面、适应性更强、更逼真。

A. 强调超视距场景。

B. 加强对多智能体机器学习与合作的关注

C. 利用分层行为模型

D. 标准化与合作倡议

【完整内容请上专知查阅】

专知便捷查看

点击左下角“阅读原文”或复制以下网址查阅
https://www.zhuanzhiai.com/vip/9dcf0d952774ed77ffc1c69ef4ce67cb

欢迎微信扫一扫加专知助手，咨询服务：报告资料整理定制

点击“阅读原文”，了解更多相关内容