基于深度学习的态势理解

摘要：

  态势理解(SU)需要同时拥有洞察力(准确感知现有情况的能力)和预见力(预测现有情况在未来如何发展的能力)。SU涉及到信息融合以及模型表示和推理。通常，在信息融合的过程中必须利用异构数据源：包括硬数据和软数据。在联合的情况下，还要分配数据和处理资源，并对信息共享加以限制。在SU过程中，经常需要人参与到循环的过程中，提供关键的输入和指导，并以一种适当透明的方式来解释输出：系统不应该是“黑匣子”。在本文中，我们从融合、时间、分布和人员需求等方面描述了联合态势理解(CSU)问题。目前，人们对处理硬数据和软数据的深度学习(DL)方法非常感兴趣。我们分析了与CSU的这些要求相关的DL的最新技术，并分析了目前存在相当大的潜力和关键性差距的领域。

一、介  绍

在复杂的多元领域（例如空中交通管制，船舶导航，紧急响应，军事指挥与控制等）中进行决策，通常在很大程度上取决于决策者的态势理解。通常，这种理解概念被定义为“对单位的态势进行分析和判断，确定所存在的因素之间的关系，并对任务完成的威胁，任务完成的机会和双方存在的差距进行分析而得出结论”[1]。这与Endsley广泛使用的模型中的二级态势感知(SA)相对应，如图1所示。事实上，Endsley 模型为我们提供了一个操作性定义的理解——对时空环境下元素的感知(1级)，其次是在特定上下文中进行理解(2级)，最后为通过时间或者其他事件的变化来预测未来事件的能力(3级)。

在文本工作中，我们探讨了在特定的军事联合背景下实现态势理解所需的功能模块，这个联合背景的特点是所有的智能体组成联盟为实现共同的任务目标而协同工作。这些智能体同时也是独立管理区域的一部分，不同的管理区域确定了其本地数据收集和数据共享策略。

受到深度学习技术在医疗保健，刑事司法系统，财务以及军事决策等领域的广泛使用的启发，我们首先通过图1所示的操作定义开始，即在态势理解的不同阶段之间进行映射并使用分布式学习框架的组件进行态势的理解（由Endsley模型提供）。首先，为了获得对环境的感知，应该训练分布式模型以识别在不同时空粒度级别上发生的事件，这些事件共同记录在各种智能体收集的时间序列数据中，智能体可以通过联合上下文进一步引入局部约束，以调节智能体之间的信息流，从而增加额外的复杂性和复杂性。其次，为了帮助理解，该模型不可以是黑匣子，而必须是可解释的，并且其输出可以使用人类能理解的语言来解释。最后，模型本身应该具有生成能力，能够准确地预测到将来的状态。 

联合态势理解（CSU）：基于以上的描述，联合态势理解可以分解为以下几个部分：

（1）分布式学习算法：联合网络的存在是建立在整体大于部分之和的前提下的。在环境的共享模型中，学习使用来自所有智能体的组合信息比单个信息更重要。总而言之，为了训练共享模型并实现上述目标，所使用的学习算法应该：1）能够根据连接各个智能体的网络拓扑结构的可变性进行调整；2）对智能体提供的训练数据的可靠性具有敏感性；3.）解释智能体所提供信息的不同粒度(例如原始数据或模型参数)；4）满足智能体的隐私要求。

（2）多时间尺度的学习：通常情况下，联合网络会用来监视特定地理区域中感兴趣的事件。但是，被监测事件的周期可能不同。共享模型应该能够使用来自智能体的集体信息来学习在不同时间尺度上准确表达自己的事件。例如，在一个特定的路段上，工作日的交通量(或拥堵程度)可能完全取决于当天的时间。不过，周末的拥堵程度可能取决于附近一场体育赛事的日程安排。因此，阻塞应是在不同的时间尺度上发生的两个不同事件的预测结果。

（3）模型的可解释性和可说明性：这些属性指的是模型与人类之间的双向信息流。虽然基于深度学习的模型是由神经科学对人类大脑工作的理解所推动的，但两者之间的关键区别是人类的“思考能力”。通俗的说，正是这种思考能力使人类不仅可以做出预测，而且可以通过一系列逻辑上一致且易于理解的选择进行预测，从而使预测合理化。反过来，这种能力又使决策者可以隐含或显式地将置信度与预测结果相关联，并用来决定下一步的举措。深度学习模型中与人类思维过程相对应的部分通常称为可解释性，这种解释预测的能力可以使有意义的信息从模型流向人类。

我们把从人类到模型的信息流称为可说明性。与我们希望模型从训练集中的样本中去学习其对应类别的特征相反，可说明性意味着将不属于训练数据的一部分的先验信息添加到模型中。可说明的信息通常基于人的先验知识，而不仅仅局限于训练数据。

我们的贡献：在本文中，我们做了两个贡献。第一，我们将联合态势理解问题转化为一个学习框架，其中我们将Endsley模型的操作定义映射到学习框架的不同组件，然后我们对每一个组件都提供了最先进技术的总结和分析。第二，我们使用了一些技术，旨在弥补每个组件的差距来更好的进行态势的理解，并提供了初步结果，列出了一些需要解决的问题。

二、分布式模型学习

我们大致将设计一个有效的分布式学习算法所涉及的挑战分为两类：（1）任何学习策略都要考虑影响数据(或参数)共享通信成本的智能体网络拓扑中的异质性，并对不可靠的训练数据进行适当的调整。（2）在具有对抗性的环境下，学习算法应该具有弹性，以应对为了破坏模型的学习而篡改训练数据的行为，同时能够保护共享本地数据的智能体的隐私。

A. 学习策略的比较

我们对不同的分布式学习策略进行了初步的分析，并对它们的通信效率进行了比较。我们特别关注(1)联合的，(2)增量的，(3)扩散的这些策略在基于模型训练的消耗之后所具有最高的通信效率。一旦学习算法完成模型训练之后，所有的智能体都应该具有相同的共享模型。

联合学习是一种集中式学习策略。通过所有智能体的联合来完成学习，智能体的联合由中央服务器协调。在每次迭代中，智能体从中央服务器提取全局模型，并在其本地数据集上分别训练模型。在训练了几个时期之后，中央服务器汇总来自所有智能体的参数更新。 将其参数取平均值，并用于更新全局模型参数。

增量学习策略通过循环路径连接智能体来传播模型更新。分布网络由一个图表示，其中智能体对应于图中的节点。如果两个节点之间有一条直接的通信线路，表示它们是一定距离内的邻居，则在它们之间放置一条边。虽然，找到这样一个循环（也被称为哈密顿循环）通常是一个NP完全问题，但之前的工作已经证明，我们大概率可以从我们实验中使用的随机几何图形中找到它。在训练期间，每个智能体将模型参数传递给循环中的下一个智能体。因此，在任何迭代中，只有一个智能体在活动。

扩散学习策略也利用了上述的哈密顿循环。但是，在这种策略中，所有的智能体都使用它们的本地数据集并行地执行模型训练。一旦训练完成，模型参数将与相邻节点共享。这样可以更快地传播模型参数，并且也符合异步学习，在异步学习中，不同的智能体在每次迭代中都会使用不同参数的模型进行学习。

实验设置 ：我们使用n个均匀分布在单位平方区域[0,1]的节点作为我们的模拟网络。每个节点维护自己的私有数据集，这些数据集可用于培训共享模型。在该网络中，分布式学习策略实现如下：

在联合学习的情况下，我们利用分布区域的对称性，计算出中心服务器的最优位置为正方形的中心坐标[0.5,0.5]。因此，每个代理的平均通信成本是一个常数，等于1/6，总通信成本约为，与网络中的智能体数量成正比。

在增量学习和扩散学习策略的情况下，通信成本取决于形成汉密尔顿循环的边缘。由于该图是基于通信约束构造的，即两个节点之间的边缘仅在其距离小于特定半径时才存在。将此半径设置为R，可确保哈密顿环的概率很高，其平均通信成本不超过T。表II-A显示了这三种策略中每种策略的总通信成本的比较。

我们使用具有128个神经元的单隐层的多层感知器（MLP）网络作为共享模型，并使用MNIST数据集对其进行训练。数据在十个智能体之间随机分配。在每次迭代中，智能体使用本地数据集和100个数据样本的批处理量训练自己的模型，共迭代20个轮次。使用的优化算法是随机梯度下降。每次迭代后，我们使用测试数据集评估每个智能体的性能，并根据学习策略与其他智能体进行模型交流。

通信成本分析：我们使用两个不同的指标来分析通信成本。第一个是错误率，我们将其定义为：ER=1-P          

总通信成本是不同客户端之间所有成对通信成本的总和。

图3显示了不同学习策略的错误率变化情况。对于增量学习策略，曲线表示模型在网络中传播的性能。对于联合学习和扩散学习，过渡曲线表示为网络中所有智能体的测试错误率的平均值。图3（a）显示了三种不同策略的错误率曲线随迭代次数的变化，图3（b）显示了错误率随着通信成本的变化。

从我们的初步分析可以看出，联合学习消耗的能量最大。这是因为我们假定所有智能体都能够与中央服务器通信，这要求它们具有足够的无线电功率。除此之外，我们所建立的用于存储和更新参数的中央服务器也是资源密集型的。相比之下，对于增量和扩散策略，平均通信距离可以使用哈密顿循环进行优化，这也为每个客户端提供了一个无线电范围的上限。 

B. 之前的隐私意识(privacy-aware)分布式学习法：

我们先来总结一下之前在隐私意识和对抗学习策略领域所做的工作。

Shokri等人的工作[10]考虑了一种设置，将数据分布在不同的智能体之间，每个智能体都希望保持自己的数据私有，目标是学习组合数据上的模型。作者提出了一种局部训练模型的方法，即只共享模型参数，而不共享原始数据。实际上，为了保证模型的隐私性，在共享之前使用差分私有噪声对模型参数进行扰动，对共享参数求平均值，并将其传递回实体以供下一次迭代使用。模型反转攻击在[11]中得到了证明，作者表明，共享模型很容易泄露信息，即使面对“黑匣子”对手（仅通过输入和输出与模型进行交互）也很脆弱。最近，阿巴迪等[12]演示了一个大型差分私有神经网络和隐私预算的训练，他们证明了他们的模型可以抵抗更强大的对手的模型反转攻击，其对手同样具有训练算法和模型参数的知识。

生成对抗网络（GAN）是一种无监督的框架，用于在对抗环境中训练生成模型。GAN同时训练了两个模型：一个捕获数据分布的生成模型G，以及一个判别模型D，模型D用来估计样本来自训练数据而不是G的概率。其目的是训练生成器G，使判别器的错误率接近50％，这意味着D无法区分训练样本和假样本。判别器可以访问训练样本而生成器测不能。生成器的权重是根据判别器的输出进行调整的。在分布式学习设置中，每个智能体训练一个判别器模型（可以访问本地训练数据），基于从不同智能体的鉴别器模型接收的反馈来训练共享的生成器模型。有时，训练数据会注入恶意样本，使攻击者可以在不了解模型参数的情况下使模型产生漏洞并发动黑匣子攻击。对抗训练是一种在对抗示例上显示的训练模型以使其对攻击产生鲁棒性的技术。在[14]中已经提出将对抗训练扩展到更大的数据集。

C.联合背景下的未解决问题

在联合环境下的分布式学习，在网络拓扑结构和共享数据形式上，都受到了智能体数据隐私和异构性的困扰。此外，对于大型模型，参数共享在内存和带宽消耗方面也非常昂贵，特别是对于资源受限的智能体[15]。

未来，我们计划将我们的研究扩展到更准确地模拟网络效应，包括带宽约束，让我们更好地研究网络对学习算法的影响。此外，我们还将引入适当的惩罚函数来处理训练数据的可靠性，并研究它们对错误率的影响。

三、多尺度时间学习

联合环境下的态势理解是一项复杂的任务，需要融合来自不同来源的信息以做出准确的决策。其中一个主要的挑战是如何处理数据源之间在时间尺度方面的异质性。这可能是由于收集数据的采样率不同，或是由于数据中记录的图案的周期性不同引起的。我们将在下面详细解释这些问题：

多时间尺度的数据源：如果不同的数据源以不同的频率收集数据，那么在尝试从这些数据源学习模型时就会遇到一些问题。例如，如果GPS传感器以每分钟一个样本的速率(0.01667Hz)收集数据，而麦克风则以明显更高的速率(16000 Hz)收集数据。将这两个数据源融合在一起显然很有挑战性，因为它们的数据速率差别很大。

多时间尺度的数据模式：即使使用来自单一数据源的数据，多时间尺度的模式学习也是一个具有挑战性的问题。数据中可能存在不同尺度的模式，需要使用尺度不变学习算法。例如，考虑建模道路交通量以预测未来拥堵水平的任务。显然，交通拥堵模式存在于多个时间尺度上：一天中的特定时刻，或一周中的特定天，甚至一年中的特定季节。另一个例子是用于文本理解的语言建模。在这种情况下，模式存在于字符级、单词级和句子级。一个有效的模型应该能够同时学习和利用所有这些模式，而不是只建模单个的模式。

A.以前的多时间尺度学习方法

递归神经网络(RNNs)无论其规模大小，理论上都具有学习长期时间依赖关系的能力。然而，在实际应用中，由于长期的内存需求，这是很难实现的，而且RNN存在消失梯度问题[16]。在进行序列预测和分类时，时间序列数据的多尺度模式导致了这些实际困难，于是便有了ClockWork RNN (CW-RNN)模型体系结构[17]的产生。CW-RNN是标准RNN体系结构的一个强大的修正，其中隐含层单元被划分成单独的模块。每个模块可以以自己的时间速率处理输入。每个模块中的单元彼此完全连接，而只有速度更快的模块中的单元(具有较小的时钟周期)才连接到其他速度较慢的模块中的单元(具有较大的时钟周期)。在[17]的序列生成和序列分类任务上对CW-RNN的评价结果表明，与标准RNNs和LSTM (Long Short-Term Memory, LSTM)网络[18]相比，CW-RNN都能获得更好的结果。此外，CW-RNNs的计算效率也比具有相同数量隐藏神经元的等效RNN或LSTM要高，因为隐藏神经元只按指定的时间频率更新。然而，CW-RNN需要手动设置每组隐藏神经元的时间速率，而有效的多尺度学习算法应该能够从数据中自动学习这些速率。

作者最近在[19]中提出了一种通过发现序列的潜在层次结构来学习多尺度时间模式的方法。该模型称为分层多尺度递归神经网络（HMRNN），不需要分配固定的时间速率或明确的边界信息。该模型能够自适应地找到序列中不同尺度的模式之间的正确关系。

当尺度变化存在于除时间以外的维度上时，例如在对象以不同尺度出现的图像中，多尺度学习也是一个具有挑战性的问题。尽管目标识别的最新技术——卷积神经网络（CNN）[20]，可以使用卷积和池化层来满足平移和尺度不变性的要求，以检测图像中的模式，但是尺度不变性仍然是一个挑战，因为CNN准确性可能会由于测试图像中对象比例的变化而显着下降。 [21]也证明了这一点，其证明了CNN在CIFAR-10 [22]数据集的缩放版本上的性能下降了其在标准CIFAR-10上的性能的43.22％。为了应对这种挑战，已经提出了CNN的变体，例如尺度不变性卷积神经网络，它可以检测物体并具有对尺度变化的适应性。

B.利用ECG数据进行多时间尺度模式学习

我们通过训练一个深度递归神经网络来识别心电图信号中的模式，用来研究了多尺度模式学习问题。心电信号有多个由波组成的重复模式，通常由字母P、Q、R、S、T和u来标识。为了成功地学习这些模式并合成心电信号，每一波之间的间隔以及它们的周期性必须得到保留。 此外，信号的高采样率意味着信号的当前值可以依赖于数百个时间步长之前的先验值——长期依赖。因此，为了对这些长期依赖关系进行建模，模型必须具有出长期的储存记忆能力。

我们使用在[23]中提出的分层递归神经网络结构的变体来进行我们的实验。图4显示了2000个真实心电信号和我们模型合成的信号。结果表明，该模型能够成功地生成与实际信号匹配的输出信号。

C.联合背景下的未解决问题

在联合环境中，多尺度学习是一个固有的问题，因为不同的智能体在不同的时间尺度上收集数据。此外，在涉及监视的联合场景中，通常需要学习到非常长期的依赖关系(预测或分类结果可能严重依赖于长时间内的数据信息)。对于标准的RNN和LSTM网络来说，学习非常长期的依赖关系是一个问题，而像CW-RNN和HM-RNN这样的多尺度学习算法在这个问题上有更好的效果。在未来，我们还希望将这些模型与情景描述技术相结合，以改善[24]的结果。

四、模型的可解释性和可说明性

这两个属性表示人员对CSU问题的了解程度。如第一部分所述和图2所示，人类用户通常在设置需求和偏好方面与数据模型具有的许多交互点。这些交互必须是双向的——一方面，模型的预测是可以解释的，另一方面，人类可以将先验知识注入模型训练过程中。具体来说，当人向系统提供的输入改变了相应模型的表示和推理时（例如，通过提供CSU系统目前未知的关键信息），我们将模型表示为人类可以说出的。我们认为，分析模型的可解释性也将有助于找到可以将先验知识注入模型的方法，从而使它们易于理解。因此，在其余部分中，我们将主要关注模型的可解释性。

人们可能会误以为，可解释性只是以人类可理解的方式解释学习模型（图2中的第2层）本身的工作的能力。 实际上，即使仔细研究人类的思维过程，也发现我们实际上并未根据模型的低级参数来解释模型（在我们的大脑中）的工作原理。我们确实做出了预测，但没有根据大脑使用的学习算法或它选择在模型中表示信息（模型参数）的方式来证明我们的预测是正确的。取而代之的是，我们选择根据与模型响应和物理观察相关的先验信息，提供更多的理由，而不是在事后分析中。这意味着人们可以在多个不同级别上定义可解释性：就底层模型参数和用于训练模型的学习算法而言，或者就模型的功能而言，甚至是两者的结合而言。

实际上，正如在[5]中观察到的，可解释性的概念甚至不是一个整体的概念，而是划分为几个不同的维度，这些维度总结如下：

模型透明度：这是通过三个参数来定义的：（i）可模拟性–人类是否可以将输入数据与模型一起使用来再现进行预测所需的每个计算步骤。这使人们可以理解由输入如何引起的模型参数的变化以及训练数据对模型参数的影响；（ii）可分解性–是否对模型所有参数都有直观的解释；最后（iii）算法透明性–解释学习算法工作原理的能力。例如，是选择线性回归模型还是深层非线性神经网络。

模型功能：(i)使用文本描述来解释预测。要做到这一点，可以使用一个模型进行预测，然后使用另一个模型进行解释；(ii)可视化-解释模型工作的另一种常见方法是通过参数的可视化。一种流行的可视化高维分布式表示的方法是t-SNE机制[25]；最后(iii)局部解释——这里不解释模型的整个映射，而是计算由给定输出类的特定输入向量引入的局部变化。输出的梯度用来识别特定的权值和受输入向量影响的局部变化。

请注意，上面的一些维度虽然可以更好地解释模型，但是也会导致模型效率的损失。例如，一个使用简单特征的线性模型，即使有大量的训练数据，也无法与神经网络对高维非线性数据的预测能力相比。

我们现在根据上述可解释性的维度来总结之前的工作。然后，我们分析确定CSU目前面临的挑战。 

A.   之前解决模型可解释性问题的方法

我们根据以上讨论的维度对现有技术方法进行分类。

深度学习网络是由可区分的各个单元组成的。这使得基于梯度下降的学习算法可以反向传播并调整这些单元的权值以最小化误差函数。最近，人们提出了一种分层相关传播算法[26]，[27](LRP)，它利用各个单元可区分的这一特性，将深度神经网络的输出分解为输入变量，并研究了数据的哪些特征对模型的输出产生影响。这是一种与泰勒分解密切相关的原理性方法，适用于任意深度神经网络结构。

LRP技术已经在[28]中应用于脑电信号分析。每个输入数据点的相关性分数在最终决策时可以计算出来，然后被可视化为一个热图，提高模型的可解释性。

我们对文字解释的熟悉程度使之成为向人类解释模型的有效方法。现在，该领域的最新工作集中于如何学习文本解释。[29]中的作者结合了两个模块化组件–生成器和编码器–一起操作并学习预测的候选原理。其基本原理只是输入文本中满足两个关键属性的单词的子集。首先，所选择的单词代表简短而连贯的文本（例如短语），其次，所选择的单词必须能单独提供预测才能替代原始文本。对于给定的输入文本，生成器指定了可能的基本原理的分布。然后，编码器将基本原理映射到任务特定的值。然后，将使正则化编码器损失函数最小化的分布当作模型预测的基本原理。

同样，单词向量化模型可用于捕获单词的语义上下文，并解释对向量的运算结果[30]。在[31]作者中已经提出了用于理解递归神经网络工作原理的模型可视化技术。上述技术均可对神经网络模型功能进行深入的了解。

B.联合背景下的未解决问题

我们考虑在联合环境下的模型可解释性问题。使用通用模型做出的任何决定都必须有充分的理由才能被所有的智能体所接受。而这种证明只能通过拥有可解释性的模型生成。此外，智能体的策略约束可能要求它不能与其他智能体共享原始数据。在这种情况下，成员可以训练本地模型并共享模型的预测结果(而不是原始数据)。对于其他智能体来说，这个预测结果不仅应该与一个置信度评分相关联，而且应该基于一个可解释的模型为预测提供一个充分的理由。

联合环境下还有一些独特的挑战，可能会影响可解释模型的设计：每个智能体的本地模型在体系结构方面可能是不均匀的，这使得很难使用诸如分层相关传播（LRP）之类的技术。同样，由于信息共享不完整，基于策略的约束可能使学习正确的可解释性模型变得更加困难。

五、方法概述和未解决的问题

在前面的部分中，我们根据分布式深度学习框架的操作组件定义了联合态势理解问题。我们还确定了当前体系结构中的一些不足，例如：（1）在异构的，可能是对抗的环境中进行分布式模型学习；（2）从时间序列数据进行多尺度模式学习；（3）通过可解释性、可说明行模型进行的人在模型中的循环。这我们需要弥补这些不足，以使这样的框架能够在整体范围内发挥作用。另外，模型学习也是数据和计算密集的过程，尽管我们可以通过集中更多资源来满足对计算能力的需求，但获取所需数量的训练数据可能并不总是可行的，尤其是在临时联合的背景下。最后，深度学习模型不能很好地表示不确定性，不确定性是人机交互循环中的关键因素。不确定性的量化还与模型的可解释性方面有关，因为它会影响人类对机器输出的信任度[32]。

相比之下，贝叶斯推理为模型的建立、推理、预测和决策提供了一个统一的框架，对结果的不确定性和可变性都有明确的解释，而且该框架对模型过拟合也具有鲁棒性，贝叶斯规则提供了一种自动的“奥卡姆剃刀”效应，惩罚了不必要的复杂模型[33]、[34]。然而，由于推理的计算可处理性，贝叶斯推理主要局限于共轭和线性模型。

由此我们可以观察到贝叶斯推理和深度学习框架中存在互补的元素。这一发现已经在最近的概率论机器学习(见[35]和其中的参考文献)和贝叶斯深度学习(BDL)(特别是[36])的工作中得到了应用。简而言之，BDL的目标是在统一的概率框架内集成深度学习和贝叶斯模型。在BDL的上述进展的激励下，我们草拟了一个初始架构来解决下面的联合态势理解问题。

图5展示了我们处理CSU问题的方法，其重点在于人在循环中的维度，可以参考之前在第一节(图2)中描述的“水平”平面的“垂直”视图。我们观察可解释的深度学习网络，处理时间序列数据并行的在多个时间尺度上提取模式，并将它们的输出(例如，下一个预测状态)输入贝叶斯网络。我们已经建立了深度学习模型，它在目标识别、语音识别、文本建模等感知任务中表现非常出色。贝叶斯网络将各个模型的输出连接到一个推理网络中，然后用这个推理网络进行推理，最终得到CSU。这样的推理网络也可以接受以先验知识形式存在的用户输入，这方面已经有了一些初步的工作，称为协同深度学习[37]。这种在贝叶斯网络上分配先验的能力可以减少模型训练所需的训练数据量。此外，自动关联判定(ARD)的概念也在[38]的贝叶斯网络中得到了研究，这与深度学习中应用的分层关联传播技术非常相似——允许模型的解释。因此，上述架构不仅可以在统一的概率模型中进行训练，还可以解决实现 CSU现有的困难。

我们设想，用户将通过允许双向消息交换的元信息层与系统交互。一方面，人类可以使用这一层来提供先验——这些先验可以是深度学习模型的隐藏单元、定义神经网络的参数或指定因果推理的模型参数(在图中表示为贝叶斯网络)。如前所述，这些先验有助于避免过拟合，特别是在没有足够的训练数据[36]时。另一方面，该层将模型输出转换为人类可理解的形式(例如，语义上有意义的句子)。随着技术的发展，智能体(人和机器)都可以提供额外的元信息来更好地描述问题上下文、额外的数据源和/或服务。

目前，实现图5所示的体系结构的工作正在进行中，其中包括一些试点应用程序，这些应用程序混合了前面几节中所调研的DL技术和其他信号处理技术，目的是解决上面提到的目前的不足之处。

六、结论以及未来的工作

在这篇论文中，我们已经确定，为了有效地解决联合环境下的SU问题，基于DL的方法必须能够结合：

1)多模式数据；2)时间序列数据；3)具有信息流约束的分布式学习；4)分类与建模(低层与高层融合)；5)人为因素(可解释性和可说明性)。

这些特征可能出现在非联合的SU环境中，但是所有这些特征都会始终出现在联合环境中。

除了描述联合环境下的SU问题之外，本文的主要贡献还包括两个方面：（1）针对上述每个需求分析DL中的最新技术，并找出差距的不足；（2）提出了概念性的系统架构来支持正在解决这些不足的研究工作

我们的近期研究议程包括初步实现一系列已经拟定的体系结构，以结合上述要求来解决一些挑战性的问题。展望未来，我们将致力于将数据集和代码公开，以促进这个宏大领域的协作和发展。

致谢

该研究由美国陆军研究实验室和英国国防部赞助。