《情报分析中的人机协作：建立对机器学习系统的信任》

新兴技术与安全中心（CETaS）是一个政策研究中心，位于英国国家数据科学和人工智能研究所--艾伦图灵研究所。该中心的使命是通过对新兴技术问题进行基于证据的跨学科研究，为英国安全政策提供信息。

本报告介绍了CETaS研究项目的结果，该项目研究了在英国国家安全背景下使用机器学习（ML）进行情报分析。研究结果是基于对国家安全从业人员、政策制定者、学者和法律专家的深入访谈和焦点小组。

该研究的目的是了解在情报分析背景下使用ML所产生的技术和政策考虑。具体而言，该研究探讨了如何校准用户对机器生成的见解的适当信任程度，以及将ML能力纳入分析员决策过程的最佳做法。

从事国家安全工作的情报分析员在处理大量数据方面面临着重大挑战，这些数据可能会对当前和未来的事件产生关键的见解。数据的持续全球扩张既带来了风险（错过了关键信息），也带来了机会（获得更深入的洞察力）。ML的使用提供了真正的潜力，可以同时减少这种风险和追求这种机会。

在部署ML以支持人类决策过程时，有一些重要的考虑，包括(i)解释和理解模型为何以及如何运作的挑战，以及(ii)如果ML能力被不适当地使用，对社会和公民造成伤害的风险。人们认识到，在国家安全等高风险背景下广泛采用ML之前，需要对其安全和有效使用进行明确的指导。

ML的可解释性是多方面的，既可以指模型性能的技术属性，如不同阈值的预期精度和召回率（有时被描述为 "全局解释"）；也可以指模型在得出特定预测时考虑到的具体因素（有时被描述为 "局部解释"）。本研究试图研究情报分析员对全局和局部模型解释的要求和优先权。

该研究涉及检查情报分析员的决策过程和分析工作流程，以了解在将ML能力纳入这一过程时必须考虑到的技术、行为和政策因素。该报告的主要结论和建议如下：

1.ML在从大量不同的数据中定性、发现和分流信息方面最有价值。这在短期内为情报分析中的ML提供了最好的投资回报，因为它解决了情报界的一些最迫切的需求。这些应用也为使用ML提供了更可控的风险，因为关键的决定（如那些直接与个人有关的决定）仍然由分析员做出。

2.分析员如何对待ML模型的输出是高度特定的背景。分析师对机器生成的信息所赋予的意义和信心是由当前的环境（决策的紧迫性、行动的优先性、以及后续决策对资源和结果的感知影响）决定的。因此，识别和理解分析员可能使用ML模型的不同背景，应该是开发、测试和验证ML模型过程的核心。

3.许多ML系统在技术上缺乏可解释性，这一点已得到广泛认可。可解释人工智能 "是数据科学研究中一个不断增长的子学科，技术方法正在获得牵引力，以帮助解释复杂的ML模型的行为。虽然这些技术的使用可能仍然是数据科学家和ML工程师感兴趣的，但数学可解释性方法在改善分析师对模型的行为和性能的现实世界的理解方面可能作用有限。

4.增加分析师对ML能力的信任涉及到对ML输出的信任和对整个系统的信任，而ML只是其中的一部分。分析师不会仅仅为了理解一个ML模型的输出而做出反应和努力，还要考虑其他因素，如他们对模型先前性能的经验，模型是否已被正式批准用于操作，以及分析师正在执行的任务的性质。

5.ML应该从一开始就被设计成与情报分析员的工具集和工作流程相结合。对ML的最有效应用应来自于对分析员当前工作环境的理解。这需要更深入地了解人类因素、可用性要求和决策心理，并将其纳入开发模型（数据科学）和与模型互动的工具（软件工程）的过程。

6.ML模型的技术信息类型和数量应该是针对具体环境的，是针对用户的和可交互的。

7.解释的复杂性应该由问题的复杂性决定。

8.在ML模型和相关的图形用户界面（GUI）的原型设计和测试中应包括分析师。

9.同一模型的不同用途可能需要不同的阈值，这是分析员信心的关键，需要不断审查。

10.讨论和解释ML模型的语言应该在整个国家安全界实现标准化。

11.数据科学应作为一种支持服务提供给分析员。

12.有效采用ML需要一个系统级的方法。

13.应提供额外的培训和学习材料，使那些使用或监督使用ML系统的人能够获得最低水平的数据科学和ML知识。

将ML嵌入情报分析管道

在短期内，ML被认为在情报分析中最具潜力的、最常被引用的阶段是信息过滤和优先级，以使分析更有效，或者正如一位受访者所描述的那样，“降低信噪比”。一位受访者所总结的:“我不排除ML情报分析工具作为任何链条的一部分，但它更多的是后续步骤，例如动能行动或建议某物在特定位置或警察逮捕和敲门。对于一个ML工具来说，直接采取这种行动是不合适的。你需要类似的证据。我很乐意使用和试用ML输出作为过滤和收集决策等过程的一部分，但这离实际结果还很远。”

图1概述了典型的情报分析管道和相应的系统功能，并说明了受访者认为ML可以提供最大价值的地方。一般来说，“收集”和“处理”阶段被确定为管道中ML将为分析师提供最大效用的阶段。当我们沿着决策和报告(最终由分析过程产生)的管道向下移动时，ML所增加的感知价值会减少。

图1 情报分析管道概述和整合机器学习的优先领域

进一步的研究应着眼于：

i. 确定在人机协作中更高级地使用ML的技术和政策考虑（如非分类用例）。

ii. 了解完全自动化决策应用中对ML的可解释性要求。

iii. 开发理解分析员工作流程的方法，以指导ML应用的开发，并将行为和决策科学嵌入软件工程实践中。

iv. 系统地评估不同用户的可解释性要求在背景、工作环境和人口统计学方面的差异。

v. 在PHIA概率标准的基础上，开发一个标准化的术语词汇表，用于交流与ML支持的分析相关的信心。

【更多内容请上专知查阅点击“阅读原文”或后台“回复关键词”获取】

专知便捷查看

便捷下载，请关注专知智能防务公众号（点击上方关注）
点击“发消息” 回复 “IAML” 就可以获取《《情报分析中的人机协作：建立对机器学习系统的信任》》专知下载链接

欢迎微信扫一扫加专知助手，咨询使用专知，定制服务合作！

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料