《对抗性机器学习：攻击和缓解的分类和概念术语》2023最新74页报告：机器学习；规避；数据中毒；隐私泄露；攻击缓解；后门攻击

这份美国国家标准技术研究所的“NIST AI”报告旨在成为开发对抗性机器学习（AML）的分类学和术语的一个步骤，这反过来可能有助于确保人工智能（AI）的应用安全，防止AI系统受到对抗性操纵。人工智能系统的组成部分至少包括数据、模型、训练、测试和部署机器学习（ML）模型的过程以及使用它们所需的基础设施。除了大多数操作系统所面临的经典安全和隐私威胁外，ML的数据驱动方法在ML操作的不同阶段引入了额外的安全和隐私挑战。这些安全和隐私挑战包括对训练数据进行恶意操纵的可能性，对模型漏洞进行恶意利用以对ML分类和回归的性能产生不利影响，甚至恶意操纵、修改或仅仅与模型进行互动以渗出数据中代表的人或模型本身的敏感信息。这种攻击已经在现实世界的条件下被证明，其复杂性和潜在的影响一直在稳步增加。AML关注的是研究攻击者的能力和他们的目标，以及在ML生命周期的开发、培训和部署阶段利用ML的漏洞的攻击方法的设计。AML还关注设计能够抵御这些安全和隐私挑战的ML算法。当攻击是出于恶意的时候，ML的稳健性指的是旨在管理这种攻击的后果的缓解措施。

本报告采用了NIST人工智能风险管理框架[170]中关于ML系统的安全性、复原力和稳健性的概念。安全性、复原力和稳健性是通过风险来衡量的，风险是衡量一个实体（如系统）受到潜在情况或事件（如攻击）威胁的程度，以及一旦发生这种事件的结果的严重程度。然而，本报告并没有对风险容忍度（组织或社会可接受的风险水平）提出建议，因为它是高度背景性的，并且是针对具体应用/案例的。这种一般的风险概念为评估和管理人工智能系统组件的安全性、复原力和稳健性提供了一种有用的方法。对这些可能性的量化超出了本文的范围。相应地，AML的分类法是针对AML风险评估的以下四个方面来定义的：（i）学习方法和发动攻击时的ML生命周期过程的阶段，（ii）攻击者的目标和目的，（iii）攻击者的能力，（iv）和攻击者对学习过程及其他的知识。

针对ML的有效攻击范围很广，发展迅速，涵盖了ML生命周期的所有阶段--从设计和实施到培训、测试，最后到在现实世界的部署。这些攻击的性质和力量是不同的，不仅可以利用ML模型的漏洞，还可以利用部署AI系统的基础设施的弱点。尽管人工智能系统组件也可能受到各种非故意因素的不利影响，如设计和实施缺陷以及数据或算法偏差，但这些因素不是故意攻击。即使这些因素可能被对手利用，但它们不属于对抗性机器学习文献或本报告的范围。

本文件定义了攻击的分类法，并介绍了对抗性机器学习领域的术语。该分类法建立在对对抗性机器学习文献的调查基础上，并按概念层次排列，包括关键类型的ML方法和攻击的生命周期阶段，攻击者的目标和目的，以及攻击者的能力和学习过程的知识。报告还提供了相应的缓解和管理攻击后果的方法，并指出了在人工智能系统的生命周期中需要考虑的相关公开挑战。报告中使用的术语与对抗性机器学习方面的文献一致，并辅以词汇表，定义了与人工智能系统安全相关的关键术语，以帮助非专业的读者。综上所述，分类法和术语旨在为评估和管理人工智能系统安全的其他标准和未来实践指南提供参考，为快速发展的对抗性机器学习领域建立共同语言和理解。与分类法一样，术语和定义并不打算详尽无遗，而是为了帮助理解对抗性机器学习文献中出现的关键概念。

本文件的主要读者包括负责设计、开发、部署、评估和管理AI系统的个人和团体。

关键词：人工智能；机器学习；攻击分类法；规避；数据中毒；隐私泄露；攻击缓解；数据模式；木马攻击，后门攻击；聊天机器人。

图1：对人工智能系统的攻击分类。

专知便捷查看

便捷下载，请关注专知智能防务公众号（点击上方关注）
点击“发消息” 回复 “AML74” 就可以获取《《对抗性机器学习：攻击和缓解的分类和概念术语》2023最新74页报告：机器学习；规避；数据中毒；隐私泄露；攻击缓解；后门攻击》专知下载链接

欢迎微信扫一扫加专知助手，咨询使用专知，定制服务合作！

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

点击“ 阅读原文”，了解使用专知，查看获取70000+AI主题知识资料