电话 | 010-82030532 手机 | 18501361766
微信 | tech9999 邮箱 | yw@techxcope.com
美智库报告：对抗性机器学习和网络安全-----风险、挑战和法律影响
美国智库安全和新兴技术中心（CSET）4月发表了题为《对抗性机器学习和网络安全-----风险、挑战和法律影响》的报告。该报告基于去年7月CSET和斯坦福大学网络政策中心召开的一次关于地缘政治、技术和治理项目的专家研讨会，研究人工智能（AI）系统中的漏洞和更传统类型的软件漏洞之间的关系。讨论的主题包括在标准网络安全流程下可以处理AI漏洞的程度，目前阻止准确共享AI漏洞信息的障碍，与对AI系统的恶意攻击相关的法律问题，以及政府支持可以改善AI漏洞管理和缓解的潜在领域。
研讨会与会者包括网络安全和AI红队角色的行业代表；有开展对抗性机器学习研究经验的学者；网络安全监管、AI责任和计算机相关刑法方面的法律专家；以及负有AI重大监督责任的政府代表。本报告总结了研讨会关于对抗性机器学习的普遍共识，并提供了改进未来响应的建议。这些建议分为四个部分：
（1）关于在现有网络安全流程下可以处理AI漏洞的程度的建议。
（2）关于组织文化和信息转变的建议。分享给积极参与AI模型建设的组织和个人，在商业产品中集成模型并使用AI系统。
（3）关于AI漏洞的法律问题的建议。
（4）关于未来研究领域和政府支持的建议，可以导致更安全的AI系统的发展。
人工智能(AI)技术，特别是机器学习，正在广泛的商业和政府背景下迅速部署。这些技术容易受到一系列广泛的操纵，这些操纵可能会触发错误、从训练数据集推断私人数据、降低性能或泄露模型参数。研究人员已经证明了许多AI模型中的主要漏洞，包括许多已经部署在面向公众的环境中的模型。正如安德鲁·摩尔(Andrew Moore)2022年5月在美国参议院武装部队委员会作证时所说，保护AI系统免受敌对攻击“绝对是目前正在进行的战斗。”
然而，AI漏洞可能不会直接映射到传统的补丁修复网络安全漏洞的定义上。AI漏洞和更标准的补丁修复漏洞之间的差异已经产生了关于AI漏洞和AI攻击状态的模糊性。这反过来提出了一系列企业责任和公共政策问题：AI漏洞可以用传统的网络风险补救或缓解方法来解决吗？开发和使用机器学习产品的公司是否做好了充分保护它们的准备？AI系统的开发者或破坏它们的攻击者需要承担什么法律责任？政策制定者如何支持创建更安全的AI生态系统？
该报告旨在完成两件事。首先，它提供了对AI漏洞的高级别讨论，包括它们与其他类型漏洞的不同之处，以及关于AI漏洞的信息共享和法律监督的当前状态。第二，它试图阐明研讨会大多数与会者赞同的广泛建议。这些建议分为以下四个主题:
对AI系统的攻击从许多意义上讲并不新鲜。几十年来，恶意行为者一直试图逃避基于算法的垃圾邮件过滤器或操纵推荐算法。但在过去十年中，机器学习模型的流行程度急剧上升，包括越来越多的高风险环境。与此同时，研究人员已经多次证明，机器学习算法和训练过程中的漏洞是普遍存在的，并且难以修复。基于机器学习的图像和语音识别系统受到了人类察觉不到的干扰，数据集受到了毒害，导致系统输出失真或变得不可靠，原本应该保密的敏感数据被重新构建。
迄今为止，这些攻击大多发生在研究环境中，尽管有一些证据表明现实世界的黑客利用了深度学习系统的漏洞。此外，人们普遍预期，随着AI模型不断融入更广泛的用例，基于深度学习的攻击频率将会增长。研讨会参与者怀疑，只要击败机器学习模型会带来明显的经济利益（这会激发私人黑客）或战略优势（会激发民族国家），这些攻击就可能最常见。
建议1：构建或部署人工智能模型的组织应该使用一个风险管理框架来解决整个人工智能系统生命周期中的安全问题。
建议2：敌对的机器学习研究人员、网络安全从业者和人工智能组织应该积极尝试扩展现有的网络安全流程，以覆盖AI漏洞。
建议3：对抗性机器学习领域的研究人员和从业者应该咨询那些解决AI偏见和鲁棒性的人，以及其他具有相关专业知识的社区。
有几个结构特征使得精确评估对AI系统的攻击威胁有多大变得困难。首先，关于现有AI漏洞的大部分信息来自理论或学术研究机构，来自网络安全公司或来自内部研究人员，他们将组织的AI系统红队化。其次，缺乏一种系统化和标准化的手段来跟踪AI资产（如数据集和模型）及其相应的漏洞，这使得很难知道易受攻击的系统有多普遍。第三，对于AI系统的某些类型攻击，攻击检测可能需要有意义的机器学习或数据科学专业知识来实现，或者至少熟悉可能预示基于AI的攻击的行为模式。由于许多网络安全团队可能不具备检测此类攻击的所有相关专业知识，因此组织可能缺乏识别和披露确实发生的AI攻击的能力，或许也缺乏动机。
即使发现漏洞或观察到恶意攻击，这些信息也很少会传递给其他人，无论是同行组织、供应链中的其他公司、最终用户，还是政府或民间社会观察员。虽然存在一些传播信息的潜在机制，但缺乏一个在受保护的基础上共享事故信息的可信的专门论坛。来自行业和政府组织的一些研讨会与会者指出，他们将受益于定期的信息交流，但目前不存在信息共享网络，官僚、政策和文化障碍目前阻碍了这种共享。
建议1：部署AI系统的组织应该寻求信息共享安排计划，以促进对威胁的理解。
建议2：AI部署者应该强调在产品生命周期的每个阶段建立嵌入人工智能开发的安全文化。
建议3：高风险AI系统的开发者和部署者必须优先考虑透明度。
这些条件意味着，在当前的安排下，问题很可能会一直不被注意，直到攻击者成功利用漏洞很久以后。为了避免这种结果，我们建议开发AI模型的组织采取重要措施来规范或利用信息共享安排，以监控对人工智能系统的潜在攻击，并提高透明度。
美国没有全面的人工智能立法（也不太可能很快出台）。然而，许多法律领域——包括刑法、消费者保护法规、隐私法、民权法、政府采购要求、普通法合同规则、过失和产品责任，甚至美国证券交易委员会关于上市公司披露义务的规则——都与AI的不同方面相关。正如人工智能虽然不太适合传统的网络安全风险框架，但也适用于现有法律，但法院和监管机构尚未完全澄清其方式和程度。迄今为止，对人工智能的政策关注主要集中在偏见和歧视方面。美国联邦贸易委员会（FTC）、美国平等就业机会委员会和消费者金融保护局等都发布了自己的指导意见，涉及在可能违反联邦民权法、反歧视法和消费者保护法的情况下使用AI模型。
建议1：有权管理网络安全的美国政府机构应该澄清基于AI的安全问题如何融入他们的监管结构。
建议2：目前没有必要修改反黑客法律来专门解决攻击AI系统的问题。
开发安全AI系统的许多障碍本质上是社会和文化层面的，而不是技术层面的。学术界、行业专业人士和政府研究人员面临的激励都在某种程度上鼓励将汇总绩效指标的边际改善作为进步的主要标志。虽然对抗性机器学习是一个快速发展的领域，但根据一些统计，它占所有AI学术研究的不到1%——而且现有的研究主要集中在攻击类型的一小部分，如对抗性示例，这些示例可能不代表真实世界的攻击场景。对于希望部署机器学习模型的组织来说，安全性通常是次要的考虑因素。只要这一点保持不变，技术干预充其量只能在总体上有限地提高人工智能系统的安全性。
与此同时，研究界关于对抗性机器学习的知识水平仍然很低。虽然研究人员探索的成功攻击策略数量激增，但从技术上消除这些漏洞的可行性尚不确定；特别是，目前还不清楚针对多种类型攻击的通用防御能力有多大。我们在本报告中多次提到安全性和性能之间的潜在权衡。尽管权衡的存在是显而易见的，但很难评估它们的程度，建立应对方案，让所有相关的利益攸关方参与风险管理，以及描述不同目标之间相互权衡的程度。我们不知道这些权衡考虑的既定过程。
虽然这种情况要求在AI安全研究方面进行更多投资，但它特别代表了政府决策者产生相当大影响的地方。安全是一个行业可能投资不足的领域，这为公共资助的研究创造了机会。研讨会参与者认为，资助AI安全的额外研究应该是一个重要的优先事项，政策制定者可以采取一些具体行动来最有效地推动这一领域的研究。
建议1：对立的机器学习研究人员和网络安全从业者应该寻求比过去更紧密的合作。
建议2：推动AI研究的公共努力应该更加重视AI安全，包括通过资助可以促进更安全的AI开发的开源工具。
建议3：政府决策者应该超越编写标准，为评估AI模型的安全性提供测试平台或进行审计。
在高层次上讲，我们强调——尽管对抗性机器学习是一个具有高度技术性工具的复杂领域——AI漏洞带来的问题可能既是技术性的，也是社会性的。我们的一些建议强调了行业和政府决策者通过投资技术研究来促进人工智能安全的机会。然而，我们的大部分建议集中在过程、机构文化和人工智能开发者和用户意识的改变上。虽然我们希望这些建议将促使使用人工智能的组织主动思考围绕AI系统的安全问题，但我们也强调，个别作者持有广泛的观点，不一定孤立地赞同每个特定的建议。
编译自：
Adversarial Machine Learning and Cybersecurity - Center for Security and Emerging Technology https://cset.georgetown.edu/publication/adversarial-machine-learning-and-cybersecurity/
