针对深度学习模型的对抗性攻击与防御综述论文

摘要： 以深度学习为主要代表的人工智能技术正在悄然改变人们的生产生活方式，但深度学习模型的部署也带来了一定的安全隐患.研究针对深度学习模型的攻防分析基础理论与关键技术，对深刻理解模型内在脆弱性、全面保障智能系统安全性、广泛部署人工智能应用具有重要意义. 拟从对抗的角度出发，探讨针对深度学习模型的攻击与防御技术进展和未来挑战. 首先介绍了深度学习生命周期不同阶段所面临的安全威胁.然后从对抗性攻击生成机理分析、对抗性攻击生成、对抗攻击的防御策略设计、对抗性攻击与防御框架构建4个方面对现有工作进行系统的总结和归纳. 还讨论了现有研究的局限性并提出了针对深度学习模型攻防的基本框架.最后讨论了针对深度学习模型的对抗性攻击与防御未来的研究方向和面临的技术挑战.

https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200920

随着移动互联网飞速发展、硬件设备持续升级、 海量数据产生和算法不断更新,人工智能(artificial intelligence,AI)的发 展 已 势 不 可 挡,正 逐 渐 渗 透 并深 刻 地 改 变 着 人 类 生 产 生 活．深 度 学 习 (deep learning,DL)技术及其应用的发展令人瞩目,使强 人工智能离人类生活越来越近．目前,基于深度学习 的智能技术被广泛应用在人机交互、视觉处理、智能 决策、自治系统、推荐系统、安全诊断与防护等各个 领域． 

目前,以深度学习为主要代表的人工智能开始 进入产业化开发与深耕阶段,促进了各个领域的深 刻变革．例如,深度学习驱动的数据分析技术已经从 根本上改变了现有的视频监控、医疗健康和金融管 理等系统的开发和应用．在安全领域,最新的检测防 护系统能够利用深度学习技术从大规模数据资源中 快速准确地提取出有用的可执行信息．

尽管深度学习被认为是深刻改变人类社会生 活、改变世界的颠覆性技术,但是与任何一种先进技 术发展和应用的过程类似,当面向用户的服务越来 越成熟,客户资源逐渐增长,最终安全性会成为进一 步广泛部署人工智能系统的最大挑战．

以深度学习为代表的人工智能技术,至今仍然 是一个黑匣子．目前对深度学习模型的内在脆弱性 以及针对其弱点设计的对抗性攻击技术的理解尚不 充分,需要基础理论揭示深度学习背后的机理．但是 深度学习模型参数规模大、结构复杂、可解释性差, 对于对抗性攻击的生成机理分析十分困难．针对这 些问题,目前已有相关研究尝试对各种对抗性攻击 的作用机理进行解释[１Ｇ４１]．其次,深度学习框架在软件实现中不断暴露出新的漏洞,对抗性攻击的恶意 样本生成和训练数据的污染致使系统形成漏判或者 误判[４２Ｇ７７],甚至导致系统崩溃或被劫持．与此对应,目 前研究者们有针对性地提出了多种防御方法[７８Ｇ１１９], 如模型隐私保护、模型鲁棒性增强以及输入样本对 抗噪声检测与擦除等,以增强深度学习模型的抗攻 击能力．同时,从系统的角度考虑,深度学习模型的 攻击、防御的研究不能是单一、碎片化的,需要建立 深度学习模型的对抗性攻击和防御框架,目前这方 面的研究还处于起步阶段[１２０Ｇ１４６]． 

由于不同学者所处的研究领域不同,解决问题 的角度不同,针对深度学习模型攻击与防御研究的 侧重点不同,因此亟需对现有的针对人工智能的隐 私保护的研究工作进行系统地整理和科学地分析、 归纳和总结．在本文中,我们首先介绍了深度学习模 型生命周期与安全威胁,然后从对抗性攻击生成机 理、对抗性攻击生成方法、对抗攻击的防御策略、对 抗性攻击与防御框架４个角度对现有的深度学习模 型攻击与防御方法进行系统地总结和科学的归纳, 并讨论了相关研究的局限性．最后,我们在现有基础 上提出了针对深度学习模型攻击与防御的基本框 架,并展望了深度学习模型对抗性攻防的未来研究 方向

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“对抗攻击防御” 就可以获取《针对深度学习模型的对抗性攻击与防御综述论文》专知下载链接

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源