社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

【科研播报】北航史振威教授团队 | 针对视觉深度学习模型的物理对抗攻击研究综述

中国图象图形学学会CSIG • 1 月前 • 76 次点击  

当下,深度学习推动了计算机视觉相关技术在精度与速度上的突破,但同时暴露出对抗性样本带来的安全性问题。物理对抗攻击通过在现实环境中引入对抗性实体(例如具备特殊纹理的贴纸等),能够有效干扰深度学习模型的决策,研究面向计算机视觉的物理对抗攻击技术,不仅关系深度学习模型的问题,同时关乎基于深度学习模型的系统的安全性与可信赖性。研究物理对抗攻击相关技术并以此分析、提升深度学习模型在实际应用中的鲁棒性,已经成为人工智能系统安全相关研究的热点问题。

中国图象图形学学会宣传工作委员会主任,北京航空航天大学史振威教授团队《中国图象图形学报》创刊30周年暨《图像图形学发展年度报告》综述专刊(2025年第6期)发表论文“针对视觉深度学习模型的物理对抗攻击研究综述”(作者:彭振邦,张瑜,党一,陈剑奇,史振威,邹征夏*),论文旨在为物理对抗攻击以及人工智能系统安全相关领域的研究人员和工程师提供新的视角和启发。





论文信息



针对视觉深度学习模型的物理对抗攻击研究综述

引用格式彭振邦, 张瑜, 党一, 陈剑奇, 史振威, 邹征夏. 2025. 针对视觉深度学习模型的物理对抗攻击研究综述. 中国图象图形学报, 30(6):2082-2119 DOI: 10.11834/jig.240442.

Peng Zhenbang, Zhang Yu, Dang Yi, Chen Jianqi, Shi Zhenwei, Zou Zhengxia. 2025. Review of physical adversarial attacks against visual deep learning models. Journal of Image and Graphics, 30(6):2082-2119 DOI: 10.11834/jig.240442.

阅读全文(点击文末阅读原文):

https://www.cjig.cn/zh/article/doi/10.11834/jig.240442





主要贡献




1. 论文依据物理对抗攻击设计的一般性流程,全面梳理了计算机视觉领域中百余篇物理对抗攻击技术研究在设计建模、性能优化与实施评估上的创新与优势。

2.论文按照物理对抗攻击的常见形态与应用场景对相关研究进行分类和总结,并对物理对抗攻击所面临的两大核心问题:“现实偏差问题”与“高自由度观测问题”进行分析与关键技术总结。

3.论文建议更多关注真实世界中针对基于大模型的智能系统的物理对抗攻击研究,系统级的稳健性评估研究以及针对物理对抗攻击的防御技术研究。





重要图表





图 1 物理对抗攻击一般设计流程示意图



图 2 物理对抗攻击常见形态



表 1 针对图像识别的物理对抗攻击方法描述




表 2 针对人脸识别的物理对抗攻击方法描述


表 3 针对自动驾驶的物理对抗攻击方法描述


表 4 针对行人检测的物理对抗攻击方法描述


表 5 针对遥感场景的物理对抗攻击方法描述




结论与展望




论文认为现有工作较为充分地体现了基于深度学习模型的视觉系统在现实环境中的应用仍面临着对抗样本带来的潜在风险这一基本事实。面对物理对抗攻击中存在的现实偏差问题和高自由度观测问题,研究者可从对抗攻击一般设计流程的三个环节入手,提出具备创新性的解决方案。此外,随着深度学习和计算机视觉技术的快速发展,一些重要的研究分支,如大规模模型和具身智能等,已成为研究者们关注的热点,并在各个领域展现出巨大的潜力和吸引力。鉴于此,论文最后分析并指出了物理对抗攻击领域未来最具潜力的几个方向,为未来物理对抗攻击研究和可信赖的深度学习模型研究提供指引。

1)针对基于大模型的智能系统的物理对抗攻击研究。大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有数十亿甚至数千亿个参数。研究者们发现,随着模型容量的飞速提高和结构的复杂化,如:ChatGPT等大模型也更体现出类似人类的归纳和思考能力,开始具备“涌现能力”。这种涌现能力使得它们有更强的表达能力和更高的准确度,更擅长处理复杂任务。而基于大模型的具身智能系统通过在物理世界和数字世界的学习和进化,可达到理解世界、互动交互并完成任务的目标。大模型和具身智能系统研究可认为是深度学习技术推动高度智能化系统实际应用的坚实一步,然而,它们面对可存在于现实场景中的物理对抗攻击有怎样的表现,能否设计物理对抗攻击干扰大模型和具身智能系统在实际应用中的决策,尚无研究探索。因而,针对基于大模型的智能系统的物理对抗攻击研究将成为极具前景的研究方向之一。

2)面向多源多平台的层次化检测系统的物理对抗攻击研究。现有研究已经证明物理对抗样本在光学图像、红外图像的存在性。然而,现实场景中的观测系统通常具备较为丰富的观测手段,如:遥感领域的卫星平台通常可搭载可见光、红外和雷达等多种类型的传感器进行对地观测,无人机平台可通过集群的方式构成多平台检测系统进行层次丰富的观测。部分研究初步探究了一些简单场景中的跨模态对抗攻击,然而包含雷达、多光谱以及一维距离像在内的物理对抗样本尚无成熟的研究和应用测试。随着智能探测技术的进步,未来的多源、多平台构成的层次化智能检测系统将有望替代单一的传统检测平台,广泛用于各类关键领域,针对这类检测系统的物理对抗攻击将成为极具前景的研究方向之一。

3)针对物理对抗攻击的防御技术研究。面对数字域中对抗攻击的干扰,一些研究提出使用对抗性训练、预处理净化等手段进行防御。然而,面对修改幅度较大、更具侵略性的物理对抗攻击,尚无成熟研究进行提出有效的防御手段。为了推动基于深度学习模型的人工智能技术的落地应用,势必要提高相关技术的鲁棒性并设计针对可能的恶意干扰的防御措施。因此,针对物理对抗攻击的防御技术研究将成为极具前景的研究方向之一。






作者简介



彭振邦,北京航空航天大学宇航学院博士研究生,研究方向为对抗样本、图像处理和模型鲁棒性。

E-mail:20374343@buaa.edu.cn


邹征夏,通信作者,北京航空航天大学宇航学院教授,中国图象图形学学会宣传工作委员会秘书长,研究方向为遥感图像处理与分析、计算机视觉、模式识别和机器学习。

E-mail:zhengxiazou@buaa.edu.cn


张瑜,北京航空航天大学宇航学院硕士研究生,研究方向为对抗样本和遥感图像处理。

E-mail: zhangyu2000@buaa.edu.cn


党一,北京航空航天大学宇航学院硕士研究生,研究方向为对抗样本和遥感图像处理。

E-mail: dangyi@buaa.edu.cn


陈剑奇,北京航空航天大学宇航学院硕士研究生,研究方向为对抗样本、图像合成和遥感图像处理。

E-mail: cjqchenjianqi@buaa.edu.cn


史振威,北京航空航天大学宇航学院教授,中国图象图形学学会宣传工作委员会主任,中国图象图形学报》编委研究方向为遥感图像处理与分析、计算机视觉、模式识别和机器学习。

E-mail: shizhenwei@buaa.edu.cn




团队简介


北京航空航天大学史振威教授团队面向民生保障等国家重大需求,长期从事遥感图像处理相关研究。团队在《电气与电子工程师协会会报(Proceedings of the IEEE)》、《IEEE模式分析与机器智能汇刊(TPAMI)》、《IEEE地球科学与遥感汇刊(IEEE Transactions on Geoscience and Remote Sensing)》等IEEE重要学术期刊上发表科研论文120余篇(ESI高被引论文 20 余篇),论文被引用 2 万余次。在进行学术研究的同时,团队注重将理论研究与实际应用相结合,承担了高分五号卫星地面处理、资源/高分系列卫星地物分类/变化监测和目标检测识别、巴基斯坦首颗遥感卫星云雪识别等系统的研制,研究成果已应用于20余型卫星,在民生领域得到广泛应用。



图片
图片

【ICIG 2025】大会日程超前剧透,早鸟注册截至9月30日!

【ICIG 2025】论坛主题公布,邀您共享学术盛宴!

【ICIG 2025】Call for Sponsors
关于征集CSIG图像图形学科前沿讲习班承办方的通知
图像图形领域高质量科技期刊分级目录
中国图象图形学学会关于征集科研成果的通知
关于开展中国图象图形学学会科技成果鉴定工作的通知
中国图象图形学学会科普活动、素材征集通知
2025年CSIG图像图形中国行承办方征集中
图片


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/186825