多模态深度学习的遥感数据融合综述

作者列表：李嘉鑫（作者微信：BatAug），洪丹枫，高连如，姚靖，郑珂，张兵，Jocelyn Chanussot

主题词：深度学习，数据融合，多模态

提要

爆炸式增长的对地观测卫星给从业者提供了丰富的多模态遥感数据，为破除单一模态的桎梏与瓶颈提供了有效的数据支撑。同时，以深度学习为代表的新一代人工智能技术为遥感领域智能解译与应用注入了全新的活力。因此，联合深度学习与多模态遥感数据融合成为领域内研究热点与前沿。

导语

针对领域内缺乏对深度学习在多模态遥感数据融合系统性综述的问题，中国科学院空天信息创新研究院高连如研究员课题组在《International Journal of Applied Earth Observations and Geoinformation》发表了国际首篇多模态深度学习的遥感数据融合综述“Deep learning in multimodal remote sensing data fusion: A comprehensive review”，文章从文献统计、方法介绍、资源汇总以及未来展望四个角度对该领域进行了全面剖析，梳理了该方向的研究进展与前沿方法，整理了相关代码与公开数据集，同时指出了当前面临的挑战与未来发展方向，以期推进深度学习在多模态遥感数据融合领域中的应用。

正文

研究背景

单一模态的遥感数据难以刻画复杂场景完整且全面的信息，因此极大限制了后续地学应用的广度和精度。多模态遥感数据融合可以破除单一模态数据的桎梏，通过融合多角度、多谱段、多平台、多尺度、多时相等特性，消除数据间的冗余，达到互补信息的有效结合和利用，从而更好地服务后续应用需求。然而，多模态数据异构的复杂特性也对现有的处理技术提出了全新的挑战。近年来，以深度学习为代表的智能技术因其出色的特征提取与建模能力在该领域得到迅速发展，掀起了联合深度学习和多模态遥感数据融合的新浪潮（图1）。

现阶段，已有综述多聚焦于传统方法在遥感特定子领域融合的应用，而缺乏对深度学习在多模态遥感数据融合全面的分析与介绍。鉴于此，本文是 国际上第一篇聚焦于多模态深度学习的遥感数据融合综述，旨在为遥感社区捋清发展脉络，推进深度学习在该领域的进一步发展。

图1 深度学习在多模态遥感数据融合中的应用

研究内容

1）文献统计：在Web of Science数据库上对相关文献进行检索并统计分析，绘制了文献发表年份图、国别图、期刊占比图以及关键字共现图，如图2所示。

图2 相关文献统计分析

2）方法介绍：本文对该领域划分为同质和异质融合两大类，如图3所示。同质融合通过融合相同成像机理的可见光数据，生成空间-光谱-时间分辨率更佳的图像，主要包括了全色锐化、高光谱-全色融合、高光谱-多光谱融合以及时空融合。异质融合通过融合不同成像机理的LiDAR、SAR、光学以及地理大数据，可直接服务后续地学应用，例如土地覆盖分类以及地理环境监测等。

图3 方法分类体系

3）资源汇总：对深度学习入门材料、多模态公开数据集以及开源代码进行收集整理，如图4所示。

图4 资源汇总

4）未来展望：从非配准数据融合、面向应用评价方式、多模态融合框架、跨模态学习、跨平台学习以及可解释性深度学习六个角度阐述了目前的研究挑战以及未来发展方向。

作者简介：

第一作者：李嘉鑫，中国科学院空天信息创新研究院在读博士生，研究方向为多模态遥感数据融合和高光谱超分辨率融合。

E-mail: lijiaxin203@mails.ucas.ac.cn

GitHub：https://github.com/JiaxinLiCAS

通信作者：高连如，中国科学院空天信息创新研究院研究员，研究方向为高光谱遥感图像处理与信息提取。

E-mail: gaolr@aircas.ac.cn

论文信息：