Ma et al. 2020 in ISPRS Journal of Photogrammetry and Remote Sensing [1]
深度学习一直是机器学习和人工智能研究的热门主题，是当今最流行的科学研究趋势之一。深度学习技术为计算机视觉和机器学习带来了革命性的进步，最近几年，深度学习算法在遥感领域也得到了广泛的应用。
作者收集了近两年来深度学习技术在遥感领域发表的200多篇文献，详细分析了深度学习技术在遥感图像分析中的应用，包括图像融合、图像配准、场景分类、目标检测、LULC分类、影像分割以及面向对象影像分析等。此外，文章还对目前所面临的挑战进行了总结分析，并指出了今后的研究方向。
当前，常用的深度学习网络主要有卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network, RNN）、堆叠自动编码网络（Stacked Auto-Encoder, SAE）、深度置信网络（Deep Belief Network, DBN）以及生成式对抗网络（Generative Adversarial Network, GAN）。根据统计结果，相比于其他深度学习网络，CNN在遥感应用中最受欢迎。CNN在图像处理上具有巨大优势，而遥感影像的光谱空间特征正好适用。
深度学习技术在遥感领域应用最多的是分类任务，包括LULC分类、场景分类和目标检测。当然，从遥感影像处理到应用制图，深度学习技术也都有所涉及。下面将对主要的应用场景进行总结概括。
针对影像融合，SAE和CNN在全色-多光谱融合任务中应用较多，相比于传统的融合方法，其在刻画输入影像和目标影像的复杂关系上具有更大的优势。而对高光谱-多光谱数据进行融合，主要是利用CNN模型，如3D-CNN，在输入模型之前，PCA算法会被应用以减少高光谱影像的维度。
对于影像配准，大多数研究采用了孪生神经网络（Siamese Network），首先通过训练孪生网络提取影像对特征，然后测量特征之间的相似性以进行配准。此外，GAN近年来也被应用于图像配准中。由于遥感影像的多样性，如时空分辨率多样性，当前依然缺少公开的遥感影像配准数据集，构建大型公开的影像配准数据集依然面临挑战。
对于场景分类和目标检测任务，研究基本都是利用CNN模型来构建分类和检测网络，检测对象包括飞机、轮船、汽车以及建筑物等常见的影像目标，无人机、Quickbird、谷歌影像等高分辨率遥感影像是主要的数据源，而中等分辨率影像如Landsat、Sentinel等数据应用较少，常用的大型公开数据集包括：RSSCN7、UC-Merced、 WHU-RS、NWPU VHR-10等。遥感影像多样性、目标在不同尺度影像上的多样性等严重影响了深度学习模型的检测效果，因此如何设计一个高效的深度学习模型是当前需要迫切解决的问题。
对于LULC分类任务，CNN、DBN、SAE、GAN以及RNN等神经网络均有应用案例，数据源包括：中等分辨率遥感影像（10 m-30 m），如Landsat和Sentinel-2影像；高分辨率遥感影像（<5m），如ISPRS数据集、Pléiades影像等以及SAR、LIDAR等数据，主要的LULC类型包括城镇区、植被区、林区和湿地等。虽然利用深度学习技术对LULC进行分类的研究很多，但基本都是在模型方法上的创新，针对实际应用的研究较少。
对于语义分割任务，全卷积神经网络（Fully Convolutional Network, FCN）被应用以获得像素级的分割效果。前沿的语义分割框架多数都是基于编码解码结构，利用编码网络提取特征，然后采用解码网络对特征进行重建，尽管在特征重建过程中，会应用一些诸如空洞卷积、对称卷积结构、跳跃连接、后处理等技巧，但是如何解决降采样和精准边界识别之间的平衡依然面临挑战。此外，影像目标多样性、小目标类别平衡等问题也不容忽视。
对于面向对象影像分析，CNN依然是主要采用的模型，如patch-basedCNN、object-basedCNN。一般步骤如下：首先，通过分割算法提取patches；然后采用CNN进行目标分类。不同的patch大小对分类结果有影响，有研究认为大尺寸的patch更有利于面向对象的CNN分类。尽管如此，确定合适尺寸的patch大小依然需要进一步研究。
对于其他任务，如精度评估、数据压缩、时序分析、影像检索等，研究相对较少，需要根据具体问题，研究合适的算法，这里不作赘述。
总的来说，深度学习在遥感领域应用十分广泛，但依然有如下几个方面需要在未来进行深入研究：
深度学习需要有大量训练数据支撑，虽然遥感影像众多，但不同分辨率的标准影像数据集依然缺乏，尤其是中低分辨率。数据集的缺失严重限制了深度学习在这些应用领域的发展，因此构建不同分辨率的标准数据集是十分重要且迫切的。
针对遥感影像多样性和影像目标多样性，深度学习的模型结构需要深入研究，包括模型结构设计、模型参数确定等。
深度学习模型通常是在标准的影像数据上进行分析，而对于实际应用，相关的研究较少，采用真实的遥感数据进行研究是未来研究的重点。
[1] Ma L, Liu Y, Zhang X, et al. Deep learning in remote sensing applications: Ameta-analysis and review[J]. ISPRS Journal of Photogrammetry & RemoteSensing, 2019, 152:166-177.
https://doi.org/10.1016/j.isprsjprs.2019.04.015
