全球平均云雾覆盖率约为67%，雾霾污染严重降低了包括高光谱影像在内的光学遥感影像的质量。国产高分五号(GF-5) 高光谱卫星影像具备宽幅宽谱特性，大视场内易受雾霾污染，地物光谱曲线发生严重畸变，导致数据的处理和应用存在问题。
聚焦于提升国产高分五号GF-5高光谱影像质量和应用水平，中国石油大学（华东）博士生付航和孙根云教授。针对当前高光谱去雾中缺少包含雾-无雾基准数据集的问题，基于暗目标减法模型提出了一种新的雾合成策略，构建了基于GF-5影像的高光谱去雾基准数据集HyperDehazing，在ISPRS Journal of Photogrammetry and Remote Sensing (IF=10.6)上发表论文“HyperDehazing: A hyperspectral image dehazing benchmark dataset and a deep learning model for haze removal”。该数据集包含覆盖100个场景的2000对合成雾-无雾影像，以及70个真实雾影像，具有合成真实性和场景多样性等特点，可作为评估已有去雾方法和开发新型去雾方法的新基准。
通过分析雾霾在GF-5影像中光谱和空间域的分布特性，设计了长波辅助短波的HyperDehazeNet去雾网络。设计了两个网络分支，主分支对全波段进行端到端的去雾映射，辅助分支从对雾霾不敏感的长波波段中提取场景信息，并注入主分支以辅助全波段的场景重建。在构建的HyperDehazing、真实GF-5以及Landsat-8、Sentinel-2数据的实验结果表明，提出的去雾方法在影像恢复、场景重建、光谱重建以及计算效率上具有优异的性能。
青岛理工大学凌子燕副教授、中国石油大学（华东）张爱竹副教授等为合作作者。
由于大气的散射和吸收，光学遥感影像不可避免地受到雾霾和云层的污染。雾霾主要包含轻水汽、微尘、雾、烟和其他颗粒，与厚云相比，雾霾与场景的耦合更为复杂，导致空间能见度和对比度较低。因此，如何从雾霾影像中分离干净的场景，重建光谱曲线并提升影像的质量，对发挥高光谱影像精细识别的优势至关重要。
当前，已有的去雾方法主要分为模型驱动和数据驱动两大类。在模型驱动的方法中，大气散射模型更适用于水平视觉，暗目标减法模型适用于遥感成像，但通常在复杂雾霾下表现不佳；在数据驱动的方法中，针对高光谱影像的去雾网络较少，并且已有方法没有阐明雾霾与光谱波段之间错综复杂的关系，未将这些先验关系纳入模型设计中。
在去雾数据集方面，如表1所示，大部分只包含蓝、绿、红波段，HDD数据集的雾霾影像数量有限且缺乏相应的参考。不同研究使用的数据差别较大，导致了性能评估标准的不同。当前，还没有一个同时包含雾-无雾影像对且数量充足的高光谱去雾基准数据集。
当前遥感高光谱去雾方法和数据集的不足促使我们思考：高光谱遥感影像中雾霾的分布特性如何？这些特性能否为开发更好的数据集和去雾方法提供依据？为此，我们对不同波长和场景下的雾霾进行了可视化，如图1所示。观察结果如下：雾霾呈现不均匀的空间分布；不同波长的雾强度不同，长波比短波对雾更敏感，但变化不是线性的；不同土地覆盖物对雾霾的敏感程度也不同。
图1 雾霾在GF-5高光谱影像上(a)不同波长图像上的分布以及(b)不同土地覆盖上的光谱畸变。
鉴于雾霾的复杂性，在数据集层面同时收集足够多的无雾和雾影像对（涵盖不同场景和雾分布）十分困难。我们期望在暗目标减法模型的基础上，应用遥感成像原理，合成近乎真实的雾高光谱影像。方法上，我们注意到长波和短波对雾霾的敏感度不同，长波中包含的场景信息对于整个高光谱影像清晰场景的重建具有潜在作用。
我们提出了一种新的高光谱影像雾合成策略，以生成充足的高光谱雾-无雾影像对。如图2所示，该策略包括两个主要步骤：雾成分提取和场景雾添加。
（1）雾成分提取
为了保证雾霾分布的真实性，从真实雾GF-5高光谱影像中提取了雾成分，包括雾厚度和雾丰度。考虑到卫星接收到的辐射度可以看作是路径辐射和地表反射辐射的总和，首先从接收到的辐射度中减去路径辐射，以利用暗通道先验法评估雾霾厚度。采用直方图方法（Chavez，1988）来确定每个波段中这些暗像素的DN值，从而实现路径辐射的扣除，具体表达式为：
其中，λ表示波长，IHS(x, y, λ)表示经过路径辐射扣除后的高光谱影像，I(x, y, λ)表示实际的含雾高光谱图像。P(λ)表示路径辐射的DN值。为了在估算雾霾厚度时更精确地消除地表高亮物体的影响，使用了合成波段，计算为：
其中，Isy(x, y)表示合成波段，Ib(x, y)和Ig(x, y)分别表示蓝光光谱范围（0.433-0.463μm）和绿光光谱范围（0.501-0.544μm）内的平均波段。随后，对合成波段进一步应用暗通道法，以计算初步的雾霾厚度：
其中，min(·, 10)表示在10×10大小的滑动窗口中计算像元的最小值，并用该最小值替换窗口内的所有值。
在高光谱影像中，雾霾厚度通常在不同的光谱波长间有所变化。短波长通常比长波长更容易受到雾霾的影响，但雾霾在不同波长下的分布并非呈简单的递减趋势。考虑到HSI中波段数量众多，逐个波段计算雾霾厚度的回归系数在实际操作中并不可行。因此，受(Kang et al, 2022, TGRS)的启发，我们选取属于同一目标物的含雾和无雾光谱像素，并通过分析它们的光谱差异来估算雾霾的丰度。该方法通过提取雾霾对地物光谱的变化信息，有效提高了雾霾丰度估计的精度，使得在多波段条件下的雾霾估算更加高效和合理。
基于暗目标减法模型，将提取的雾霾成分添加到无雾的高光谱影像中，以合成相应的含雾影像。首先，利用引导滤波器对初步的雾霾厚度进行细化，以消除内部的暗斑空洞并改善雾霾的连续性。为了进一步使雾霾厚度与实际场景保持一致，使用无雾的高光谱影像作为引导图像，其计算表达式为：
其中，HTMref(x, y)表示细化后的雾霾厚度，GF(·, 10)表示窗口半径为10的引导滤波函数。随后，为合理表征雾霾在光谱域中的分布特性，雾霾丰度估计按照以下步骤进行：
其中，k(λ)表示雾霾丰度，sh(x1, y1)和shf(x2, y2)分别表示属于同一目标的雾和无雾平均光谱向量。HTMref(x1, y1)表示点 (x1, y1) 处的雾霾厚度。最后，使用下式将细化后的雾厚度和雾丰度融入无雾的高光谱图像中：
其中，Ihazy表示合成的雾高光谱影像。与传统的雾霾模拟方法相比，提出的雾霾合成策略能够更真实地反映雾霾的空间不规则性和光谱不均匀性。
基于提出的雾合成策略，构建了首个包含参考图像的高光谱去雾数据集，命名为HyperDehazing。具体而言，从实际含雾的高光谱影像和(Kang et al, 2022, TGRS)提供的数据集中，提取了20种大小为512×512像素的不均匀雾厚度，这些数据涵盖了几乎所有的地表覆盖类型，能够反映雾霾的多样性。此外，为了捕捉丰富的雾丰度分布，我们选取了五种典型地表类型的含雾和无雾光谱样本，分别为植被（如农田、树木）、建筑物、水体（如河流、湖泊和海洋）、裸土和山脉。每种地表类型分别选取了200个含雾光谱像素和200个无雾光谱像素，并根据光谱均值和公式（5）计算出5种典型的雾霾丰度。接下来将雾霾成分添加到100幅无雾影像，对于每幅无雾影像，分别将20种雾厚度与不同雾丰度组合，并基于公式（6）合成20幅含雾图像。这一过程对所有无雾图像重复执行，最终生成了共计2000幅含雾图像，这些图像有效捕捉了雾霾的不规则性和不均匀形态。
图4 无雾和合成雾高光谱影像的特征。红色圆点代表雾霾覆盖区域，合成雾霾光谱与无雾霾参照物的光谱对比（a）；黄色圆点代表清晰区域，清晰光谱与无雾霾参照物的光谱对比（b），以及不同 HSI 通道的合成图像示例（c）。
构建的HyperDehazing数据集具有以下特点：
①填补HSI去雾数据集空白：与现有的公开遥感去雾数据集不同，我们的数据集使用先进的GF-5高光谱传感器数据构建。它包含了大量配对的合成图像和真实图像，为新型高光谱去雾方法和现有方法的广泛评估提供了机会。
②高度真实的合成图像：合成的含雾高光谱图像具有显著的异质性，例如不规则的空间分布和光谱域中的不均匀分布。这些特征与实际观测到的含雾图像中的特征一致。合成的含雾图像真实地捕捉了雾霾条件的真实性和复杂性。
③丰富的雾霾和场景类型：首先，多种雾霾厚度和丰度组合的使用增加了数据集中雾霾分布的多样性。其次，数据集涵盖了多种场景，包括100种典型地表场景和几乎所有地表特征，并且数据总量达到2000对。
提出的HyperDehazeNet网络如图5所示。该网络由两个主要分支组成：主分支，即端到端的全波段注意力网络，以及辅助分支，基于长波长的场景注意力网络。在主分支中，以含雾HSI作为输入。初始阶段使用两个卷积层进行浅层特征提取。随后，利用三组特征融合注意力模块（Feature Fusion Attention Blocks, FFAB）和残差模块（Residual Blocks, RB）进行光谱-空间特征融合和场景重建，以实现去雾处理。最后，通过三个卷积层将深层特征转换为无雾HSI。为了促进深层和浅层特征的融合并实现全局残差学习，设计了三个跳跃连接。在辅助分支中，提取对雾霾不敏感的长波长波段，并通过两个卷积层进行浅层特征提取。这些特征随后输入到由三个空间场景注意力模块（Spatial Scene Attention Blocks, SSAB）和残差模块（RB）组成的网络中，以提取关键的场景信息。此外，HyperDehazeNet结合了均方误差损失（MSEloss）和设计的光谱损失（Spectral loss, Specloss）。这种组合损失函数通过同时考虑空间和光谱特征，确保了网络的有效训练。
图5 提出的HyperDehazeNet去雾网络框架。它包含一个主分支和一个辅助分支，以及三个关键模块：FFAB、SSAB 和 RB。
图6 提出的 (a)FFAB、(b) SSAB 和 (c) RB 模块的流程图
在网络中，我们采用了MSE损失函数（MSEloss）来指导整个网络的迭代训练，从而实现网络的快速收敛；为了有效地重建光谱特征，我们设计了一种新的光谱损失函数（Specloss），用于指导从含雾光谱到无雾光谱的映射。
其中，𝑠 和 𝑠ref分别表示含雾高光谱影像和对应的无雾参考图像的平均光谱像素。
（1）HyperDehazing合成影像去雾结果
图7 在 HyperDehazing 数据集的合成图像上的去雾结果（RGB合成：59-38-20）。对于每个区域，上行显示的是整个场景的去雾结果，下行显示的是放大后的红色区域。
表2 HyperDehazing数据集的合成图像的平均 SSIM、PSNR、UQI 和 SAM。
（2）HyperDehazing真实影像去雾结果
图8 在 HyperDehazing 数据集的真实图像上的去雾结果（RGB合成：59-38-20）。对于每个区域，上行显示的是整个场景的去雾结果，下行显示的是放大后的红色区域。
表3 HyperDehazing数据集的真实图像的平均 NIQE和 AG。
（3）光谱重建结果
图9 不同去雾方法从雾高光谱影像中重建原始光谱的性能。
（4）不同波段的性能
图10 通过 (a) SSIM、(b) PSNR 和 (c) UQI 评估不同去雾方法在不同波长上的性能。
（5）不同传感器下的去雾性能
（6）消融实验
表5 对HyperDehazeNet不同模块的消融研究。
（7）模型参数和效率
表7 各种数据驱动去雾方法的模型效率和总参数（括号内为性能排名）。
为了应对高光谱影像去雾的挑战，我们首先构建了 HyperDehazing 数据集，以定量评估不同去雾模型的性能。基于长波比短波对雾霾不敏感的知识，我们提出了HyperDehazeNet，以挖掘有利于去雾和场景重建的深度特征。核心结论如下。
（1) HyperDehazing中合成影像的雾度分布特性与真实雾影像一致，证明了数据集的真实性和多样性。足够多的有雾和无雾高光谱影像对可以充分训练深度网络，并定量评估去雾性能。
（2) 提出的HyperDehazeNet在去雾性能、场景和光谱恢复方面优于最先进的除霾方法。在真实的GF-5雾影像、Landsat-8和Sentinel-2雾影像上均实现了较好的泛化性能。
（3) 提出网络的不同模块都实现了性能提升，这证明了在去雾中纳入对雾霾不敏感的信息和强调深度注意力的有效性。
（4) 与其他现有模型相比，我们的网络计算效率更高，参数数量更少。
在未来的研究中，我们将重点研究由模型和数据共同驱动的弱监督高光谱去雾模型，并进一步结合SAR信息，实现对雾霾和厚云的全面去除。
H. Fu, Z. Ling, G. Sun, J. Ren, A. Zhang, L. Zhang, X. Jia. HyperDehazing: A hyperspectral image dehazing benchmark dataset and a deep learning model for haze removal, ISPRS Journal of Photogrammetry and Remote Sensing, 2024, 218, 663-677. https://doi.org/10.1016/j.isprsjprs.2024.09.034.
文章链接：
https://doi.org/10.1016/j.isprsjprs.2024.09.034
数据链接：
https://github.com/RsAI-lab/HyperDehazing
科研圈内人（www.insiderofscience.com）是由海内外学者发起的公益性科研互助平台，助力科研人员从☆ 学术报告☆ 读研求职☆ 海外留学☆ 论文润色☆ 前沿解读等方面实现跨单位、跨国互助。平台精准化连接科研圈的供给与需求， Let Scientists Focus on Science！
