图1.
陆地卫星与哨兵‑2 云参考数据全球分布图。括号内数字代表各数据集的影像总数量;星号(*)代表由人工解译得到的高质量全幅影像数据集,用于算法开发阶段交叉验证。云参考数据集详细汇总见表 S1,训练 / 验证数据集内部云覆盖度与土地利用 / 土地覆被分布见图 S2;底图采用 ArcGIS 全球地形底图。
图2.不同传感器与模型所用预测变量。“物理规则” 指源自 Fmask4.6 的基于物理规则模型。LightGBM 与 UNet 的预测变量选取结果见图 4。LPL、UPU、LPU、UPL 等组合模型整合了所有方法所需的全部预测变量。各预测变量介绍详见 3.1 节。缩写释义:L4‑7:Landsat4‑7;L8‑9:Landsat8‑9;S2:Sentinel‑2;TOA:大气层顶反射率;BT:亮度温度;VRE:植被红边;WNIR:宽近红外;NNIR:窄近红外;WV:水汽;SWIR:短波红外;HOT:霾优化变换;White:白度;NDVI:归一化植被指数;NDSI:归一化积雪指数;NDBI:归一化建筑指数;TIR:热红外;CDI:云位移指数;SFDI:空间填充差异指数;Var:Landsats4‑7 的 WNIR 波段方差、Landsats8‑9 和 Sentinel‑2 的 NNIR 波段方差;DEM:数字高程模型;SWO:地表水发生频率。
图3.空间填充差异指数(SFDI)在一景哨兵‑2 影像上的应用示例(成像时间:2017‑08‑19,分幅 T31UDP)。左侧为近红外‑红‑绿波段合成参考影像,右侧为 SFDI 结果图,该指数可显著突出云特征。
图4.机器学习模型的前向特征选择。子图 (a)(b)(c) 分别对应 Landsats8‑9、Landsats4‑7、Sentinel‑2 的 LightGBM 模型所选预测变量;子图 (d)(e)(f) 分别对应 Landsats8‑9、Landsats4‑7、Sentinel‑2 的 UNet 模型所选预测变量。阴影区域代表总体精度达到平台期或取得最大值的预测变量子集。缩写含义同图 2。
图5.面向云检测的物理先验机器学习(PIML)框架流程图。该框架采用基于像元的 LightGBM 与基于 CNN 的 UNet 模型。
图6.基于基础机器学习实现物理规则自适应。(a) Landsat8 多光谱影像(2017‑08‑18,行号路径 003 / 行号 008),采用短波红外 1‑近红外‑红波段假彩色合成;(b) 物理云概率(见表 2);(c) 物理规则计算公式,陆地与水体最终云概率图层组合方式见表 3;(d) 默认物理规则,源自 Fmask4.6,采用全套云概率与默认阈值;图例与子图 (f) 保持一致;(e) 物理云概率的潜在组合情景;该子图展示部分潜在组合方案,选取依据为基础 UNet(子图 f)输出的云 / 非云概率分布重叠度最小;其余组合情景见图 S7。选取 lVar/wBright 与 Cir 的组合为最优,重叠度最低(16.7%),最优阈值为 0.125;该自适应过程舍弃温度概率,因其在本景影像中易造成暖云漏检;(f) 基础 UNet 与自适应物理规则得到的云掩膜。
图7.Landsats8‑9 云检测结果示例。子图 (a‑d) 展示不同获取时间、不同地理位置的 Landsats8‑9 完整影像。每个子图内:图 1:物理模型云掩膜(白色代表云);图 2:LightGBM(浅棕)与 UNet(青绿色)云掩膜(重叠部分为白色);图 3:LPL(浅棕)与 UPU(青绿色)云掩膜(重叠部分为白色);图 4:LPU(浅棕)与 UPL(青绿色)云掩膜(重叠部分为白色);图 5:卷云波段大气层顶反射率影像;图 6:假彩色合成参考影像。
图8.Landsats4‑7 云检测结果示例。子图 (a‑d) 展示不同获取时间、不同地理位置的 Landsats4‑7 完整影像。每个子图内:图 1:物理模型云掩膜(白色代表云);图 2:LightGBM(浅棕)与 UNet(青绿色)云掩膜(重叠部分为白色);图 3:LPL(浅棕)与 UPU(青绿色)云掩膜(重叠部分为白色);图 4:LPU(浅棕)与 UPL(青绿色)云掩膜(重叠部分为白色);图 5:热红外波段亮度温度(BT);图 6:假彩色合成参考影像。
图9.Sentinel‑2 云检测结果示例。子图 (a‑d) 展示不同获取时间、不同地理位置的 Sentinel‑2 完整影像。每个子图内:图 1:物理模型云掩膜(白色代表云);图 2:LightGBM(浅棕)与 UNet(青绿色)云掩膜(重叠部分为白色);图 3:LPL(浅棕)与 UPU(青绿色)云掩膜(重叠部分为白色);图 4:LPU(浅棕)与 UPL(青绿色)云掩膜(重叠部分为白色);图 5:卷云波段大气层顶反射率影像;图 6:假彩色合成参考影像。
图10.七种云检测模型定量对比。(a) Landsats8‑9;(b) Landsats4‑7;(c) Sentinel‑2。七种模型分别为:Physical(物理规则模型,即 Fmask4.6)、GBM(LightGBM)、UNet、LPL(LightGBM‑Physical‑LightGBM)、UPU(UNet‑Physical‑UNet)、LPU(LightGBM‑Physical‑UNet)、UPL(UNet‑Physical‑LightGBM)。Fmask5 对 Landsats8‑9 和 Sentinel‑2 采用 UPL,对 Landsats4‑7 采用 LPL。精度基于图 1 的全球随机样本与分歧分层样本,分为云、非云两类。“±” 代表 95% 置信区间;设计加权估计采用 Stehman 等人 (2012) 的增广分层抽样框架融合全球随机与分歧分层样本;仅采用全球随机样本的估计结果见图 S9。
图11.基于全球随机验证样本 (a‑c) 和分歧分层验证样本 (d‑f) 得到的七种云检测模型总体精度成对差异热力图。星号 (*) 代表全球随机验证样本下总体精度最高的模型;黄色方框标记与最优模型差异不具备统计显著性 (p>0.05) 的模型(详见图 S9 全球随机评估)。子图 (d‑f) 对候选模型进一步采用每个传感器 200 个像元的分歧分层样本开展成对对比。单元格数值代表行模型减去列模型的总体精度差值,单位为百分点;正值代表行模型性能更优,负值代表列模型性能更优;单元格内同时给出 McNemar 检验对应的 p 值。Fmask5 对 Landsats8‑9 和 Sentinel‑2 采用 UPL,对 Landsats4‑7 采用 LPL。
图12.云掩膜膨胀尺寸敏感性分析。(a) Landsats8‑9 对应的 Fmask5(UPL);(b) Landsats4‑7 对应的 Fmask5(LPL);(c) Sentinel‑2 对应的 Fmask5(UPL)。精度计算使用图 1 中的独立简单随机验证样本,分为云、非云两类;其余模型膨胀影响汇总见图 S12。
图13.不同云检测模型计算效率对比。本图对比七种模型:Physical(物理规则模型,Fmask4.6)、GBM(LightGBM)、UNet、LPL(LightGBM‑Physical‑LightGBM)、UPU(UNet‑Physical‑UNet)、LPU(LightGBM‑Physical‑UNet)、UPL(UNet‑Physical‑LightGBM)。运行时间包含从数据加载到输出结果全流程,同时涵盖云与云阴影检测。UNet 可在 CPU 或 GPU 运行;UPU 与 LPU 以 UNet 作为调优模型,仅支持 GPU 运行(以 * 标记)。Fmask5 对 Landsats8‑9 和 Sentinel‑2 采用 UPL,对 Landsats4‑7 采用 LPL。平均值基于图 1 中数百景独立验证影像得到。
图14.Fmask5 典型局限性示例。子图 (a)(b) 各展示一景 Sentinel‑2 影像,包含完整影像范围以及局部放大区域。