社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

RSE最新成果 | 面向云检测的物理先验机器学习方法 ——Fmask 5 算法

GEE遥感训练营 • 6 天前 • 52 次点击  

论文摘要



研究背景:云检测是解析 Landsat、Sentinel‑2 等光学遥感数据的关键预处理步骤。传统物理规则方法与机器学习云检测方法各自存在局限。
研究目标:基于全新物理先验机器学习(PIML)框架,开发适配 Landsats 4‑9、Sentinel‑2 系列影像的 Fmask 5 云检测算法。
研究方法:构建物理规则与机器学习协同融合的物理先验机器学习(PIML)框架;由基础机器学习模型生成初步云掩膜,适配物理规则并获取单景影像最优光谱检验与阈值组合;将得到的适配物理规则掩膜作为局地化额外训练数据,对机器学习模型做微调;使用包含简单随机样本、分歧分层样本的全球独立数据集开展算法验证,评估算法 CPU 运算效率。
研究结果与研究:结论基于全球独立验证数据集验证结果显示:Fmask 5 对 Landsat8‑9 总体精度 93.46%,Landsat4‑7 总体精度 92.50%,Sentinel‑2 总体精度 95.38%,相比 Fmask 4 提升 1.6‑6.0 个百分点;该算法 CPU 运算效率优异,可用于大规模业务化遥感影像处理。

关键图表



图1. 陆地卫星与哨兵‑2 云参考数据全球分布图。括号内数字代表各数据集的影像总数量;星号(*)代表由人工解译得到的高质量全幅影像数据集,用于算法开发阶段交叉验证。云参考数据集详细汇总见表 S1,训练 / 验证数据集内部云覆盖度与土地利用 / 土地覆被分布见图 S2;底图采用 ArcGIS 全球地形底图。

图2.不同传感器与模型所用预测变量。“物理规则” 指源自 Fmask4.6 的基于物理规则模型。LightGBM 与 UNet 的预测变量选取结果见图 4。LPL、UPU、LPU、UPL 等组合模型整合了所有方法所需的全部预测变量。各预测变量介绍详见 3.1 节。缩写释义:L4‑7:Landsat4‑7;L8‑9:Landsat8‑9;S2:Sentinel‑2;TOA:大气层顶反射率;BT:亮度温度;VRE:植被红边;WNIR:宽近红外;NNIR:窄近红外;WV:水汽;SWIR:短波红外;HOT:霾优化变换;White:白度;NDVI:归一化植被指数;NDSI:归一化积雪指数;NDBI:归一化建筑指数;TIR:热红外;CDI:云位移指数;SFDI:空间填充差异指数;Var:Landsats4‑7 的 WNIR 波段方差、Landsats8‑9 和 Sentinel‑2 的 NNIR 波段方差;DEM:数字高程模型;SWO:地表水发生频率。

图3.空间填充差异指数(SFDI)在一景哨兵‑2 影像上的应用示例(成像时间:2017‑08‑19,分幅 T31UDP)。左侧为近红外‑红‑绿波段合成参考影像,右侧为 SFDI 结果图,该指数可显著突出云特征。

图4.机器学习模型的前向特征选择。子图 (a)(b)(c) 分别对应 Landsats8‑9、Landsats4‑7、Sentinel‑2 的 LightGBM 模型所选预测变量;子图 (d)(e)(f) 分别对应 Landsats8‑9、Landsats4‑7、Sentinel‑2 的 UNet 模型所选预测变量。阴影区域代表总体精度达到平台期或取得最大值的预测变量子集。缩写含义同图 2。

图5.面向云检测的物理先验机器学习(PIML)框架流程图。该框架采用基于像元的 LightGBM 与基于 CNN 的 UNet 模型。

图6.基于基础机器学习实现物理规则自适应。(a) Landsat8 多光谱影像(2017‑08‑18,行号路径 003 / 行号 008),采用短波红外 1‑近红外‑红波段假彩色合成;(b) 物理云概率(见表 2);(c) 物理规则计算公式,陆地与水体最终云概率图层组合方式见表 3;(d) 默认物理规则,源自 Fmask4.6,采用全套云概率与默认阈值;图例与子图 (f) 保持一致;(e) 物理云概率的潜在组合情景;该子图展示部分潜在组合方案,选取依据为基础 UNet(子图 f)输出的云 / 非云概率分布重叠度最小;其余组合情景见图 S7。选取 lVar/wBright 与 Cir 的组合为最优,重叠度最低(16.7%),最优阈值为 0.125;该自适应过程舍弃温度概率,因其在本景影像中易造成暖云漏检;(f) 基础 UNet 与自适应物理规则得到的云掩膜。

图7.Landsats8‑9 云检测结果示例。子图 (a‑d) 展示不同获取时间、不同地理位置的 Landsats8‑9 完整影像。每个子图内:图 1:物理模型云掩膜(白色代表云);图 2:LightGBM(浅棕)与 UNet(青绿色)云掩膜(重叠部分为白色);图 3:LPL(浅棕)与 UPU(青绿色)云掩膜(重叠部分为白色);图 4:LPU(浅棕)与 UPL(青绿色)云掩膜(重叠部分为白色);图 5:卷云波段大气层顶反射率影像;图 6:假彩色合成参考影像。

图8.Landsats4‑7 云检测结果示例。子图 (a‑d) 展示不同获取时间、不同地理位置的 Landsats4‑7 完整影像。每个子图内:图 1:物理模型云掩膜(白色代表云);图 2:LightGBM(浅棕)与 UNet(青绿色)云掩膜(重叠部分为白色);图 3:LPL(浅棕)与 UPU(青绿色)云掩膜(重叠部分为白色);图 4:LPU(浅棕)与 UPL(青绿色)云掩膜(重叠部分为白色);图 5:热红外波段亮度温度(BT);图 6:假彩色合成参考影像。

图9.Sentinel‑2 云检测结果示例。子图 (a‑d) 展示不同获取时间、不同地理位置的 Sentinel‑2 完整影像。每个子图内:图 1:物理模型云掩膜(白色代表云);图 2:LightGBM(浅棕)与 UNet(青绿色)云掩膜(重叠部分为白色);图 3:LPL(浅棕)与 UPU(青绿色)云掩膜(重叠部分为白色);图 4:LPU(浅棕)与 UPL(青绿色)云掩膜(重叠部分为白色);图 5:卷云波段大气层顶反射率影像;图 6:假彩色合成参考影像。

图10.七种云检测模型定量对比。(a) Landsats8‑9;(b) Landsats4‑7;(c) Sentinel‑2。七种模型分别为:Physical(物理规则模型,即 Fmask4.6)、GBM(LightGBM)、UNet、LPL(LightGBM‑Physical‑LightGBM)、UPU(UNet‑Physical‑UNet)、LPU(LightGBM‑Physical‑UNet)、UPL(UNet‑Physical‑LightGBM)。Fmask5 对 Landsats8‑9 和 Sentinel‑2 采用 UPL,对 Landsats4‑7 采用 LPL。精度基于图 1 的全球随机样本与分歧分层样本,分为云、非云两类。“±” 代表 95% 置信区间;设计加权估计采用 Stehman 等人 (2012) 的增广分层抽样框架融合全球随机与分歧分层样本;仅采用全球随机样本的估计结果见图 S9。

图11.基于全球随机验证样本 (a‑c) 和分歧分层验证样本 (d‑f) 得到的七种云检测模型总体精度成对差异热力图。星号 (*) 代表全球随机验证样本下总体精度最高的模型;黄色方框标记与最优模型差异不具备统计显著性 (p>0.05) 的模型(详见图 S9 全球随机评估)。子图 (d‑f) 对候选模型进一步采用每个传感器 200 个像元的分歧分层样本开展成对对比。单元格数值代表行模型减去列模型的总体精度差值,单位为百分点;正值代表行模型性能更优,负值代表列模型性能更优;单元格内同时给出 McNemar 检验对应的 p 值。Fmask5 对 Landsats8‑9 和 Sentinel‑2 采用 UPL,对 Landsats4‑7 采用 LPL。

图12.云掩膜膨胀尺寸敏感性分析。(a) Landsats8‑9 对应的 Fmask5(UPL);(b) Landsats4‑7 对应的 Fmask5(LPL);(c) Sentinel‑2 对应的 Fmask5(UPL)。精度计算使用图 1 中的独立简单随机验证样本,分为云、非云两类;其余模型膨胀影响汇总见图 S12。

图13.不同云检测模型计算效率对比。本图对比七种模型:Physical(物理规则模型,Fmask4.6)、GBM(LightGBM)、UNet、LPL(LightGBM‑Physical‑LightGBM)、UPU(UNet‑Physical‑UNet)、LPU(LightGBM‑Physical‑UNet)、UPL(UNet‑Physical‑LightGBM)。运行时间包含从数据加载到输出结果全流程,同时涵盖云与云阴影检测。UNet 可在 CPU 或 GPU 运行;UPU 与 LPU 以 UNet 作为调优模型,仅支持 GPU 运行(以 * 标记)。Fmask5 对 Landsats8‑9 和 Sentinel‑2 采用 UPL,对 Landsats4‑7 采用 LPL。平均值基于图 1 中数百景独立验证影像得到。

图14.Fmask5 典型局限性示例。子图 (a)(b) 各展示一景 Sentinel‑2 影像,包含完整影像范围以及局部放大区域。

版权声明

声明:本推文仅用于学习交流,不做其他任何目的。若有侵权,请联系微信号:GeeStudy_2020删除或修改!论文doi链接:https://doi.org/10.1016/j.rse.2026.115672,点赞、收藏、关注!

更多阅读



JAG最新成果 | 中国矿业大学范洪东团队:改进 PL 相位连接,提升煤矿区 DS‑InSAR 形变监测点密度与相位恢复精度

2026-10-29

JAG最新成果 | 南京师范大学李云梅团队:面向内陆水体藻类水华卫星识别的红边指数构建与验证

2026-10-28

Ecological Indicators | 河南大学曹萌萌团队:基于降尺度土壤湿度数据的中国农业干旱时空监测

2026-10-27



Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/202916