社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

ISPRS最新成果|香港科技大学推出“跨分辨率+深度学习”模型,滑坡制图精准度再升级

GEE遥感训练营 • 10 月前 • 312 次点击  

论文摘要



变化检测是更新滑坡清单的一种常用方法。由于持续获取高分辨率图像存在挑战,实际应用中滑坡制图往往依赖不同分辨率的双时相图像。本研究引入了利用跨分辨率图像进行滑坡制图的分割一切模型(SAM)。从而扩大了不同数据源的利用,以提高滑坡清单更新的时间频率。开发了三个独特模块,使SAM能够基于跨分辨率图像进行具有自动提示生成能力的滑坡制图。跨尺度特征融合模块旨在通过互相关将低分辨率图像的特征与高分辨率图像的特征对齐。多尺度特征提取模块增强了模型识别各种规模滑坡的能力,尤其是较小的滑坡。引入了自动提示模块,将模型转变为一个端到端系统,该系统能够自主生成具有高泛化能力的变化检测提示。进行了三个实验来评估模型在三个数据集上的性能。第一个实验是在与训练数据集相同领域的数据集上进行测试,而第二个实验探索了在训练数据集中未包含区域的数据集上进行变化检测。这两个实验以1:2、1:4和1:8的分辨率比进行。第三个实验通过用不同图像源替换事件前图像来评估模型的性能。结果表明,所提出的模型在所有三个实验中均优于现有的最先进方法。在第一个实验和第二个实验中,所提出模型在所有三个分辨率比下的平均F1分数分别为83.8和78.9,分别比性能最差的模型高出24.0和48.4。在第三个实验中,所提出模型的F1分数为86.1,显著高于性能最差的模型(52.4)。这些发现突出了该模型在不同区域和数据源上具有高泛化能力的跨分辨率滑坡变化检测能力。

关键图表



图 1.CMA-SAM的整体工作流程。灰色框为预训练SAM的图像编码器和提示编码器,训练过程中二者保持冻结状态。天蓝色框为跨尺度特征融合模块,其作用是捕捉不同图像特征间的相互作用,以实现有效的变化检测。橙色框为多尺度特征提取模块,用于从双时相遥感图像中提取多尺度特征。SAM的解码器(亮蓝色框)经过改进,能够整合多尺度特征以进行变化检测。自动提示模块(绿色框)用于自动生成掩码提示,使模型具备高泛化能力。
图 2.跨尺度特征融合模块的流程。虚线框展示了如何通过补丁级跨尺度相似度匹配,生成低分辨率(LR)特征与高分辨率(HR)特征之间的相关图。上分支表明,高分辨率特征被分割为补丁,这些补丁用作卷积核对相关图进行反卷积操作。
图 3.(a)多尺度特征提取模块的详细结构;(b)带有跳跃连接的残差块的详细结构。
图 4.多尺度特征的利用流程。右上角红色框对应多尺度特征提取过程;左下角红色框为改进后的SAM解码器,用于对多尺度特征进行解码,以实现滑坡变化检测。
图 5.自动提示模块的详细框架。
图 6.Planet-GVLM数据集的灾前与灾后数据分布:(a)红波段,(b)绿波段,(c)蓝波段。此外,还展示了GVLM数据集灾前与灾后数据的分布:(a)红波段,(b)绿波段,(c)蓝波段。
图 7.本研究中所用测试站点的空间分布。
图 8.GVLM数据集上变化检测结果与真值的定性对比。(a)灾前图像,(b)灾后图像,(c)滑坡真值标签,(d)FC-EF模型输出结果,(e)BIT模型输出结果,(f)SRCDNet模型输出结果,(g)SUNet模型输出结果,(h)SAM-CD模型输出结果,(i)CMA-SAM模型输出结果,(j)CMA-SAM中自动生成的提示。其中,红色像素代表假阳性,绿色像素代表假阴性。
图 9.COOLR数据集上变化检测结果与真值的定性对比。(a)灾前图像,(b)灾后图像,(c)滑坡真值标签,(d)FC-EF模型输出结果,(e)BIT模型输出结果,(f)SRCDNet模型输出结果,(g)SUNet模型输出结果,(h)SAM-CD模型输出结果,(i)CMA-SAM模型输出结果,(j)CMA-SAM中自动生成的提示。红色像素代表假阳性,绿色像素代表假阴性。
图 10.HK数据集上变化检测结果的定性对比。(a)灾前图像,(b)灾后图像,(c)滑坡真值标签,(d)FC-EF模型输出结果,(e)BIT模型输出结果,(f)SRCDNet模型输出结果,(g)SUNet模型输出结果,(h)SAM-CD模型输出结果,(i)CMA-SAM模型输出结果,(j)CMA-SAM中自动生成的提示。红色像素代表假阳性,绿色像素代表假阴性。
图 11.Planet-GVLM数据集上变化检测结果与真值的定性对比。(a)灾前图像,(b)灾后图像,(c)滑坡真值标签,(d)FC-EF模型输出结果,(e)BIT模型输出结果,(f)SRCDNet模型输出结果,(g)SUNet模型输出结果,(h)SAM-CD模型输出结果,(i)CMA-SAM模型输出结果,(j)CMA-SAM中自动生成的提示。红色像素代表假阳性,绿色像素代表假阴性。
图 12.Planet-GVLM数据集上变化检测结果与真值的定性对比。(a)灾前图像,(b)灾后图像,(c)滑坡真值标签,(d)基准模型(Baseline)输出结果,(e)C-SAM模型输出结果。红色像素代表假阳性,绿色像素代表假阴性。
图13.基准模型(Baseline)、A-SAM与CMA-SAM的定性对比。(a)灾前图像,(b)灾后图像,(c)滑坡真值标签,(d)基准模型输出结果,(e)A-SAM模型输出结果,(f)A-SAM的提示,(g)CMA-SAM模型输出结果,(h)CMA-SAM的提示。红色像素代表假阳性,绿色像素代表假阴性。

图14.基准模型(Baseline)、M-SAM与CMA-SAM的定性对比。(a)灾前图像,(b)灾后图像,(c)滑坡真值标签,(d)基准模型输出结果,(e)M-SAM模型输出结果,(f)CMA-SAM模型输出结果。红色像素代表假阳性,绿色像素代表假阴性。(注:文中“CMA-SAM”“SAM-CD”等均为模型名称,“FC-EF”“BIT”等为对比模型名称,均保留原文以保证学术严谨性;“LR”“HR”分别为“Low Resolution”“High Resolution”的缩写,译为“低分辨率”“高分辨率”;“pre-event”“post-event”结合上下文译为“灾前”“灾后”,符合遥感图像变化检测的场景语境。)

版权声明

声明:本推文仅用于学习交流,不做其他任何目的。若有侵权,请联系微信号:GeeStudy_2020删除或修改!论文doi链接:10.1016/j.isprsjprs.2025.08.004,点赞、收藏、关注!后台回复:GEE遥感训练营250910,免费获取原文。

更多阅读



Nature Cities:俄乌冲突颠覆城乡甲烷格局,城市民用设施成排放主力

2025-09-09

ISPRS新成果| 光学 + SAR 数据驱动 GAN 模型,重建农田 NDVI 时间序列缺失值

2025-09-07

RSE 权威综述:从60+遥感数据产品到 CDL 深度解析,作物测绘的现在与未来图景

2025-09-06


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/186637