Guo D, Li Z, Gao X, et al. RealFusion: A reliable deep learning-based spatiotemporal fusion framework for generating seamless fine-resolution imagery[J]. Remote Sensing of Environment, 2025, 321: 114689.
多源遥感数据的时空融合为实现高精度、动态化的地球监测提供了一种可行途径。然而，现有方法在面对两类常见且复杂的场景时，难以实现可靠的时空融合：其一是剧烈的地表变化，如自然灾害或人类活动引起的显著变化；其二是图像质量较差的情况，例如由于浓云覆盖、云影、雾霾或噪声导致的图像退化。为应对上述挑战，本研究提出了一种基于深度学习的可靠时空融合框架——RealFusion，旨在融合Landsat与MODIS影像，以生成具有Landsat风格的高时相、无缝日尺度影像。RealFusion通过以下关键创新提升融合的可靠性：（1）整合具有互补信息的多源输入数据；（2）引入任务解耦的网络结构；（3）构建先进的图像重建与融合网络；（4）采用自适应训练策略；（5）建立了全面的精度评估体系。在三个具有代表性的区域共25组实验中，RealFusion在性能上全面优于近年来提出的四种先进方法，包括对象级混合时空融合方法（OL-HSTFM）、增强型深度卷积时空融合网络（EDCSTFN）、基于生成对抗网络的时空融合模型（GAN-STFM）以及多层特征融合的GAN模型（MLFF-GAN）。尤其值得强调的是，RealFusion是目前唯一能够在剧烈地表变化及图像质量较差区域中实现稳定、准确信息重建的模型。因此，RealFusion显著提升了复杂情境下高质量遥感影像的可靠重建能力，标志着时空融合技术的又一次重要进展。图 1. 时空融合所用图像间复杂关系示意图。
图 2. 通用深度学习时空融合框架与RealFusion的任务分配对比。
图3. RealFusion流程图。
图 4. (a)SIQRN、(b)U-NAFNet模块、(c)NAFNet模块、(d)注入模块、(e)SG、(f)SCA的结构。(a)中样本图像的分辨率和获取日期已标注。
图 5. (a)DSTFN、(b)RLF模块、(c)ESA模块、(d)SRLF模块、(e)Res模块的结构。(a)中样本图像的分辨率和获取日期已标注。图 7. Landsat 8 OLI影像：(a)堪萨斯州西部农业区(2021年11月5日)、(b)太行山南部地区(2017年4月28日)、(c)鄱阳湖平原区(2018年10月3日)。图 8. 测试阶段时空融合实验设计示意图，箭头表示从基准期指向预测期。
图 9. SIQRN对2021年5月13日堪萨斯州西部农业区无云影像的实验结果。SIQRN1和SIQRN分别表示SIQRN第一个和第二个(最终)编解码器的重建图像。MOD09Q1影像采用近红外-红-近红外波段合成，MCD43A4、SIQRN1、SIQRN和Landsat 8 OLI影像采用近红外-红-绿波段合成。
图 10. SIQRN对2018年3月30日太行山南部地区影像的实验结果。
图 11. SIQRN对2014年3月14日鄱阳湖平原区影像的实验结果。
图 12. SIQRN在短波红外1波段(SWIR1)对2014年3月14日鄱阳湖平原区影像的实验结果。图 13. 堪萨斯州西部农业区定性对比实验所用影像及其融合结果。基准期：2019年2月17日；预测期：2019年8月28日。FNDVI表示年度中值合成精细NDVI影像。CB和CP分别表示基准期和预测期的粗分辨率影像，FB和FP分别表示基准期和预测期的精细影像。图 14. 堪萨斯州西部农业区A子区融合结果放大视图。
图 15. 堪萨斯州西部农业区B子区融合结果放大视图。
图 16. 太行山南部地区定性对比实验所用影像及其融合结果。基准期：2020年5月22日；预测期：2021年9月30日。图 17. 太行山南部地区A子区融合结果放大视图。
图 18. 太行山南部地区B子区融合结果放大视图。
图 19. 鄱阳湖平原区定性对比实验所用影像及其融合结果。基准期：2020年10月8日；预测期：2014年3月14日。图 22. 堪萨斯州西部农业区各方法融合结果精度统计：(a)均方根误差(RMSE)；(b)iEDGE指数；(c)iSSAM指数；(d)各实验平均iSSAM值。
图 23. 太行山南部地区各方法融合结果精度统计。
图 25. 堪萨斯州西部农业区A/B子区消融实验结果放大视图。
图 26. 太行山南部地区A/B子区消融实验结果放大视图。
图 27. 鄱阳湖平原区A/B子区消融实验结果放大视图。
图 28. RealFusion通过多层不确定性降低实现复杂场景可靠时空融合的机理示意图。
图 29. 鄱阳湖平原区2017年9月30日（基准期）与2018年10月3日（预测期）影像实验。
图 30. 基于时空融合技术的太行山南部地区洪水动态监测。
图 31. RealFusion用于云去除任务的原理示意图。
