近期复旦大学伏羲大模型团队和阿里巴巴达摩院团队联合发表论文：Investigating transformer-based models for spatial downscaling and correcting biases of near-surface temperature and wind speed forecast，实现了近地面风速和温度1公里分辨率的区域降尺度。详情如下：
背景
近地面气象预报，例如2米温度和10米风速等，在研究和应用中扮演着关键角色。目前,全球数值预报模式（NWP）受限于计算资源、计算时间、物理参数化方案等因素，其空间分辨率相对较低，例如，欧洲中期天气预报（ECMWF）的确定性预报（HRES）的空间分辨率为0.1 。然而，很多应用需要更高的空间分辨率，尤其是在地形复杂的地区。因此，需要采用降尺度的方法，以从低分辨率的NWP预报中获取更高分辨率的数据。传统的降尺度方法包括动力和统计降尺度。动力降尺度方法依赖于高分辨率的区域数值预报模式，其输出各个变量结果物理意义上一致，同时能够适用于任意区域。然而，动力降尺度的缺点是它需要消耗大量的计算资源和时间，而且精度受初始场和边界条件的准确性以及区域模式本身的误差所限制 1。统计降尺度方法则是通过数据驱动的方式，从大量的历史数据中学习低分辨率模式变量和观测数据之间的映射关系。统计降尺度方法的优势在于其计算效率高，能够在一定程度上订正模式误差。然而，其不足之处在于通常基于简单的统计方法和平稳性假设，这可能导致该方法的结果会随着时间的推移变得不够准确，有时可能产生不合理的结果 2。由于机器学习视觉领域中的超分辨率技术和气象领域中的降尺度过程具有相似之处，因此，越来越多的超分辨率模型被应用于气象降尺度。然而，与超分辨率领域不断采用最新的深度学习模型以提高精度不同，气象降尺度所采用的超分辨率模型大多仅限于基于卷积神经网络（CNN）的模型 2-5。CNN模型的局限性包括仅能处理局部信息以及使用固定大小的卷积核。而基于transformer的超分模型的优势在于其是可以捕获图像中的长距离像素依赖关系，根据局部内容动态调整权重，相当于使用大小可变的卷积核。
此外，以前的研究工作在使用机器学习模型进行空间降尺度时，通常使用的同源的高分辨率和低分辨率的数据，即从高分辨率数据中采样并合成低分辨率数据。然而，在实际的降尺度应用中，低分辨率数据为NWP的预报数据，而高分辨率数据则是观测数据的格点数据。因此，模型不仅需要提高空间分辨率，还需要订正低分辨率预报数据的误差。
本研究的主要贡献在于采用基于transformer的模型，包括SwinIR和Uformer，用于对近地面变量进行空间降尺度，并与基于CNN的模型进行对比。我们采用NWP数据作为输入，格点观测数据作为真值。这种数据来源的设置更符合实际应用场景，尽管也更具挑战性。此外，我们引入了地形特征提取模块和多分辨率特征融合模块，以进一步提高了Uformer的精度。
数据
本次研究选取的数据区域为蒙东区域，空间范围涵盖39.6N 46 N，以及111.6E 118 E。内蒙古省拥有中国最丰富的陆上风能资源6，其中蒙东区域的风资源密度超过了350 7。作为真值的格点观测数据采用中国气象局（CMA）研发的陆面数据同化系统CLDAS V2.0，其空间分辨率为0.01（https://data.cma.cn/data/cdcdetail/dataCode/NAFP_CLDAS2.0_RT.html）。CLDAS采用陆面模式和资料同化等方法融合了多个观测数据源，包括地面站和卫星等8。
模型输入数据采用了ECMWF HRES，其空间分辨率为0.1，时间分辨率为1小时，起报时间为12UTC。高分辨率地形数据则通过WRF的geogrid.exe将GTOPO30的数据插值到研究区域以获取。
方法
原Uformer模型通常应用于图像复原任务，其输入和输出的分辨率相同。因此，为了适应不同分辨率的输出结果，我们对原模型结构的输出部分进行了改进，引入了pixel shuffle。此外，考虑到地形数据在降尺度中的重要性，我们在原Uformer结构的基础上，设计了一个地形数据特征提取模块，用于从高分辨率地形数据中提取不同分辨率的特征（如图1和图2中的红线所示）。同时，我们引入了一个多分辨率特征融合模块，将不同分辨率的信息融合在一起（如图1中的蓝线所示），以进一步提高模型精度。
图1. 基于Uformer的降尺度框架图
图2. 高分辨率地形数据特征提取模块
结果
以下两个表格总结了各种机器学习模型在所有测试集上，针对2米温度和10米风速的各项指标上的平均值。尽管UNet模型具有最多的参数，但其在2米温度方面的表现较差，而在10米风速方面略优于RCAN模型。而基于transformer的两个模型，SwinIR和Uformer，在各个指标上都要优于基于CNN的UNet和RCAN模型。其中，Uformer模型在所有指标上均表现最佳，它通过引入对高分辨率地形数据特征提取和多尺度特征融合后，进一步提升了模型的精度。两个表格均表明，Uformer模型在同时使用地形数据特征提取模块和多分辨率特征融合模块时表现最佳。
图 3. 2米温度的对比图，包含作为真值的CLDAS数据（第一行），通过UNet（第二行）、RCAN（第三行）、SwinIR（第四行）和Uformer（第五行）降尺度结果（第一列）以及其分别与CLDAS数据的差值的绝对值（第二列）。所采用的预报输入数据为ECMWF HRES在2021年6月5日12UTC起报的第25小时预报结果。
图 4. 10米风速的对比图，包含作为真值的CLDAS数据（第一行），通过UNet（第二行）、RCAN（第三行）、SwinIR（第四行）和Uformer（第五行）降尺度结果（第一列）以及其分别与CLDAS数据的差值的绝对值（第二列）。所采用的预报输入数据为ECMWF HRES在2021年6月5日12UTC起报的第25小时预报结果。
为了更清晰地展示高分辨率地形数据提取模块和多尺度特征融合模块对最终预报结果的影响，下图比较了Uformer模型、Uformer模型引入高分辨率地形特征提取模块（Uformer + HGT）、Uformer模型引入多尺度特征提取模块（Uformer + MultiScale）以及Uformer模型同时引入高分辨率地形特征提取模块和多尺度特征提取模块（Uformer + HGT + MultiScale）的降尺度结果分别与CLDAS数据的差值的绝对值。结果显示，Uformer + HGT + MultiScale与作为真值的CLDAS差距最小，验证了同时引入高分辨率地形特征提取模块和多尺度特征提取模块有助于更详细地解析出更多细节信息。
图 5. 2米温度（第一行）和10米风速（第二行）的对比图，包含Uformer（第一列）、Uformer + HGT（第二列）、Uformer + MultiScale（第三列）、Uformer + HGT + MultiScale
（第四列）的降尺度结果分别与CLDAS数据的差值的绝对值。所采用的预报输入数据为ECMWF HRES在2021年8月5日12UTC起报的第13小时预报结果。
空间泛化能力测试
我们使用中国蒙东地区的数据来训练模型，并直接在西藏地区（30N 36.4 N，90E 96.4 E。）进行空间泛化能力测试。在这个测试中，模型的误差明显低于HRES采用Cubic插值的误差。然而，考虑到西藏地区的地形比蒙东更为复杂，模型的预报结果相比真值CLDAS而言较为平滑，与蒙东地区不同，未提供更多的细节信息。
图 6. 2米温度的对比图，包含作为真值的CLDAS数据（第一行），ECMWF HRES通过Cubic插值的结果（第二行）、Uformer（第三行）降尺度结果（第一列）以及其分别与CLDAS数据的差值的绝对值（第二列）。所采用的预报输入数据为ECMWF HRES在2021年6月5日12UTC起报的第25小时预报结果。
图 7. 2米温度的对比图，包含作为真值的CLDAS数据（第一行），ECMWF HRES通过Cubic插值的结果（第二行）、Uformer（第三行）降尺度结果（第一列）以及其分别与CLDAS数据的差值的绝对值（第二列）。所采用的预报输入数据为ECMWF HRES在2021年6月5日12UTC起报的第25小时预报结果。
其它信息
伏羲气象大模型团队招聘中：
1）上海科学智能研究院：大模型算法专家招聘
2）复旦大学人工智能创新与产业研究院：人工智能方向博士后和博士生（需要有人工智能方向顶会或者期刊论文）
联系方式：lihao_lh@fudan.edu.cn
参考文献
1. Wang, F., Tian, D., Lowe, L., Kalin, L. & Lehrter, J. Deep Learning for Daily Precipitation and Temperature Downscaling. Water Resour. Res. 57, 1–21 (2021).
2. Vandal, T. et al. DeepSD: Generating high resolution climate change projections through single image super-resolution. in Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 1663–1672 (2017). doi:10.1145/3097983.3098004
3. Höhlein, K., Kern, M. & Westermann, R. A comparative study of convolutional neural network models for wind field downscaling. Meteorol. Appl. 1–31 (2020). doi:10.1002/met.1961
4. Liu, Y., Ganguly, A. R. & Dy, J. Climate Downscaling Using YNet: A Deep Convolutional Network with Skip Connections and Fusion. in Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 3145–3153 (2020). doi:10.1145/3394486.3403366
5. Vandal, T., Kodra, E. & Ganguly, A. R. Intercomparison of machine learning methods for statistical downscaling : the case of daily and extreme precipitation. Theor. Appl. Climatol. 137, 557–570 (2019).
6. Wang, Y., Chao, Q., Zhao, L. & Chang, R. Assessment of wind and photovoltaic power potential in China. Carbon Neutrality 1, 1–11 (2022).
7. Gao, Y. et al. Assessing the wind energy potential of China in considering its variability/intermittency. Energy Convers. Manag. 226, 113580 (2020).
8. Han, S. et al. Evaluation of CLDAS and GLDAS datasets for near-surface air temperature over major land areas of China. Sustain. 12, (2020).
