社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

浙大 GIS 实验室融合机器学习及卫星测绘,发布全球海表溶解氧综合建模框架

气象学家 • 3 周前 • 266 次点击  

  第一时间获取气象科研资讯

气象学家公众号交流群

加入


作者:浙大 GIS 实验室

编辑:十九,李宝珠


浙大 GIS 实验室开发了一个全球海表溶解氧综合建模框架 DOsurface-Pred Framework,并基于该框架生成了一个跨越 2010 年-2018 年的大规模海表溶解氧数据集 SSDO,分析了海表溶解氧的变化规律及其成因。


多年前,海洋专家 Eric Prince 在进行鱼类标记追踪时发现了一个异常现象:蓝色马林鱼在美国东南部通常会下潜至 800 米的深海捕食,而在哥斯达黎加海域却只在海洋表层活动。作为潜水行家的马林鱼,为什么突然不潜水了呢?长期研究长嘴鱼类的 Eric Prince 决心探究这一反常现象。


其实,这是海洋生物面对海洋环境变化所作出的自我保护反应,而 Eric Prince 的这一次探究则是将其背后的「海洋缺氧」现象进一步推向大众视野——正是由于哥斯达黎加海域的深层氧含量正在下降,缺氧区域逐步扩大,马林鱼为了避免窒息只得在表层活动。


人们通常将因缺氧而导致大量海洋生物死亡的区域称为海洋「死亡地带」,但事实上,海洋缺氧带来的负面影响不仅仅只针对海洋生物本身,还会波及到渔业、乃至社会经济。现如今,随着全球环境问题的加剧,海洋缺氧也愈演愈烈。


2019 年,世界自然保护联盟 (IUCN) 曾在海洋缺氧报告中表明,当前低氧浓度的海洋区域正在扩大,相较于上世纪 60 年代的 45 个缺氧海域地带,目前已增加了 600 多个受低氧条件影响的区域。报告指出,在同一时期,全球海洋中缺氧水域的数量增长了 4 倍。


为了更好地维护海洋生态系统健康、保护渔业资源,开展科学的海洋溶解氧水平测定至关重要。


然而,目前海洋实地观测的成本昂贵,现有观测数据空间分布不均匀,加之溶解氧浓度的测量手段多样,所得数据的质量也存在较大差异,这都给研究全球海洋的溶解氧水平变化带来了一定的挑战。


对此,来自浙大 GIS 实验室的研究人员提出了一种新的方法,将机器学习技术与卫星产品相结合,开发了一个全球海表溶解氧综合建模框架 DOsurface-Pred Framework,并基于该框架生成了一个跨越 2010 年-2018 年的大规模海表溶解氧数据集 SSDO。研究结果表明了即使在氧气充足的海表区域,其溶解氧含量也出现了下降趋势,而这种下降主要归因于海表温度 (SST) 的变化。


研究亮点:

* 提出了一个全球海表溶解氧综合建模框架

* 引入 SHAP 解释器,确定了关键变量及其对预测溶解氧结果的影响

* 有助于了解全球海洋溶解氧的高动态变化、探索脱氧现象规律及其成因



论文地址:
https://pubs.acs.org/doi/10.1021/acs.est.3c08833

SSDO 数据集地址:
https://go.hyper.ai/BBlqA

关注公众号,后台回复「海表溶解氧」获取完整 PDF

数据集:卫星 + 现场测量数据

本研究使用的数据包括卫星数据、固定船只和电导仪现场测量数据。


卫星数据集包括海表温度 (SST)、海表盐度 (SSS)、叶绿素-a (Chl-a)、海表风 (SSW) 和海平面异常 (SLA)。SST 数据来自 OISST 数据集,SSS 数据来自欧洲空间局 (ESA) 的 CCI 项目,Chl-a 数据来自 MODIS Aqua 和 Terra 卫星,SSW 数据由 VAM 方法结合跨平台交叉校准的多卫星微波风和仪器观测而来,SLA 数据来自 AVISO 项目。


固定船只和电导仪现场测量数据来自 2018 年世界海洋数据库 (WOD) 中的海洋站数据 (OSD) 和高分辨率导电-温度-深度 (CTD) 子数据库。


本研究使用的现场测量数据如图所示,共计 28,044 条记录,其中包含了 241 条来自 2019 年的记录数据。



现场测量的数据分布和数据相关性分析

(a) 现场测量数据的空间分布

(b) 现场测量数据的时间分布

(c) 不同海洋现场测量的数据分布

(d) 7 个主要海洋水文变量之间的相关性矩阵分析

模型构架:DOsurface-Pred Framework 的三大组成部分


全球海洋溶解氧的可解释时空机器学习框架


研究人员提出了一种时空信息嵌入的可解释机器学习框架。该框架由三个主要部分组成:Spatio-temporal Information Embedding Module、Backbone Regression Module 和 SHAP Explainer Module。


第一部分,用多个卫星和现场测量的时空信息数据,即样本 Xi= {Xi spatial,

Xtemporal, X satellite1, ……, Xsatellite n} 作为输入。通过时空信息嵌入模块,将空间和月份信息转换为极坐标表示,转换后得到 X'i={X'spatial, X'temporal, X'satellite1, ……, X'satellite n} 的全局表示。


随后,X'i 被传递到第二部分。用多步网格搜索交叉验证 (gridsearch cross-validation) 对不同模型进行评估。



不同模型性能评价表


上表是 backbone models 的性能评价表,与未采用此框架的模型相比,DOsurface-Pred 框架的性能得到了提升。


此外,所有基于树形结构的机器学习模型 (tree-based machine-learning models) 在性能上均优于 benchmark 多元线性回归模型(multiple linear regression model)。这些模型按性能降序排列如下:ET、RF、GBDT、XGBoost、MLP。其中,ET 模型在所有评估指标上表现最佳,RMSE 值 为 11.67 μmol/kg,该模型在溶解氧 (DO) 建模中具备更好的泛化能力,可以降低模型的过拟合现象。


在第三部分,研究人员利用 SHAP 可解释性方法评估样本特征值对模型输出结果的影响。通过该框架,在最优模型下生成预测结果。


SHAP 可以量化不同特征值对预测结果的贡献程度,使模型的输出更容易理解,进而确定关键变量及其对溶解氧预测结果的影响。

实验结论:SST 是影响海表溶解氧含量的主要原因

DOsurface-Pred Framework 可以对全球海表溶解氧浓度进行精确评估,研究人员基于该框架生成了一个跨越 2010 年-2018 年的大规模海表溶解氧数据集,称其为 SSDO 产品。



DO 预测的不确定性估计

(a,b) 均方根误差 (RMSE) 和偏差误差 (biaserror)
(c,d) 不同年、月下总不确定性及其组成 (M、R、P)


为了评估最优模型生成的结果,研究人员进行了不确定性估计和时空验证。


首先,评估 SSDO 产品的误差和不确定性。实验结果表明,3 种误差(测量误差 M、表示误差 R 和预测误差 P)共同造成总不确定性,其总不确定性估计为 ±13.02 μmol/kg。



独立浮标 (PFL) 测量的评估

(a) 预测值和 PFL 测量值的散点密度图
(b) 匹配的 PFL 点空间位置,序号与下面 (c-h) 提供的图号相对应
(c-h) 每个位置氧气异常的时间趋势,与 PFL 测量异常值进行比较


其次,研究人员利用独立的浮标测量数据集进一步检验了 SSDO 的准确性和时间序列。结果表明,预测结果与 PFL 数据库具有良好的拟合性,R² 值为 0.86。


此外,研究人员还对不同海洋地区的长期浮标观测位置进行了比较评估,结果表明,预测结果与浮标测量的空间变化和长期趋势方面具备一致性。这些评估可靠地验证了预测结果,有助于分析它们在不同场景下的适用性。


研究人员还对 SSDO 产品进行统计分析。结果表明,SSDO 数据具备与 WOD 长期记录数据相似的空间分布。低氧区持续扩张的影响下,海表的溶解氧水平也出现了欠饱和的现象,即使是在溶解氧充分交换的海表,其溶解氧也呈现出平均每年 0.22 μmol/kg 的下降趋势。此外,海表溶解氧的年际变化表现出与海洋典型变化现象的相关性。



溶解氧建模因素可解释性分析

(a) 评估全球特征平均值对模型输出结果的影响

(b) 评估局部特征对模型输出结果的影响

(c,d) 分析 SST 和 SSS 对模型输出的影响

(e,f) SST 和 SSS 特征影响的空间分布


研究人员利用 SHAP 可解释性方法,进一步揭示了温盐等海洋因素对海表溶解氧的驱动机制。其中,温度 (SST) 和盐度 (SSS) 为主控因子,对溶解氧呈现出负面影响,SST 对溶解氧水平影响最大。该评估有助于提升建模的可靠性,为探索海洋溶解氧时空分布变化状况与脱氧现象成因提供了可解释的因素量化结果。


综上,研究人员利用 DOsurface-Pred 框架生成了 SSDO 数据集,并引入 SHAP 可解释性方法,证实了即使在氧气充足的海表区域,其溶解氧含量也出现了下降趋势,而这种下降主要归因于 SST 变化。

AI 与海洋,探索未知的深海奥秘

IUCN 全球海洋和极地项目海洋科学与保护高级顾问 Dan Laffoley 曾表示,「海洋中的溶解氧浓度正在持续下降,这让本就面临着升温与酸化压力的海洋生态系统雪上加霜。」


目前,除了加速全球、全行业碳减排外,通过对海洋缺氧现象的深入研究,分析气候影响地球生命体的重要因素,也可以让人们对不同生物体灭绝或幸存原因有更准确的认知,进一步「对症下药」。


在这一过程中,物联网、AI 等新兴技术的能力逐渐得到了更加深入的应用。除了上文中提到的海标溶解氧分析框架外,也有学者基于卫星遥感、无人机、浮标、声纳、水下光学等海洋数据,围绕海洋垃圾控制、海洋多样性保护等方面展开了研究。


例如,2019 年,联合国环境规划署就曾发布了一个针对湄公河及恒河流域塑料污染的反措施项目 CounterMEASURE,该项目利用无人机在湄公河流域拍摄航空图像,并开发了一个识别和监测模型,用于查明湄公河流域塑料垃圾的来源和路径,准确率达到 83.9%。


此外,澳大利亚的 The Ripper Group 公司,也曾研发出了一款用无人机+机器视觉技术来识别鲨鱼的产品。该产品不仅用于避免沿海地区被鲨鱼打扰,对保护鲨鱼生态也起到重要作用。


诚然,人类社会高居不下的碳排放已经对全球气候、生态环境造成了严重影响,其中,作为地球生命的起源,海洋生态环境保护也刻不容缓,期待不久后的将来,AI 驱动的环保措施在揭开海水升温、溶解氧浓度下降真相的同时,得以治标治本、从根源上还大海以清澄。


参考资料:
1.https://mp.weixin.qq.com/s/bUbYptqccBXC2T9dvkfOfA
2.https://www.cdstm.cn/gallery/hycx/qyzx/201909/t20190904_923957.html
3.http://www.cbcgdf.org/NewsShow/4854/10658.html







声明:欢迎转载、转发。气象学家公众号转载信息旨在传播交流,其内容由作者负责,不代表本号观点。文中部分图片来源于网络,如涉及内容、版权和其他问题,请联系小编(微信:qxxjgzh)处理。


往期推荐
 获取ERA5/ERA5-Land再分析数据(36TB/32TB)
 获取全球GPM降水数据,半小时/逐日(4TB)
 获取1998-2019 TRMM 3B42逐日降水数据
 获取最新版本CMIP6降尺度数据集30TB
 EC数据商店推出Python在线处理工具箱
★ EC打造实用气象Python工具Metview
★ 机器学习简介及在短临天气预警中的应用
★ Nature-地球系统科学领域的深度学习及理解
★ 灵魂拷问:ChatGPT对气象人的饭碗是福是祸?
★  气象局是做啥的?气象局的薪水多少?

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/169510
 
266 次点击