社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

LLM时代的空间机器学习模型可信度

走天涯徐小洋地理数据科学 • 12 小时前 • 25 次点击  

前言

在现在的LLM时代,地学/规划/生态方向如果你把你用过机器学习/统计的论文放进大模型里请它作为审稿人来评价你的论文,那么十有十一要你做敏感性分析,而空间机器学习的敏感性最离不开的就是交叉验证,下面我整理了一个Workshop的资料,专门有讲这方面的问题。
做遥感反演的时候,我们很容易把注意力放在一个数字上:R² 还能不能再高一点,RMSE 能不能再低一点。
随机森林、XGBoost,再加上一堆遥感特征,精度看起来很漂亮。但把模型预测结果推到整片研究区之后,有一个问题反而容易被略过:这个分数,到底能代表地图上的哪些地方?
这次主包整理了 Jakub Nowosad 在 Machine Learning for Earth Observation 2026 的报告和配套 workshop。材料的重点很实用:先弄清楚模型要在哪里使用,再设计评估。[1–3]
全文围绕三个问题展开:哪里有训练数据支持?验证是否模拟了实际预测?算出来的误差代表什么?

01|先说清楚,你要预测哪一片地方

假设我们用一些森林样地训练了生物量模型。接下来,是在这些样地附近补齐一张图,还是要把它用到另一片山地,甚至另一个气候区?虽然都是“生物量预测”,对模型的要求却不一样。
这就是预测域(prediction domain):模型最终服务的区域或像元集合。对时序任务,还需要交代预测年份和时间范围。
图1|同一片预测区,样本可以随机分布、轻度聚集或高度聚集。样本格局不同,未采样位置与训练数据的关系也不同。原图:Nowosad 报告。[1]
因此,看到一个“精度很高”的模型,先问一句:它评估的是样本附近的预测能力,还是向新区域迁移的能力?这一步没交代清楚,精度就不是精度只是安慰剂。

02|能画满一张地图,不代表每个地方都有依据

只要输入变量齐全,模型通常就能给出预测。但某些像元的环境条件,可能在训练数据里几乎没出现过。
比如,样地主要来自温暖低海拔森林,预测区域却包含寒冷高海拔森林。即使它们在地图上离得不远,模型面对的也可能是一种陌生的环境组合。
这里需要区分三个概念:[2,4,5]
DI(差异指数):新像元的预测变量组合,与训练数据有多不相似。它比较的是环境特征空间中的距离,不只是地图上的公里数。
AoA(适用区域):根据 DI 阈值划出的区域,用于判断哪些位置的输入条件仍处于验证所支持的范围内。结合模型计算时,阈值与交叉验证划分有关,因此 AoA 也会随验证设计变化。
LPD(局部训练样本密度):在规定的环境相似性范围内,有多少训练样本可以支持这个像元。这里的“局部”,指预测变量空间中的邻域,不是直接数周围几公里有多少点。



图2|从左到右为 DI、AoA 和 LPD:分别展示环境差异、适用范围和相似训练样本的支持程度。原图:Nowosad 报告。[1]
直观地说,DI 看“像不像见过的样本”,AoA 看“是否落在当前评估支持的范围”,LPD 再看“类似样本多不多”。
AoA 内也不保证每个像元都预测准确,高 LPD 也不等于低误差。 它们提供的是数据支持程度的证据,不能代替误差评估,更不是置信概率。

03|随机验证会乐观,空间验证也可能过于悲观(我是RCV派的)

随机交叉验证(Random CV)会把样本随机分到不同折。如果样本高度聚集,一个验证点附近往往就有训练点。对于需要预测大量远离样本位置的任务,这种验证可能把实际问题考得太简单了。
于是,一个常见做法是空间交叉验证(Spatial CV):按空间块或区域划分训练集和验证集,让两者隔开。
但空间验证也不是越“远”越好。假如目标是在采样覆盖较充分的区域内制图,而验证时把整大片区域留出去,制造的预测距离可能比实际应用更大,得到的误差就可能偏高。[1,2]
图3|上图展示聚集样本下随机验证的距离失配;下图展示随机分布样本下空间验证的距离失配。橙色表示预测位置到样本的距离分布,紫色表示交叉验证中的测试—训练距离分布。重点是两者是否接近。原图:[1]。
所以,不能一概而论地说“随机验证不行,空间验证才正确”。验证时创造的预测条件,应当尽量接近模型真正投入使用时的条件。

04|kNNDM:让验证的距离条件更接近实际应用

kNNDM 是 k 折最近邻距离匹配交叉验证。名字很高级,但只是要对其两组距离:[6]
实际预测时:目标区域的预测位置,距离最近的训练样本有多远?
交叉验证时:被留出的验证点,距离该折最近的训练点有多远?
kNNDM 尝试找到一组分折方案,让这两种距离分布尽量相似。它不是简单要求训练点和验证点离得越远越好,而是让验证更像实际应用。
图4|聚集采样条件下的 kNNDM。橙色是预测位置到训练样本的距离分布,紫色是交叉验证距离分布;相比只看样本之间的距离,后两者的接近程度更能反映验证是否符合这次制图任务。原图:[1]。
当然kNNDM 不是什么“万能答案”。即使地理距离匹配得很好,也不代表新区域的环境条件、观测质量和变量关系都一致,在研究中肯定在最严谨的态度下,选择最适合自己研究的方法即可。
Workshop 还提供了在特征空间中进行 kNNDM 的示例。对跨生态区的任务,“环境条件相差多远”同样值得检查。[2,3]
选方法之前,先定义任务。 用来评估现有区域制图的分折方案,不一定能回答跨区域或跨年份迁移的问题。

05|验证样本偏向哪里,整体分数就可能偏向哪里

假设目标区域的低地和高地各占一半,但因为采样方便,验证样本大多集中在低地。如果低地恰好更容易预测,直接对全部验证点求平均,就会让整体误差显得更小。
报告给了一个很直观的教学示例:[1]

评估方式

低地权重

高地权重

RMSE

目标区域的参考分布

50%

50%

0.667

偏向低地的样本,未加权

89%

11%

0.541

按目标区域重新加权

50%

50%

0.667

 

模型并没有因为重新计算分数而变好或变差,变的是评估对象:从“这些样本的平均表现”,转向“目标区域需要代表的表现”。RMSE 应先对平方误差加权,再开平方。
图5|纵轴是 CV 估计 RMSE 减去真实 RMSE,越接近红色零线,评估偏差越小。下排加权后的结果在这个示例中有所改善,但不同策略仍存在差异。原图:[1]。
报告介绍的 TWCV(目标加权交叉验证)也沿着这个思路,让验证任务更贴合目标域。[7] 但如果某类环境根本没有验证样本,给已有样本加权也补不出证据;这时需要补样,或收缩结论的适用范围。

06|除了一个 RMSE,最好再有一张误差地图

即使总体评估合理,地图上的误差也未必均匀。有的地方训练数据支持充分,有的地方只是勉强落在适用范围内。
Workshop 进一步展示了误差剖面(error profiles):利用交叉验证得到的误差信息,拟合误差水平与 DI 或 LPD 的关系,再把这种关系映射到预测区域。[2,3]

 

图6–7|左图拟合 LPD 与 RMSE 的关系,右图据此生成预期误差地图。原图:配套 workshop。[2]
左图回答“在不同训练数据支持程度下,通常会出现多大误差”;右图把这个关系放回地图,帮助我们判断哪些位置更需要核查或补样。
预期误差仍然是估计值,不是每个像元的真实误差,也不是预测区间。 它依赖前面的验证是否合理,不能替代独立验证。
这里还有一个容易忽略的细节:Workshop 的德国数据采用真实环境预测变量,但目标变量是模拟的,所以可以把评估结果与整张参考图的“真实误差”比较。现实研究通常没有这样的全覆盖真值。[2]
对主包来说,这部分最有用的启发是:以后交付预测图时,可以同时交代预测值、训练数据支持程度、预期误差的空间分布。这样读者才知道,地图上哪些地方有较充分的依据,哪些地方还需要更多证据。

07|放到自己的遥感研究里,怎么做?

下面以土壤有机碳(SOC)制图为例,抛砖引玉这些方法怎么用到实际研究中。

第一步,写清预测目标。 是利用已有土壤样点完成研究区制图,还是把模型推广到未采样区域、另一种土地利用类型或未来年份?先说明预测的是 SOC 含量还是储量、对应哪个土层,再明确空间范围和时间范围。

第二步,把样本分布画出来。 除了看样点是否集中在交通方便、容易采样的地方,也要检查高程、气候、土壤类型和土地利用等条件是否覆盖目标区域。样点在地图上分散,不代表它们覆盖了足够多的环境条件。

第三步,按应用场景组织验证。 区域内制图可以比较随机、空间分块和 kNNDM;如果要论证模型能推广到新区域或其他年份,就需要对应的区域留出或时间留出设计。同一采样点的重复观测,也要按任务合理分组,避免信息泄漏。不要只因为某种划分分数最高,就选它作为最终结果。

第四步,检查适用范围和评估权重。 用 DI、AoA 和 LPD 判断哪些地方缺少类似的训练样本,再检查验证样本能否代表目标区域。例如,样本大多来自耕地,却要评价包含大量林地和草地的整张 SOC 地图,直接平均误差就可能产生偏差。加权可以调整代表性,但不能弥补某类环境完全没有样本的问题。

第五步,把适用边界一起交付。 除了 R²、RMSE,也说明土层深度、预测单位、评估区域、分折规则和适用范围;有条件时补充预期误差地图。变量筛选、预处理和调参都要遵守训练与验证的边界。


模型可信度最终需要回答的,是一个具体问题:对于这片区域、这类环境和这个使用场景,我们手里的验证证据够不够?

参考资料

[1] Jakub Nowosad,2026-06-22,报告《Rethinking Validation for Spatial Machine Learning》:幻灯片。
[2] 2026-06-23,Workshop《Where your models can be trusted: evaluating spatial machine learning reliably》:材料主页·Workshop 幻灯片。
[3] 配套实践:Germany R 脚本·Spain 练习。
[4] Meyer & Pebesma(2021),AoA:论文·CAST 函数说明。
[5] Schumacher et al.(2025),LPD:论文。
[6] Linnenbrink et al.(2024),kNNDM:论文。
[7] Brenning & Suesse(2026),TWCV:arXiv 预印本。
本文为上述材料的中文解读与整理,非逐页翻译。配图保留作者原图,中文图注为整理者补充;SOC为解释性延伸。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/203721