前言
在现在的LLM时代,地学/规划/生态方向如果你把你用过机器学习/统计的论文放进大模型里请它作为审稿人来评价你的论文,那么十有十一要你做敏感性分析,而空间机器学习的敏感性最离不开的就是交叉验证,下面我整理了一个Workshop的资料,专门有讲这方面的问题。做遥感反演的时候,我们很容易把注意力放在一个数字上:R² 还能不能再高一点,RMSE 能不能再低一点。随机森林、XGBoost,再加上一堆遥感特征,精度看起来很漂亮。但把模型预测结果推到整片研究区之后,有一个问题反而容易被略过:这个分数,到底能代表地图上的哪些地方?这次主包整理了 Jakub Nowosad 在 Machine Learning for Earth Observation 2026 的报告和配套 workshop。材料的重点很实用:先弄清楚模型要在哪里使用,再设计评估。[1–3]全文围绕三个问题展开:哪里有训练数据支持?验证是否模拟了实际预测?算出来的误差代表什么?01|先说清楚,你要预测哪一片地方
假设我们用一些森林样地训练了生物量模型。接下来,是在这些样地附近补齐一张图,还是要把它用到另一片山地,甚至另一个气候区?虽然都是“生物量预测”,对模型的要求却不一样。这就是预测域(prediction domain):模型最终服务的区域或像元集合。对时序任务,还需要交代预测年份和时间范围。图1|同一片预测区,样本可以随机分布、轻度聚集或高度聚集。样本格局不同,未采样位置与训练数据的关系也不同。原图:Nowosad 报告。[1]因此,看到一个“精度很高”的模型,先问一句:它评估的是样本附近的预测能力,还是向新区域迁移的能力?这一步没交代清楚,精度就不是精度只是安慰剂。02|能画满一张地图,不代表每个地方都有依据
只要输入变量齐全,模型通常就能给出预测。但某些像元的环境条件,可能在训练数据里几乎没出现过。比如,样地主要来自温暖低海拔森林,预测区域却包含寒冷高海拔森林。即使它们在地图上离得不远,模型面对的也可能是一种陌生的环境组合。DI(差异指数):新像元的预测变量组合,与训练数据有多不相似。它比较的是环境特征空间中的距离,不只是地图上的公里数。AoA(适用区域):根据 DI 阈值划出的区域,用于判断哪些位置的输入条件仍处于验证所支持的范围内。结合模型计算时,阈值与交叉验证划分有关,因此 AoA 也会随验证设计变化。LPD(局部训练样本密度):在规定的环境相似性范围内,有多少训练样本可以支持这个像元。这里的“局部”,指预测变量空间中的邻域,不是直接数周围几公里有多少点。
图2|从左到右为 DI、AoA 和 LPD:分别展示环境差异、适用范围和相似训练样本的支持程度。原图:Nowosad 报告。[1]直观地说,DI 看“像不像见过的样本”,AoA 看“是否落在当前评估支持的范围”,LPD 再看“类似样本多不多”。AoA 内也不保证每个像元都预测准确,高 LPD 也不等于低误差。 它们提供的是数据支持程度的证据,不能代替误差评估,更不是置信概率。03|随机验证会乐观,空间验证也可能过于悲观(我是RCV派的)
随机交叉验证(Random CV)会把样本随机分到不同折。如果样本高度聚集,一个验证点附近往往就有训练点。对于需要预测大量远离样本位置的任务,这种验证可能把实际问题考得太简单了。于是,一个常见做法是空间交叉验证(Spatial CV):按空间块或区域划分训练集和验证集,让两者隔开。但空间验证也不是越“远”越好。假如目标是在采样覆盖较充分的区域内制图,而验证时把整大片区域留出去,制造的预测距离可能比实际应用更大,得到的误差就可能偏高。[1,2]图3|上图展示聚集样本下随机验证的距离失配;下图展示随机分布样本下空间验证的距离失配。橙色表示预测位置到样本的距离分布,紫色表示交叉验证中的测试—训练距离分布。重点是两者是否接近。原图:[1]。所以,不能一概而论地说“随机验证不行,空间验证才正确”。验证时创造的预测条件,应当尽量接近模型真正投入使用时的条件。04|kNNDM:让验证的距离条件更接近实际应用
kNNDM 是 k 折最近邻距离匹配交叉验证。名字很高级,但只是要对其两组距离:[6]实际预测时:目标区域的预测位置,距离最近的训练样本有多远?交叉验证时:被留出的验证点,距离该折最近的训练点有多远?kNNDM 尝试找到一组分折方案,让这两种距离分布尽量相似。它不是简单要求训练点和验证点离得越远越好,而是让验证更像实际应用。图4|聚集采样条件下的 kNNDM。橙色是预测位置到训练样本的距离分布,紫色是交叉验证距离分布;相比只看样本之间的距离,后两者的接近程度更能反映验证是否符合这次制图任务。原图:[1]。当然kNNDM 不是什么“万能答案”。即使地理距离匹配得很好,也不代表新区域的环境条件、观测质量和变量关系都一致,在研究中肯定在最严谨的态度下,选择最适合自己研究的方法即可。Workshop 还提供了在特征空间中进行 kNNDM 的示例。对跨生态区的任务,“环境条件相差多远”同样值得检查。[2,3]选方法之前,先定义任务。 用来评估现有区域制图的分折方案,不一定能回答跨区域或跨年份迁移的问题。05|验证样本偏向哪里,整体分数就可能偏向哪里
假设目标区域的低地和高地各占一半,但因为采样方便,验证样本大多集中在低地。如果低地恰好更容易预测,直接对全部验证点求平均,就会让整体误差显得更小。评估方式 | 低地权重 | 高地权重 | RMSE |
目标区域的参考分布 | 50% | 50% | 0.667 |
偏向低地的样本,未加权 | 89% | 11% | 0.541 |
按目标区域重新加权 | 50% | 50% | 0.667 |
模型并没有因为重新计算分数而变好或变差,变的是评估对象:从“这些样本的平均表现”,转向“目标区域需要代表的表现”。RMSE 应先对平方误差加权,再开平方。
图5|纵轴是 CV 估计 RMSE 减去真实 RMSE,越接近红色零线,评估偏差越小。下排加权后的结果在这个示例中有所改善,但不同策略仍存在差异。原图:[1]。报告介绍的 TWCV(目标加权交叉验证)也沿着这个思路,让验证任务更贴合目标域。[7] 但如果某类环境根本没有验证样本,给已有样本加权也补不出证据;这时需要补样,或收缩结论的适用范围。06|除了一个 RMSE,最好再有一张误差地图
即使总体评估合理,地图上的误差也未必均匀。有的地方训练数据支持充分,有的地方只是勉强落在适用范围内。Workshop 进一步展示了误差剖面(error profiles):利用交叉验证得到的误差信息,拟合误差水平与 DI 或 LPD 的关系,再把这种关系映射到预测区域。[2,3]
图6–7|左图拟合 LPD 与 RMSE 的关系,右图据此生成预期误差地图。原图:配套 workshop。[2]左图回答“在不同训练数据支持程度下,通常会出现多大误差”;右图把这个关系放回地图,帮助我们判断哪些位置更需要核查或补样。预期误差仍然是估计值,不是每个像元的真实误差,也不是预测区间。 它依赖前面的验证是否合理,不能替代独立验证。这里还有一个容易忽略的细节:Workshop 的德国数据采用真实环境预测变量,但目标变量是模拟的,所以可以把评估结果与整张参考图的“真实误差”比较。现实研究通常没有这样的全覆盖真值。[2]对主包来说,这部分最有用的启发是:以后交付预测图时,可以同时交代预测值、训练数据支持程度、预期误差的空间分布。这样读者才知道,地图上哪些地方有较充分的依据,哪些地方还需要更多证据。07|放到自己的遥感研究里,怎么做?
下面以土壤有机碳(SOC)制图为例,抛砖引玉这些方法怎么用到实际研究中。第一步,写清预测目标。 是利用已有土壤样点完成研究区制图,还是把模型推广到未采样区域、另一种土地利用类型或未来年份?先说明预测的是 SOC 含量还是储量、对应哪个土层,再明确空间范围和时间范围。
第二步,把样本分布画出来。 除了看样点是否集中在交通方便、容易采样的地方,也要检查高程、气候、土壤类型和土地利用等条件是否覆盖目标区域。样点在地图上分散,不代表它们覆盖了足够多的环境条件。
第三步,按应用场景组织验证。 区域内制图可以比较随机、空间分块和 kNNDM;如果要论证模型能推广到新区域或其他年份,就需要对应的区域留出或时间留出设计。同一采样点的重复观测,也要按任务合理分组,避免信息泄漏。不要只因为某种划分分数最高,就选它作为最终结果。
第四步,检查适用范围和评估权重。 用 DI、AoA 和 LPD 判断哪些地方缺少类似的训练样本,再检查验证样本能否代表目标区域。例如,样本大多来自耕地,却要评价包含大量林地和草地的整张 SOC 地图,直接平均误差就可能产生偏差。加权可以调整代表性,但不能弥补某类环境完全没有样本的问题。
第五步,把适用边界一起交付。 除了 R²、RMSE,也说明土层深度、预测单位、评估区域、分折规则和适用范围;有条件时补充预期误差地图。变量筛选、预处理和调参都要遵守训练与验证的边界。
模型可信度最终需要回答的,是一个具体问题:对于这片区域、这类环境和这个使用场景,我们手里的验证证据够不够?参考资料
[1] Jakub Nowosad,2026-06-22,报告《Rethinking Validation for Spatial Machine Learning》:幻灯片。[2] 2026-06-23,Workshop《Where your models can be trusted: evaluating spatial machine learning reliably》:材料主页·Workshop 幻灯片。[3] 配套实践:Germany R 脚本·Spain 练习。[4] Meyer & Pebesma(2021),AoA:论文·CAST 函数说明。[5] Schumacher et al.(2025),LPD:论文。[6] Linnenbrink et al.(2024),kNNDM:论文。[7] Brenning & Suesse(2026),TWCV:arXiv 预印本。本文为上述材料的中文解读与整理,非逐页翻译。配图保留作者原图,中文图注为整理者补充;SOC为解释性延伸。