AID | 让样本主动“找难点”：RAMS提升偏微分方程科学机器学习的精度与效率

核心亮点

RAMS不再依赖在高维空间中反复生成海量候选样本，而是把样本本身作为可训练参数，使其沿着增大PDE残差的方向主动迁移，从而以较低额外开销把有限样本送到模型当前最需要学习的位置。

研究背景

偏微分方程（PDE）广泛用于描述流体、传热、波传播等科学与工程过程。物理信息神经网络（PINN）和神经算子为PDE求解提供了新的数据驱动工具，但二者都高度依赖训练样本：样本过少难以覆盖解的局部尖峰、间断或多尺度结构，样本过多又会显著增加数据生成和模型训练成本。

现有自适应方法通常先生成大量候选点，再把采样密度提高到PDE残差较大的区域。该思路在低维问题上有效，但随着维度上升，候选空间迅速变得稀疏，搜索成本也急剧增加。对神经算子而言，输入函数常被离散为高维向量，传统“生成并筛选候选样本”的方式更难直接推广。

文章概述

针对上述瓶颈，耶鲁大学Lu Lu团队提出残差驱动的对抗梯度移动样本方法RAMS。其核心思想是：把空间-时间坐标或输入函数样本本身视为可训练参数，在模型训练的间隙固定网络参数，并沿物理残差对样本的梯度方向执行梯度上升，使样本主动移动到当前模型最难满足控制方程的区域；若样本离开允许范围，再通过投影或核平滑将其映射回有效空间。

RAMS不是一种取代现有采样策略的独立方案，而是可插拔的增强模块。论文将其与随机采样、拉丁超立方、Halton序列、基于残差的贪婪自适应细化（RAR-G）、基于残差分布的自适应细化（RAR-D）和保留—重采样—释放（R3）方法结合，并进一步扩展到物理信息与数据驱动的算子学习。在数据驱动场景中，RAMS利用PDE残差移动待采集的输入函数，再调用数值求解器或实验获得标签，从而形成面向科学机器学习的主动学习流程。

图1  RAMS工作流程：模型训练最小化损失，样本更新则通过梯度上升最大化物理残差。（图片来自原文Figure 1）

图文导读

1. 从“选择样本”到“优化样本”

与依赖大规模候选池的传统方法不同，RAMS直接优化已有样本的位置或函数表示。网络参数通过最小化训练损失更新，样本参数则通过最大化物理残差更新，两类优化交替进行。对于输入函数，作者采用与高斯随机场协方差核一致的核平滑，兼顾“寻找高残差区域”和保持函数连续性。

图2  二维Poisson问题中的样本迁移：可训练样本从近似均匀分布逐步聚集到(0.5, 0.5)附近的高残差内峰。（图片来自原文Figure 3）

2. 在不同PINN采样策略上稳定增益

在一维Burgers方程中，加入RAMS后，随机采样的平均相对L2误差由0.181降至0.010，下降超过一个数量级；在一维波动方程中，各采样方法的误差平均降低超过50%；在具有尖锐内峰的二维Poisson问题中，误差降低约40%-95%。上述实验中，RAMS样本移动步骤的平均耗时均低于总运行时间的2%，表明其增益并非来自增加计算预算。

图3  RAMS与六种PINN采样策略结合后的误差对比：A、B、C依次对应Burgers方程、波动方程和Poisson方程。（图片来自原文Figure 2）

3. 样本会主动聚集到模型薄弱区域

二维Poisson算例直观展示了RAMS的工作机制。初始样本近似均匀分布；随着训练推进，可移动样本逐渐向(0.5, 0.5)附近的尖锐内峰聚集。相比“反复生成更多点”，这种基于梯度的定向迁移能够以有限样本持续追踪高残差区域。

4. 高维PDE与算子学习中的效率优势

在最高10维的PDE上，使用相同的2万个配点时，普通随机采样在维数不小于7时误差接近1，而RAMS在10维时仍将误差保持在10^-2以下。为达到相对均方误差不高于10^-3，6维问题中普通随机采样耗时约19861秒，RAMS约829秒；RAMS的成本随维度近似线性增长，10维耗时约1529秒。

图4  高维PDE结果：RAMS显著降低误差，并避免普通随机采样所需样本数和计算成本随维度快速增长。（图片来自原文Figure 4）

在物理信息算子学习中，扩散-反应方程的一个困难测试集上，随机采样的平均误差由约0.25降至0.08；在8维动态系统中，RAMS仅使用面向代理模型的深度自适应采样(DAS²)约3%的样本即可达到相近精度。对于数据驱动算子学习，含不连续波速的波动方程误差最多降低63%，二维Burgers方程误差约降低40%。这些结果表明，RAMS为高维函数空间中的自适应采样提供了可行路径。

图5  8维动态系统的物理信息算子学习结果：RAMS使用1000和2500个样本，即可分别达到DAS²使用25000和75000个样本时的相近精度。（图片来自原文Figure 8）

图6  数据驱动算子学习结果：在不连续波速的波动方程中，RAMS在50、100和200个训练样本下均优于随机采样基线，误差最多降低63%。（图片来自原文Figure 9）

结论与展望

RAMS把“样本从哪里来”转化为一个可由自动微分求解的优化问题：不必盲目扩大候选池，而是让现有样本沿模型的物理薄弱方向移动。该方法兼容多种采样策略，适用于PINN、物理信息神经算子和数据驱动神经算子，并在较小额外开销下同时提升精度与样本效率。

论文也指出，样本更新次数并非越多越好，RAMS的迭代步数及不同样本空间中的投影方式仍需针对问题调节。未来，作者计划探索RAMS在可同时求解多类PDE的基础模型训练中的应用。