识别非线性动力系统的控制方程，对于理解一个动力学系统的物理特征以及构建其精确动力学模型至关重要，多数情况下，非线性动力系统仅可获得部分数据的特性，使得研究人员在处理非线性动力系统带来了困难，对此，作者团队发展出了一种适用于部分观测系统辨识问题的一种机器学习框架。
关键词：部分观测非线性动力系统 、系统识别、机器学习、可解释符号模型
论文题目：Discovering sparse intertable dynamics from partial observations
论文链接：https://www.nature.com/articles/s42005-022-00987-z
发表时间: 2022年8月12日
发表期刊：Nature Communications:Physics
在部分观测条件下研究非线性动力系统，研究人员不仅需识别并建模潜在的动力学行为，还必须重构系统中隐藏或未被观测的状态变量，这构成了系统辨识中的核心挑战。
一方面，传统线性系统辨识方法在处理非线性系统时性能受限；另一方面，尽管深度学习模型在系统辨识中表现出强大拟合能力，但其“黑箱”特性限制了模型的可解释性，难以揭示系统的物理机制。这些方法学上的局限，进一步加剧了部分观测非线性系统辨识的难度。
针对上述难题，MIT物理系的研究团队提出了一种全新的机器学习框架，该框架创新性地结合了全系统状态重构编码器与稀疏符号模型——后者直接学习系统控制方程，通过匹配符号模型的高阶时间导数完成训练，该方法可通过将已知的物理约束条件融入编码器架构和符号模型设计，可轻松适应特定的非线性动力系统，为系统辨识与状态重构构建了灵活和高效的框架。
特别地，作者在实现这种框架时开发了一种算法技巧，使得标准自动微分方法能够计算高阶符号时间导数。（代码链接见文末“补充信息”一节)
问题形式
考虑一个由一阶常微分方程定义的动力系统：
其中，观测到的状态由已知投影函数xv = g(x)给出，而隐藏状态xh需要通过聚合函数a(·,·)构造，要求xv,xh
,a(·,·)满足条件a(xv,xh) = x。
研究的目标是：在重构隐藏状态xh的同时，确定描述系统动力学的控制方程F。
当缺乏关于动力系统结构的先验知识时，通常假设可见状态xv = (x1,x2,…,xk)作为完整状态x = (x1,x2,…,xk,xk+1,
…,xn)的一个子集，此时g是x在子集xv上的投影，其余分量xh=(xk+1,xk+2,…,,xn)构成隐藏状态，而聚合函数a只是简单的对xh,xv的拼接。
若具备系统相关先验信息，就可以相应地选择合适的g和聚合函数a，以更好地反映动力学结构。
框架构成
该机器学习框架包含两个核心组件：编码器和可解释符号模型。编码器通过可见状态重建对应的隐藏状态xh
，而符号模型则用于表征动力系统的控制方程F。
图1：机器学习方法框架的构成及训练策略
图2：机器学习方法框架的构成:编码器与稀疏符号模型
编码器eη通常采用具有可学习参数η的神经网络架构，以可见状态的序列
为输入，重构得到的隐藏状态序列
为输出。
根据塔肯斯嵌入定理（Takens’ embedding theorem），只要隐藏状态与可见状态充分耦合时，上述重构是可行的。此后，通过聚合函数
就能获得完整状态的重构结果。重构状态
可用于计算由对应控制方程的符号模型
定义的符号时间导数:
其中：θ1,θ2…,θm为可学习系数，f1,f2…fm 为预定义项。当系统状态的维度未知时，研究团队指出可通过将预定义项视为一个超参数，以调整该超参数的方式来实现高精度与简洁性之间的最优平衡。
训练策略
优化目标：在训练过程中，优化目标是均方误差（mean squared error， MSE）损失函数。该损失函数考虑了不同阶数时间导数的贡献，并在其中引入了经验方差（empirical variance）和权重超参数（hyperparameter），实现了对不同阶数的有限差分校准进行适当加权，以确保训练的有效性和准确性。
图3：联合训练策略 符号时间导数、有限差分时间导数、MSE 损失
训练目标的损失函数形式为：
其中
表示第p阶有限差分导数
，ap是决定损失函数中各阶导数重要性的超参数。
仅使用部分观测数据联合训练编码器和符号模型的意图体现在损失函数中的
项
其中
是可见状态
的高阶符号时间导数，同样由符号模型
隐式定义。
是数据中的有限差分估计。
符号模型稀疏化:为实现符号模型的稀疏性，研究团队采用了一种在稀疏线性回归（sparse linear regression）中常用的阈值方法：在训练过程中定期检查可学习系数θi
，若某系数的绝对值低于设定阈值，则将其置零为。
为检验该机器学习框架的性能，研究团队设计了三种系统的数值实验测试该框架的性能。
常微分方程系统的数值实验
常微分方程系统实验的实验对象是两个经典的混沌非线性动力系统——罗塞尔系统（Rössler system）和洛伦兹系统（Lorenz system）。
实验结果表明，该框架能够准确识别出这两个系统的控制方程，同时成功重构隐藏状态 ，充分显示了框架在常微分方程系统下的高精度建模能力。
图4：ODE实验， 罗塞尔系统，u,v为可见变量，w 为隐藏变量——三维动力学轨迹、可见状态(u,v)上的投影，真实状态（蓝色）与重建状态（绿色虚线）的隐藏状态w随时间变化的轨迹被呈现出来，并通过绿色散点图直接对比展示
图5：ODE实验，洛伦兹系统，(u,v)为可见变量，w 为隐藏变量——三维动力学轨迹、可见状态
(u,v)上的投影，真实状态（蓝色）与重建状态（绿色虚线）的隐藏状态w随时间变化的轨迹被呈现出来，并通过绿色散点图直接对比展示
偏微分方程系统实验
研究团队研究团队进一步在偏微分方程系统上测试，包括：带有指数衰减源项的二维扩散系统（2D diffusion system)，和二维扩散型洛特卡 - 沃尔泰拉捕食者 - 猎物系统（2D diffusive Lokta–Volterra predator–prey system)。
实验结果表明，该框架在这两个偏微分方程系统中均能准确识别控制方程并重构隐藏组分，表明该框架在偏微分方程系统这类复杂场景下依然具有良好的适应性。
图6：PDE实验，二维扩散系统 ，u为可见变量，v为隐藏变量——内容包括可见状态u随时间变化的快照，t = 0时刻同步呈现真实状态v与重构状态v，真实状态v与重建状态v的对比图
图7：PDE实验，扩散型洛特卡 - 沃尔泰拉系统 ，u为可见变量，v
为隐藏变量——内容包括可见状态u随时间变化的快照，t = 0 时刻同步呈现真实状态v与重构状态v，真实状态v与重建状态v的对比图
一维非线性薛定谔方程的相位重构实验
研究团队还考虑了一维非线性薛定谔方程的相位重构（phase reconstruction）问题。在此实验中，仅利用可见的振幅数据
，识别潜在的动力学规律并重构隐藏的相位
。基于先验知识，作者假设投影函数
，聚合函数
。
由于局部时空编码器难以直接实现相位重构，作者为每个时空点学习其对应的相位参数
。为缓解由此带来的训练困难，引入了编码器正则化项：
，来确保训练过程中符号时间导数与重构状态
的一致性。
实验结果显示，该方法成功识别出了非线性薛定谔方程数据的控制方程，并大致捕捉到了正确的相位分布。此外，研究团队还指出，利用该方法提取的控制方程，后续可以采用其他更专业的非线性相位恢复算法作为后处理步骤，这也为该框架在实际应用中的拓展提供了思路。
图8：线性薛定谔系统的系统识别与相位重建 ——a.文章的方法正确识别了正确的非线性薛定谔方程；b.可见变量，波函数的模|ψ|，c.需要被重构的隐藏变量相位φ=arg (ψ) ;d.相位的空间导数及重建结果
该研究提出了一种基于机器学习的框架，能够在部分观测条件下，同时识别稀疏可解释的动力学规律并重构隐藏状态。该方法结构简洁、使用灵活，与依赖显式积分的方法相比，计算效率更高，为部分观测非线性系统的建模提供了有效新途径。然而，由于依赖数据中高阶有限差分时间导数的估计，该方法对噪声较为敏感。
研究团队表示，未来团队将致力于现有框架中融入能够同时识别动力学规律和提取噪声概率分布的新方法和适用于符号回归任务（symbolic regression tasks）、具有多层可组合单元的符号模型，以进一步提升方法在噪声环境下的性能，增强框架的实用性。
补充信息
点击链接可访问本文作者的开源代码https://github.com/peterparity/symder
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
https://wx.zsxq.com/group/454854145828
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828 进入。
