通过数学建模，许多科学和工程问题都可以用一组偏微分方程来表示。长期以来，基于机制的PDE计算一直是计算流体动力学、多物理模拟、分子动力学甚至动力系统等研究课题的基本范式。它是一个充满活力的多学科领域，越来越重要，具有非凡的潜力。同时，有效地解决偏微分方程一直是一个长期的挑战。一般来说，除了少数可以直接得到解析解的微分方程外，更多的方程必须依靠有限差分法、有限元法、有限体积法、边界元法等数值方法来近似求解。这些数值方法通常将一个连续的问题域划分为离散的点，然后集中求解每一个点上的系统。虽然这些传统的数值方法是有效的，但每向前一步都伴随着大量的迭代运算，大大降低了效率。最近，另一个同样重要的范式——以深度学习为代表的基于数据的计算，作为求解偏微分方程的有效手段出现了。令人惊讶的是，这一有趣的子领域仍然缺乏全面的综述。本研究旨在对深度神经网络(DNNs)用于PDE的研究进展进行分类和综述。我们讨论了过去几十年在这个子领域发表的文献，并以一个共同的分类法进行了介绍，然后概述和分类了这些相关方法在科学研究和工程场景中的应用。介绍了该分支领域的起源、发展历史、特点、分类以及各潜在方向的发展趋势。

链接：https://arxiv.org/abs/2211.05567

1

『概述』

作为一种广泛应用和迅速发展的技术，深度学习(DL)[1]为现代社会的许多方面提供了动力，并极大地提高了数据挖掘、计算机视觉、自然语言处理等方面的先进水平。DL旨在通过训练由多个处理层组成的计算模型来发现/拟合数据中的复杂结构，以学习具有多层抽象的数据表示。除了传统的人工智能(AI)和机器学习(ML)任务(例如，语音识别，目标检测等)，最近的发展和趋势是探索多个学科的交叉，包括应用数学，科学计算，动力系统等[2]，[3]。

在过去漫长的发展中，科研工作中的科学计算通常面向机制明确的问题，如基于不同物理模型[4]的模拟和预测。随着时间的推移，这种方法逐渐发展出一种完善的处理模式:利用微分方程(DEs)等工具对机构进行描述性和有效的数学建模，并应用高效算法求解。这样就可以在不依赖数据或只依靠少量数据的情况下得到准确的结果。相反，基于数据的AI计算可以在不知道其内在机制的情况下获得近似解。因此，在这个数据和计算能力爆炸的时代，它通过提供足够的数据和有效的特征来训练大量面向特征的模型，如机器学习(ML)[6]中的人工神经网络(ANN)，变得越来越有价值。

随着计算设施的快速发展和实现的不断优化，人工智能方法，特别是深度神经网络(DNNs)被考虑对科学计算[2]、[7]进行升级。同时，基于机制的预训练模型构建有望减少大量工作量，提高学习性能[8]。DL与科学计算的交叉丰富了目标问题的建模和求解形式，明显地促进了这两个领域的相互强化。因此，有分析认为，这种融合的趋势将促进“AI for Science (AI4Science)[9]，[10]”的跨学科新领域的出现。

1.1 偏微分方程及其解决方案

在科学计算中，微分方程被认为是描述各种科学问题和工程场景[11]的有效方法。它由一元或多元未知函数的一阶或高阶导数组成，对应于常微分方程(ODE)或偏微分方程(PDEs)[12]。与初等代数中的代数表达式不同，该方法旨在建立未知函数及其导数之间的方程关系。因此，它的解应该是符合关系的函数。在实际应用中，微分方程是描述自然科学和社会科学中复杂过程的基本基础，例如动态系统通常描述物理[13]和金融问题[14]中状态之间的关系，而随机微分方程则用于描述关于随机过程[15]的统计推论。

然而，有效地解决DEs一直是一个长期的挑战。注意，ODE可以被看作是pde的特例。只有少数几个简单的偏微分方程可以通过有限的通用运算组合得到解析解[12]。对于更复杂的偏微分方程，如著名的NavierStokes方程，只有依靠高性能计算机，采用数值方法，如有限差分法(FDM)和有限元法(FEM)才能获得一定精度的解。同时，传统数值方法需要多次迭代计算，这无疑限制了其实际应用。目前，与数值求解偏微分方程相关的工程应用仍主要集中在高端领域，如基于计算流体动力学(CFD)的飞机设计、天气预报等。为了进一步提高求解偏微分方程的效率，从数学的角度对方法进行了强化，如在有限元中引入样条函数，建立了样条有限元[16]，[17]。同样，有限元的中心思想是离散解域，然后用数值逼近偏微分方程的解。因此，引入更有效的傅里叶变换(FT)或拉普拉斯变换(LT)来实现表达式也被证明是可行的[18]，[19]。最近，被认为具有强大的多元和高维函数拟合能力的DNN也被重新提出，用于轻量化和快速求解PDE。

图1所示。利用神经网络解决偏微分方程的方法的理论和应用的发展里程碑。

1.2 调研方案

据我们所知，Takeda等人[20]在20世纪80年代末首次提出了应用人工神经网络来执行与矩阵反演和傅里叶变换相关的计算。随后，Lee等人在1990年[21]的论文详细阐述了他们采用神经网络求解偏微分方程的工作。一般认为，依靠神经算法进行最小化可以构建高度并行的算法，从而实现有限差分方程(FDE)的高效求解。后来，Chen等人发表了几篇论文[22]，[23]，[24]，描述了使用神经网络(NNs)近似连续函数和非线性算子，并将其应用于动态系统。1998年，Lagaris等人在总结以往经验的基础上，进一步提出了一种利用神经网络来求解ODE和PDE的方法。Chen等人和Lagaris等人的工作也确定了目前使用神经网络求解偏微分方程的两个最突出的思想。然而，与其他基于神经网络的算法一样，早期设备计算能力的不足和构造神经网络的复杂性极大地限制了这些方法的实际应用。直到最近，GPU加速计算平台和高性能ML框架的流行才使它们起死回生。

在本次调研中，我们的目标是回顾、分析和整合过去近四十年来用神经网络方法求解偏微分方程的大量工作，并结合它们在实际工程场景中的应用。这项工作首先概述了用神经网络求解偏微分方程的理论方法及其在具体实践中的应用。发展的里程碑如图1所示，突出显示了关于近似函数和泛函[22]，[26]，[27]的作品出现的时间节点。本综述中不同类别的论文集合见表1。被调研的论文发表于1982年至2022年期间。自2019年被称为物理信息神经网络(pns)[8]的方法被提出以来，用神经网络求解PDE重新引起了人们的关注。由于TensorFlow、Pytorch和PaddlePaddle等高性能框架的出现，PDE作为神经网络的软物理约束训练方法迅速应用于复杂情况的仿真。同时，考虑到基于泛函理论专门设计的网络能够描述PDE族，研究人员致力于用高效算子[27]近似多精度、多场景设置。

在文献综述中，主要关注以下几个方面:

• 相关文献中提出的理论方法，即神经网络如何从偏微分方程中获取足够的信息来帮助解决它们。详细介绍了逼近偏微分方程的神经网络类型以及相应的学习策略和方法;
• 在不同场景(包括各种pde)中对这些场景进行数学描述的应用，这些场景在时间和空间上的规模以及计算成果;
• 我们在描绘AI4Science的一个重要方面的工作:如何用DNN有效地解决PDE。我们建议更好地理解DL在推动科学计算方面的关键作用，以及当这两种研究范式融合时，这个传统领域如何变得更加令人耳目一新;
• 近期值得关注的潜在趋势方向和新视角，有助于完善基础理论或工程应用形式。

2

『神经网络适用于求解偏微分方程』

3

『数学』

4

『实际应用』

5

『讨论』

扫描二维码添加小助手微信