深度学习近似建模，助力飞越「维数灾难」温度场

允中整理自红山开源平台
量子位报道 | 公众号 QbitAI

深度学习与飞行器设计领域交叉可为克服飞行器系统多学科设计优化的计算复杂性难题开辟一条全新途径。国防科技创新研究院无人系统技术研究中心智能设计与鲁棒学习（Intelligent Design and Robust Learning, IDRL）团队推出最新工作“A Deep Neural Network Surrogate Modeling Benchmark for Temperature Field Prediction of Heat Source Layout”，围绕飞行器热布局的温度场高效分析预测问题，系统探索了学科模型构建、仿真数据生成、深度学习训练、热布局近实时分析等关键步骤，形成了一整套用于热布局温度场预测研究的标准数据集、深度神经网络近似建模方法以及代理模型性能评估基准。

同时在国产红山开源平台分享了相关代码（见文末链接），旨在吸引更多学者投入研究，推动相关技术快速发展与应用落地。

01 研究背景及简介

在真空、高低温变化剧烈的太空环境中，卫星内部温度控制尤为重要，通过舱内热源组件布局优化改善温度场分布是十分有效的解决手段。目前，卫星温度场的分析评估广泛采用基于有限元的数值仿真方法，然而如果在优化设计过程中反复调用该分析程序，则会导致计算成本过高，优化代价巨大，甚至无法在有限时间内完成设计任务。为了降低计算复杂性，近似建模方法应运而生。该方法主要通过构造近似模型（也称代理模型）取代高精度模型，以实现计算精度和计算成本的折中，从而提高求解效率。传统的近似建模方法主要包括克里金函数插值近似法、多项式响应面法、径向基函数法和支持向量机法等。但这些方法都面临着“维数灾难”的巨大挑战，即难以构建高维变量间的代理模型，一方面难以处理超高维输入问题，另一方面难以处理整个温度场的超高维输出问题。近两年，基于神经网络的深度学习方法脱颖而出，它具有海量参数和较深的隐藏层，对于高维变量的建模有着强大的拟合逼近能力。IDRL团队由此出发，面向飞行器设计领域开展了基于深度学习的近似建模技术研究，通过将传统的温度场计算问题转换为图像回归问题，为“飞越‘维数灾难’温度场分析”提供了一种高效的解决方案。

面向卫星热布局优化任务，首先构建了不同热源布局条件下温度场计算的数学模型，并定义了超高维温度场预测的近似建模问题。然后针对有效布局样本获取困难的问题提出了多种高效的布局采样方法，通过数值仿真构建了具有较好随机分布特性的数据集。其次，基于典型的深度回归网络构建了多种温度场预测的基准代理模型。最后，为了多角度衡量代理模型对温度场的预测精度，提出了九种不同的评价准则，最终形成了一套完整的基于深度神经网络的代理模型构建基准。

02 问题、数据、模型与评价准则介绍

该项研究构建了三种不同边界条件下的复杂热源连续布局问题（如图1所示）作为研究案例，提出了面向代理模型辅助热源布局优化任务的深度神经网络近似建模Benchmark构建框架（如图2所示）。研究工作主要包含三个部分：数据集构建，深度神经网络基准模型和温度场预测精度评价准则。

△图1 三种不同的复杂热源连续布局问

△图2 Benchmark构建总体框架示意图

在数据集构建方面，考虑复杂布局组件之间的几何不干涉约束要求，提出了两种随机布局采样方法，一种为序列布局随机采样方法，另一种为吉布斯布局随机采样方法，实现了采样成功率从不足1%提升至100%。此外，为了增加对小概率出现的特殊布局方案的覆盖性，提出了多种特殊布局采样策略，并构造了多种特殊布局样本（如图3所示）。在此基础上，提出了统一的热源布局问题标准数据集，为神经网络近似建模方法研究提供了统一的数据基准。针对三种不同边界条件下的布局问题，分别提供了2000组训练样本以及包括特殊布局样本在内的9种共40000组测试样本。

△图3 多种形式特殊样本

在基准模型方面，对典型神经网络回归模型进行了测试和对比研究（如图4所示），构建了FCN, SegNet, Unet, FPN等适合热源布局温度场预测任务的10余种深度神经网络代理模型。此外，为了加快深度神经网络收敛速度，提升网络训练效果，探讨了深度学习中批归一化和组归一化两种常用方法对热布局温度场预测模型性能的影响。

（1）FCN

（2）SegNet

（3）Unet

（4）FPN

△图4 深度回归神经网络架构

在评价准则方面，提出了三类九种不同的评价指标，旨在为代理模型的预测效果提供一个全面的比较和衡量。主要包括像素级准则、图像级准则和批块级准则。在像素级准则里，重点考察对温度场中最高温度的预测能力，包括其数值和位置预测误差。在图像级准则中，主要提出了平均绝对误差、最大绝对误差、边界温度预测误差、组件温度预测误差、一阶梯度预测误差和二阶梯度预测误差。在批块级准则中，主要提出了通过计算最高温度的斯皮尔曼相关系数来衡量模型对不同布局方案的相对排序能力，为实施下一步布局优化时进行模型选择提供更多的指导信息。

03 实验结果

实验部分首先对比了不同归一化方法的训练效果，结果表明组归一化方法优于批归一化方法，使用组归一化方法可以使网络模型的收敛速度更快，训练更加稳定，泛化性得到一定的提升（如图5所示）。这和其在传统计算机领域图像回归分析任务中的表现一致。其次，重点对不同深度神经网络代理模型在不同问题、不同指标上的预测能力进行了对比研究（如图6所示）。最后，研究了不同代理模型的计算效率，探讨了模型复杂度和模型预测精度的关系，为研究者选择合适的代理模型提供一个全面的视角（如图7所示）。

实验结果表明采用Unet，FPN-ResNet18或FCN-VGG网络进行近似建模的总体表现较好，而SegNet模型预测效果总体偏差。虽然FPN-ResNet18模型的预测效果略差于Unet模型，但是其计算效率更高，模型参数量更少，推断时间更短，因此在选择代理模型的过程中应进行一定的权衡。此外，实验还发现神经网络架构对代理模型的训练效果和收敛速度存在较大影响。因此，如何针对特定问题设计合适的神经网络模型将会是未来近似建模的重要研究方向之一。

实验发现，采用经典的平均绝对误差进行评价时，上述近似模型均能得到较小的预测误差。然而在某些实际场景中，需要关注组件位置预测误差、最高温预测温度误差和位置偏移等其他评价准则，在这些准则下上述近似模型预测性能表现有较大差异，故采用单一评价准则难以完整描述温度场预测性能。因此，如何构造一个综合考虑多种预测性能因素的损失函数来指导网络训练，或者根据实际场景需要选择相应评价准则，也将会是提升温度场近似建模效果的重要途径之一。

△图5 不同归一化方法效果对比

△图6 不同代理模型预测效果对比图

△图7 不同代理模型的参数量和计算效率统计结果

04 结语

IDRL团队对热源布局优化过程中温度场近似建模任务开展了研究，重点探索了基于深度神经网络构建代理模型的近似建模方法，实现了超高维温度场的近实时预测，同时形成了一整套用于热布局温度场预测研究的数据集、基准模型和评价准则。未来该方法还有望应用到其它物理场（力、电磁等）的近似建模任务中，具有广阔应用前景。

但是，当前基于深度学习的温度场近似建模还存在很大改进空间。现有研究侧重使用传统计算机视觉领域中的常用网络模型和损失函数，对温度场的预测效果有限，如何结合热布局问题特征或物理模型信息进行网络架构设计和损失函数构造，对进一步提升近似建模效果具有重要意义。此外，本研究主要探索了数据驱动的近似建模方法，模型预测效果对训练数据的依赖性较高，因此基于无监督学习或半监督学习的近似建模方法也将成为降低代理模型构造成本的重要方向之一。