龙哥推荐理由：
这篇论文提出的DPF-Net创新性地将物理成像模型与深度学习相结合，不仅在水下图像增强任务上取得了最先进的效果，更重要的是为解决水下视觉问题提供了全新的思路。该方法具有很好的实用价值和科研意义，特别适合海洋勘探、水下机器人等应用场景。
原论文信息如下：
论文标题:
DPF-Net: Physical Imaging Model Embedded Data-Driven Underwater Image Enhancement
发表日期:
2025年03月
作者:
Han Mei, Kunqian Li, Shuaixin Liu, Chengzhi Ma, Qianli Jiang
发表单位:
IEEE
原文链接:
http://arxiv.org/pdf/2503.12470v1
开源代码链接:
https://github.com/OUCVisionGroup/DPF-Net
水下世界神秘而美丽，但想要拍出清晰的水下照片却异常困难😫。光线在水中传播时会受到吸收和散射的影响，导致图像出现颜色失真、对比度下降和细节模糊等问题。传统的水下图像增强方法往往效果有限，而纯数据驱动的深度学习方法又受限于高质量训练数据的缺乏。
今天要介绍的这篇论文提出了一种创新的解决方案——DPF-Net，它将物理成像模型与深度学习相结合，在水下图像增强任务上取得了令人瞩目的成果。让我们一起来探索这个有趣的工作吧！
水下成像的挑战与传统方法的局限性
水下成像面临着独特的挑战。光线在水中传播时，不同波长的光被吸收的程度不同，导致图像出现严重的颜色失真。同时，水中悬浮的颗粒会使光线发生散射，造成图像模糊和对比度降低。
传统的水下图像增强方法主要包括对比度增强、噪声去除和锐化等技术。这些方法直接操作像素值，在一定程度上能够改善图像的视觉效果。然而，由于水下成像条件的复杂多变性，如光照、水质等因素的影响，这些技术往往效果不稳定，难以在各种情况下都取得理想的结果。
与陆地图像不同，水下图像的退化既涉及光衰减效应，也包含散射效应。Akkaynak等人提出了水下成像的物理模型，将图像分解为前向散射和后向散射分量，这为水下图像增强提供了理论基础。
物理模型在水下成像中的重要作用
水下成像的物理模型需要综合考虑水对光的吸收和悬浮颗粒对光的散射效应。相机捕获的光线通常包括直接传输光、后向散射光和前向散射光。由于前向散射光对图像退化的影响较小，在分析中通常不予考虑。
水下成像物理模型包含几个关键参数：全局背景光B^∞、衰减系数β^D、散射系数β^B和绝对深度d。该模型可以形式化描述为：
其中J表示场景辐射（清晰图像），I表示相机捕获的辐射（原始图像）。需要注意的是，衰减系数β^D和散射系数β^B在物理含义和数值上都存在显著差异，不能简单等同。
水下成像物理模型为水下图像恢复和增强提供了可靠的理论参考。然而，如何有效确定退化图像的众多退化参数，是其在增强过程中有效应用的关键。
DPF-Net的核心思想：数据驱动与物理参数的融合
DPF-Net（数据驱动与物理参数融合网络）是一个两阶段的水下图像增强网络，它结合了物理成像模型的鲁棒性和数据驱动方法的通用性与效率。
图2：DPF-Net框架示意图。两个分支（CNN-Transformer UNet和物理特征生成模块）接收来自预训练退化参数估计模块的物理参数输入到嵌入空间。两个分支的输出特征经过特征融合模块后得到最终输出图像。网络损失包括参考损失、退化一致性损失和基于Lab颜色空间的弱参考损失。
该方法首先使用合成数据集训练物理参数估计模块，确保物理参数的可信度，而不是像先前研究中常见的那样，仅通过学习原始图像和参考图像之间的拟合关系。该模块随后与增强网络联合训练，其中估计的物理参数被整合到嵌入空间中的数据驱动模型中。
为了在水下成像退化过程中保持恢复过程的一致性，论文提出了基于物理的退化一致性损失。此外，还提出了一个利用整个数据集的创新弱参考损失项，减轻了模型对单个参考图像质量的依赖。
DPEM模块：预训练退化参数估计的关键技术
退化参数估计模块（DPEM）是DPF-Net中的关键组成部分，其主要目标是为水下图像提供可靠且物理一致的退化参数预测。图3：DPEM架构和训练方法。通过在水下物理成像模型中配置不同的退化参数组合，从陆地RGB-D图像合成水下图像。然后使用合成图像作为真实值训练DPEM来预测这些退化参数。
DPEM是一个独立开发和训练的模块。首先使用陆地RGB-D图像，通过在水下物理成像模型中配置不同的退化参数组合来合成水下图像，随后使用这些预设参数作为真实值来训练DPEM预测退化参数。
该模块的训练使用了NYU-Depth-V2数据集，该数据集包含1,449张室内RGB-D图像。由于从双目重建获得的绝对深度图缺乏准确性，仅使用数据集的最大和最小值作为绝对深度尺度。
对于其他退化参数，论文生成了不同的参数组合来合成各种水类型对应的退化图像，确保它们符合水下成像的物理模型。通过使用这些退化参数组合及其相互关系，结合上述绝对深度图，可以生成符合成像模型和人类感知的合成水下退化图像。图5：NYU-Depth-V2中一个图像的不同合成退化图像CT-UNet与PFGM：网络架构的设计与创新
DPF-Net的核心架构包含两个主要分支：改进的CNN-Transformer UNet（CT-UNet）和基于VQ-VAE的物理特征生成模块（PFGM）。CT-UNet采用四层编码器-解码器结构，输入图像尺寸为H×W×3，通过卷积操作提取浅层特征，并逐步下采样。Down块负责特征提取和下采样，而Up块则进行上采样并与对应Down块输出拼接，通过卷积解码生成最终特征。图7：CT-UNet的(a) Down块、(b) Up块和(c) LGFI模块结构
为了弥补CNN在全局特征提取上的不足，CT-UNet引入了Local-Global Features Interaction（LGFI）模块，基于Transformer架构动态整合局部和全局信息，保持模型轻量化和计算效率。3×3卷积用于提取局部特征，LGFI模块在解码器阶段增强特征融合能力。
PFGM模块基于VQ-VAE框架，将图像特征和物理参数映射到嵌入空间。输入图像通过VQ-VAE编码器提取特征z_e(x)，同时预训练的DPEM模块预测物理退化参数。这些参数与特征矩阵进行元素级相乘，再经过两个卷积层处理，生成特征z_e(p)，与z_e(x)拼接后输入嵌入空间。VQ-VAE能够学习不同水类型的离散向量表示，捕获特定退化信息。
特征融合模块自适应地计算两个分支的融合权重，通过卷积操作生成权重，加权聚合特征后输入最终卷积层输出增强图像。这种设计允许网络在训练中自动学习各分支特征的重要性，优化信息利用。CT-UNet和PFGM的协同作用确保了DPF-Net的高性能：CT-UNet专注于图像特征提取，PFGM整合物理先验，提升模型鲁棒性和增强效果。这种架构创新性地结合了数据驱动和物理模型优势，避免了纯深度学习方法的过拟合问题。
损失函数的巧妙设计：区域加权参考损失与弱监督参考损失
DPF-Net的损失函数设计旨在平衡物理约束和数据驱动学习，包含三个组件：区域加权参考损失、退化一致性损失和弱监督参考损失。总损失函数表示为：
其中α1、α2和α3权重分别设为0.6、0.2和0.2，强调参考损失的主导作用。
区域加权参考损失L_ref针对水下图像中远距离区域退化严重、参考图像可靠性低的问题，引入深度加权机制：
这里，d_rel是归一化的相对深度图，近距离区域权重高，远距离权重低，减少不可靠参考的影响。L1损失计算像素级差异，SSIM损失评估结构相似性。
退化一致性损失L_deg确保增强图像符合物理成像模型，通过比较原始图像和预测退化图像：
使用SSIM和VGG16感知损失，避免像素级L1损失的过度约束，防止颜色块失真。
弱监督参考损失L_Lab受颜色转移技术启发，基于Lab颜色空间的整体分布约束，减少对单个参考图像的依赖：图9：UIEB训练集参考图像在Lab空间的均值和标准差分布。左列显示三个通道的均值分布，右列为标准差分布。X轴表示通道值（分100bin），Y轴表示样本比例。
L_Lab计算增强图像在Lab空间的均值μc和标准差σc，与预定义高斯分布比较：
其中x为μc或σc，μn和σn为拟合的高斯参数。损失聚合六次（三个通道的均值和标准差），指导输出颜色分布更合理、鲜艳。
这种损失设计降低了模型对低质量参考的敏感性，提升了泛化能力，即使使用清晰陆地图像也能有效引导增强过程。
实验结果对比：DPF-Net在不同数据集上的表现
DPF-Net在多个数据集上进行了全面评估，包括UIEB-T、SUIM-E、UIEB-Challenging、RUIE-ABC60和RUIE-DE40，使用PSNR、SSIM、UIQM和UCIQE指标。对比方法包括物理基础方法（UDCP、ULAP）和数据驱动深度学习方法（UDnet、TCTL-Net、LiteEnhanceNet、SFGNet、CLIP-UIE）。表1：UIEB-T和SUIM-E数据集的评估结果。最好和第二好分数分别用红色和蓝色字体表示
在UIEB-T和SUIM-E上，DPF-Net在PSNR和SSIM指标上获得三个最佳和一个第二佳分数，表明其增强结果更符合人类视觉感知。非参考指标UIQM和UCIQE也表现优异，排名第二。图10：UIEB-T（前三行）和SUIM-E（第四、五行）图像的视觉比较。从左到右：原始图像、UDCP、ULAP、UDnet、TCTL-Net、LiteEnhanceNet、SFGNet、CLIP-UIE、DPF-Net、参考图像和预测退化图像。底行显示UIEB-T数据集中增强图像RGB通道均值的统计分布
视觉比较显示，传统物理方法出现颜色失真和细节丢失，无监督方法UDnet对比度不足。深度学习方法视觉质量略逊于DPF-Net，后者在常见水类型和一致光照下效果最佳，输出图像颜色自然。预测退化图像与原始图像高度一致，验证了DPEM参数的可靠性。
表2：UIEB-Challenging、RUIE-ABC60和RUIE-DE40测试集的评估结果。最好和第二好分数分别用红色和蓝色表示
在无参考数据集上，DPF-Net在所有六个评估指标中排名前三，四个指标排名前二， demonstrating strong generalization. CLIP-UIE因扩散模型随机性导致输出不一致，而DPF-Net的物理模型和L_Lab损失确保了鲁棒性和颜色一致性。图11：UIEB-Challenging数据集的视觉比较。从左到右：原始图像、UDCP、ULAP、UDnet、TCTL-Net、LiteEnhanceNet、SFGNet、CLIP-UIE、DPF-Net和预测退化图像图12：RUIE-ABC60和RUIE-DE40测试集（无配对参考图像）的视觉比较。每行从上到下对应子集A到E的图像。从左到右：原始图像、UDCP、ULAP、UDnet、TCTL-Net、LiteEnhanceNet、SFGNet、CLIP-UIE、DPF-Net和预测退化图像
水下图像增强对后续任务（如关键点匹配）有显著提升。使用SIFT算法在FLsea数据集上测试，增强图像检测到更多准确匹配点，减少错误匹配，证明DPF-Net在 practical applications中的价值。图13：退化原始水下图像(a)(b)和增强水下图像(c)(d)的匹配。DPF-Net增强后实现更多匹配
未来研究方向：如何进一步优化水下图像增强技术
尽管DPF-Net取得了显著成果，但物理参数估计仍受水下环境复杂性限制，衰减和散射系数难以精确量化。未来工作应聚焦于开发定量评估方法，提升参数准确性，并探索物理参数与其他任务（如深度估计、目标检测）的集成，以扩大应用范围。
此外，结合新兴技术如扩散模型和大型语言模型，可能进一步提升增强效果和泛化能力。数据合成方法也可优化，生成更逼真的水下图像，减少对真实数据的依赖。最终，DPF-Net为水下图像增强提供了可扩展框架，通过持续改进物理模型和数据驱动融合，有望在海洋勘探、水下机器人等领域实现更广泛应用。
龙迷三问
DPF-Net中的物理参数具体指什么？物理参数包括全局背景光B^∞、衰减系数β^D、散射系数β^B和绝对深度d，这些参数源自水下成像物理模型，用于描述光在水中的吸收和散射效应，帮助网络更准确地恢复图像。
弱监督参考损失L_Lab是如何工作的？L_Lab基于Lab颜色空间的统计分布，计算增强图像的均值和标准差，与预定义高斯分布比较。它不依赖单个参考图像，而是利用整个数据集的颜色特性，指导输出更鲜艳、合理的颜色，减少对低质量参考的依赖。
DPF-Net的复现难度如何？复现难度中等。论文提供了源代码和预训练模型，但需要合成数据集训练DPEM，且涉及物理参数估计和复杂网络架构。熟悉深度学习框架（如PyTorch）和图像处理的研究者可以较好复现，但需注意数据准备和超参数调整。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
