LDR图通常具有曝光过度或曝光不足的区域，不能反映出我们人眼在场景的明暗区域都能看到细节的能力，需要HDR图像来弥补这些局限性。一些专门的硬件设备可以直接产生HDR图像，但是它们通常太昂贵而不能被广泛采用。
因此，计算HDR成像方法受到越来越多的关注。虽然传统的方法在静态场景中工作非常好，但是目前的方法无法解决大运动情况下的合成图像出现伪影的情况，并且也无法处理大区域饱和导致的细节丢失。
为此，研究人员提出使用深度学习来处理HDR图像。这篇发表在CVPR2019的文章，使用Attention模块引导不同图像的融合，抑制图像的饱和和非对准区域，然后使用Merging Network进行处理，得到HDR图像。
现在看来，该方法的缺点主要是计算量太大，但是之后的很多工作，都是基于AHDRNet进行大幅改进和优化的，因此理解AHDRNet更有助于经典
让我们来看，经典的AHDRnet是如何处理HDR问题的！
动态场景高动态范围(HDR)成像中，由运动物体或不对齐引起的虚影是一个关键的挑战。以往的方法首先使用光流对输入的低动态范围(LDR)图像进行配准，然后再进行合并，这样容易产生错误并导致图像重影。最近的一项研究试图通过一个具有跳跃连接的深层网络来绕过光流，然而，在剧烈运动时，该网络仍然会受到重影伪影的影响。为了避免来自源的鬼影，我们提出了一种新的注意引导端到端深度神经网络(AHDRNet)来产生高质量的无鬼影HDR图像。与以往直接叠加LDR图像或特征进行合并的方法不同，我们使用注意模块根据参考图像指导合并。注意模块自动抑制不希望的组件引起的失调和饱和，并提高理想的细节在非参考图像。除了注意模型外，我们还使用了扩张的残差致密块(DRDB)来充分利用层次特征，增加对缺失细节产生幻觉的接受域。提出的AHDRNet是一种基于非流的方法，可以避免光流估计误差产生的伪影。在不同数据集上的实验表明，所提出的AHDRNet可以达到最先进的定量和定性结果。
图1：不同曝光的LDR图像如图(a)所示；色调映射后的结果如图(b)所示；同时呈现大范围移动和饱和度的图像区域如图(c)所示；提出的AHDRNet生成的HDR图像具有更少的重影伪影和更多饱和区域的细节(参见(d)中的放大补丁)。
自然亮度值的动态范围在几个数量级上变化。然而，大多数数字摄影传感器只能测量这个范围的一小部分。因此，产生的低动态范围(LDR)图像往往有过度或曝光不足的区域，不能反映出人类在场景的明亮和黑暗区域看到细节的能力。高动态范围(HDR)成像已经被开发出来，以弥补这些限制，理想的目标是生成代表广泛照明范围的单一图像。
一些专门的硬件设备[24,35]被提出直接生成HDR图像，但它们通常过于昂贵而不能被广泛采用。因此，计算HDR成像方法受到了越来越多的关注。最常见的策略是拍摄一系列不同曝光的LDR图像，然后将它们合并成HDR图像[2,21,23,29,39]。在多重曝光方法中，通常将其中一幅LDR图像作为参考图像(如图1 (a)中的绿色边框所示)。虽然这些方法通常在场景和摄像机完全静止的情况下产生高质量的HDR结果，但当输入图像之间存在运动时，它们会遭受明显的重影和模糊伪影。
全局图像失调可以用单应性来补偿[33,34,37]。然而，由移动物体引起的虚影和由于饱和而导致的细节缺失是很难克服的。为了解决重影问题，一些方法在合并之前先对LDR图像进行更详细的对齐[9,14,31]。虽然应用了多种配准方法(如光流[15,16,46])，但由于估计误差，仍存在伪影。为了避免这种配准误差，提出了一些方法[25,28]，直接将没有配准的运动分量作为离群值剔除。然而，运动目标的像素精确识别很难稳健地实现，特别是当依赖简单的像素级特征(如像素颜色[28])时。
受深度神经网络(DNNs)在许多图像恢复任务中的成功经验的启发[18,7,40,8]，最近提出了一些基于深度学习的方法[15,37,38]来改进HDR图像合成过程。在[15]中，我们提出了一个DNN来合并基于光流的LDR图像。但DNN无法处理不可避免的光流估计误差所造成的畸变(见Kalantari et al.的方法，如图1 (d)所示)。在[37]中，将HDR成像任务视为一个图像平移问题。虽然该模型在一些例子中可以得到满意的结果，但当图像之间存在大规模运动时，它仍然会受到重影影响。基于DNN的方法可以对饱和区域的一些细节产生幻觉，但现有的方法不能处理大面积的饱和区域，特别是在同时存在遮挡的情况下。
我们提出了一种用于HDR成像的注意力引导深度神经网络(AHDRNet)(见图2)。该神经网络学习输入LDR图像和HDR输出之间的关系。以往的方法[15,37]将堆叠的LDR图像(或LDR图像特征映射)作为合并过程的输入，在网络的早期阶段将不匹配的图像成分混合在一起，使得很难获得无鬼影的HDR结果。考虑到重影主要是物体运动和不对齐[15]造成的，我们提出了可学习的注意模块来指导合并过程。注意模块生成Soft注意图，评估不同图像区域对获得所需HDR图像的重要性。它们可以突出与参考图像互补的特征，排除运动和饱和度严重的区域。它们可以突出与参考图像互补的特征，排除运动和饱和度严重的区域。然后将具有注意力引导的LDR图像特征输入合并网络生成HDR图像。我们利用[43]中提出的残差密集块(RDB)中的膨胀卷积层来构造合并网络(DRDBs)。RDB有助于充分利用来自不同卷积层的信息，从而保留来自输入LDR图像的更多细节。放大的卷积扩大了接收域，有助于恢复被饱和度和移动物体污染的细节。本文的主要贡献可以总结为:
我们提出了一种新的无鬼影HDR图像的注意力引导网络。它具有神经网络模型的所有优点，并克服了HDR成像中的一个主要问题，即它对图像像素和饱和度的大偏差具有鲁棒性。 我们提出了一种基于扩展残差密集块的网络来融合LDR图像中的注意力引导特征图。膨胀的残差密集块可以同时保留图像细节，扩大接受域，使网络在饱和区域产生内容幻觉，产生细节丰富的HDR图像。 在不同数据集上的大量实验验证了所提出的AHDRNet的优越性。我们还进行消融研究，以量化模型中不同成分的作用。 主要的相关工作如下:
依赖像素抑制的方法： 这些方法基于图像全局配准的假设，将每个像素标记为属于一个静态区域或一个移动对象。Grosch[9]定义了一个误差映射，它使用输入的色差来获得无鬼影的HDR图像。Jacobs等人的[14]基于加权方差度量来检测鬼影区域。Pece和Kautz[27]计算了输入图像的中值阈值位图来检测运动区域。Heo等人[11]利用联合概率密度粗略地检测出运动区域，并利用基于图割方法的能量最小化方法对这些区域进行细化。Zhang和Cham[42]提出了基于图像梯度的质量度量，以在输入上生成加权图。最小秩[19,25]也被用于检测运动区域和重建HDR图像。即使达到了所需的像素精度，剔除像素也会减少重建HDR图像时可用的信息，这往往会导致细节缺失(参见图1中Oh的方法[25])。
依赖配准的方法： 这些方法通过在LDR图像中搜索最匹配的区域来重建HDR区域。这是通过使用像素(光流方法)或patch(基于patch的方法)来实现的密集相关性。Bogoni[1]使用光流估计运动矢量，并使用参数来扭曲曝光中的像素。Kang等[16]利用曝光时间信息将LDR图像的强度变换到亮度域，计算光流，在LDR图像中找到对应的像素。Sen等人[30]提出了一种基于patch的能量最小化方法，将对齐和HDR重构结合在一起进行联合优化。Hu等人的[12]基于变换域的亮度和梯度一致性优化了图像对齐。Hafner等人[10]提出了一种能量最小化方法，该方法同时计算HDR辐照度和位移场。这种方法提高了鲁棒性，但对于大的运动失败，没有通过实例学习，也没有尝试补偿饱和。
基于深度学习的方法： 许多深度学习方法已经被开发出来[3,15,37]。Eilertsen等人提出了一种深度自编码器网络来预测一幅图像的HDR值。Endo[4]采用基于深度学习的方法从一幅LDR图像中合成多幅LDR图像，然后将它们合并重构出一幅HDR图像。Kalantari等人[15]利用光流将输入图像与参考图像对齐，然后利用卷积神经网络获得HDR图像。Wu等人[37]提出了一种网络，可以学习将多个LDR图像转换为无鬼影HDR图像。这些方法的优势在于，它们可以利用从训练数据中提取的信息来识别和补偿不符合HDR过程基础假设的图像区域。每一种方法都解决了一个重要的问题，但是没有一种方法具有所提出的基于注意力的方法所能实现的灵活性和健壮性(参见图1)。
深度学习方法中的注意机制： 注意力已被证明是深度学习的关键发展，并已被用于许多计算机视觉应用。Lu et al.[20]提出了一种新的自适应注意模型，该模型带有视觉哨兵用于图像字幕。Fan等。[5]多模态推理任务的堆叠潜在注意。Zhao et al.[44]提出了一种多样化的视觉注意网络来解决细粒度对象分类问题。通过允许模型只关注相关信息，每种模型都实现了迄今为止不可能实现的性能和健壮性。
给定一组动态场景的LDR图像：
在将LDR图像送入网络之前，我们首先将输入的LDR图像
其中：
其中：
注意机制作为端到端AHDRNet网络
与以往[15,37]将输入图像
注意力网络首先通过相应的卷积编码器分别提取LDR图像的特征。然后，我们在非参考图像上应用特定的注意图来识别有益的特征。根据参考图像和各非参考图像的特征映射，通过注意力模块得到注意映射。考虑到模型的目标是生成与参考图像场景一致的HDR图像，对非参考图像进行关注的动机是在融合特征之前识别出不匹配的分量，以减轻重影伪影的影响。
该融合网络以注意力引导提取的特征为输入，利用一系列膨胀的残差密集块(DRDBs)和全局残差学习(GRL)策略对HDR图像进行估计。DRDBs和GRL有助于有效地利用图像特征，获得具有合理细节的HDR图像。融合网络融合了LDR图像的特征，并在被饱和和不对齐的移动物体污染的区域产生了细节幻觉。
图2：提出的AHDRNet的架构。该网络由用于特征提取的注意力网络和用于预测HDR图像的合并网络组成。注意模块用于排除由错位和饱和引起的有害组件或突出显示有用的细节。该合并网络是基于一系列膨胀的残差致密块(DRDBs)构造的。使用全局残差跳跃连接来促进训练。通过色调映射得到最终的HDR结果。所有feature map都有64个通道，内核大小为3。该可视化地图是平均注意特征
给定3张LDR图像对应的3张6通道输入图像
， ，
其中：
我们将参考特征图
其中：
图3：示例图像补丁和相应的注意图。(a)-(f)中，从左到右依次为参考图像、一幅非参考图像和应用于非参考图像上的注意图。(a)、(b)和(c)显示明显失调区域的注意地图。(d)、(e)和(f)显示注意力地图可以突出有用的区域。
由于HDR成像过程以参考图像为中心，因此根据参考图像预测和应用注意图。如图3所示，注意图可以抑制非参考图像中不对齐(见(a) (b) (c))和饱和(见(d))的区域，避免有害特征进入合并过程，从而缓解来自源的重影。当参考图像中的某些区域是饱和的(见(e))或有噪声的(见(f))时，注意力图也可以在非参考图像中突出有用的特征。章节4.2.1的更多研究进一步证明了所提出的注意机制在HDR成像中的有效性。
图4 注意单元首先连接两个输入，然后通过两个Conv层获得注意映射，通过sigmoid激活将输出限制在[0,1]。
注意模块：式(3)中的，
合并网络以堆叠特征图
给定堆叠的特征
具有全局残差学习的参考特征 在重构F5的HDR图像之前，受超分辨率方法的启发[18,43]，我们采用全局残差学习策略，通过：
其中
经过两个卷积层(然后是激活)后，我们在HDR域中估计HDR图像
图5：三个褶积层的膨胀残差致密块结构的图解。我们采用一个残差密集块[43]作为骨干网，每一个卷积层都可以用膨胀卷积代替。利用膨胀的残差致密块，每个块上的感受野都得到了扩展。
膨胀残差致密块 由于HDR图像局部区域的重建由于运动物体的遮挡和饱和，无法从LDR图像中获得足够的信息，因此合并网络需要更大的接受域来产生幻觉细节。因此，我们在残差致密块(RDB)[43]中应用了2-展开卷积[41]。如图5所示，所提出的膨胀残差致密块(DRDB)由一系列Conv层、ReLU激活层和基于跳接的致密级联层组成。每个Conv层都将前一层的所有特征图串联起来作为输入。与[13]中提出的密集块不同，RDB和DRDB在块的输入和输出之间应用了局部残差跳接。RDB的更多细节可以在[43]中找到。在我们的实现中，我们在每个DRDB中使用6个Conv层。章节4.2.1的实证消融研究显示了DRDB的有效性。
如3.3节所述，提议的AHDRNet预测HDR域中的HDR图像
其中，
在我们的方法中，我们通过最小化色调估计和标签HDR图像之间的基于
我们还测试了之前工作中使用的
在我们的实现中，我们在Conv层中应用了64个3×3特性，如果没有指定，它们后面会有ReLU激活。我们将所有Conv层的步幅设置为1，并使用零填充保持feature map的大小。我们定义输出层以产生3通道图像。所有DRDB的增长率为32。每个DRDB的最后一个Conv层使用1 × 1卷积来压缩feature map。
在训练方面，我们使用Adam优化器[17]，并将批处理大小和学习速率分别设为8和1 × 10−5。给定训练图像，随机裁剪256 × 256个patch进行训练。使用Xavier方法[6]初始化网络的所有权值。我们使用PyTorch[26]实现我们的模型，使用NVIDIA GeForce 1080 Ti GPU处理1500×1000图像需要0.32秒。
我们在HDR数据集[15]上训练AHDRNet，该数据集包括74个训练样本和15个测试样本。对于每个样本，在曝光偏差为{−2,0，+2}或{−3,0，+3}的情况下，捕获3张不同的LDR图像。对裁剪后的小块进行变换作为数据增强，以减少过拟合。
我们在Kalantari的[15]数据集和没有标签的数据集(如Sen的[30]和Tursun的[36]数据集)上测试了提议的AHDRNet。
评估指标我们使用以下四个指标进行评估。我们利用光谱成图后的PSNR- law (PSNR-µ)、Matlab函数光谱成图(PSNR- m)和线性域(PSNR- l)计算图像的光谱成图后的PSNR值。我们还通过计算HDR-VDP-2[22]进行了定量评价。
我们研究了AHDRNet的体系结构，并验证了不同组件在整个AHDRNet中的重要性。我们通过比较AHDRNet和AHDRNet的以下变体来完成这项消融研究:
DRDB-Net(即无注意的AHDRNet)。在这个变体中，我们去掉了注意力模块，在这个模块中， A-RDB-Net(即无扩展的AHDRNet)。在AHDRNet的这个变种中，我们不使用扩张卷积。 RDB-Net(即无注意和扩展的AHDRNet)。这种AHDRNet的变种不包含注意操作和扩展的卷积层。 RB-Net(即AHDRNet，无注意、膨胀和密连)。这个基线是一个基于残差块(RB)的合并网络。我们将DRDB替换为相同数量的RBs。 图6：AHDRNet及其基线变异的可视化结果。
注意模块 注意模块是HDR图像去重影任务的一种非常有效的机制。如图6所示，与RDB-Net相比，A-RDB-Net可以缓解由于注意模块而产生的重影构件。使用DRDB-Net和AHDRNet也可以观察到类似的结果。虽然DRDB-Net可以去除鬼影伪影，但它倾向于在饱和区域产生伪影(图6的底部补丁)。我们提出的带有注意模块的AHDRNet可以在保留背景信息的同时消除鬼影伪影(见图3)。AHDRNet和A - RDB-Net比DRDB-Net和RDB-Net有更好的改进。
表1：不同模型的定量比较。所有的分数是所有测试图像的平均值。
膨胀残差致密块 与DRDBNet相比，RB-Net结果有可见的幽灵(参见图6 (a)和(d))。即使是含有更多RBs的Deep-RB-Net的结果也不能消除重影伪影。因此，增加网络深度并不是提高HDR图像质量的切实可行的方法。另一方面，相同网络深度的DRDBNet可以捕获更多的内容，缓解幽灵现象。表1中DRDB-Net的性能优于RDB-Net和RDB-Net。
扩张卷积 为了证明扩展卷积的能力，我们比较了RDB-Net和DRDBNet。如图6 (c)和(d)所示，与RDB-Net相比，DRDB-Net的结果减轻了重影构件。结果表明，更大的接受域有助于抑制虚影效应和对缺失细节的幻觉。此外，所提出的AHDRNet可以完全消除幽灵。表1的定量比较表明，采用扩张卷积的模型在PSNR指标上可以获得较高的值。
全局残差学习 研究了全局残差学习(GRL)策略的性能。结果定量比较见表1。由于GRL有助于从前端层传递信息，使用GRL的模型可以带来更好的性能。
表2：不同损失函数的定量比较。
在这个实验中，我们比较了我们的方法在不同损失函数下的性能。结果的定量比较如表2 所示，这意味着
我们评估了提出的方法，并与以前的最先进的方法在各种数据集上进行了比较。具体来说，我们将所提出的方法与基于patch的方法[30,12]、基于运动检测的方法[25]、基于流的融合DNN的方法[15]和没有光流的DNN方法[37]进行了比较。此外，我们比较了单帧HDR成像方法[4,3]。对于所有方法，我们都使用了作者提供的代码。深度学习方法使用相同的训练数据集和设置。此外，我们也将提议的AHDRNet应用于通过估计的光流[32]对齐的输入图像(称为Ours+OF)。
我们对含有饱和背景和前景运动的具有挑战性的样本的[15]的测试数据(图7 (a)和(b))，将我们的方法与几种最先进的方法进行比较。基于patch的方法(Sen et al. [30] and Hu et al.[12])无法找到对应的patch并产生伪影(结果见图7 (a))。Oh等人[25]的方法无法恢复饱和区域的细节。由于单图像方法TMO[4]和HDRCNN[3]只使用单一的参考图像，可以避免重影伪影，但无法重建清晰的结果，并产生颜色失真。Kalantari等人的方法[15]产品伪影(见图7 (a)中的红色块)，主要有两个原因:光流不对齐和它们的归并过程的限制。Wu等人的方法[37]产生的结果过于平滑，不能完全去除重影伪影(见图7 (a)和(b)中的红色块)。由于我们的方法使用了注意图(图3)来选择有用的区域和去除有害的成分，它抑制了重影伪影，恢复了被遮挡或饱和的细节。(见图7 (b)中的蓝色块)。提出的AHDRNet可以产生高质量的结果，同时以对齐的图像作为输入(见Ours+ of的结果)，因为提出的注意模块也可以处理由对齐或光流估计误差引起的伪影。
由于该测试集具有标签，我们可以进行定量评价和比较。结果如表3所示。所有值的平均值超过15个测试图像。与其他方法相比，所提出的AHDRNet方法具有更好的数值性能。在PSNR-µ-和PSNRM两项指标上结果最好，说明了模型的有效性。本文提出的方法(即Ours+OF)可以在基于光流对齐的预处理下产生稍好或具有竞争力的结果。在相同的对齐过程中，我们的方法(Ours+OF)比[15]产生了更好的结果，这表明我们的模型也可以帮助处理由对齐错误引入的纰漏。
图8：没有标签的数据集的视觉比较。AHDRNet获得的结果具有更清晰的细节和更少的瑕疵。
我们将提出的AHDRNet与Sen的[30]和Tursun的[36]数据集上不具有标签的其他方法进行了比较。结果如图8 (a)和(b)所示。基于patch的Sen et al.的[30]和Hu et al.的[12]方法在复杂运动区域产生伪影(如图8 (b)中的zoomedin patches)，这些方法在非参考图像中找不到相应的patches。如图8 (a) (b)所示，单帧方法TMO[4]和HDRCNN[3]在曝光不足区域容易产生严重的噪声和颜色畸变。Kalantari等人[15]的方法由于对准误差引入伪影(图8 (b))。wu等人的方法[37]的结果在结果中遗漏了细节，具有明显的过平滑性(图8 (a)和(b))。相比之下，我们提出的AH DRNet产生了吸引人的结果，其中几何失真，彩色伪影，和噪声明显减少相比现有的方法。
HDR成像的多种曝光方法可以获得更好地适应人类视觉系统动态范围的高质量输出，但由于重影和饱和伪影的存在，其应用受到了限制。我们提出的基于注意力的神经网络克服了这些限制。最值得注意的是，它可以生成高质量的HDR图像，即使存在较大的图像运动和饱和度。这为HDR成像提供了更广泛的应用前景。
