【泡泡图灵智库】一种基于深度学习的夜间自动驾驶图像增强方法

泡泡图灵智库，带你精读机器人顶级会议文章

标题: A deep learning based image enhancement approach for autonomous driving at night

作者：Guofa Li，Yifan Yang , Xingda Qu , Dongpu Cao, Keqiang Li

来源：Knowledge-Based Systems

编译：cristin

审核: zhh

这是泡泡图灵智库推送的第766篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章：A deep learning based image enhancement approach for autonomous driving at night。

在光线不足的情况下，道路图像缺乏细节，这可能会增加联网自动驾驶汽车(CAVs)的撞车风险。因此，为了实现CAV的安全驾驶，需要一种有效的微光图像增强模型。虽然已经作出了一些努力，但图像增强仍然不能很好地解决，特别是在光线极低的情况下(例如在没有路灯的农村地区)。为了解决这一问题，我们开发了一种基于卷积神经网络的光增强网络(LE-net)。首先，我们提出了一种将白天图像转换为弱光图像的生成流水线，然后利用其构建图像对进行模型开发。然后在生成的微光图像上对我们提出的LE-net进行训练和验证。最后，我们检查了我们的LE-net在不同低光水平下的真实夜间情况下的有效性。结果表明，我们的LE-net在定性和定量上都优于比较模型。

主要工作与贡献

本研究的主要贡献可以总结如下：

1)我们开发了一种高效有效的基于CNN的LE-net网络来增强微光图像。我们的LE-net强大的非线性映射能力综合了我们生成的图像对在各种光照情况下的关系，使我们的图像增强模型具有更好的泛化性能；

2)提出了一种新的微光图像生成框架方法。该方法通过提供表面逼真性和自然性，提高了我们提出的图像增强模型的鲁棒性

算法流程

1. 问题

夜间交通参与者的轮廓和外观细节容易模糊，难以从背景中区分目标物体。因此，微光图像的细节恢复是一项具有挑战性的任务，尤其是对农村微光图像。

图5 总体结构

2. 方法

为了解决上述图像增强问题，我们开发了一种基于CNN的框架LE-net来恢复图像细节，从而帮助驾驶员和骑士在黑暗中看清。该框架包括三个步骤:(1)生成训练对，(2)训练基于CNN的模型，(3)增强生成的微光图像和真实的夜间图像

2.1 网络框架

我们提出的光增强网络(LE-net)的架构是受编码器-解码器网络的启发。具体参数如表2所示。其中，c为卷积核数，n为重复次数，s为步数，A表示是否自我注意

图2 网络结构

表1 网络具体参数

2.1.1 深度可分卷积

图3 深度可分卷积结构

在我们的编码器网络中，引入了深度可分离卷积作为一个基本的卷积模块来取代标准卷积。图3显示了深度可分卷积与标准卷积的区别。这种类型的卷积是深度卷积和点卷积的组合。深度卷积分别应用不同通道的卷积，点卷积再应用1×1卷积将深度卷积产生的不同特征结合起来。我们使用这个技巧来减少浮点运算的数量

2.1.2 线性bottleneck和反向残差

图4 线性bottleneck和反向残差

我们使用一个叫做线性bottleneck和反向残差的基本模块来构建编码器网络，因为使用深度可分卷积和ReLU激活的组合会导致低维流形[29]失去兴趣信息。该模块遵循conv1×1(扩展)→Dwise3×3(降低计算成本)→conv1×1的过程。扩展层的目的是减少由于非线性函数的使用不可避免的信息的缺乏。采用线性激活函数来减小降维后的信息损失。

2.1.3 Self-attention distillation

引入了一个名为自注意蒸馏[28]的注意模块，使低级特征学习高级特征的语义信息。在自注意精馏过程中，通过提取不同骨干层的激活特征映射，构建自顶向下的注意精馏过程，增强表征学习过程。在图4中，我们在我们的主干中应用了自我注意蒸馏，并使用双线性插值来统一基于激活的特征映射的大小和元素。

实验结果