基于无人机视觉和深度学习自适应尺度统一的桥梁螺栓自动检测

螺栓连接是钢结构桥梁中常用的一种连接方式。桥梁螺栓连接不仅需要承受结构自重、交通荷载、温度等引起的巨大负荷，还受到风荷载和车辆动载引起的桥梁持续振动的影响。因此，钢桥的螺栓损坏是其代表性的失效形式之一。螺栓劣化一般包括螺栓腐蚀、螺栓松动甚至是缺失。一旦螺栓松动或缺失，就意味着连接处的承载能力已经严重下降。因此，定期检测桥梁螺栓具有重要意义。现有的桥梁螺栓检测方法一般都是依靠人工目测检查，效率低下，对于大跨度桥梁的螺栓检测，特别是缆索的索夹部位的螺栓检测，依靠人工爬索目视检查的方法还存在极大的危险性。例如，一座大跨度的钢桁架桥通常包含数十万个螺栓，依靠人工目视的方法逐个检查需要耗费大量时间。为了检测一座大跨度悬索桥的索夹螺栓，工人需要爬到200多米高的主缆上，逐一观察索夹螺栓，这无疑极大地增加了作业的风险。

随着无人机系统的逐渐成熟和普及，关于应用无人机进行桥梁检测的研究层出不穷，与此同时基于视觉的检测方法也展现出了高精度、高效率和高自动化程度高的优势。基于此，提出一种基于无人机平台和视觉检测算法的海量桥梁螺栓高效检测方法，快速采集螺栓图像并分辨其是否存在锈蚀、松动和脱落。

在应用无人机检测桥梁螺栓时，存在以下几个关键问题需要解决：1.利用无人机采集桥梁各部位螺栓图像和视频时，无人机的高速飞行和晃动可能导致采集过程中的图像或视频存在运动模糊，同时远距离拍摄成片螺栓时单个螺栓所占像素少分辨率低；2.对于大跨度桥梁无人机外业采集可获取数千张螺栓图像，如何以高准确率自动化地分析所获取的海量图像中的螺栓健康状况是其中的难题。

为解决上述问题，本研究提出了一种实用的桥梁螺栓快速自动化检测方法，该方法利用无人机收集螺栓图像，通过基于深度学习的自动分析方法识别螺栓并分类螺栓的病害，从而对在役桥梁的螺栓进行高精度和高效率的检测。与现有研究不同的是，所提出的方法的核心是减少飞行采集时造成的图像质量下降，并以尽可能高的精度识别螺栓的病害。具体来说，该方法首先搭建了一个为执行桥梁螺栓检测无人机系统，然后提出了使用无人机采集桥梁螺栓的具体拍摄方法方法。其次，提出了一种基于光流和逆滤波的图像运动模糊消除方法，以及一种基于超分辨率的自适应缩放方法，从而将无人机采集的原图像处理为清晰的具有统一尺度的子图像。最后，采用一种两阶段的螺栓检测方法来确定螺栓的劣化情况，即先应用在自定义数据集上训练的YOLO v5x网络检测螺栓并将其分割成单个螺栓图像，然后采用efficientNet将螺栓分类为正常螺栓、锈蚀螺栓和松动螺栓。

首先考虑拍摄过程中的图像运动模糊问题。若被测物在拍摄瞬间发生移动，即电子快门控制电荷耦合元件在感光片竖直方向产生光电感应的瞬间存在位移，与第一行光敏物质所获取的物体像素相比，第N行光敏物质所获取的物体像素位移∆xp=vt/(f+∆f)。因此去运动模糊问题可概括为评估所采集视频中哪些帧存在运动模糊，并对模糊的图像计算模糊方向和模糊核尺寸，进一步总结为计算视频中相邻帧之间的位移差和位移矢量方向。因此提出一种基于光流和逆滤波的无人机图像运动模糊检测和去模糊方法，首先采用Lucas-Kanade (LK)光流算法自动计算相邻帧的位移和方向，进而筛选出模糊帧；接着对模糊帧采用所计算的模糊核大小和方向及逆滤波方法直接去除模糊，方法的处理流程如图3所示。

在解决图像的运动模糊问题后，再考虑利用超分辨率方法克服单个螺栓的像素低的问题，本部分提出一种基于ESRGAN的自适应尺度分割解决上述问题。

对采集的螺丝图像进行自适应尺度分割的目的是尽可能将螺栓识别后分割出的单个螺栓尺寸统一，并尽可能增强细节以保证最后螺栓情况判别时能保持稳定、高精度的评判。所设计的自适应尺度分割方法的核心是将不同距离拍摄的螺栓图像进行缩放(一般情况下是放大)使缩放后的螺栓图像中单个螺栓的尺度接近分类模型的输入尺寸，即224×224。实现该目的的操作步骤为：首先对无人机采集的源图像采用多尺度模板匹配寻找图像中最小螺栓的外接矩形尺寸，该尺寸与长边与224像素的比例即为源图像的缩放比例。接着将缩放比例取整，与2倍、4倍、8倍进行对比，取最接近的倍数，然后采用预训练的ESRGAN网络对源图像进行相应的2倍、4倍或8倍超分辨率放大。最后采用滑动窗的方式以20%重叠率截取放大后的图像，所截取的图像即为自适应尺度分割的图像。方法的操作流程如图4所示。

考虑到桥梁螺栓检测过程中螺栓数量庞大，人工难以复核自动检测的结果是否准确，因此保证螺栓的正确识别是最重要的目的。基于此提出采用目标检测模型和分类模型分步检测的方法，首先由YOLO v5x模型识别螺栓，记录螺栓位置，并根据识别结果将螺栓从图像中分割出来；分割出来的单个螺栓图像再经过efficientNet网络进行分类，判别正常螺栓、锈蚀螺栓和松动螺栓。本部分对比了仅使用单个目标检测网络和所提出的两阶段检测方法的检测精度，如下图所示：

测试桥梁为某人行悬索桥，该桥梁总长197.7米，中间跨径115.7米，桥面宽2.7米。桥面系为纵横槽钢结构，其中桥梁横向短槽钢总计53根，纵向槽钢5根，索夹106个。检测中关注的螺栓为桥梁底部槽钢连接螺栓和吊索索夹固定螺栓，其中槽钢连接螺栓371颗，索夹螺栓742颗。

在采集完桥梁整体螺栓视频后，采取前述方法分步处理。首先采用基于光流和逆滤波的方法自动去除所拍摄视频中包含的运动模糊，由于所拍摄的视频的曝光时间一致，因此对于视频的去模糊处理无需人工调整参数，可自动处理，图7是采用所提出方法去除模糊的图像与原始图像的对比。

在自动消除视频运动模糊后，对图像进行自适应尺度分割。在使用自适应模板匹配后，计算得到索夹螺栓的尺寸在120×80像素~300×200像素之间，螺栓尺寸大多数在50×100像素~200×250像素之间，要超分辨率到240×240像素对于绝大多数图像只需要放大2倍，因此采用2倍超分辨率ESRGAN网络批量处理无人机视频。

最后采用所提出的两阶段螺栓检测方法分析螺栓的健康状况，得到桥梁的螺栓检测结果如图8所示。结果显示近9.1%的桥底螺栓已经松动，而且大部分螺栓都有一定程度的锈蚀。图3-30所示的检测结果为桥梁的健康管理提供了直观实用的指导，证明所提出的方法适用于在役桥梁。

本研究提出了一种实用化的基于无人机桥梁螺栓快速检测方法，并以在役桥梁为测试对象验证所提出方法的有效性。与已有工作不同的是，本研究着重于分析、解决无人机检测螺栓过程中的实际问题，以求达到稳定准确的检测效果，具体贡献如下：

(1) 针对无人机在快速移动、转动拍摄桥梁各部位螺栓时造成的运动模糊问题，提出了针对桥梁侧面、底面、索夹螺栓的拍摄方法，并依据拍摄时无人机的运动形式建立了运动模糊模型，采用逆滤波算法消除拍摄图像的运动模糊。

(2)针对无人机拍摄螺栓时拍摄距离不固定，使螺栓图像中单个螺栓所占的尺寸不统一，造成后面工作中螺栓病害判别结果不稳定的问题，提出了一种基于多尺度模板匹配和超分辨率的自适应尺度统一分割方法，首先根据多尺度模板匹配确定图像中最小螺栓尺寸，该尺寸与判别模型的输入尺寸相比即为图像需放大的倍数；而后采用基于ESRGAN网络的图像超分辨率方法对图像进行放大，并按螺栓识别网络的输入尺寸和20%的重叠率分割所放大的图像，分割后的图像即为螺栓尺度统一的图像。

(3)针对传统基于深度学习的螺栓检测方法直接应用目标检测网络识别螺栓同时判断病害的方法存在病害判别准确率较低的问题，提出采用两个网络分步判别的方法，先识别分割螺栓再判别螺栓病害。对比应用了最新的YOLO v5系列网络实现螺栓的快速识别与自动分割，并采用efficientNet网络判别螺栓病害。通过与传统只采用单一模型检测的方法对比显示所提出的分步检测方法精度更高。

(4)所提出方法从数据采集、训练集制作和方法验证上都立足于在役桥梁工程，而不是大多数已有研究中的实验室构件。在悬索桥的验证中显示所提出方法能准确、自动地检测桥梁螺栓健康状况，达到与人工检测相同的精度，证明所提出方法具备工程意义。