基于深度学习的高精地图的自动生成与标注

本文提出的地图绘制流程主要是在高精地图上标注道路信息的同时，构建周围环境的三维几何信息。在这里，我们标注的道路信息是可驾驶区域和车道。图1显示了整个流程的概况。为了清晰起见，我们定义了三个帧：地图帧Fm，其原点是地图开始处第一次扫描的中心，汽车帧Fc，其原点是车辆的中心，而激光雷达帧Fl的原点是激光雷达传感器的中心。

图流程 结合3D-NDT和预训练的DNN生成带标签的高精地图

道路地图

我们将道路R定义为Fm框架中的多边形，限制了可驾驶的区域，但不一定合法。进行道路测绘有两个主要原因：

•当道路上没有车道时，它可以引导自动驾驶车辆，有时单向街道也是如此。

•它可以帮助我们描述的车道图。道路检测使用摄像机数据，投影到激光雷达数据上，经过细化以去除异常值，然后使用3D NDT算法的输出与先前的扫描进行累积。然后计算道路占用的区域并提取道路界限。我们将在下面的每个步骤中解释这些步骤。图2显示了道路绘制流程的概述。

道路地图绘制流程。对来自摄像机FCN的结果进行修剪以去除异常值

检测：对于检测道路，我们使用完全卷积网络（FCN）。将该网络应用于前置相机数据，将图像分割为两个区域：道路区域和非道路区域。这将产生一个二值图像，我们将结合激光雷达相机融合来分割出道路的点云。

投影：我们首先使用相机参数来裁剪点云，这样我们就只对相机视野范围内的点进行操作。然后，利用激光雷达摄像机之间的外参，将二值图像投影到点云上，同时保证图像中的颜色信息被保留并传输到点云上。这将生成一个二进制点云，其中道路点的颜色与点云上的其他点不同。

路沿检测：在某些情况下，FCN检测到的道路往往会在路沿边缘，尤其是当由于阴影、亮度变化或路沿太小而在图像框中难以区分路沿时。因此，我们需要通过移除预测道路中包含的所有路沿部分来改进FCN的结果。

   道路点云高程z直方图

为此，我们根据z轴使用彩色点云和高程信息。我们首先使用基于颜色分割的方法从之前获得的彩色点云中提取道路点云，然后，如图3所示，我们将道路点云中的点的高程显示为直方图。它表明，提取的道路点云中的点遵循双峰分布，即包含两个峰值的分布，代表两个正态分布，平均值分别为µ1和µ2，标准差分别为σ1和σ2。这是有意义的，因为第一个法线分布表示路沿上的点，第二个法线分布表示道路上的点。在这种情况下，检测路沿包括将双峰分布分成两个正态分布，并排除包含路沿点的分布。为了实现这一点，我们使用了计算机视觉中常用的分割和聚类方法，称为Otsu方法（Otsu 1979）。

应用于双峰分布的Otsu方法计算将这两类（在我们的例子中是道路和路沿）分隔开的最佳阈值。这使得排除位于路沿石上的大多数点成为可能，如图4所示，并留下一部分点，其高程遵循正态分布，平均值为µ1，标准偏差为σ1。作为最终检查，为了去除其余的异常值，我们将68–95–99.7规则应用于结果分布，并排除高程位于µ1−σ1和µ1+σ1之外的所有点。

 路沿检测之前（红色）和之后（绿色）的道路地图

区域提取：为了提取可驾驶区域的界限，需要计算投影到（x，y）平面上的道路点云的轮廓。这可以通过使用凹面外壳（CH）（Moreira和Santos 2007）实现，这是一种基于k-最近邻方法的算法，旨在生成描述平面上一组点所占面积的包络线。利用CH生成的包络线构造描述可行驶区域的多边形。

车道绘图

我们定义一条L作为一组点L= {P1，P2，…，PN}，其中π＝{xi，Yi，Zi}是FM帧中的i_0第四点的坐标。车道绘图生成是在道路上帮助自动驾驶车辆导航过程中，使其居中。使用相机数据检测车道，将其投影到激光雷达数据上，进行聚类和平滑处理以生成有意义的航路点，然后使用3D NDT算法的输出与先前的扫描进行累积。图显示了车道绘制过程流程的概述。

车道绘制流程。对来自相机机LaneNET的结果进行平滑和聚类以生成车道分割点云。

检测：对于车道检测，我们使用LaneNET。之所以选择此网络，是因为它能够检测到从前视相机可见的所有车道，而不仅仅是当前车辆的车道。网络输出与输入图像大小相同的掩模图像，其中属于车道的像素被标记和颜色编码。与我们对道路地图所做的类似，mask图像将与激光雷达相机校准相结合，生成车道点云。

投影：由于离汽车越远，激光雷达相机校准的精度就会越低，因此我们首先将“摄像机视场点云”裁剪到距Fl帧原点一定距离L的位置，然后再将车道遮罩投射到其上。这有助于保持车道的形状，因为我们将在前进过程中累积投影和点云。最后，利用颜色分割方法，提取出属于车道的点，形成车道点云。

聚类与平滑：生成的车道点云是有噪声的，并不总是遵循一个连贯的几何体。因此，我们建立了一系列的聚类和平滑步骤，这些步骤将被应用于车道点云，以生成一系列的路径点，这些路径点可以被自主汽车用来知道车道在空间中的位置。平滑和聚类应用于两个不同的层次：首先在Fl帧中处理单个扫描，然后在Fm帧中使用3D-NDT算法的输出将当前扫描与之前的扫描累积在一起。

车道生成：LaneNET有时无法检测到车道，原因可能是亮度/对比度突然变化，车道不在摄像机视野范围内，或者车道根本没有绘制在道路上。我们通过结合检测到的成功车道、路缘检测算法以及道路上的车道是平行的这一事实来处理这个问题。

首先使用路沿检测结果来检查是否检测到所有车道：根据路沿石的位置和车道宽度（由成功检测得出），我们可以判断是否检测到正确的车道数。如果某条车道缺失，我们使用最近的左车道或右车道生成它，方法是将上次扫描获得的车道点拟合为二次曲线，然后将每个点处的曲线法线与车道宽度相结合，生成一条新的车道。

实验装置包括一台Lincoln MKZ，配备一台Velodyne Lidar VLP-16和一台FLIR PointGrey RGB摄像机，分别以10 Hz和30 Hz的频率记录。该车还配备了IMU/GPS，以辅助3D NDT算法。数据通过机器人操作系统（ROS）同步并记录为ROS包，然后离线处理。我们使用管道记录并构建了多个高精地图，从中我们选择了5个场景。每一个场景的选择都有特定的原因：

•选择直路是为了证明道路测绘管道中路沿检测步骤的有效性。

•选择CurveLoad以证明车道地图构建流程中平滑和聚类步骤的准确性。

•选择mergeLane是为了证明车道地图构建流程能够处理出现新车道的情况，并且我们不局限于最初的车道。

•选择交叉口来演示合并多张地图的结果。

•选择公路是为了证明构建地图流程在大面积区域仍然有效。

这些结果表明，车道地图流程能够准确标记车道并生成缺失车道

红色是地面真相，蓝色是在路边检测之前，绿色是在后面。

红色车道是地面真相，绿色车道是自动生成的。

在这篇论文中，我们提出了一个自动建立和标注自动驾驶汽车高精地图的流程方案。流程中依赖于深度学习网络的结果，这些网络被训练来检测可驾驶区域和车道。然后，这些结果会自动进行后期处理，以便进行更正、改进或完成。我们的流程处理结果与人工标注的地面真实情况进行了比较，证明了本文所用方法的准确性和有效性。

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20


    
个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~