社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

IROS 2021最新开源!深度学习三维激光雷达动态物体分割

计算机视觉life • 5 年前 • 600 次点击  

点击上方“计算机视觉life”,选择“星标”

快速获得最新干货


大家好,今天给大家介绍的是德国波恩大学在读博士陈谢沅澧的最新工作。该方法的论文,代码,数据集以及视频都已经公开。


作者:Xieyuanli Chen

论文: 

http://www.ipb.uni-bonn.de/pdfs/chen2021ral-iros.pdf
代码: https://github.com/PRBonn/LiDAR-MOS

数据集: http://bit.ly/mos-benchmark

视频: https://youtu.be/NHvsYhk4dhw




以下是内容简介:


构建长期一致(consistent)的环境地图并区分其中正在运动和静止的部分对于移动机器人和自动驾驶汽车等智能移动平台而言至关重要,因为智能移动平台通常需要一致的环境地图来实现定位或规划路径。在进行导航过程中,智能移动平台也需要感知正在移动的物体,从而根据他们的运动特性进行规划和决策。在真实动态环境中,正在移动的行人、汽车和其他动态物体往往给移动智能平台进行环境地图三维重建或 SLAM 系统带来了巨大挑战。例如在建图过程中,正在运动的物体可能会造成地图的不一致并严重影响所生成的三维模型的质量。


图1. 高速路场景中三维激光雷达(LiDAR)动态物体分割结果(红色部分为检测到的移动车辆)


因此,检测和分割传感器数据中的动态物体对于构建一致的环境地图、对无人平台进行状态预测、避免碰撞和路径规划而言至关重要。今天介绍的这篇工作旨在解决自动驾驶应用中的三维激光雷达运动物体检测和分割问题(LiDAR-based Moving Object Segmentation,LiDAR-MOS)。


图2. 该方法使用距离图像来表述LiDAR数据,并使用CNN进行基于距离图像的动态物体分割,最终通过投影关系得到每个点的动态或静态标签,例如图中所展示的红色部分代表检测分割出的动态物体,黑色部分代表静态物体。


该工作提出了一种仅使用 LiDAR 进行运动对象分割的新方法,可以实现实时的激光雷达动态物体分割(LiDAR-MOS)。 该方法不是进行全类别语义分割,即预测多种语义类别,如车辆、行人、道路等,而是将场景分割为动态部分和静态部分,例如该方法可以区分正在行驶的汽车和停放在路边的汽车,如上图所示。


这篇论文所提出的方法利用3D LiDAR的连续距离图像作为结合卷积神经网络(CNN )的输入。该方法利用在类似图像的激光雷达表述上进行分割,因此不需要设计复杂的三维卷积神经网络。


这样做除了可以使用已有的 2D CNN框架外,相较于直接处理 3D 点云的方法,该方法运算速度很快,可以实现实时运行(20Hz)。 为了能够检测运动物体,在实际运用过程中,该方法使用序列距离图像信息。利用所提出的差异图(residual images)和新开放的数据集SemanticKITTI-MOS benchmark,通过时空信息结合的方式,该方法得到了很好的三维激光雷达动态物体分割结果。

图3. 使用距离图生成的差异图像和新开放的LiDAR-MOS数据集来训练现有的CNN实现动态物体检测和分割。


本文还基于SemanticKITTI 构建并开放了基于 LiDAR 的动态物体分割的数据集用以对不同的动态分割算法进行评估。除了对动态物体分割结果进行评估外,本文还提供了两个相关的动态物体分割的应用场景,激光雷达里程计/SLAM以及激光雷达三维建图。


                  


图4. 左:原始点云聚合图,右:利用提出的LiDAR-MOS清理点云后所构建的地图

图5. KITTI Odometry 数据集中不同算法的里程计定位结果


上图中所展示的是利用提出的动态物体分割算法简单地对SLAM输入进行预处理之后得到的定位和建图的结果。可以看到,仅仅使用所提出的LiDAR-MOS去除点云输入中的动态物体,而不需要改变任何 SLAM细节,就可以对SLAM的定位和建图结果起到很大帮助。


如图4所示,在建图结果中使用该算法就可以很好的去除掉所谓”ghost“也就是由动态物体所导致的伪影。如图5所示,在定位结果中,使用动态物体检测提升SLAM的定位结果甚至超过了之前的使用全类别语义信息的SuMa++的定位结果。


使用该方法的另一个好处就是,该方法只是对点云进行了预处理就可以提高SLAM的定位和建图的结果,因此可以很轻松的移植到不同激光雷达SLAM算法中,大家只需要利用LiDAR-MOS动态物体分割滤除掉当前激光雷达中的动态物体就可以提升自己SLAM的性能。


该方法的论文,代码,数据集以及视频都已经公开。

独家重磅课程!

1、视觉SLAM必备基础课程:视觉SLAM必备!ORB-SLAM2源码解析第2期重磅升级!

2、深度学习三维重建课程:基于深度学习的三维重建学习路线

3、激光定位+建图课程:激光SLAM怎么学?手把手教你Cartographer从入门到精通!

4、视觉+IMU定位课程 VINS-Mono:原理深剖+白板从零手推公式+源码逐行精讲!

5、手把手图像三维重建课程:系统学三维重建42讲全部上线!掌握稠密匹配、点云融合、网格重建、纹理贴图!


全国最棒的SLAM、三维视觉学习社区↓


技术交流微信群

欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群,请添加微信号 chichui502 或扫描下方加群,备注:”名字/昵称+学校/公司+研究方向“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

投稿、合作也欢迎联系:simiter@126.com


扫描关注视频号,看最新技术落地及开源方案视频秀 ↓


—   版权声明  —

本公众号原创内容版权属计算机视觉life所有;从公开渠道收集、整理及授权转载的非原创文字、图片和音视频资料,版权属原作者。如果侵权,请联系我们,会及时删除。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/117727