【泡泡一分钟】VoteNet:一个3D深度学习的AR校准方法，用于使用深度数据的机器人

每天一分钟，带你读遍机器人顶级会议文章

标题：A 3D-Deep-Learning-Based Augmented Reality Calibration Method for Robotic Environments Using Depth Sensor Data

作者：Linh Kästner, Vlad Catalin Frasineanu, Jens Lambrech

来源：2020 IEEE International Conference on Robotics and Automation (ICRA)

编译：李海雄

审核：柴毅，王靖淇

这是泡泡一分钟推送的第 686 篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

由于AR和移动机器人使用成本低和高时效性等巨大潜力，在业界引起了越来越多的关注。为了使用AR，必须在AR设备和现实环境之间进行校准。处理移动机器人中由于所有物体的移动性造成整个环境的动态变化是一个挑战。因此，我们提出了一个使用3D深度数据标定AR设备的新颖方法。我们使用头戴式的AR设备Microsoft Holoens的深度相机进行基于深度学习的校准。因此，我们基于最近发布的VoteNet架构修改了一个神经网络，该架构可使用Hololens观测到的原始点云数据。本文最终获得了令人满意的实验结果，并且消除了标记等外部工作，为AR的集成提供了更加直观灵活的工作流程。本文试验结果适用于所有的深度相机，并有望获得进一步研究。此外，我们介绍了一种开源3D点云标记工具，这是据我们所知的第一个用于标记原始点云数据的工具。

1. 基于一个现有的最优的目标检测网络，提出了一个可直接用于点云数据的神经网络。

2. 将目标检测神经网络和AR结合以改善初始校准，从而使AR得集成更加直观和灵活。

3. 基于以前的工作(原文参考文献9)，扩展了AR机器人的应用程序，以增加用户体验。

4. 开发了用于3D点云的开源3D标注工具

图1 坐标对齐的概念—为了实现AR，要考虑AR设备和ROS映射之间的转换关系，因为所有数据例如传感器信息、地图和导航数据均参考ROS地图。通过机器人SLAM的地图可知道ROS映射中机器人的位置。因此，要实现AR设备与ROS映射之间的转换，我们必须实现AR设备与机器人之间的转换。这是通过本文提出的深度学习完成的。

图2 整体工作流程图

图3 标注工具—使用PPTK可视化工具构建的标签工具。在左侧，显示了初始可视化效果，用户必须选择机器人基座的3个角。在右侧，显示用户必须确认的已处理边界框。如果不正确，用户可以重试选择角。

图4 特征学习模块-输入经过4个Set抽象层（SA），并由两个特征传播层（FP）串联在一起。最后，第二个SA的采样点代表最终的种子点，而最后FP层的输出代表它们的相应特征。然后在投票模块中进一步处理输出。

图5 投票模块—来自上一个模块的输入被连接在一起，并被resize为大小为（1024B）x259的2D矩阵，其中B代表批次中点云的数量。随后，输入将由3个完全连接的层（FC）进行进一步处理，同时对前两层进行批量标准化和RELU激活步骤。输出的形状将与输入的形状相同，并且将表示为了获得投票而必须添加到种子的偏移量。最后，将输出Bx1024x3投票（XYZ位置）和Bx1024x256特征

图6 对象提议模块—Set抽象层（SA）从投票中抽取256点，将形成长度为64点的组。将其与另一个具有3层的最终多层感知器（MLP）一起处理以生成建议部分。

图7 训练数据上的种子和投票—黄点表示种子和整个学习过程中产生的投票。可以观察到种子是随机分布在点云上的。投票点围绕对象中心围绕对象簇，然而种子点远离对象，学习在点云外投票以不影响损失函数并且损失函数最后会消失。

表8 机器人本地化演示。左图是可视化后的视觉效果。右图确是从Hololens角度来看：点云被提取并送到神经网络，该神经网络对机器人的位置，大小和旋转做出预测。然后，直接在用户视角绘制3D边界框（红色）。

Abstract

    Augmented Reality and mobile robots are gaining increased attention within industries due to the high potential to make processes cost and time efficient. To facilitate augmented reality, a calibration between the Augmented Reality device and the environment is necessary. This is a challenge when dealing with mobile robots due to the mobility of all entities making the environment dynamic. On this account, we propose a novel approach to calibrate Augmented Reality devices using 3D depth sensor data. We use the depth camera of a Head Mounted Augmented Reality Device, the Microsoft Hololens, for deep learning-based calibration. Therefore, we modified a neural network based on the recently published VoteNet architecture which works directly on raw point cloud input observed by the Hololens. We achieve satisfying results and eliminate external tools like markers, thus enabling a more intuitive and flexible work flow for Augmented Reality integration. The results are adaptable to work with all depth cameras and are promising for further research. Furthermore, we introduce an open source 3D point cloud labeling tool, which is to our knowledge the first open source tool for labeling raw point cloud data.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章，如想查看更多文章请关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

百度网盘提取码：2n8b

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

商业合作及转载请联系paopaorobot@163.com