【泡泡一分钟】基于深度学习的三维场景几何约束相机定位

每天一分钟，带你读遍机器人顶级会议文章

标题：3D Scene Geometry-Aware Constraint for Camera Localization with Deep Learning

作者：Mi Tian , Qiong Nie , Hao Shen

来源：2020 IEEE International Conference on Robotics and Automation (ICRA)

编译：张宁

审核：柴毅，王靖淇

这是泡泡一分钟推送的第 764 篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摄像机定位是自动驾驶车辆和移动机器人全局定位的基础和关键组成部分，可用于进一步的环境感知、路径规划和运动控制。近年来，基于卷积神经网络的端到端方法被大量研究，以实现甚至超越基于三维几何的传统方法。在这项工作中，我们提出了一个紧凑的网络绝对相机位姿回归。从这些传统的方法中得到启发，利用所有可用的信息，包括运动、深度和图像内容，引入了三维场景几何感知约束。通过定义像素级光度损失和相机结构相似性损失，我们将这个约束作为正则化术语添加到我们提出的网络中。为了衡量我们的方法，我们用我们提出的方法和最新的技术在具有挑战性的不同场景，包括室内和室外环境中进行了测试。实验结果表明，该方法在预测精度和收敛效率方面都有显著提高。

图1:我们提出的3D场景几何感知约束下的摄像机定位的自监督深度学习的示意图表示。

图2:Microsoft 7-Scene上的摄像头定位结果。从左到右，四个测试序列分别是头-01序列、火-04序列、南瓜-01序列、楼梯-01序列。这三个结果从上到下分别来自PoseNet[2]、MapNet[24]和我们的方法(绿色表示ground truth，红色表示prediction)。

图3:牛津机器人汽车数据集原始彩色图像和深度图由激光雷达捕获。环路路由子集，总长度为1120m。

Abstract

Camera localization is a fundamental and key component of autonomous driving vehicles and mobile robots tolocalize themselves globally for further environment perception,path planning and motion control. Recently end-to-end approaches based on convolutional neural network have been much studied to achieve or even exceed 3D-geometry based traditional methods. In this work, we propose a compact network for absolute camera pose regression. Inspired from those traditional methods, a 3D scene geometry-aware constraint is also introduced by exploiting all available information including motion, depth and image contents. We add this constraint as a regularization term to our proposed network by defining a pixel-level photometric loss and an image-level structural similarity loss. To benchmark our method, different challenging scenes including indoor and outdoor environment are tested with our proposed approach and state-of-the-arts. And the experimental results demonstrate significant performance improvement of our method on both prediction accuracy and convergence efficiency.

如果你对本文感兴趣，请点击点击阅读原文下载完整文章，如想查看更多文章请关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

百度网盘提取码：aari

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡网站：www.paopaorobot.org

泡泡论坛：http://paopaorobot.org/bbs/

商业合作及转载请联系paopaorobot@163.com