Slam有哪些地方可以用深度学习做优化？

点击进入—>3D视觉工坊学习交流群

目前深度学习在SLAM上的应用可以分为三类，一类是end2end，输入连续帧图像，经过网络直接得到pose信息，例如DeepVO，D3VO；

第二类是还是利用slam前后端的整体框架，用DL来替换某一模块，例如Magicleap团队用SuperPoint和SuperGlue进行特征点的提取和匹配，普林普顿Jia Deng团队的RAFT光流，DroidSLAM主要用学习的方法进行BA，类似工作还有BANet；还有一些工作用深度学习来做场景识别，可以用来SLAM中的回环检测阶段。

第三种则是利用深度学习的其他模块来提取一些更高级的语义特征，也就是语义SLAM，例如Yang Shichao的CubeSlam，利用图像检测出图像的语义信息例如车，然后恢复出三维Box，加入到系统中一起优化，提升鲁棒性。

我认为即使是想用DL来做slam，那基于几何方法的SLAM也是必须掌握的，尤其是后端的优化部分，cost function需要自己设计吧，光流或者描述子的网络也得自己设计吧，这些如果几何方法不懂又何谈用学习的方法替代，或者说如果不知道传统法在这个场景不好的原因，那又如何说服别人学习就一定可以呢。总之，个人的观点是不太看好直接前后端在一起来一个大的网络，把中间完全当成黑箱，这种不是SLAM的初衷，SLAM的后端是一个有明确数学模型的阶段，相信很多企业也不敢这么用。反之按照前后端的思路，进行模块的替换，或者说几何和学习一起来用，提升系统的性能，这才是应该注意的地方。

1、在特征点和描述子提取领域，目前深度学习的算子在性能上远远比不上传统的算子(如ORB等），在效果上superpoint已经可以媲美sift/surf这样的特征点，在一些特殊场景的特征提取上要优于SIFT。个人觉得CNN学出来的特征点在性能和效率上是可以超越handcrafted的特征点，本人也很看好这个方向的发展。

2、端到端的深度学习，学术圈很热门，但是深度学习是很难学出结构性的东西的，本人也尝试过一些深度学习的模型，得到的深度图比较平滑，但是缺少空间的结构; 对于运动较小的场景，深度学习做位姿估计是能够产生一定的效果，但是对于kitti这种运动较大的汽车采集的图像，深度学习估计的位姿效果很差，个人不太看好这个方向的发展。

语义SLAM

回环检测

点云配准

重磅！粉丝学习交流群已成立

交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。

扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，微信号：dddvisiona

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看，3天内无条件退款

高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~