·102· 智能系统学报 第13卷 前端对视觉传感器得到的图像的处理考虑两帧 程以及全局位姿图的回环检测与优化线程三线程完 的信息，出现错误匹配后便无法进行，视觉里程计 成SLAM.能够确保地图与轨迹的全局一致性。其 也存在累积误差：后端用来解决这些问题，对全局 中，实时跟踪特征点线程对每帧新来的图像提取 进行优化。后端优化不仅仅考虑相邻两帧之间的信 ORB特征，并与最近的关键帧比较，计算特征点的 息，而且把所有帧（包括很久之前的状态）的信息都 位置并粗略估计相机位姿；局部捆集优化线程求解 考虑进来，其本质上是1个线性最小二乘问题。与 1个包括局部空间内的特征点与相机位姿的BA 此同时，后端也将信息反馈给前端用于回环检测、 (bundle adjustment)问题；全局位姿图的回环检测与 验证等。上述优化问题在SLAM中表示成图（图论 优化线程对全局的地图关键帧进行回环检测，消除 意义上的图)的形式。1个图由若干个顶点，以及连 累积误差。继PTAM的双线程结构之后，ORB-SLAM 接着这些顶点的边组成：用顶点表示优化变量，用 的三线程结构又给研究者带来新的思路。相比于 边表示误差项。于是对任意1个上述形式的非线性 PTAM,ORB-SLAM有着更为宽松的关键帧选取策 最小二乘问题可以构建与之对应的1个图。后端优 略。ORB-SLAM在优化位姿时循环优化4次，确保 化工具常用g2o、Google Ceres、GTSAM等。 得到更多的正确匹配。所有的这些改进使得ORB- 2.2.1基于特征提取的VSLAM SLAM具有更好的鲁棒性，即使在较差的场景也能 2007年，Klein等u8提出的PTAM(parallel 顺利工作。ORB-SLAM2提供单目、双目和RGBD tracking and mapping)是基于关键帧的单目VSLAM 接口，这使得它具有更好的泛用性。然而，ORB的 系统。PTAM提出并实现了跟踪与建图过程的并行 建图部分只含有稀疏的地图点，只能满足定位需 化。这是视觉SLAM中首次出现前后端的概念，对 求，用于导航就不足了。另外，整个ORB-SLAM系 后来许多视觉SLAM系统的设计提供了方向。PTAM 统都采用特征点进行计算，对于每张图都要计算 将姿态跟踪和建立地图设计为两个线程：姿态跟踪 ORB特征，这使得ORB-SLAM系统非常耗时。 线程（前端）不修改地图，只是用已知地图来快速跟 2.2.2基于直接法的VSLAM 踪；建立地图线程（后端）引入关键帧机制，把若干 特征点法在VSLM中占据着主流地位，但关键 个关键帧串起来继而优化其轨迹和地图，此过程专 点的提取与描述子的计算非常耗时，而且使用特征 注于地图的建立、维护和更新。PTAM在选取关键 点时，只使用到特征点的信息，其他的像素点都被 帧、匹配特征、估计相机位置方面十分出色，PTAM 忽略了。针对这些缺点，出现了直接法VSLAM,该 在重定位上（跟踪失败后需要进行重定位以继续跟 法既不必提取关键点也不必计算描述子，而是基于 踪)也表现突出，然而该算法没有设计回环检测部 灰度不变假设，根据像素来直接计算相机运动。直 分，且缺少帧数过多时的处理，视图不变特性较差， 接法是从光流4演变而来的，光流描述了像素在图 鲁棒性不够，需要人工干预地图的构建过程。 像中的运动，而直接法则附带1个相机运动模型。 RGBD-SLAM-V2是F.Endres在2014年提 直接法中，假设在各个视角下，1个空间点成像的灰 出的一种使用深度相机计算SLAM的系统。RGBD- 度值是恒定不变的。该方法直接根据像素亮度信 SLAM-V2前端提取3-D点的图像特征，进行匹配 息，估计相机的运动。直接法完全舍去了关键点提 渲染点云，后端建立位姿图并用g20进行优化，最 取和描述子计算，不仅避开了耗时的特征提取，而 后输出地图。RGBD-SLAM-V2仅使用深度相机一 且保留了所有特征信息。 RGBD相机，同时采用SLAM领域里的图像特征提 文献[46]里的DTAM(dense tracking and map- 取、回环检测、点云、图优化等目前非常流行的技 ping),继续使用关键帧的架构，但对关键帧的处理 术，效果良好，但特征点提取、点云渲染都是费时的 与传统的特征点提取大相径庭。DTAM中的直接 环节，算法实时性有待改进。 法(direct method)在默认环境亮度不变的前提下， 2015年，ORB-SLAM4算法被提出。ORB- 对每一个像素的深度数据进行反深度(inverse SLAM整合当前各种主流的方式计算SLAM,是现 depth)计算和不断优化，从而建立稠密地图并且稳 代SLAM系统中非常完善且易用的算法之一。ORB- 定地跟踪。DTAM准、稳，但对每一个像素都计算 SLAM整个系统都是围绕着ORB特征实现的，对 使得实时计算困难，需通过GPU加速。 输入的图像信息处理时使用ORB特征，在视觉里 文献[47]中J.Enge等在2014年提出了LSD 程计与回环检测环节使用ORB字典。ORB-SLAM SLAM(large-scale direct monocular SLAM),LSD- 创新地使用实时跟踪特征点线程、局部捆集优化线 SLAM是直接法在单目SLAM中的实现。LSD-前端对视觉传感器得到的图像的处理考虑两帧 的信息，出现错误匹配后便无法进行，视觉里程计 也存在累积误差；后端用来解决这些问题，对全局 进行优化。后端优化不仅仅考虑相邻两帧之间的信 息，而且把所有帧（包括很久之前的状态）的信息都 考虑进来，其本质上是 1 个线性最小二乘问题。与 此同时，后端也将信息反馈给前端用于回环检测、 验证等。上述优化问题在 SLAM 中表示成图（图论 意义上的图）的形式。1 个图由若干个顶点，以及连 接着这些顶点的边组成；用顶点表示优化变量，用 边表示误差项。于是对任意 1 个上述形式的非线性 最小二乘问题可以构建与之对应的 1 个图。后端优 化工具常用 g2o、Google Ceres、GTSAM 等。 2.2.1 基于特征提取的 VSLAM 2007 年，Klein 等 [18]提出的 PTAM (parallel tracking and mapping) 是基于关键帧的单目 VSLAM 系统。PTAM 提出并实现了跟踪与建图过程的并行 化。这是视觉 SLAM 中首次出现前后端的概念，对 后来许多视觉 SLAM 系统的设计提供了方向。PTAM 将姿态跟踪和建立地图设计为两个线程：姿态跟踪 线程（前端）不修改地图，只是用已知地图来快速跟 踪；建立地图线程（后端）引入关键帧机制，把若干 个关键帧串起来继而优化其轨迹和地图，此过程专 注于地图的建立、维护和更新。PTAM 在选取关键 帧、匹配特征、估计相机位置方面十分出色，PTAM 在重定位上（跟踪失败后需要进行重定位以继续跟 踪）也表现突出，然而该算法没有设计回环检测部 分，且缺少帧数过多时的处理，视图不变特性较差， 鲁棒性不够，需要人工干预地图的构建过程。 RGBD-SLAM-V2[42] 是 F. Endres 在 2014 年提 出的一种使用深度相机计算 SLAM 的系统。RGBD￾SLAM-V2 前端提取 3-D 点的图像特征，进行匹配， 渲染点云，后端建立位姿图并用 g2o 进行优化，最 后输出地图。RGBD-SLAM-V2 仅使用深度相机—— RGBD 相机，同时采用 SLAM 领域里的图像特征提 取、回环检测、点云、图优化等目前非常流行的技 术，效果良好，但特征点提取、点云渲染都是费时的 环节，算法实时性有待改进。 2015 年，ORB-SLAM[43]算法被提出。ORB￾SLAM 整合当前各种主流的方式计算 SLAM，是现 代 SLAM 系统中非常完善且易用的算法之一。ORB￾SLAM 整个系统都是围绕着 ORB 特征实现的，对 输入的图像信息处理时使用 ORB 特征，在视觉里 程计与回环检测环节使用 ORB 字典。ORB-SLAM 创新地使用实时跟踪特征点线程、局部捆集优化线 程以及全局位姿图的回环检测与优化线程三线程完 成 SLAM，能够确保地图与轨迹的全局一致性。其 中，实时跟踪特征点线程对每帧新来的图像提取 ORB 特征，并与最近的关键帧比较，计算特征点的 位置并粗略估计相机位姿；局部捆集优化线程求解 1 个包括局部空间内的特征点与相机位姿的 BA （bundle adjustment）问题；全局位姿图的回环检测与 优化线程对全局的地图关键帧进行回环检测，消除 累积误差。继 PTAM 的双线程结构之后，ORB-SLAM 的三线程结构又给研究者带来新的思路。相比于 PTAM，ORB-SLAM 有着更为宽松的关键帧选取策 略。ORB-SLAM 在优化位姿时循环优化 4 次，确保 得到更多的正确匹配。所有的这些改进使得 ORB￾SLAM 具有更好的鲁棒性，即使在较差的场景也能 顺利工作。ORB-SLAM2[44]提供单目、双目和 RGBD 接口，这使得它具有更好的泛用性。然而，ORB 的 建图部分只含有稀疏的地图点，只能满足定位需 求，用于导航就不足了。另外，整个 ORB-SLAM 系 统都采用特征点进行计算，对于每张图都要计算 ORB 特征，这使得 ORB-SLAM 系统非常耗时。 2.2.2 基于直接法的 VSLAM 特征点法在 VSLM 中占据着主流地位，但关键 点的提取与描述子的计算非常耗时，而且使用特征 点时，只使用到特征点的信息，其他的像素点都被 忽略了。针对这些缺点，出现了直接法 VSLAM，该 法既不必提取关键点也不必计算描述子，而是基于 灰度不变假设，根据像素来直接计算相机运动。直 接法是从光流[45]演变而来的，光流描述了像素在图 像中的运动，而直接法则附带 1 个相机运动模型。 直接法中，假设在各个视角下，1 个空间点成像的灰 度值是恒定不变的。该方法直接根据像素亮度信 息，估计相机的运动。直接法完全舍去了关键点提 取和描述子计算，不仅避开了耗时的特征提取，而 且保留了所有特征信息。 文献[46]里的 DTAM（dense tracking and map￾ping），继续使用关键帧的架构，但对关键帧的处理 与传统的特征点提取大相径庭。DTAM 中的直接 法（direct method）在默认环境亮度不变的前提下， 对每一个像素的深度数据进行反深度（inverse depth）计算和不断优化，从而建立稠密地图并且稳 定地跟踪。 DTAM 准、稳，但对每一个像素都计算 使得实时计算困难，需通过 GPU 加速。 文献[47]中 J. Engel 等在 2014 年提出了 LSD￾SLAM（large-scale direct monocular SLAM），LSD￾SLAM 是直接法在单目 SLAM 中的实现。LSD- ·102· 智 能 系 统 学 报 第 13 卷