.756 工程科学学报，第43卷，第6期 要意义.一方面，借助语义信息提升了复杂场景下 义信息，充分考虑目标对象的大小，使得单目尺度 的识别精度，为视觉里程计、位姿估计、回环检测 初始化处理更加高效和简洁，基于公开数据集的 等带来更多的优化条件，提高了定位精度和鲁棒 实验结果验证了其在各种场景应用中的有效性. 性：另一方面，借助语义信息将数据关联从传统的 (2)面向数据关联 像素级别提升到物体级别，将感知的几何环境信 在V-SLAM框架中，根据更新频率，数据关联 息赋以语义标签，进而得到高层次的语义地图，可 可以被分为两类：短期关联（如特征匹配）和长期关 帮助机器人进行自主环境理解和人机交互 联（如回环检测）.基于环境语义信息的SLAM研 2语义与SLAM系统定位 究提出了一种基于中期数据关联机制的新思路. Bowman等Po1利用目标检测，整合尺度信息与 移动机器人对系统定位的性能要求主要包括 语义信息，用于SLAM系统的位姿估计.作者在应 3个方面：定位实时性、定位精度和定位鲁棒性 用时发现，目标对象的不合理数据关联，会严重影 目前SLAM的实时性已达到较高的水平，因此对 响定位与建图的结果.因此提出了概率数据关联 于SLAM技术真实应用于机器人领域，亟需提高 机制，在处理数据关联过程中充分考虑语义信息 SLAM系统的定位精度和鲁棒性.本节针对SLAM 的不确定性.通过引入最大期望估计(Expectation 系统结合环境语义信息提高系统定位的这两项重 maximization,.EM),根据语义分类结果计算数据关 要性能展开介绍. 联的概率，成功地将语义SLAM转换成概率问题， 2.1语义与定位精度 获得了ICRA2017年的最佳论文 定位是确定机器人在其工作环境中所处位置 Lianos等2四在此基础上，提出了全新的视觉 的过程，定位精度是SLAM系统中最为基本也是 语义里程计框架(Visual semantic odometry,VSO), 最重要的考核指标，是移动机器人开展导航和路 利用重投影前后语义标签具有的一致性来实现中 径规划任务的先决条件.利用语义分割和目标检 期(Medium-term)连续点跟踪.使用距离变换将分 测等技术将物体划分为更加具体的目标，非常适 割结果的边缘作为约束，利用重投影误差构造约 合SLAM这种需要精确几何约束问题的系统.结 束条件，整合语义约束到姿态和地图优化中，以 合环境语义信息，可有效改善单目视觉定位过程 改善系统的平移漂移问题.所提算法可以直接融 中的尺度不确定性问题和累积漂移等问题，进而 合进已有的直接法或间接法视觉里程计框架中， 提高系统定位精度 并分别在ORB-SLAM222(间接法VO代表)和 (1)面向单目初始化 PhotoBundle!2(直接法VO代表)系统中对语义信 由于单目相机存在尺度不确定性问题，单目视 息引入的效果进行实验对比，结果表明，添加语义 觉SLAM系统不可避免地出现尺度模糊和随时间 约束后有效减少了系统的平移漂移现象 漂移等现象，无法准确估计移动机器人的位姿6 (3)面向位姿优化 因此，如何修正尺度模糊和漂移是单目视觉SLAM 在V-SLAM系统中，需要解决的主要问题是 系统初始化中的关键问题 机器人的状态估计问题，常见的优化算法为基于 Frost等1刀提出基于混合多尺度可变模型的目 粒子滤波的优化算法和基于非线性优化的算法. 标检测系统I劉检测物体，并与SLAM系统中的关 在基于粒子滤波的优化算法中，可利用环境 键帧进行数据关联，然后对物体尺寸进行估计，生 语义信息更新粒子状态，进而更精准地进行位姿 成地图地标，最后地标与相机位姿共同参与局部 估计.Bavle等P提出了一种基于双目视觉里程计 优化，以解决尺度模糊和漂移的问题，保证了全局 和室内环境语义信息的粒子滤波优化方法，粒子 地图的一致性.Sucar与Hayet在贝叶斯框架内， 滤波器的预测阶段使用双目视觉里程计估计机器 通过基于深度学习的目标检测算法观测物体，确 人的三维姿态，并使用惯性和语义信息更新三维 定其先验高度，然后将局部地图中3D点投影到目 姿势，进而对机器人进行无漂移的姿态估计 标检测的2D图像上，确定目标检测区域的边界点 在基于非线性优化的算法中，可借助目标检 并投影回3D空间，进而确定物体的实际高度，最 测算法，将物体作为路标，融合到一个优化算法 后将先验高度与实际高度之比设置为尺度因子， 中，以提高系统定位精度.Nicholson等提出了 用于单目SLAM系统中的尺度矫正，从而准确估 面向对象的语义SLAM系统QuadricSLAM,利用 计移动机器人位姿.两项研究共同引入了环境语 椭圆体（对偶双曲面）对物体进行三维建模，紧凑要意义. 一方面，借助语义信息提升了复杂场景下 的识别精度，为视觉里程计、位姿估计、回环检测 等带来更多的优化条件，提高了定位精度和鲁棒 性；另一方面，借助语义信息将数据关联从传统的 像素级别提升到物体级别，将感知的几何环境信 息赋以语义标签，进而得到高层次的语义地图，可 帮助机器人进行自主环境理解和人机交互. 2    语义与 SLAM 系统定位 移动机器人对系统定位的性能要求主要包括 3 个方面：定位实时性、定位精度和定位鲁棒性. 目前 SLAM 的实时性已达到较高的水平，因此对 于 SLAM 技术真实应用于机器人领域，亟需提高 SLAM 系统的定位精度和鲁棒性. 本节针对 SLAM 系统结合环境语义信息提高系统定位的这两项重 要性能展开介绍. 2.1    语义与定位精度 定位是确定机器人在其工作环境中所处位置 的过程，定位精度是 SLAM 系统中最为基本也是 最重要的考核指标，是移动机器人开展导航和路 径规划任务的先决条件. 利用语义分割和目标检 测等技术将物体划分为更加具体的目标，非常适 合 SLAM 这种需要精确几何约束问题的系统. 结 合环境语义信息，可有效改善单目视觉定位过程 中的尺度不确定性问题和累积漂移等问题，进而 提高系统定位精度. （1）面向单目初始化. 由于单目相机存在尺度不确定性问题，单目视 觉 SLAM 系统不可避免地出现尺度模糊和随时间 漂移等现象，无法准确估计移动机器人的位姿[16] . 因此，如何修正尺度模糊和漂移是单目视觉 SLAM 系统初始化中的关键问题. Frost 等[17] 提出基于混合多尺度可变模型的目 标检测系统[18] 检测物体，并与 SLAM 系统中的关 键帧进行数据关联，然后对物体尺寸进行估计，生 成地图地标，最后地标与相机位姿共同参与局部 优化，以解决尺度模糊和漂移的问题，保证了全局 地图的一致性. Sucar 与 Hayet[19] 在贝叶斯框架内， 通过基于深度学习的目标检测算法观测物体，确 定其先验高度，然后将局部地图中 3D 点投影到目 标检测的 2D 图像上，确定目标检测区域的边界点 并投影回 3D 空间，进而确定物体的实际高度，最 后将先验高度与实际高度之比设置为尺度因子， 用于单目 SLAM 系统中的尺度矫正，从而准确估 计移动机器人位姿. 两项研究共同引入了环境语 义信息，充分考虑目标对象的大小，使得单目尺度 初始化处理更加高效和简洁. 基于公开数据集的 实验结果验证了其在各种场景应用中的有效性. （2）面向数据关联. 在 V-SLAM 框架中，根据更新频率，数据关联 可以被分为两类：短期关联（如特征匹配）和长期关 联（如回环检测）. 基于环境语义信息的 SLAM 研 究提出了一种基于中期数据关联机制的新思路. Bowman 等[20] 利用目标检测，整合尺度信息与 语义信息，用于 SLAM 系统的位姿估计. 作者在应 用时发现，目标对象的不合理数据关联，会严重影 响定位与建图的结果. 因此提出了概率数据关联 机制，在处理数据关联过程中充分考虑语义信息 的不确定性. 通过引入最大期望估计（Expectation maximization，EM），根据语义分类结果计算数据关 联的概率，成功地将语义 SLAM 转换成概率问题， 获得了 ICRA2017 年的最佳论文. Lianos 等[21] 在此基础上，提出了全新的视觉 语义里程计框架（Visual semantic odometry，VSO）， 利用重投影前后语义标签具有的一致性来实现中 期（Medium-term）连续点跟踪. 使用距离变换将分 割结果的边缘作为约束，利用重投影误差构造约 束条件，整合语义约束到姿态和地图优化中，以 改善系统的平移漂移问题. 所提算法可以直接融 合进已有的直接法或间接法视觉里程计框架中， 并 分 别 在 ORB-SLAM2[22] （ 间 接 法 VO 代 表 ） 和 PhotoBundle[23] （直接法 VO 代表）系统中对语义信 息引入的效果进行实验对比，结果表明，添加语义 约束后有效减少了系统的平移漂移现象. （3）面向位姿优化. 在 V-SLAM 系统中，需要解决的主要问题是 机器人的状态估计问题，常见的优化算法为基于 粒子滤波的优化算法和基于非线性优化的算法. 在基于粒子滤波的优化算法中，可利用环境 语义信息更新粒子状态，进而更精准地进行位姿 估计. Bavle 等[24] 提出了一种基于双目视觉里程计 和室内环境语义信息的粒子滤波优化方法. 粒子 滤波器的预测阶段使用双目视觉里程计估计机器 人的三维姿态，并使用惯性和语义信息更新三维 姿势，进而对机器人进行无漂移的姿态估计. 在基于非线性优化的算法中，可借助目标检 测算法，将物体作为路标，融合到一个优化算法 中，以提高系统定位精度. Nicholson 等[25] 提出了 面向对象的语义 SLAM 系统 QuadricSLAM，利用 椭圆体（对偶双曲面）对物体进行三维建模，紧凑 · 756 · 工程科学学报，第 43 卷，第 6 期