李小倩等：基于环境语义信息的同步定位与地图构建方法综述 .757· 地表示物体的大小、位置和方向，并作为路标添加 回率上有很好的表现.此外，所提算法仅通过将查 到优化公式中，联合估计相机位姿和对偶二次曲 询图像的局部描述子转换为词典的视觉词，就能 面，以提高系统的定位精度 判断已访问过的地点，不需要任何预训练的步骤， 类似的，卡内基梅隆大学机器人研究所Yang 能够满足很好的实时性要求 与Scherer提出了CubeSLAM系统，用单目相机 张括嘉等利用YOLOv:3目标检测算法获 实现了对象级的定位与建图.作者利用目标检测 取环境中关键目标的语义信息，建立目标检测结 算法生成2D边界框，通过消失点法(Vanishing 果之间的相对位置关系，根据连续关键帧的相似 points,.VP)生成物体三维立方体，并将物体作为路 度变化情况进行回环判断.所提算法在公开数据 标，结合物体约束信息与几何信息，融合到一个 集上取得了较好的效果，与单纯利用传统视觉特 最小二乘公式中，改善相机位姿估计，提高了 征的算法相比，环境语义信息的应用有效提高了 SLAM的定位精度.与基于特征点的SLAM系统 室内场景下的闭环检测准确性 相比，对象级SLAM系统可以提供更多的几何约 2.2语义与定位鲁棒性 束和尺度一致性，所提算法在公开数据集上得到 定位鲁棒性是机器人安全运行的保证，是移 了较好的位姿估计精度，同时还提高了3D物体的 动机器人系统重要的考量指标.传统的V-SLAM 检测精度.同时，Yang与Scherert7在此基础上，结 系统在纹理特征缺失、光照变化较大和高速动态 合Pop-up SLAM2的思想，提出了一个无需先验 等场景下，非常容易出现定位信息丢失的情况，尤 物体和模型的联合物体和平面估计的单目SLAM 其是在自动驾驶这种对安全性要求较高的应用领 系统.首先，利用高阶图形模型，结合语义和遮挡 域，一旦定位信息丢失，后果将不堪设想.利用环 等约束推断单张图像中的三维物体和平面，然 境语义信息可有效改善传统V-SLAM系统面临的 后将提取的物体和平面，结合相机和特征点位姿， 这些问题，有效提升系统定位的鲁棒性 放在统一的框架中进行优化.实验结果表明，所提 (1)面向弱纹理环境 算法在ICL NUIM和TUM mono数据集中定位精 传统V-SLAM方案中采用的图像特征语义级 度准确，并可以在结构化环境中生成稠密地图. 别低，造成特征的可区别性较弱，在弱纹理等缺少 (4)面向重定位与回环检测 显著特征的环境中，传统基于特征点的方法难以 重定位和回环检测的目的不同，但通常可以 进行准确的运动估计.借助深度学习的方法提取 采用相同的技术.重定位主要是跟踪丢失时重新 环境中的立体特征，并用于优化位姿估计，可提升 找回当前姿态，恢复相机姿态估计；回环检测是识 系统定位鲁棒性 别机器人曾经到过的场景，得到几何一致的映射， Yang等28提出的Pop-up SLAM系统，验证了 从而解决漂移问题，提高全局精度.传统的SLAM 场景理解对弱纹理环境下机器人状态估计改善的 算法大都依赖于低级别的几何特征，使得重定位 有效性.利用深度学习的方法提取环境中墙-地的 和回环检测通常依赖于相机的视角，在特征不明 边界信息，并根据单幅图像生成立体平面模型，同 显或重复性的纹理环境中容易检测失败.语义 时利用平面法线间的差、平面间的距离和平面间 SLAM系统利用目标识别推测标志物的种类和大 的投影重叠3个几何信息进行平面匹配.然后将 小，产生易于识别的标志物，进而提高系统的定位 Pop-up模型提供的深度估计融合到LSD-SLAM 精度 深度图中，提高LSD-SLAM的深度估计质量，以提 Gawel等B0提出了一种基于图的语义重定位 高系统的鲁棒性.Ganti和Waslander指出从信 算法，将具有语义目标位置的关键帧组合成一组 息嫡较低的区域提取特征点，位姿估计的准确性 三维图，并利用图匹配算法求解相机在全局地图 低，对这些特征点跟踪，会增加错误数据关联的 中的位置.Konstantinos等B别提出了一种基于地点 风险，他们提出了一种基于信息论的特征选取方 视觉词描述的回环检测算法，通过对输入的图片 法，利用语义分割的不确定性概念计算信息交叉 流进行动态分割，定义一个个“地点”，并通过在线 嫡.该方法减少了对特征点数量的要求，显著提高 聚类算法，将图像的描述子转化为地图中的相应 了系统实时性和鲁棒性，而在精度上没有任何明 的视觉词.系统通过概率函数判断回环检测的候 显损失 选地点，并通过最近邻投票算法，匹配候选地点中 Qin等7针对地下停车场自动代客泊车系统， 最准确的那一帧图像.实验表明，算法在精确和召 提出了一种基于语义特征的定位方法.在狭窄拥地表示物体的大小、位置和方向，并作为路标添加 到优化公式中，联合估计相机位姿和对偶二次曲 面，以提高系统的定位精度. 类似的，卡内基梅隆大学机器人研究所 Yang 与 Scherer[26] 提出了 CubeSLAM 系统，用单目相机 实现了对象级的定位与建图. 作者利用目标检测 算法生 成 2D 边界框 ，通过消失点法 （ Vanishing points，VP）生成物体三维立方体，并将物体作为路 标，结合物体约束信息与几何信息，融合到一个 最小二乘公式中 ，改善相机位姿估计 ，提高 了 SLAM 的定位精度. 与基于特征点的 SLAM 系统 相比，对象级 SLAM 系统可以提供更多的几何约 束和尺度一致性，所提算法在公开数据集上得到 了较好的位姿估计精度，同时还提高了 3D 物体的 检测精度. 同时，Yang 与 Scherer[27] 在此基础上，结 合 Pop-up SLAM[28] 的思想，提出了一个无需先验 物体和模型的联合物体和平面估计的单目 SLAM 系统. 首先，利用高阶图形模型，结合语义和遮挡 等约束[29] ，推断单张图像中的三维物体和平面，然 后将提取的物体和平面，结合相机和特征点位姿， 放在统一的框架中进行优化. 实验结果表明，所提 算法在 ICL NUIM 和 TUM mono 数据集中定位精 度准确，并可以在结构化环境中生成稠密地图. （4）面向重定位与回环检测 重定位和回环检测的目的不同，但通常可以 采用相同的技术. 重定位主要是跟踪丢失时重新 找回当前姿态，恢复相机姿态估计；回环检测是识 别机器人曾经到过的场景，得到几何一致的映射， 从而解决漂移问题，提高全局精度. 传统的 SLAM 算法大都依赖于低级别的几何特征，使得重定位 和回环检测通常依赖于相机的视角，在特征不明 显或重复性的纹理环境中容易检测失败. 语义 SLAM 系统利用目标识别推测标志物的种类和大 小，产生易于识别的标志物，进而提高系统的定位 精度. Gawel 等[30] 提出了一种基于图的语义重定位 算法，将具有语义目标位置的关键帧组合成一组 三维图，并利用图匹配算法求解相机在全局地图 中的位置. Konstantinos 等[31] 提出了一种基于地点 视觉词描述的回环检测算法，通过对输入的图片 流进行动态分割，定义一个个“地点”，并通过在线 聚类算法，将图像的描述子转化为地图中的相应 的视觉词. 系统通过概率函数判断回环检测的候 选地点，并通过最近邻投票算法，匹配候选地点中 最准确的那一帧图像. 实验表明，算法在精确和召 回率上有很好的表现. 此外，所提算法仅通过将查 询图像的局部描述子转换为词典的视觉词，就能 判断已访问过的地点，不需要任何预训练的步骤， 能够满足很好的实时性要求. 张括嘉等[32] 利用 YOLOv3[33] 目标检测算法获 取环境中关键目标的语义信息，建立目标检测结 果之间的相对位置关系，根据连续关键帧的相似 度变化情况进行回环判断. 所提算法在公开数据 集上取得了较好的效果，与单纯利用传统视觉特 征的算法相比，环境语义信息的应用有效提高了 室内场景下的闭环检测准确性. 2.2    语义与定位鲁棒性 定位鲁棒性是机器人安全运行的保证，是移 动机器人系统重要的考量指标. 传统的 V-SLAM 系统在纹理特征缺失、光照变化较大和高速动态 等场景下，非常容易出现定位信息丢失的情况，尤 其是在自动驾驶这种对安全性要求较高的应用领 域，一旦定位信息丢失，后果将不堪设想. 利用环 境语义信息可有效改善传统 V-SLAM 系统面临的 这些问题，有效提升系统定位的鲁棒性. （1）面向弱纹理环境. 传统 V-SLAM 方案中采用的图像特征语义级 别低，造成特征的可区别性较弱，在弱纹理等缺少 显著特征的环境中，传统基于特征点的方法难以 进行准确的运动估计. 借助深度学习的方法提取 环境中的立体特征，并用于优化位姿估计，可提升 系统定位鲁棒性. Yang 等[28] 提出的 Pop-up SLAM 系统，验证了 场景理解对弱纹理环境下机器人状态估计改善的 有效性. 利用深度学习的方法提取环境中墙‒地的 边界信息，并根据单幅图像生成立体平面模型，同 时利用平面法线间的差、平面间的距离和平面间 的投影重叠 3 个几何信息进行平面匹配. 然后将 Pop-up 模型提供的深度估计融合到 LSD-SLAM[34] 深度图中，提高 LSD-SLAM 的深度估计质量，以提 高系统的鲁棒性. Ganti 和 Waslander[35] 指出从信 息熵较低的区域提取特征点，位姿估计的准确性 低[36] ，对这些特征点跟踪，会增加错误数据关联的 风险，他们提出了一种基于信息论的特征选取方 法，利用语义分割的不确定性概念计算信息交叉 熵. 该方法减少了对特征点数量的要求，显著提高 了系统实时性和鲁棒性，而在精度上没有任何明 显损失. Qin 等[37] 针对地下停车场自动代客泊车系统， 提出了一种基于语义特征的定位方法. 在狭窄拥 李小倩等： 基于环境语义信息的同步定位与地图构建方法综述 · 757 ·