李小倩等：基于环境语义信息的同步定位与地图构建方法综述 .759· 与Ma48I提出了一种基于ORB-SLAM2RGB-D模 基于环境语义信息的SLAM技术不仅提取 式的面向动态环境的视觉语义SLAM系统(SOF- 环境中的几何信息，还能充分利用环境中的语义 SLAM).该系统采用一种新的语义光流动态特征 信息，即环境中个体的属性，从而提高机器人执行 检测方法，使用SegNet9产生像素级的语义分割 任务的智能水平.2I世纪初.Vasudevan等和 结果，获取运动先验（静态、潜在动态的和动态）， Galindo等Is例先后提出了机器人语义地图的概念， 并将运动先验作为掩膜去除动态和潜在动态特征 阐述了构建具有语义信息的环境地图可以提高机 之间的匹配，然后利用语义静态特征的匹配计算 器人的感知能力，并且地图中的语义信息使机器 基本矩阵，最后利用基本矩阵和对极约束寻找并 人具有一定的推算能力.得益于SLAM技术的快 别除真正的动态特征，在跟踪和优化模块中保留 速发展，研究人员希望将这种含有语义信息的地 剩余的静态特征，实现动态环境下相机位姿的精 图形式应用到SLAM系统中，即构建环境语义地 确估计.在公开的TUM RGB-D数据集和真实环 图.早期的语义地图构建算法大多采用离线的方 境中的实验结果表明，所提算法可有效应对动态 式，基于马尔可夫等方法对几何地图进行语义标 环境. 注535刈，这种方法需要离线对地图进行处理，无法 由上可见，利用环境语义信息通过特征选择 在机器人上实际使用，随着机器学习技术的发展， 和优化数据关联等方法可有效提高系统定位的精 部分学者使用条件随机场(Conditional random 度，通过对目标物体的跟踪，可以提高弱纹理环 field,CRF)、随机决策森林(Random forest)等算法 境、光照变化和动态场景下SLAM系统的鲁棒性. 获取场景中的语义标签5s-s而，但是此类算法语义 相较于传统V-SLAM系统，基于语义的SLAM系 融合的效率较低、精度较差，亦不能将其应用到实 统直接提取图像特征，无需人工特征提取和匹配， 际场景.同时，部分学者针对机器人与环境中实体 更加简洁直观；基于语义的SLAM系统能够更充 的交互问题，提出将地图与预先构建的物体模型 分表达环境信息，进而实现高层次的场景感知和 进行融合，把实体从地图中分割出来57-，但是这 理解，保障了系统的定位精度和鲁棒性.但是，目 种方法依赖先验知识，限制了地图的应用场景.近 前对环境理解的算法主要基于深度学习等方法， 年来，深度学习技术快速发展，越来越多的研究人 不同学习算法之间的网络架构设计差异性大，且 员将深度学习方法与SLAM技术结合，利用目标 对训练数据库有较强的依赖性.同时，系统性能严 检测、语义分割等算法9提取环境的语义信息， 重依赖于环境目标识别和语义分割结果的准确 并将其融入到环境地图中，以构建环境语义地图 性.此外，当前环境语义信息多与SLAM局部的子 目前针对语义信息与SLAM地图构建融合的研究 模块相结合，如位姿优化或回环检测等，部分语义 主要分为两个方向，包括面向场景的语义地图构 SLAM学者也开始关注如何搭建一个端到端的 建和面向对象的语义地图构建，如表1所示.其 SLAM系统S0,将深度学习架构应用于整个SLAM 中，面向场景的语义地图侧重于机器人对环境的 系统，也是未来研究的一个重要方向 感知，而面向对象的语义地图更侧重于机器人与 3语义与SLAM地图构建 实体进行交互，接下来本文将围绕这两个方面进 行综述 在传统的SLAM研究中，地图构建主要服务 3.1面向场景的语义地图 于机器人定位，即利用构建的环境地图提高机器 面向场景的语义地图是指使用语义分割算法 人的定位精度，此时地图的表现形式主要是稀疏 对2D图像进行像素级分割，提取图片中的语义信 的点云地图.而当SLAM技术逐渐应用于机器人 息，并将其与3D点云进行融合，以构建全场景的 和自动驾驶领域，其需要利用环境地图完成导航 语义地图.McCorma等6o基于卷积神经网络提出 和避障，因此需要稠密的环境地图，如稠密点云地 了SemanticFusion算法，实现了室内环境语义地图 图、八叉树地图等.随着机器人和智能化程度提 构建，是构建像素级语义地图的典型代表.该算法 高，机器人逐渐服务于日常生活和工业生产，需要 构建了一个完整的语义SLAM系统，实现了传统 更加利于交互的环境地图.近年来，深度学习技术 SLAM框架与语义分割的结合，解决了传统语义 快速发展，利用深度学习方法构建具有语义信息 标注算法中语义类别少、需要离线标注等问题，并 的环境地图成为提高机器人交互能力一种可行的 且引入了一种节点概率更新算法和语义修正方 方案 法，在语义地图构建算法精度上具有较高水平.同与 Ma[48] 提出了一种基于 ORB-SLAM2 RGB-D 模 式的面向动态环境的视觉语义 SLAM 系统 (SOF￾SLAM). 该系统采用一种新的语义光流动态特征 检测方法，使用 SegNet[49] 产生像素级的语义分割 结果，获取运动先验（静态、潜在动态的和动态）， 并将运动先验作为掩膜去除动态和潜在动态特征 之间的匹配，然后利用语义静态特征的匹配计算 基本矩阵，最后利用基本矩阵和对极约束寻找并 剔除真正的动态特征，在跟踪和优化模块中保留 剩余的静态特征，实现动态环境下相机位姿的精 确估计. 在公开的 TUM RGB-D 数据集和真实环 境中的实验结果表明，所提算法可有效应对动态 环境. 由上可见，利用环境语义信息通过特征选择 和优化数据关联等方法可有效提高系统定位的精 度，通过对目标物体的跟踪，可以提高弱纹理环 境、光照变化和动态场景下 SLAM 系统的鲁棒性. 相较于传统 V-SLAM 系统，基于语义的 SLAM 系 统直接提取图像特征，无需人工特征提取和匹配， 更加简洁直观；基于语义的 SLAM 系统能够更充 分表达环境信息，进而实现高层次的场景感知和 理解，保障了系统的定位精度和鲁棒性. 但是，目 前对环境理解的算法主要基于深度学习等方法， 不同学习算法之间的网络架构设计差异性大，且 对训练数据库有较强的依赖性. 同时，系统性能严 重依赖于环境目标识别和语义分割结果的准确 性. 此外，当前环境语义信息多与 SLAM 局部的子 模块相结合，如位姿优化或回环检测等，部分语义 SLAM 学者也开始关注如何搭建一个端到端的 SLAM 系统[50] ，将深度学习架构应用于整个 SLAM 系统，也是未来研究的一个重要方向. 3    语义与 SLAM 地图构建 在传统的 SLAM 研究中，地图构建主要服务 于机器人定位，即利用构建的环境地图提高机器 人的定位精度，此时地图的表现形式主要是稀疏 的点云地图. 而当 SLAM 技术逐渐应用于机器人 和自动驾驶领域，其需要利用环境地图完成导航 和避障，因此需要稠密的环境地图，如稠密点云地 图、八叉树地图等. 随着机器人和智能化程度提 高，机器人逐渐服务于日常生活和工业生产，需要 更加利于交互的环境地图. 近年来，深度学习技术 快速发展，利用深度学习方法构建具有语义信息 的环境地图成为提高机器人交互能力一种可行的 方案. 基于环境语义信息的 SLAM 技术不仅提取 环境中的几何信息，还能充分利用环境中的语义 信息，即环境中个体的属性，从而提高机器人执行 任务的智能水平. 21 世纪初，Vasudevan 等[51] 和 Galindo 等[52] 先后提出了机器人语义地图的概念， 阐述了构建具有语义信息的环境地图可以提高机 器人的感知能力，并且地图中的语义信息使机器 人具有一定的推算能力. 得益于 SLAM 技术的快 速发展，研究人员希望将这种含有语义信息的地 图形式应用到 SLAM 系统中，即构建环境语义地 图. 早期的语义地图构建算法大多采用离线的方 式，基于马尔可夫等方法对几何地图进行语义标 注[53−54] ，这种方法需要离线对地图进行处理，无法 在机器人上实际使用. 随着机器学习技术的发展， 部 分 学 者 使 用 条 件 随 机 场 （ Conditional  random field，CRF）、随机决策森林（Random forest）等算法 获取场景中的语义标签[55−56] ，但是此类算法语义 融合的效率较低、精度较差，亦不能将其应用到实 际场景. 同时，部分学者针对机器人与环境中实体 的交互问题，提出将地图与预先构建的物体模型 进行融合，把实体从地图中分割出来[57−58] ，但是这 种方法依赖先验知识，限制了地图的应用场景. 近 年来，深度学习技术快速发展，越来越多的研究人 员将深度学习方法与 SLAM 技术结合，利用目标 检测、语义分割等算法[59] 提取环境的语义信息， 并将其融入到环境地图中，以构建环境语义地图. 目前针对语义信息与 SLAM 地图构建融合的研究 主要分为两个方向，包括面向场景的语义地图构 建和面向对象的语义地图构建，如表 1 所示. 其 中，面向场景的语义地图侧重于机器人对环境的 感知，而面向对象的语义地图更侧重于机器人与 实体进行交互，接下来本文将围绕这两个方面进 行综述. 3.1    面向场景的语义地图 面向场景的语义地图是指使用语义分割算法 对 2D 图像进行像素级分割，提取图片中的语义信 息，并将其与 3D 点云进行融合，以构建全场景的 语义地图. McCorma 等[60] 基于卷积神经网络提出 了 SemanticFusion 算法，实现了室内环境语义地图 构建，是构建像素级语义地图的典型代表. 该算法 构建了一个完整的语义 SLAM 系统，实现了传统 SLAM 框架与语义分割的结合，解决了传统语义 标注算法中语义类别少、需要离线标注等问题，并 且引入了一种节点概率更新算法和语义修正方 法，在语义地图构建算法精度上具有较高水平. 同 李小倩等： 基于环境语义信息的同步定位与地图构建方法综述 · 759 ·