李小倩等：基于环境语义信息的同步定位与地图构建方法综述 755· detail.Finally,future research topics of advanced semantic SLAM were explored.This study aims to serve as a guide for future researchers in applying semantic information to tackle localization and mapping problems KEY WORDS visual simultaneous localization and mapping:deep learning;localization;mapping;semantic simultaneous localization and mapping 同步定位和建图(Simultaneous localization and 的研究进展，并将语义SLAM技术与传统V-SLAM mapping,.SLAM)是机器人利用自身携带的视觉、 技术进行分析和比较.最后，讨论了语义SLAM技 激光等传感器，在完成自身定位的同时构建环境 术最新的研究热点和发展方向，进行总结和展望 地图的过程，是提高机器人智能性、自主性的核心 1语义SLAM系统概述 环节，也是机器人相关研究中的一个基本问题- 通过相机采集图像信息作为环境感知信息源的 同步定位与建图的核心研究内容是机器人对 SLAM系统称为视觉SLAM-(Visual SLAM,V- 自身的状态估计和对环境的感知描述，其中定位 SLAM),与其他SLAM系统（如激光SLAM-)相 可以看作机器人对自身当前状态的估计，而地图 比，V-SLAM可感知更加丰富的色彩、纹理等环境 可以认为是机器人对环境认识、描述的集合.从 信息-剧 应用层面分析，机器人对于“定位”的需求是相似 V-SLAM系统大多将估计相机位姿作为主要 的，即实现对自身位姿的状态估计：而对于地图构 任务，通过多视几何理论构建三维地图.随着机器 建来说，其需求是广泛的 人的应用范围越来越广，使用者对于机器人的智 现代V-SLAM系统主要包括传感器信息读取、 能程度提出了更高的要求，传统利用环境中点、 前端视觉里程计、后端优化和建图4个部分叫，如 线、面等低级别几何特征信息的V-SLAM系统在 图1所示.视觉里程计2(Visual odometry,VO)模 系统定位精度和鲁棒性等方面已表现出明显不 块接收传感器所提供的数据，其任务包括特征 足，特别在应对弱纹理环境、光照变化和动态目标 提取，SLAM初始化，特征跟踪，估计相邻图像间 等方面依然有很多挑战随着深度学习技术的迅 相机的运动，构建局部地图，并根据图像间的多 速发展，其在计算机视觉(Computer vision,CV)的 视几何关系确定机器人位姿，又可称为V-SLAM 各个领域都有着非常成功的应用，在此背景下，近 的前端.后端优化包括位姿优化均和场景重定 年来，越来越多的SLAM研究者使用基于深度学 位)，其任务为接收多个时刻视觉里程计估计的 习的方法提取环境语义信息，以获取高层次的场 相机位姿，并结合回环检测信息，进行优化，从而 景感知和理解，并应用在V-SLAM系统中o,辅助 得到全局一致的轨迹和地图.回环检测通过计算 视觉SLAM系统提升定位性能、地图可视化，从而 图像间的相似性判定当前场景与历史某个场景是 赋予机器人更高效的人机交互能力 否一致，并将检测结果输入后端优化，从而解决位 本文专注于对语义SLAM方法进行分析和讨 置估计随时间漂移的问题.最后，机器人根据优化 论，首先系统地介绍和分析环境语义信息与SLAM 后的运动轨迹和三维点云，建立满足任务要求的 系统结合在定位精度、鲁棒性和地图形式等方面 地图 Sensor data Front-end Back-end Mapping Feature extraction Pose optimization Motion trajectory Image Data association Relocalization Environmental map Loop closure detection 图1V-SLAM系统框架 Fig.I Architecture of the V-SLAM system 对SLAM系统而言，引入环境语义信息的SLAM 于提升机器人的定位性能、优化机器人系统的鲁 系统，均属于语义SLAM系统.语义信息的引入，对 棒性、提高机器人的场景理解能力等方面具有重detail.  Finally,  future  research  topics  of  advanced  semantic  SLAM  were  explored.  This  study  aims  to  serve  as  a  guide  for  future researchers in applying semantic information to tackle localization and mapping problems. KEY WORDS    visual simultaneous localization and mapping；deep learning；localization；mapping；semantic simultaneous localization and mapping 同步定位和建图（Simultaneous localization and mapping, SLAM）是机器人利用自身携带的视觉、 激光等传感器，在完成自身定位的同时构建环境 地图的过程，是提高机器人智能性、自主性的核心 环节，也是机器人相关研究中的一个基本问题[1−2] . 通过相机采集图像信息作为环境感知信息源的 SLAM 系统称为视觉 SLAM[3−4] （ Visual SLAM， V￾SLAM），与其他 SLAM 系统（如激光 SLAM[5−6] ）相 比，V-SLAM 可感知更加丰富的色彩、纹理等环境 信息[7−8] . V-SLAM 系统大多将估计相机位姿作为主要 任务，通过多视几何理论构建三维地图. 随着机器 人的应用范围越来越广，使用者对于机器人的智 能程度提出了更高的要求，传统利用环境中点、 线、面等低级别几何特征信息的 V-SLAM 系统在 系统定位精度和鲁棒性等方面已表现出明显不 足，特别在应对弱纹理环境、光照变化和动态目标 等方面依然有很多挑战[9] . 随着深度学习技术的迅 速发展，其在计算机视觉（Computer vision，CV）的 各个领域都有着非常成功的应用. 在此背景下，近 年来，越来越多的 SLAM 研究者使用基于深度学 习的方法提取环境语义信息，以获取高层次的场 景感知和理解，并应用在 V-SLAM 系统中[10] ，辅助 视觉 SLAM 系统提升定位性能、地图可视化，从而 赋予机器人更高效的人机交互能力. 本文专注于对语义 SLAM 方法进行分析和讨 论，首先系统地介绍和分析环境语义信息与 SLAM 系统结合在定位精度、鲁棒性和地图形式等方面 的研究进展，并将语义 SLAM 技术与传统 V-SLAM 技术进行分析和比较. 最后，讨论了语义 SLAM 技 术最新的研究热点和发展方向，进行总结和展望. 1    语义 SLAM 系统概述 同步定位与建图的核心研究内容是机器人对 自身的状态估计和对环境的感知描述，其中定位 可以看作机器人对自身当前状态的估计，而地图 可以认为是机器人对环境认识、描述的集合. 从 应用层面分析，机器人对于“定位”的需求是相似 的，即实现对自身位姿的状态估计；而对于地图构 建来说，其需求是广泛的. 现代 V-SLAM 系统主要包括传感器信息读取、 前端视觉里程计、后端优化和建图 4 个部分[11] ，如 图 1 所示. 视觉里程计[12] （Visual odometry, VO）模 块接收传感器所提供的数据，其任务包括特征 提取，SLAM 初始化，特征跟踪，估计相邻图像间 相机的运动，构建局部地图，并根据图像间的多 视几何关系确定机器人位姿，又可称为 V-SLAM 的前端. 后端优化包括位姿优化[13−14] 和场景重定 位[15] ，其任务为接收多个时刻视觉里程计估计的 相机位姿，并结合回环检测信息，进行优化，从而 得到全局一致的轨迹和地图. 回环检测通过计算 图像间的相似性判定当前场景与历史某个场景是 否一致，并将检测结果输入后端优化，从而解决位 置估计随时间漂移的问题. 最后，机器人根据优化 后的运动轨迹和三维点云，建立满足任务要求的 地图. Image Feature extraction Sensor data Data association Pose optimization Relocalization Loop closure detection Front-end Back-end Mapping Motion trajectory Environmental map 图 1    V-SLAM 系统框架 Fig.1    Architecture of the V-SLAM system 对 SLAM 系统而言，引入环境语义信息的 SLAM 系统，均属于语义 SLAM 系统. 语义信息的引入，对 于提升机器人的定位性能、优化机器人系统的鲁 棒性、提高机器人的场景理解能力等方面具有重 李小倩等： 基于环境语义信息的同步定位与地图构建方法综述 · 755 ·