工程科学学报.第43卷.第6期：754-767.2021年6月 Chinese Journal of Engineering,Vol.43,No.6:754-767,June 2021 https://doi.org/10.13374/j.issn2095-9389.2020.11.09.006;http://cje.ustb.edu.cn 基于环境语义信息的同步定位与地图构建方法综述 李小倩，何伟，朱世强，李月华四，谢天 之江实验室，杭州311100 ☒通信作者，E-mail:liyh@zhejianglab.com 摘要同步定位与地图构建技术(SLAM)是当前机器人领域的重要研究热点，传统的SLAM技术虽然在实时性方面已经达 到较高的水平，但在定位精度和鲁棒性等方面还存在较大缺陷，所构建的环境地图虽然一定程度上满足了机器人的定位需 要，但不足以支撑机器人自主完成导航、避障等任务，交互性能不足.随着深度学习技术的发展，利用深度学习方法提取环境 语义信息，并与SLAM技术结合，越来越受到学者的关注.本文综述了环境语义信息应用到同步定位与地图构建领域的最新 研究进展，重点介绍和总结了语义信息与传统视觉SLAM在系统定位和地图构建方面结合的突出研究成果，并对传统视觉 SLAM算法与语义SLAM算法做了深入的对比研究.最后，展望了语义SLAM研究的发展方向. 关键词视觉同步定位与地图构建技术：深度学习：系统定位；地图构建：语义同步定位与地图构建技术 分类号TP24 Survey of simultaneous localization and mapping based on environmental semantic information LI Xiao-gian,HE Wei.ZHU Shi-giang,LI Yue-hud.XIE Tian Zhejiang Lab,Hangzhou 311100,China Corresponding author,E-mail:liyh@zhejianglab.com ABSTRACT The simultaneous localization and mapping(SLAM)technique is an important research direction in robotics.Although the traditional SLAM has reached a high level of real-time performance,major shortcomings still remain in its positioning accuracy and robustness.Using traditional SLAM,a geometric environment map can be constructed that can satisfy the pose estimation of robots. However,the interactive performance of this map is insufficient to support a robot in completing self-navigation and obstacle avoidance. One popular practical application of SLAM is to add semantic information by combining deep learning methods with SLAM.Systems that introduce environmental semantic information belong to semantic SLAM systems.Introduction of semantic information is of great significance for improving the positioning performance of a robot,optimizing the robustness of the robot system,and improving the scene-understanding ability of the robot.Semantic information improves recognition accuracy in complex scenes,which brings more optimization conditions for an odometer,pose estimation,and loop detection,etc.Therefore,positioning accuracy and robustness is improved.Moreover,semantic information aids in the promotion of data association from the traditional pixel level to the object level so that the perceived geometric environmental information can be assigned with semantic tags to obtain a high-level semantic map.This then aids a robot in understanding an autonomous environment and human-computer interaction.This paper summarized the latest researches that apply semantic information to SLAM.The prominent achievements of semantics combined with the traditional visual SLAM of localization and mapping were also discussed.In addition,the semantic SLAM was compared with the traditional SLAM in 收稿日期：2020-11-09 基金项目：国家重点研发计划资助项目(2018AAA0102703):科工局稳定支持项目(HTKJ2019KL502005):第67批中国博士后科学基金面 上资助项目(HTKJ2019KL502005)基于环境语义信息的同步定位与地图构建方法综述 李小倩，何    伟，朱世强，李月华苣，谢    天 之江实验室，杭州 311100 苣通信作者，E-mail: liyh@zhejianglab.com 摘    要    同步定位与地图构建技术（SLAM）是当前机器人领域的重要研究热点，传统的 SLAM 技术虽然在实时性方面已经达 到较高的水平，但在定位精度和鲁棒性等方面还存在较大缺陷，所构建的环境地图虽然一定程度上满足了机器人的定位需 要，但不足以支撑机器人自主完成导航、避障等任务，交互性能不足. 随着深度学习技术的发展，利用深度学习方法提取环境 语义信息，并与 SLAM 技术结合，越来越受到学者的关注. 本文综述了环境语义信息应用到同步定位与地图构建领域的最新 研究进展，重点介绍和总结了语义信息与传统视觉 SLAM 在系统定位和地图构建方面结合的突出研究成果，并对传统视觉 SLAM 算法与语义 SLAM 算法做了深入的对比研究. 最后，展望了语义 SLAM 研究的发展方向. 关键词    视觉同步定位与地图构建技术；深度学习；系统定位；地图构建；语义同步定位与地图构建技术 分类号    TP24 Survey  of  simultaneous  localization  and  mapping  based  on  environmental  semantic information LI Xiao-qian，HE Wei，ZHU Shi-qiang，LI Yue-hua苣 ，XIE Tian Zhejiang Lab, Hangzhou 311100, China 苣 Corresponding author, E-mail: liyh@zhejianglab.com ABSTRACT    The simultaneous localization and mapping (SLAM) technique is an important research direction in robotics. Although the traditional SLAM has reached a high level of real-time performance, major shortcomings still remain in its positioning accuracy and robustness. Using traditional SLAM, a geometric environment map can be constructed that can satisfy the pose estimation of robots. However, the interactive performance of this map is insufficient to support a robot in completing self-navigation and obstacle avoidance. One popular practical application of SLAM is to add semantic information by combining deep learning methods with SLAM. Systems that introduce environmental semantic information belong to semantic SLAM systems. Introduction of semantic information is of great significance for improving the positioning performance of a robot, optimizing the robustness of the robot system, and improving the scene-understanding ability of the robot. Semantic information improves recognition accuracy in complex scenes, which brings more optimization  conditions  for  an  odometer,  pose  estimation,  and  loop  detection,  etc.  Therefore,  positioning  accuracy  and  robustness  is improved. Moreover, semantic information aids in the promotion of data association from the traditional pixel level to the object level so that the perceived geometric environmental information can be assigned with semantic tags to obtain a high-level semantic map. This then  aids  a  robot  in  understanding  an  autonomous  environment  and  human –computer  interaction.  This  paper  summarized  the  latest researches that apply semantic information to SLAM. The prominent achievements of semantics combined with the traditional visual SLAM of localization and mapping were also discussed. In addition, the semantic SLAM was compared with the traditional SLAM in 收稿日期: 2020−11−09 基金项目: 国家重点研发计划资助项目（2018AAA0102703）；科工局稳定支持项目（HTKJ2019KL502005）；第 67 批中国博士后科学基金面 上资助项目（HTKJ2019KL502005） 工程科学学报，第 43 卷，第 6 期：754−767，2021 年 6 月 Chinese Journal of Engineering, Vol. 43, No. 6: 754−767, June 2021 https://doi.org/10.13374/j.issn2095-9389.2020.11.09.006; http://cje.ustb.edu.cn