李小倩等：基于环境语义信息的同步定位与地图构建方法综述 761 构建高精度的语义地图.因此，部分学者基于目标 时采用目标检测算法和实例分割算法提取环境语 检测算法和点云分割算法提出了面向对象的语义 义信息，并在面元上基于贝叶斯融合和更新语义 地图构建算法 信息.相比Object-RPE,Panoptic-.MOPE的实时性 3.2面向对象的语义地图 提升了大约3倍，主要是后者提出的语义分割算 面向对象的语义地图是指语义地图中仅包含 法Fast-RGBD-SSWP,解决了RGB-D数据的实时 部分实例的语义信息，语义信息以聚类的方式独 语义标注问题.Li等直接利用体素和像素之间 立于地图.因此，可以允许机器人对地图中每一个 的映射关系获取体素的语义类别，从而降低了语 实体的语义信息进行操作和维护.对机器人来说， 义融合中的计算量，一定程度上提高了算法的实 这种以聚类方式存储环境中实体信息的地图形式 时性，但是语义地图的精度略差.上述面向对象的 更利于机器人感知环境，并与环境的中的实体进 语义方法也关联了三维点云与2D语义分割结果， 行互动，提高了地图的实用性 在原理上基本与面向场景的语义地图构建方法类 经典的SLAM算法大多只构建纯几何形式的 似，忽视了三维地图与物体模型之间存在的几何 地图，如度量地图、拓扑地图等，语义信息的添加 联系.Hosseinzadeh等[o提出了一种将空间物体 仅限于部分先验已知的物体，需要预先构建物体 表示为二次曲面的方法，并整合了空间物体与平 模型库，降低了语义地图的普适性，限制了语义 面存在的约束，利用CNN进行目标检测，搭建了 地图的发展.Sunderhauf等四提出了基于ORB- 一套面向对象的语义地图构建系统.但是，该算法 SLAM221和SSD算法I的语义地图构建方法，在 在二次曲面生成时依赖深度图像进行平面分割和 线实时分割点云中的实体，在数据处理的过程中 参数回归，而且存在轴对称假设，导致算法的二次 将实体与非实体分开进行，对于实体维护更新点 重构鲁棒性降低，在实时性方面完全依赖于CNN 云和类别信息，而对于非实体仅维护更新点云信 网络的运行速度，实时性相对较差.针对上述问 息.实验表明，这种先进行实体分割，后进行语义 题，Hosseinzadeh等8提出了一种改进算法，使用 融合的方法，语义精度更高，错误匹配较少，但遗 两个CNN分别进行平面分割和参数回归，并集成 漏的语义类别较多.一方面，该算法使用的SSD 了目标检测算法，实现了对象实时检测和跟踪，提 算法在室外数据集上训练，而在实验室内环境中 升了语义地图的精度.面向对象的语义地图构建 进行实验：另一方面，语义分割精度、深度图的噪 需要检测环境的实体，而通过目标检测算法可以 声、相机的分辨率等因素都对语义地图的效果 判别环境中物体是否为动态物体，从而优化系统 有较大影响.类似的，MeCormac等w基于MASK- 鲁棒性 RCNN阿和KinectFusion算法I6提出了一种在线 早期面向对象的语义地图构建算法大多只关 的基于体素的语义SLAM系统，使用MASK-RCNN 注了地图构建问题，而忽略了利用动态物体属性 算法检测物体，基于体素前景(voxel foreground)原 优化系统性能.Rnz等6]提出了动态场景中基于 理将目标检测结果与TSDF模型进行融合，以构建 实例分割的语义地图构建算法MaskFusion,对于 面向对象的语义地图.但是，该系统设置了较高的 场景中的动态刚体，追踪其在地图中的位置，仅别 目标检测阈值，虽然保证了检测的准确性，但是漏 除场景中的非刚体，减少了场景信息的缺失.算法 检较多，算法的实时性较差.Hoang等a针对环境 使用Co-Fusion算法21根据物体的运动一致性和 中物体存在遮挡，难以估计物体位姿的问题，提出 是否与人接触判断物体是否为动态物体，并基于 了Object-RPE系统，解决了环境中存在遮挡、环境 图像的像素强度和CP深度点云配准跟踪动态物 杂乱时的语义地图构建问题，具有较好的鲁棒性. 体.其次，该算法结合语义分割和几何分割结果对 但是，Object-RPE系统基于ElasticFusion!和MASK- 环境进行实例分割，并引入基于深度不连续性和 RCNNI751算法开发，亦受到计算资源的限制，实时 表面法向量的几何分割方法，既满足了实时性要 性较差 求，又解决了语义分割边缘较粗糙的问题.最后， 基于此，部分学者针对语义地图构建算法中 在语义融合部分使用了类似文献[83]和ElasticFusion! 的目标检测算法和数据关联方法展开研究· 的方法，即用surfel的方式表示环境模型，通过物 Hoang等7I针对Object-RPE系统的实时性问题进 体标签将表面元素与正确的模型相关联，使每个 行研究，提出了一种全景映射和物体姿态估计系 物体的几何体随时间融合.Xù等8则针对语义地图 统(Panoptic-MOPE),这里的“全景”是指该系统同 大多采用面元的方式构建，难以在机器人上进行构建高精度的语义地图. 因此，部分学者基于目标 检测算法和点云分割算法提出了面向对象的语义 地图构建算法. 3.2    面向对象的语义地图 面向对象的语义地图是指语义地图中仅包含 部分实例的语义信息，语义信息以聚类的方式独 立于地图. 因此，可以允许机器人对地图中每一个 实体的语义信息进行操作和维护. 对机器人来说， 这种以聚类方式存储环境中实体信息的地图形式 更利于机器人感知环境，并与环境的中的实体进 行互动，提高了地图的实用性. 经典的 SLAM 算法大多只构建纯几何形式的 地图，如度量地图、拓扑地图等，语义信息的添加 仅限于部分先验已知的物体，需要预先构建物体 模型库，降低了语义地图的普适性，限制了语义 地图的发展. Sunderhauf 等[72] 提出了基于 ORB￾SLAM2[23] 和 SSD 算法[73] 的语义地图构建方法，在 线实时分割点云中的实体，在数据处理的过程中 将实体与非实体分开进行，对于实体维护更新点 云和类别信息，而对于非实体仅维护更新点云信 息. 实验表明，这种先进行实体分割，后进行语义 融合的方法，语义精度更高，错误匹配较少，但遗 漏的语义类别较多. 一方面，该算法使用的 SSD 算法在室外数据集上训练，而在实验室内环境中 进行实验；另一方面，语义分割精度、深度图的噪 声、相机的分辨率等因素都对语义地图的效果 有较大影响. 类似的，McCormac 等[74] 基于 MASK￾RCNN[75] 和 KinectFusion 算法[64] 提出了一种在线 的基于体素的语义 SLAM 系统，使用 MASK-RCNN 算法检测物体，基于体素前景（voxel foreground）原 理将目标检测结果与 TSDF 模型进行融合，以构建 面向对象的语义地图. 但是，该系统设置了较高的 目标检测阈值，虽然保证了检测的准确性，但是漏 检较多，算法的实时性较差. Hoang 等[76] 针对环境 中物体存在遮挡，难以估计物体位姿的问题，提出 了 Object-RPE 系统，解决了环境中存在遮挡、环境 杂乱时的语义地图构建问题，具有较好的鲁棒性. 但是，Object-RPE 系统基于ElasticFusion[77] 和MASK￾RCNN[75] 算法开发，亦受到计算资源的限制，实时 性较差. 基于此，部分学者针对语义地图构建算法中 的 目 标 检 测 算 法 和 数 据 关 联 方 法 展 开 研 究 . Hoang 等[78] 针对 Object-RPE 系统的实时性问题进 行研究，提出了一种全景映射和物体姿态估计系 统（Panoptic-MOPE），这里的“全景”是指该系统同 时采用目标检测算法和实例分割算法提取环境语 义信息，并在面元上基于贝叶斯融合和更新语义 信息. 相比 Object-RPE，Panoptic-MOPE 的实时性 提升了大约 3 倍，主要是后者提出的语义分割算 法 Fast-RGBD-SSWP，解决了 RGB-D 数据的实时 语义标注问题. Li 等[79] 直接利用体素和像素之间 的映射关系获取体素的语义类别，从而降低了语 义融合中的计算量，一定程度上提高了算法的实 时性，但是语义地图的精度略差. 上述面向对象的 语义方法也关联了三维点云与 2D 语义分割结果， 在原理上基本与面向场景的语义地图构建方法类 似，忽视了三维地图与物体模型之间存在的几何 联系. Hosseinzadeh 等[80] 提出了一种将空间物体 表示为二次曲面的方法，并整合了空间物体与平 面存在的约束，利用 CNN 进行目标检测，搭建了 一套面向对象的语义地图构建系统. 但是，该算法 在二次曲面生成时依赖深度图像进行平面分割和 参数回归，而且存在轴对称假设，导致算法的二次 重构鲁棒性降低，在实时性方面完全依赖于 CNN 网络的运行速度，实时性相对较差. 针对上述问 题，Hosseinzadeh 等[81] 提出了一种改进算法，使用 两个 CNN 分别进行平面分割和参数回归，并集成 了目标检测算法，实现了对象实时检测和跟踪，提 升了语义地图的精度. 面向对象的语义地图构建 需要检测环境的实体，而通过目标检测算法可以 判别环境中物体是否为动态物体，从而优化系统 鲁棒性. 早期面向对象的语义地图构建算法大多只关 注了地图构建问题，而忽略了利用动态物体属性 优化系统性能. Rünz 等[61] 提出了动态场景中基于 实例分割的语义地图构建算法 MaskFusion，对于 场景中的动态刚体，追踪其在地图中的位置，仅剔 除场景中的非刚体，减少了场景信息的缺失. 算法 使用 Co-Fusion 算法[82] 根据物体的运动一致性和 是否与人接触判断物体是否为动态物体，并基于 图像的像素强度和 ICP 深度点云配准跟踪动态物 体. 其次，该算法结合语义分割和几何分割结果对 环境进行实例分割，并引入基于深度不连续性和 表面法向量的几何分割方法，既满足了实时性要 求，又解决了语义分割边缘较粗糙的问题. 最后， 在语义融合部分使用了类似文献[83] 和ElasticFusion[77] 的方法，即用 surfel 的方式表示环境模型，通过物 体标签将表面元素与正确的模型相关联，使每个 物体的几何体随时间融合. Xu 等[84] 针对语义地图 大多采用面元的方式构建，难以在机器人上进行 李小倩等： 基于环境语义信息的同步定位与地图构建方法综述 · 761 ·