第1期 周彦，等：视觉同时定位与地图创建综述 ·99· 图2中，O、OR为左右相机的光圈中心，黑色 境中的同一物体。在大方向上，特征匹配解决了 框为成像平面，∫为焦距，M、为成像的平面坐标， SLAM中的数据关联问题，但这个过程中带有误 R为负数。根据几何关系，由相似三角形P-P- 差，所以对图像特征匹配的结果优化是必要的，主 P和P-O-OR得 要方法有固定区域匹配、Active Matching、l-Point z-f b-u+ug RANAC、几何约束等。 b PTAM(parallel tracking and mapping)W及其改 整理得 进算法主要使用固定区域匹配的方法。PTAM假定 fb Z=- -,d =u-ug 前后两帧图像中像素距离在一个阈值内，超出这个 式中d为P在左眼相机图像和右眼相机图像中的 阈值就认为是错误匹配，该法适用于特征点距离相 横坐标之差，叫做视差。根据视差就可以估计一个 机稍远、深度变化不大的场合，不适用于相机快速 像素离相机的距离。 运动的场合。 基于EKF滤波的VSLAM系统多采用Davis-. on提出的Active Matching2a方法。Active Match- ing方法中，在使用EKF系统运动模型获得系统状 态预测的基础上，估计环境中的特征点在相机中的 投影位置，再进一步处理即可得到图像中特征点的 左眼像素 右眼像素 分布区域。此方法对相机的绝大部分运动情况鲁 01 09 棒，但如果出现相机姿态估计协方差较大的情况， 52 左眼相机 右眼相机 几何模型 易产生大的特征匹配估计区域，可能匹配错误。 图2双目相机模型 为去除Active Matching中的错误匹配，Civera Fig.2 Binocular camera model Grasa等提出1-Point RANSAC2方法。该方法用 深度相机主动测量每个像素的深度直接获取深 随机选择的一个匹配点的匹配信息来更新相机姿 度信息P。目前的RGB-D相机按原理可分为两大 态，之后计算其他匹配点与估计图像位置的距离， 类，即通过红外结构光(structured light)来测量像素 并判断这个距离是否在一定的阈值范围内，若不 距离和通过飞行时间法(time of flight,.ToF)测量像 在，被认为是外点并剔除它，最后利用得到的内点 素距离。在结构光原理中，相机向探测目标发射一 集来更新整个滤波器状态。该方法主要应用在基 于EKF滤波的SLAM系统中，由于频繁地更新系 束光线（通常是红外光），根据返回的结构光图案， 统状态，运算时间代价比较大。 计算像素离自身的距离。在ToF中，相机向目标发 射脉冲光，然后根据发送到返回之间的光束飞行时 几何约束方法利用PNP(perspective N points)P阿 对极几何2等剔除误匹配点。该方法因利用几何求 间，确定物体离自身的距离。在测量深度之后， 解，不需要频繁更新系统状态，故而能获得较好的 RGB-D相机完成深度与彩色图像像素之间的配对， 系统运行速度。但是对于不同的情况该方法需要具 输出一一对应的彩色图和深度图。图3是RGB-D 体问题具体分析，使用相对应的几何约束条件，相 相机的原理图。 应地增加了系统的复杂性。 结构光原理 飞行时间原理 1.4累积误差 SLAM中的误差来源主要为里程计误差、观测 发射 返回 发射 返回 误差和错误的数据关联带来的误差3个方面。在 VSLAM中，环境的先验信息和机器人的位置都是 时间差 未知的，位置误差（视觉里程计误差）不能根据环境 结构光发射器结构光接收器 脉冲光发射器 脉冲光接收器 先验信息得到有效纠正，故而随着机器人运动距离 的增大位置误差也逐渐累积。位置误差的增大会造 图3RGB-D相机原理图 成错误的数据关联，相应的特征标志的误差也跟着 Fig.3 Schematic of RGB-D camera 增大：反过来，机器人的位置误差因为参考了有误 1.3数据关联的优化问题 差的特征也会增大。因此，里程计误差与特征标志 SLAM中数据关联是对两个路标(VSLAM中 之间相互影响使整个VSLAM系统产生累积误差， 路标指图像特征)进行匹配，确定它们是否对应环 无法保证地图和轨迹的全局一致性。图4中，累积误图 2 中，OL、OR 为左右相机的光圈中心，黑色 框为成像平面，f 为焦距，uL、uR 为成像的平面坐标， uR 为负数。根据几何关系，由相似三角形 P-PL￾PR 和 P-OL-OR, 得 z− f z = b−uL +uR b 整理得 z = f b d ,d = uL −uR 式中 d 为 P 在左眼相机图像和右眼相机图像中的 横坐标之差，叫做视差。根据视差就可以估计一个 像素离相机的距离 z。 深度相机主动测量每个像素的深度直接获取深 度信息[23]。目前的 RGB-D 相机按原理可分为两大 类，即通过红外结构光（structured light）来测量像素 距离和通过飞行时间法（time of flight, ToF）测量像 素距离。在结构光原理中，相机向探测目标发射一 束光线（通常是红外光），根据返回的结构光图案， 计算像素离自身的距离。在 ToF 中，相机向目标发 射脉冲光，然后根据发送到返回之间的光束飞行时 间，确定物体离自身的距离。在测量深度之后， RGB-D 相机完成深度与彩色图像像素之间的配对， 输出一一对应的彩色图和深度图。图 3 是 RGB-D 相机的原理图。 1.3 数据关联的优化问题 SLAM 中数据关联是对两个路标（VSLAM 中 路标指图像特征）进行匹配，确定它们是否对应环 境中的同一物体。在大方向上，特征匹配解决了 SLAM 中的数据关联问题，但这个过程中带有误 差，所以对图像特征匹配的结果优化是必要的，主 要方法有固定区域匹配、Active Matching、1-Point RANAC、几何约束等。 PTAM(parallel tracking and mapping) [18] 及其改 进算法主要使用固定区域匹配的方法。PTAM 假定 前后两帧图像中像素距离在一个阈值内，超出这个 阈值就认为是错误匹配，该法适用于特征点距离相 机稍远、深度变化不大的场合，不适用于相机快速 运动的场合。 基于 EKF 滤波的 VSLAM 系统多采用 Davis￾on 提出的 Active Matching[24]方法。Active Match￾ing 方法中，在使用 EKF 系统运动模型获得系统状 态预测的基础上，估计环境中的特征点在相机中的 投影位置，再进一步处理即可得到图像中特征点的 分布区域。此方法对相机的绝大部分运动情况鲁 棒，但如果出现相机姿态估计协方差较大的情况， 易产生大的特征匹配估计区域，可能匹配错误。 为去除 Active Matching 中的错误匹配，Civera、 Grasa 等提出 1-Point RANSAC[25-26]方法。该方法用 随机选择的一个匹配点的匹配信息来更新相机姿 态，之后计算其他匹配点与估计图像位置的距离， 并判断这个距离是否在一定的阈值范围内，若不 在，被认为是外点并剔除它，最后利用得到的内点 集来更新整个滤波器状态。该方法主要应用在基 于 EKF 滤波的 SLAM 系统中，由于频繁地更新系 统状态，运算时间代价比较大。 几何约束方法利用 PNP（perspective N points） [27] 、 对极几何[28]等剔除误匹配点。该方法因利用几何求 解，不需要频繁更新系统状态，故而能获得较好的 系统运行速度。但是对于不同的情况该方法需要具 体问题具体分析，使用相对应的几何约束条件，相 应地增加了系统的复杂性。 1.4 累积误差 SLAM 中的误差来源主要为里程计误差、观测 误差和错误的数据关联带来的误差 3 个方面。在 VSLAM 中，环境的先验信息和机器人的位置都是 未知的，位置误差（视觉里程计误差）不能根据环境 先验信息得到有效纠正，故而随着机器人运动距离 的增大位置误差也逐渐累积。位置误差的增大会造 成错误的数据关联，相应的特征标志的误差也跟着 增大；反过来，机器人的位置误差因为参考了有误 差的特征也会增大。因此，里程计误差与特征标志 之间相互影响使整个 VSLAM 系统产生累积误差， 无法保证地图和轨迹的全局一致性。图 4 中，累积误 P ጒⱨ׻㉌ टⱨ׻㉌ ദ㏫ z P PL b PR f OL OR uL −uR ጒⱨⰤᱦ टⱨⰤᱦ ܌ҁὍಷ 图 2 双目相机模型 Fig. 2 Binocular camera model ⤲࣋上㵸ᬢ䬠⤲ ࣋اٴᲰgal ࣽᄰ 䔀ఊ ࣽᄰ 䔀ఊ ㏿Ჰࣽاٴᄰஔ ㏿Ჰاٴᣑᩢஔ 㘵۞ࣽاٴᄰஔ 㘵۞اٴᣑᩢஔ ᬢ䬠ጚ 图 3 RGB-D 相机原理图 Fig. 3 Schematic of RGB-D camera 第 1 期 周彦，等：视觉同时定位与地图创建综述 ·99·