第15卷第5期 智能系统学报 Vol.15 No.5 2020年9月 CAAI Transactions on Intelligent Systems Sep.2020 D0:10.11992/tis.201903007 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20191012.1719.006.html 基于kinect的改进RGB-D视觉里程计 朱俊涛，陈强 (上海工程技术大学电子电气工程学院，上海201600) 摘要：针对RGB-D视觉里程计中kinect相机所捕获的图像深度区域缺失的问题，提出了一种基于PnP(per- spective-n-point)和ICP(iterative closest point)的融合优化算法。传统ICP算法迭代相机位姿时由于深度缺失，经 常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定，建立BA优化模型，并 利用g20求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性，提高了相机位姿估计的精度及 算法的收敛成功率，从而提高了RGB-D视觉里程计的精确性和鲁棒性。 关键词：kinect:深度丢失：融合算法；特征点；ICP;PnP;深度值；位姿估计；BA优化模型；g2o 中图分类号：TP242.6文献标志码：A文章编号：1673-4785(2020)05-0943-06 中文引用格式：朱俊涛，陈强.基于kinect的改进RGB-D视觉里程计.智能系统学报，2020,15(5)：943-948 英文引用格式：ZHUJuntao,,CHEN Qiang.Improvement of kinect performance in RGB-D visual odometer.CAAI transactions on intelligent systems,2020,15(5):943-948. Improvement of kinect performance in RGB-D visual odometer ZHU Juntao,CHEN Qiang (Electrical and Electronic Engineering College,Shanghai University of Engineering and Technology,Shanghai 201600,China) Abstract:Kinect is a 3D camera that gives you the depth values associated with every pixel.It uses structured infrared light to determine depth values.Apart from these,you also have access to raw RGB-D data,and even the raw infrared data.Aiming to solve the problem of insufficient depth values for the images captured by Kinect camera in RGB-D visu- al odometer,we propose a fusion optimization algorithm based on Perspective-n-Point and iterative closest point(ICP). Because of the lack of depth values,traditional ICP algorithm often loses feature points when iterating the camera pose; this results in excessive error,or we can say that the algorithm is unable to converge.This algorithm establishes bat al- gorithm optimization model by judging the depth of feature points and optimizes the feature point of poses and camera using g2o solver.Experiments show that the method is effective and improves the accuracy of camera pose estimation and the convergence success rate of the algorithm,thus improving the accuracy and robustness of RGB-D visual odo- meter Keywords:kinect;lack of depth;fusion algorithm;feature points;iterative closest point;perspective-n-point;depth value;pose estimation;BA optimization model;g2o 近年来，视觉里程计(visual odometry,VO)川 机器人、自动驾驶等领域。随着RGB-D深度相 作为视觉SLAM的前端，利用单个或多个视觉传 机的产生，如微软的kinect、Pmdtec的Camcube 等，利用RGB-D的视觉里程计方法得到越来越广 感器，获取图像的信息进而估计出相机运动，给 泛的研究。 后端提供良好的初始值。视觉传感器因其获取信 视觉里程计的实现方法一般按是否需要提取 息丰富、成本低、易携带等诸多优点，被广泛用于 特征分为两种：1)特征点法的前端即基于特征的 收稿日期：2019-03-09.网络出版日期：2019-10-14. 视觉里程计(FVO);2)不提特征的直接法前端即 基金项目：国家自然科学基金项目(61272097)：上海市科技委 员会重点项目(18511101600). 稠密视觉里程计(DVO)。DVO一般用图像帧的 通信作者：陈强.E-mail:sues_chen@sues.edu.cn. 所有像素信息去估计相机位姿，用到了图像一致DOI: 10.11992/tis.201903007 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.tp.20191012.1719.006.html 基于 kinect 的改进 RGB-D 视觉里程计 朱俊涛，陈强 （上海工程技术大学 电子电气工程学院，上海 201600） 摘 要：针对 RGB-D 视觉里程计中 kinect 相机所捕获的图像深度区域缺失的问题，提出了一种基于 PnP(per￾spective-n-point) 和 ICP(iterative closest point) 的融合优化算法。传统 ICP 算法迭代相机位姿时由于深度缺失，经 常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定，建立 BA 优化模型，并 利用 g2o 求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性，提高了相机位姿估计的精度及 算法的收敛成功率，从而提高了 RGB-D 视觉里程计的精确性和鲁棒性。 关键词：kinect；深度丢失；融合算法；特征点；ICP；PnP；深度值；位姿估计；BA 优化模型；g2o 中图分类号：TP242.6 文献标志码：A 文章编号：1673−4785(2020)05−0943−06 中文引用格式：朱俊涛, 陈强. 基于 kinect 的改进 RGB-D 视觉里程计 [J]. 智能系统学报, 2020, 15(5): 943–948. 英文引用格式：ZHU Juntao, CHEN Qiang. Improvement of kinect performance in RGB-D visual odometer[J]. CAAI transactions on intelligent systems, 2020, 15(5): 943–948. Improvement of kinect performance in RGB-D visual odometer ZHU Juntao，CHEN Qiang (Electrical and Electronic Engineering College, Shanghai University of Engineering and Technology, Shanghai 201600, China) Abstract: Kinect is a 3D camera that gives you the depth values associated with every pixel. It uses structured infrared light to determine depth values. Apart from these, you also have access to raw RGB-D data, and even the raw infrared data. Aiming to solve the problem of insufficient depth values for the images captured by Kinect camera in RGB-D visu￾al odometer, we propose a fusion optimization algorithm based on Perspective-n-Point and iterative closest point (ICP). Because of the lack of depth values, traditional ICP algorithm often loses feature points when iterating the camera pose; this results in excessive error, or we can say that the algorithm is unable to converge. This algorithm establishes bat al￾gorithm optimization model by judging the depth of feature points and optimizes the feature point of poses and camera using g2o solver. Experiments show that the method is effective and improves the accuracy of camera pose estimation and the convergence success rate of the algorithm, thus improving the accuracy and robustness of RGB-D visual odo￾meter. Keywords: kinect; lack of depth; fusion algorithm; feature points; iterative closest point; perspective-n-point; depth value; pose estimation; BA optimization model; g2o 近年来，视觉里程计 (visual odometry, VO)[1] 作为视觉 SLAM 的前端，利用单个或多个视觉传 感器，获取图像的信息进而估计出相机运动，给 后端提供良好的初始值。视觉传感器因其获取信 息丰富、成本低、易携带等诸多优点，被广泛用于 机器人、自动驾驶[2] 等领域。随着 RGB-D 深度相 机的产生，如微软的 kinect、Pmdtec 的 Camcube 等，利用 RGB-D 的视觉里程计方法得到越来越广 泛的研究。 视觉里程计的实现方法一般按是否需要提取 特征分为两种：1) 特征点法的前端即基于特征的 视觉里程计 (FVO)；2) 不提特征的直接法前端即 稠密视觉里程计 (DVO)。DVO 一般用图像帧的 所有像素信息去估计相机位姿，用到了图像一致 收稿日期：2019−03−09. 网络出版日期：2019−10−14. 基金项目：国家自然科学基金项目 (61272097)；上海市科技委 员会重点项目 (18511101600). 通信作者：陈强. E-mail：sues_chen@sues.edu.cn. 第 15 卷第 5 期 智 能 系 统 学 报 Vol.15 No.5 2020 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2020