第10卷第5期 智能系统学。报 Vol.10 No.5 2015年10月 CAAI Transactions on Intelligent Systems 0ct.2015 D0I:10.11992/is.201410009 网s络出版地址：htp://ww.cmki.net/kcms/detail/23.1538.tp.20150930.1556.026.html 基于投影直方图匹配的双目视觉跟踪算法 王杰12，蒋明敏，花晓慧34，鲁守银35，李金屏2 (1.济南大学信息科学与工程学院，山东济南250022：2.济南大学山东省网络环境智能计算技术重点实验室，山 东济南250022：3.山东建筑大学信息与电气工程学院，山东济南250101：4.山东建筑大学山东省智能建筑重点 实验室，山东济南250101：5.山东省电力科学研究院，山东济南250002)】 摘要：为了在机器人机械手双目视觉伺服系统中跟踪并精确定位目标的空间位置，提出了一种利用投影直方图匹 配和极线几何约束的目标跟踪方法。分别在2个视觉中人工标定目标，并提取目标在多颜色空间的水平、垂直投影 直方图作为匹配模板：在一个视觉中利用目标的运动一致性原则和投影直方图匹配搜索并跟踪目标：在另一个视觉 中依据双目视觉系统的极线几何原理限定目标搜索范围，搜索并定位目标。该方法利用水平、垂直投影直方图描述 目标的结构信息，同时完成了双目视觉系统中的目标跟踪与配准功能，有利于目标的精确定位和视觉测量。实验结 果表明，该方法可在双目视觉系统中有效跟踪目标，运算效率高，鲁棒性强。 关键词：投影直方图：目标跟踪：双目视觉：极线几何：模板匹配 中图分类号：TP391文献标志码：A文章编号：1673-4785(2015)05-0775-08 中文引用格式：王杰，蒋明敏，花晓慧，等.基于投影直方图匹配的双目视觉跟踪算法[J].智能系统学报，2015,10(5)：775-782， 英文引用格式：WANG Jie,JIANG Mingmin,HUA Xiaohui,etal.Binocular object tracking method using projection histogram matching [J].CAAI Transactions on Intelligent Systems,2015,10(5):775-782. Binocular object tracking method using projection histogram matching WANG Jie2,JIANG Mingmin',HUA Xiaohui,LU Shouyin35,LI Jinping'2 (1.School of Information Science and Engineering,University of Jinan,Jinan 250022,China;2.Shandong Provincial Key Laboratory of Network Based Intelligent Computing,University of Jinan,Jinan 250022,China;3.School of Information and Electrical Engineer- ing,Shandong Jianzhu University,Jinan 250101,China;4.Shandong Province Key Laboratory of Intelligent Building,Shandong Jianzhu University,Jinan 250101,China;5.Shandong Electric Power Research Institute,Jinan 250002,China) Abstract:An effective object location and tracking method is proposed for a robot manipulator's binocular visual servo system by utilizing projection histogram matching and the epipolar geometric constraint.The object is selected manually in the two vision systems,then the horizontal and vertical projection histograms,in multiple color spaces of the selected object,are extracted as matching templates for these two vision systems.The object in one vision system can be tracked by making use of the principle of moving continuity and the matching templates of the projec- tion histograms in multiple color spaces.In the other vision system,the object is located roughly based on epipolar geometric constraint,and then it can be tracked accurately using the same method which is used in the first vision. The proposed method describes the object's structural information by using horizontal and vertical projection histo- grams,and realizes the function of object tracking and registration in the binocular visual system,which is helpful in the precise location and visual measurement of the tracked object.The experiment results indicate that this meth- od can realize the binocular object tracking with high efficiency and strong robustness. Keywords:projection histogram;object tracking;binocular vision;epipolar geometry;template matching 利用视觉伺服的机器人机械手自动抓取和安放 物体，需要精确实时定位所抓取物体的空间位置，双 目视觉是机器人视觉伺服一种常用的有效工具。双 收稿日期：2014-10-08.网络出版日期：2015-09.30. 目视觉可实现目标的近距离精确定位，即利用目标 基金项目：国家“863”计划资助项目(2012AA041506):山东省高等学校科 研计划资助项目(J12LN19):山东省科技发展计划资助项目 在双目图像中的位置信息计算目标的空间三维坐 (2013YD01043):济南大学校基金重点项目资助(XKY1202). 标。根据实际应用选择一种可靠、有效的跟踪算法 通信作者：李金屏.E-mail:ise_jp@ujn.edu.cn第 １０ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．５ ２０１５ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１５ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１４１０００９ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１５０９３０．１５５６．０２６．ｈｔｍｌ 基于投影直方图匹配的双目视觉跟踪算法 王杰１，２ ，蒋明敏１ ，花晓慧３，４ ，鲁守银３，５ ，李金屏１，２ （１． 济南大学 信息科学与工程学院，山东 济南 ２５００２２； ２． 济南大学 山东省网络环境智能计算技术重点实验室，山 东 济南 ２５００２２； ３． 山东建筑大学 信息与电气工程学院，山东 济南 ２５０１０１； ４． 山东建筑大学 山东省智能建筑重点 实验室，山东 济南 ２５０１０１； ５． 山东省电力科学研究院，山东 济南 ２５０００２） 摘 要：为了在机器人机械手双目视觉伺服系统中跟踪并精确定位目标的空间位置，提出了一种利用投影直方图匹 配和极线几何约束的目标跟踪方法。 分别在 ２ 个视觉中人工标定目标，并提取目标在多颜色空间的水平、垂直投影 直方图作为匹配模板；在一个视觉中利用目标的运动一致性原则和投影直方图匹配搜索并跟踪目标；在另一个视觉 中依据双目视觉系统的极线几何原理限定目标搜索范围，搜索并定位目标。 该方法利用水平、垂直投影直方图描述 目标的结构信息，同时完成了双目视觉系统中的目标跟踪与配准功能，有利于目标的精确定位和视觉测量。 实验结 果表明，该方法可在双目视觉系统中有效跟踪目标，运算效率高，鲁棒性强。 关键词：投影直方图； 目标跟踪；双目视觉； 极线几何； 模板匹配 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０５⁃０７７５⁃０８ 中文引用格式：王杰，蒋明敏，花晓慧，等． 基于投影直方图匹配的双目视觉跟踪算法［Ｊ］． 智能系统学报， ２０１５，１０（５）： ７７５⁃７８２． 英文引用格式：ＷＡＮＧ Ｊｉｅ， ＪＩＡＮＧ Ｍｉｎｇｍｉｎ， ＨＵＡ Ｘｉａｏｈｕｉ， ｅｔ ａｌ． Ｂｉｎｏｃｕｌａｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（５）： ７７５⁃７８２． Ｂｉｎｏｃｕｌａｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ ＷＡＮＧ Ｊｉｅ １，２ ， ＪＩＡＮＧ Ｍｉｎｇｍｉｎ １ ， ＨＵＡ Ｘｉａｏｈｕｉ ３，４ ， ＬＵ Ｓｈｏｕｙｉｎ ３，５ ， ＬＩ Ｊｉｎｐｉｎｇ １，２ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｊｉｎａｎ， Ｊｉｎａｎ ２５００２２， Ｃｈｉｎａ； ２． Ｓｈａｎｄｏｎｇ Ｐｒｏｖｉｎｃｉａｌ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｊｉｎａｎ， Ｊｉｎａｎ ２５００２２， Ｃｈｉｎａ； ３． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒ⁃ ｉｎｇ， Ｓｈａｎｄｏｎｇ Ｊｉａｎｚｈｕ Ｕｎｉｖｅｒｓｉｔｙ， Ｊｉｎａｎ ２５０１０１， Ｃｈｉｎａ； ４． Ｓｈａｎｄｏｎｇ Ｐｒｏｖｉｎｃｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｂｕｉｌｄｉｎｇ， Ｓｈａｎｄｏｎｇ Ｊｉａｎｚｈｕ Ｕｎｉｖｅｒｓｉｔｙ， Ｊｉｎａｎ ２５０１０１， Ｃｈｉｎａ； ５． Ｓｈａｎｄｏｎｇ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ， Ｊｉｎａｎ ２５０００２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｎ ｅｆｆｅｃｔｉｖｅ ｏｂｊｅｃｔ ｌｏｃａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｆｏｒ ａ ｒｏｂｏｔ ｍａｎｉｐｕｌａｔｏｒ􀆳ｓ ｂｉｎｏｃｕｌａｒ ｖｉｓｕａｌ ｓｅｒｖｏ ｓｙｓｔｅｍ ｂｙ ｕｔｉｌｉｚｉｎｇ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ ａｎｄ ｔｈｅ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｉｃ ｃｏｎｓｔｒａｉｎｔ． Ｔｈｅ ｏｂｊｅｃｔ ｉｓ ｓｅｌｅｃｔｅｄ ｍａｎｕａｌｌｙ ｉｎ ｔｈｅ ｔｗｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍｓ， ｔｈｅｎ ｔｈｅ ｈｏｒｉｚｏｎｔａｌ ａｎｄ ｖｅｒｔｉｃａｌ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍｓ， ｉｎ ｍｕｌｔｉｐｌｅ ｃｏｌｏｒ ｓｐａｃｅｓ ｏｆ ｔｈｅ ｓｅｌｅｃｔｅｄ ｏｂｊｅｃｔ， ａｒｅ ｅｘｔｒａｃｔｅｄ ａｓ ｍａｔｃｈｉｎｇ ｔｅｍｐｌａｔｅｓ ｆｏｒ ｔｈｅｓｅ ｔｗｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍｓ． Ｔｈｅ ｏｂｊｅｃｔ ｉｎ ｏｎｅ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｃａｎ ｂｅ ｔｒａｃｋｅｄ ｂｙ ｍａｋｉｎｇ ｕｓｅ ｏｆ ｔｈｅ ｐｒｉｎｃｉｐｌｅ ｏｆ ｍｏｖｉｎｇ ｃｏｎｔｉｎｕｉｔｙ ａｎｄ ｔｈｅ ｍａｔｃｈｉｎｇ ｔｅｍｐｌａｔｅｓ ｏｆ ｔｈｅ ｐｒｏｊｅｃ⁃ ｔｉｏｎ ｈｉｓｔｏｇｒａｍｓ ｉｎ ｍｕｌｔｉｐｌｅ ｃｏｌｏｒ ｓｐａｃｅｓ． Ｉｎ ｔｈｅ ｏｔｈｅｒ ｖｉｓｉｏｎ ｓｙｓｔｅｍ， ｔｈｅ ｏｂｊｅｃｔ ｉｓ ｌｏｃａｔｅｄ ｒｏｕｇｈｌｙ ｂａｓｅｄ ｏｎ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｉｃ ｃｏｎｓｔｒａｉｎｔ， ａｎｄ ｔｈｅｎ ｉｔ ｃａｎ ｂｅ ｔｒａｃｋｅｄ ａｃｃｕｒａｔｅｌｙ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ ｍｅｔｈｏｄ ｗｈｉｃｈ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｆｉｒｓｔ ｖｉｓｉｏｎ． Ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｄｅｓｃｒｉｂｅｓ ｔｈｅ ｏｂｊｅｃｔ􀆳ｓ ｓｔｒｕｃｔｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｂｙ ｕｓｉｎｇ ｈｏｒｉｚｏｎｔａｌ ａｎｄ ｖｅｒｔｉｃａｌ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏ⁃ ｇｒａｍｓ， ａｎｄ ｒｅａｌｉｚｅｓ ｔｈｅ ｆｕｎｃｔｉｏｎ ｏｆ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ａｎｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｉｎ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｖｉｓｕａｌ ｓｙｓｔｅｍ， ｗｈｉｃｈ ｉｓ ｈｅｌｐｆｕｌ ｉｎ ｔｈｅ ｐｒｅｃｉｓｅ ｌｏｃａｔｉｏｎ ａｎｄ ｖｉｓｕａｌ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｔｈｅ ｔｒａｃｋｅｄ ｏｂｊｅｃｔ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｉｓ ｍｅｔｈ⁃ ｏｄ ｃａｎ ｒｅａｌｉｚｅ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ａｎｄ ｓｔｒｏｎｇ ｒｏｂｕｓｔｎｅｓｓ． Ｋｅｙｗｏｒｄｓ：ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ； ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ； ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ； ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ； ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ 收稿日期：２０１４⁃１０⁃０８． 网络出版日期：２０１５⁃０９⁃３０． 基金项目：国家“８６３”计划资助项目（２０１２ＡＡ０４１５０６）；山东省高等学校科 研计划资助项目（Ｊ１２ＬＮ１９）；山东省科技发展计划资助项目 （２０１３ＹＤ０１０４３）；济南大学校基金重点项目资助（ＸＫＹ１２０２）． 通信作者：李金屏． Ｅ⁃ｍａｉｌ：ｉｓｅ＿ｌｉｊｐ＠ ｕｊｎ．ｅｄｕ．ｃｎ． 利用视觉伺服的机器人机械手自动抓取和安放 物体，需要精确实时定位所抓取物体的空间位置，双 目视觉是机器人视觉伺服一种常用的有效工具。 双 目视觉可实现目标的近距离精确定位，即利用目标 在双目图像中的位置信息计算目标的空间三维坐 标。 根据实际应用选择一种可靠、有效的跟踪算法