第10卷第5期 智能系统学。报 Vol.10 No.5 2015年10月 CAAI Transactions on Intelligent Systems 0ct.2015 D0I:10.11992/is.201410009 网s络出版地址：htp://ww.cmki.net/kcms/detail/23.1538.tp.20150930.1556.026.html 基于投影直方图匹配的双目视觉跟踪算法 王杰12，蒋明敏，花晓慧34，鲁守银35，李金屏2 (1.济南大学信息科学与工程学院，山东济南250022：2.济南大学山东省网络环境智能计算技术重点实验室，山 东济南250022：3.山东建筑大学信息与电气工程学院，山东济南250101：4.山东建筑大学山东省智能建筑重点 实验室，山东济南250101：5.山东省电力科学研究院，山东济南250002)】 摘要：为了在机器人机械手双目视觉伺服系统中跟踪并精确定位目标的空间位置，提出了一种利用投影直方图匹 配和极线几何约束的目标跟踪方法。分别在2个视觉中人工标定目标，并提取目标在多颜色空间的水平、垂直投影 直方图作为匹配模板：在一个视觉中利用目标的运动一致性原则和投影直方图匹配搜索并跟踪目标：在另一个视觉 中依据双目视觉系统的极线几何原理限定目标搜索范围，搜索并定位目标。该方法利用水平、垂直投影直方图描述 目标的结构信息，同时完成了双目视觉系统中的目标跟踪与配准功能，有利于目标的精确定位和视觉测量。实验结 果表明，该方法可在双目视觉系统中有效跟踪目标，运算效率高，鲁棒性强。 关键词：投影直方图：目标跟踪：双目视觉：极线几何：模板匹配 中图分类号：TP391文献标志码：A文章编号：1673-4785(2015)05-0775-08 中文引用格式：王杰，蒋明敏，花晓慧，等.基于投影直方图匹配的双目视觉跟踪算法[J].智能系统学报，2015,10(5)：775-782， 英文引用格式：WANG Jie,JIANG Mingmin,HUA Xiaohui,etal.Binocular object tracking method using projection histogram matching [J].CAAI Transactions on Intelligent Systems,2015,10(5):775-782. Binocular object tracking method using projection histogram matching WANG Jie2,JIANG Mingmin',HUA Xiaohui,LU Shouyin35,LI Jinping'2 (1.School of Information Science and Engineering,University of Jinan,Jinan 250022,China;2.Shandong Provincial Key Laboratory of Network Based Intelligent Computing,University of Jinan,Jinan 250022,China;3.School of Information and Electrical Engineer- ing,Shandong Jianzhu University,Jinan 250101,China;4.Shandong Province Key Laboratory of Intelligent Building,Shandong Jianzhu University,Jinan 250101,China;5.Shandong Electric Power Research Institute,Jinan 250002,China) Abstract:An effective object location and tracking method is proposed for a robot manipulator's binocular visual servo system by utilizing projection histogram matching and the epipolar geometric constraint.The object is selected manually in the two vision systems,then the horizontal and vertical projection histograms,in multiple color spaces of the selected object,are extracted as matching templates for these two vision systems.The object in one vision system can be tracked by making use of the principle of moving continuity and the matching templates of the projec- tion histograms in multiple color spaces.In the other vision system,the object is located roughly based on epipolar geometric constraint,and then it can be tracked accurately using the same method which is used in the first vision. The proposed method describes the object's structural information by using horizontal and vertical projection histo- grams,and realizes the function of object tracking and registration in the binocular visual system,which is helpful in the precise location and visual measurement of the tracked object.The experiment results indicate that this meth- od can realize the binocular object tracking with high efficiency and strong robustness. Keywords:projection histogram;object tracking;binocular vision;epipolar geometry;template matching 利用视觉伺服的机器人机械手自动抓取和安放 物体，需要精确实时定位所抓取物体的空间位置，双 目视觉是机器人视觉伺服一种常用的有效工具。双 收稿日期：2014-10-08.网络出版日期：2015-09.30. 目视觉可实现目标的近距离精确定位，即利用目标 基金项目：国家“863”计划资助项目(2012AA041506):山东省高等学校科 研计划资助项目(J12LN19):山东省科技发展计划资助项目 在双目图像中的位置信息计算目标的空间三维坐 (2013YD01043):济南大学校基金重点项目资助(XKY1202). 标。根据实际应用选择一种可靠、有效的跟踪算法 通信作者：李金屏.E-mail:ise_jp@ujn.edu.cn
第 １０ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．５ ２０１５ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１５ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１４１０００９ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ｔｐ．２０１５０９３０．１５５６．０２６．ｈｔｍｌ 基于投影直方图匹配的双目视觉跟踪算法 王杰１，２ ，蒋明敏１ ，花晓慧３，４ ，鲁守银３，５ ，李金屏１，２ （１． 济南大学 信息科学与工程学院，山东 济南 ２５００２２； ２． 济南大学 山东省网络环境智能计算技术重点实验室，山 东 济南 ２５００２２； ３． 山东建筑大学 信息与电气工程学院，山东 济南 ２５０１０１； ４． 山东建筑大学 山东省智能建筑重点 实验室，山东 济南 ２５０１０１； ５． 山东省电力科学研究院，山东 济南 ２５０００２） 摘 要：为了在机器人机械手双目视觉伺服系统中跟踪并精确定位目标的空间位置，提出了一种利用投影直方图匹 配和极线几何约束的目标跟踪方法。 分别在 ２ 个视觉中人工标定目标，并提取目标在多颜色空间的水平、垂直投影 直方图作为匹配模板；在一个视觉中利用目标的运动一致性原则和投影直方图匹配搜索并跟踪目标；在另一个视觉 中依据双目视觉系统的极线几何原理限定目标搜索范围，搜索并定位目标。 该方法利用水平、垂直投影直方图描述 目标的结构信息，同时完成了双目视觉系统中的目标跟踪与配准功能，有利于目标的精确定位和视觉测量。 实验结 果表明，该方法可在双目视觉系统中有效跟踪目标，运算效率高，鲁棒性强。 关键词：投影直方图； 目标跟踪；双目视觉； 极线几何； 模板匹配 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０５⁃０７７５⁃０８ 中文引用格式：王杰，蒋明敏，花晓慧，等． 基于投影直方图匹配的双目视觉跟踪算法［Ｊ］． 智能系统学报， ２０１５，１０（５）： ７７５⁃７８２． 英文引用格式：ＷＡＮＧ Ｊｉｅ， ＪＩＡＮＧ Ｍｉｎｇｍｉｎ， ＨＵＡ Ｘｉａｏｈｕｉ， ｅｔ ａｌ． Ｂｉｎｏｃｕｌａｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（５）： ７７５⁃７８２． Ｂｉｎｏｃｕｌａｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｕｓｉｎｇ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ ＷＡＮＧ Ｊｉｅ １，２ ， ＪＩＡＮＧ Ｍｉｎｇｍｉｎ １ ， ＨＵＡ Ｘｉａｏｈｕｉ ３，４ ， ＬＵ Ｓｈｏｕｙｉｎ ３，５ ， ＬＩ Ｊｉｎｐｉｎｇ １，２ （１． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｊｉｎａｎ， Ｊｉｎａｎ ２５００２２， Ｃｈｉｎａ； ２． Ｓｈａｎｄｏｎｇ Ｐｒｏｖｉｎｃｉａｌ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｍｐｕｔｉｎｇ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｊｉｎａｎ， Ｊｉｎａｎ ２５００２２， Ｃｈｉｎａ； ３． Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒ⁃ ｉｎｇ， Ｓｈａｎｄｏｎｇ Ｊｉａｎｚｈｕ Ｕｎｉｖｅｒｓｉｔｙ， Ｊｉｎａｎ ２５０１０１， Ｃｈｉｎａ； ４． Ｓｈａｎｄｏｎｇ Ｐｒｏｖｉｎｃｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｂｕｉｌｄｉｎｇ， Ｓｈａｎｄｏｎｇ Ｊｉａｎｚｈｕ Ｕｎｉｖｅｒｓｉｔｙ， Ｊｉｎａｎ ２５０１０１， Ｃｈｉｎａ； ５． Ｓｈａｎｄｏｎｇ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ， Ｊｉｎａｎ ２５０００２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｎ ｅｆｆｅｃｔｉｖｅ ｏｂｊｅｃｔ ｌｏｃａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｆｏｒ ａ ｒｏｂｏｔ ｍａｎｉｐｕｌａｔｏｒｓ ｂｉｎｏｃｕｌａｒ ｖｉｓｕａｌ ｓｅｒｖｏ ｓｙｓｔｅｍ ｂｙ ｕｔｉｌｉｚｉｎｇ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ ａｎｄ ｔｈｅ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｉｃ ｃｏｎｓｔｒａｉｎｔ． Ｔｈｅ ｏｂｊｅｃｔ ｉｓ ｓｅｌｅｃｔｅｄ ｍａｎｕａｌｌｙ ｉｎ ｔｈｅ ｔｗｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍｓ， ｔｈｅｎ ｔｈｅ ｈｏｒｉｚｏｎｔａｌ ａｎｄ ｖｅｒｔｉｃａｌ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍｓ， ｉｎ ｍｕｌｔｉｐｌｅ ｃｏｌｏｒ ｓｐａｃｅｓ ｏｆ ｔｈｅ ｓｅｌｅｃｔｅｄ ｏｂｊｅｃｔ， ａｒｅ ｅｘｔｒａｃｔｅｄ ａｓ ｍａｔｃｈｉｎｇ ｔｅｍｐｌａｔｅｓ ｆｏｒ ｔｈｅｓｅ ｔｗｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍｓ． Ｔｈｅ ｏｂｊｅｃｔ ｉｎ ｏｎｅ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｃａｎ ｂｅ ｔｒａｃｋｅｄ ｂｙ ｍａｋｉｎｇ ｕｓｅ ｏｆ ｔｈｅ ｐｒｉｎｃｉｐｌｅ ｏｆ ｍｏｖｉｎｇ ｃｏｎｔｉｎｕｉｔｙ ａｎｄ ｔｈｅ ｍａｔｃｈｉｎｇ ｔｅｍｐｌａｔｅｓ ｏｆ ｔｈｅ ｐｒｏｊｅｃ⁃ ｔｉｏｎ ｈｉｓｔｏｇｒａｍｓ ｉｎ ｍｕｌｔｉｐｌｅ ｃｏｌｏｒ ｓｐａｃｅｓ． Ｉｎ ｔｈｅ ｏｔｈｅｒ ｖｉｓｉｏｎ ｓｙｓｔｅｍ， ｔｈｅ ｏｂｊｅｃｔ ｉｓ ｌｏｃａｔｅｄ ｒｏｕｇｈｌｙ ｂａｓｅｄ ｏｎ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｉｃ ｃｏｎｓｔｒａｉｎｔ， ａｎｄ ｔｈｅｎ ｉｔ ｃａｎ ｂｅ ｔｒａｃｋｅｄ ａｃｃｕｒａｔｅｌｙ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ ｍｅｔｈｏｄ ｗｈｉｃｈ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｆｉｒｓｔ ｖｉｓｉｏｎ． Ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｄｅｓｃｒｉｂｅｓ ｔｈｅ ｏｂｊｅｃｔｓ ｓｔｒｕｃｔｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｂｙ ｕｓｉｎｇ ｈｏｒｉｚｏｎｔａｌ ａｎｄ ｖｅｒｔｉｃａｌ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏ⁃ ｇｒａｍｓ， ａｎｄ ｒｅａｌｉｚｅｓ ｔｈｅ ｆｕｎｃｔｉｏｎ ｏｆ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ａｎｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｉｎ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｖｉｓｕａｌ ｓｙｓｔｅｍ， ｗｈｉｃｈ ｉｓ ｈｅｌｐｆｕｌ ｉｎ ｔｈｅ ｐｒｅｃｉｓｅ ｌｏｃａｔｉｏｎ ａｎｄ ｖｉｓｕａｌ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｔｈｅ ｔｒａｃｋｅｄ ｏｂｊｅｃｔ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ ｔｈｉｓ ｍｅｔｈ⁃ ｏｄ ｃａｎ ｒｅａｌｉｚｅ ｔｈｅ ｂｉｎｏｃｕｌａｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ａｎｄ ｓｔｒｏｎｇ ｒｏｂｕｓｔｎｅｓｓ． Ｋｅｙｗｏｒｄｓ：ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ； ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ； ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ； ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ； ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ 收稿日期：２０１４⁃１０⁃０８． 网络出版日期：２０１５⁃０９⁃３０． 基金项目：国家“８６３”计划资助项目（２０１２ＡＡ０４１５０６）；山东省高等学校科 研计划资助项目（Ｊ１２ＬＮ１９）；山东省科技发展计划资助项目 （２０１３ＹＤ０１０４３）；济南大学校基金重点项目资助（ＸＫＹ１２０２）． 通信作者：李金屏． Ｅ⁃ｍａｉｌ：ｉｓｅ＿ｌｉｊｐ＠ ｕｊｎ．ｅｄｕ．ｃｎ． 利用视觉伺服的机器人机械手自动抓取和安放 物体，需要精确实时定位所抓取物体的空间位置，双 目视觉是机器人视觉伺服一种常用的有效工具。 双 目视觉可实现目标的近距离精确定位，即利用目标 在双目图像中的位置信息计算目标的空间三维坐 标。 根据实际应用选择一种可靠、有效的跟踪算法
·776 智能系统学报 第10卷 是实现目标精确定位的前提，基于双目视觉的目标 现了双目视觉系统的目标精确跟踪。目标在一个双 跟踪具有重要的研究价值及应用前景。 目视觉结构固定的双目图像中的位置满足极线几何 背景差分法山与帧间差分法[)是2种简单常 关系，目标具有运动一致性的原则，即目标的运动状 用的目标检测方法，建立一个良好的背景模型是背 态不会发生较大突变。运用这2个关系，可有效限 景差分法能有效检测目标的前提，稳定的背景是帧 制目标的搜索范围和搜索方向，提高目标跟踪算法 间差分法能有效检测移动目标的基础。CamShit!3】 的运算效率，且在双目视觉中跟踪到的是已经完成 算法是一种经典、有效的跟踪算法，主要运用目标的 配准的目标。投影直方图是常用的一种图像分析工 色彩信息在图像中检测并跟踪目标。然而，Cam- 具，它反映一定方向上的能量累积效应，同时又保留 Shif算法过度依赖色彩信息，且没有参考目标的结 了一定的位置分布信息。结合多颜色空间信息融合 构、纹理等其他可区分与背景的目标，在应用方面具 技术4，根据不同的应用环境及跟踪目标，动态选 有一定的局限性。当目标的色彩信息较弱或背景中 择一组可有效表征跟踪目标颜色分量组合，以更加 出现大量与目标色彩相近的区域时，CamShift跟踪 全面的信息保证跟踪的稳定性。 算法往往失效。高斯混合模型是一种背景建模方 本文所提跟踪算法主要由3个基本模块组成： 式，主要适用于有规律变化的背景，难以在多变的环 目标特征提取、目标检测和模板更新。经实验对比 境中泛化使用。然而，电力机器人的工作环境是多 及验证，本文所提算法可满足设计要求。依据目标 变的，往往很难建立一种泛化能力极强的背景模型， 投影直方图特征搜索目标，背景的动态变化对搜索 因此以上方法均不能满足设计需要。文献[4]将稀 无影响。与其他算法相比，具有原理简单、高效、实 疏表示应用于目标，根据建立的目标字典实现固定 用的优点。并且将双目视觉的目标跟踪与配准工作 目标的跟踪。稀疏方程的求解是一个NP-hard问 合二为一，以配准的方法引导目标搜索，得到已配准 题，其最优值的搜索具有较高的运算复杂度。基于 的跟踪目标。 稀疏表示的目标跟踪算法的理论及程序设计较为复 1 基本原理 杂，难以在工程应用中进行推广及维护。基于主动 轮廓模型)、主动形状模型6的跟踪方法易受到背 1.1极线几何原理 景的干扰，并且理论及算法复杂，同样不适用于在工 在结构固定的双目视觉系统中，空间点P在双 程中推广及维护。因此，需要研究一种简单、高效、 目图像中的成像位置(P1,P,)满足极线几何的约束 可满足需求的目标跟踪算法。 准则，如图1所示。假设双目摄像机满足针孔成像 基于双目视觉系统的目标跟踪又有其自身的特 模型，C、C,分别为左、右视觉的光心。光心连线 殊性，对目标跟踪精度有较高的要求，需要在重建三 C,C,与左右成像平面的2个交点e、e,称为极点，空 维信息前完成配准工作。针对不同的应用背景，一 间点与2个光心的连线PC1、PC,和双目成像平面 些研究人员进行了相关研究并确定较好的效果。例 的交点P1P,即是空间点P在双目图像中的成像。 如，在序贯测机制下，利用粒子滤波、稀疏场主动轮 若已知左视觉图像中的一点P,则相应的实际空间 廓和CamShift等方法在双目视觉中跟踪目标)：在 点P可存在于直线CP,上的任意点，故点P在右视 机器人的双目视觉中，针对机器人静止-目标运动 觉中的成像点位于e,P,直线上。因此，若已知左视 和机器人运动-目标运动2种模式，利用不同的特 觉中的成像点P1,可推导出左视觉中对应的一条极 征提取方法跟踪运动目标，如颜色直方图、CamShift 线l2,则右视觉中的成像点必在直线2上。同理，P, 算法、Hu矩等特征[，目标的颜色、纹理等信息[9)： 与相对应，其对应关系满足固定基础矩阵F的约 不管运用双目视觉实现自动空中加油导航功能[]， 束1)，如式(1)、(2)所示。 还是实现运动物体的实时跟踪与测距)、道路交通 Fp, (1) 预警[)、多目标跟踪[)，目标的跟踪与配准是基础 L=FP (2) 工作。双目视觉系统中的目标跟踪与配准的精度决 利用RANSAC算法或LMedS算法均可求解双 定了视觉伺服系统的性能，研究一种简单、高效的基 目视觉系统的基础矩阵F[)。已知右视觉中的一 于双目视觉系统的目标跟踪算法具有重要的价值。 点，利用式(1)计算出的左视觉图像中的极线如图2 本文研究了一种基于双目视觉系统的目标跟踪 所示。利用双目视觉中的极线几何性质，有利于引 算法。该算法利用了极线几何及运动一致性原则引 导左右视觉中的目标配准。 导搜索方向，以投影直方图匹配为目标检测手段，实
是实现目标精确定位的前提，基于双目视觉的目标 跟踪具有重要的研究价值及应用前景。 背景差分法［１］ 与帧间差分法［２］ 是 ２ 种简单常 用的目标检测方法，建立一个良好的背景模型是背 景差分法能有效检测目标的前提，稳定的背景是帧 间差分法能有效检测移动目标的基础。 ＣａｍＳｈｉｔ ［３］ 算法是一种经典、有效的跟踪算法，主要运用目标的 色彩信息在图像中检测并跟踪目标。 然而，Ｃａｍ⁃ Ｓｈｉｆｔ 算法过度依赖色彩信息，且没有参考目标的结 构、纹理等其他可区分与背景的目标，在应用方面具 有一定的局限性。 当目标的色彩信息较弱或背景中 出现大量与目标色彩相近的区域时，ＣａｍＳｈｉｆｔ 跟踪 算法往往失效。 高斯混合模型是一种背景建模方 式，主要适用于有规律变化的背景，难以在多变的环 境中泛化使用。 然而，电力机器人的工作环境是多 变的，往往很难建立一种泛化能力极强的背景模型， 因此以上方法均不能满足设计需要。 文献［４］将稀 疏表示应用于目标，根据建立的目标字典实现固定 目标的跟踪。 稀疏方程的求解是一个 ＮＰ⁃ｈａｒｄ 问 题，其最优值的搜索具有较高的运算复杂度。 基于 稀疏表示的目标跟踪算法的理论及程序设计较为复 杂，难以在工程应用中进行推广及维护。 基于主动 轮廓模型［５］ 、主动形状模型［６］ 的跟踪方法易受到背 景的干扰，并且理论及算法复杂，同样不适用于在工 程中推广及维护。 因此，需要研究一种简单、高效、 可满足需求的目标跟踪算法。 基于双目视觉系统的目标跟踪又有其自身的特 殊性，对目标跟踪精度有较高的要求，需要在重建三 维信息前完成配准工作。 针对不同的应用背景，一 些研究人员进行了相关研究并确定较好的效果。 例 如，在序贯测机制下，利用粒子滤波、稀疏场主动轮 廓和 ＣａｍＳｈｉｆｔ 等方法在双目视觉中跟踪目标［７］ ；在 机器人的双目视觉中，针对机器人静止－目标运动 和机器人运动－目标运动 ２ 种模式，利用不同的特 征提取方法跟踪运动目标，如颜色直方图、ＣａｍＳｈｉｆｔ 算法、Ｈｕ 矩等特征［８］ ，目标的颜色、纹理等信息［９］ ； 不管运用双目视觉实现自动空中加油导航功能［１０］ ， 还是实现运动物体的实时跟踪与测距［１１］ 、道路交通 预警［１２］ 、多目标跟踪［１３］ ，目标的跟踪与配准是基础 工作。 双目视觉系统中的目标跟踪与配准的精度决 定了视觉伺服系统的性能，研究一种简单、高效的基 于双目视觉系统的目标跟踪算法具有重要的价值。 本文研究了一种基于双目视觉系统的目标跟踪 算法。 该算法利用了极线几何及运动一致性原则引 导搜索方向，以投影直方图匹配为目标检测手段，实 现了双目视觉系统的目标精确跟踪。 目标在一个双 目视觉结构固定的双目图像中的位置满足极线几何 关系，目标具有运动一致性的原则，即目标的运动状 态不会发生较大突变。 运用这 ２ 个关系，可有效限 制目标的搜索范围和搜索方向，提高目标跟踪算法 的运算效率，且在双目视觉中跟踪到的是已经完成 配准的目标。 投影直方图是常用的一种图像分析工 具，它反映一定方向上的能量累积效应，同时又保留 了一定的位置分布信息。 结合多颜色空间信息融合 技术［１４］ ，根据不同的应用环境及跟踪目标，动态选 择一组可有效表征跟踪目标颜色分量组合，以更加 全面的信息保证跟踪的稳定性。 本文所提跟踪算法主要由 ３ 个基本模块组成： 目标特征提取、目标检测和模板更新。 经实验对比 及验证，本文所提算法可满足设计要求。 依据目标 投影直方图特征搜索目标，背景的动态变化对搜索 无影响。 与其他算法相比，具有原理简单、高效、实 用的优点。 并且将双目视觉的目标跟踪与配准工作 合二为一，以配准的方法引导目标搜索，得到已配准 的跟踪目标。 １ 基本原理 １．１ 极线几何原理 在结构固定的双目视觉系统中，空间点 Ｐ 在双 目图像中的成像位置（ ｐｌ，ｐｒ）满足极线几何的约束 准则，如图 １ 所示。 假设双目摄像机满足针孔成像 模型，Ｃｌ、Ｃｒ 分别为左、右视觉的光心。 光心连线 ＣｌＣｒ 与左右成像平面的 ２ 个交点 ｅｌ、ｅｒ 称为极点，空 间点与 ２ 个光心的连线 ＰＣｌ、ＰＣｒ，和双目成像平面 的交点 ｐｌ、ｐｒ 即是空间点 Ｐ 在双目图像中的成像。 若已知左视觉图像中的一点 ｐｌ，则相应的实际空间 点 Ｐ 可存在于直线 Ｃｌ ｐｌ上的任意点，故点 Ｐ 在右视 觉中的成像点位于 ｅｒ ｐｒ直线上。 因此，若已知左视 觉中的成像点 ｐｌ，可推导出左视觉中对应的一条极 线 ｌ ２ ，则右视觉中的成像点必在直线 ｌ ２上。 同理，ｐｒ 与 ｌ １相对应，其对应关系满足固定基础矩阵 Ｆ 的约 束［１３］ ，如式（１）、（２）所示。 ｌ １ ＝ Ｆｐｒ （１） ｌ ２ ＝ Ｆ Ｔ ｐｌ （２） 利用 ＲＡＮＳＡＣ 算法或 ＬＭｅｄＳ 算法均可求解双 目视觉系统的基础矩阵 Ｆ ［１５］ 。 已知右视觉中的一 点，利用式（１）计算出的左视觉图像中的极线如图 ２ 所示。 利用双目视觉中的极线几何性质，有利于引 导左右视觉中的目标配准。 ·７７６· 智 能 系 统 学 报 第 １０ 卷
第5期 王杰，等：基于投影直方图匹配的双目视觉跟踪算法 .777. 式中：N为直方图的维数，H1、H2为2个计算相关性 的直方图。当2个直方图的相关大于设定的阈值 时，认为当前检测区域是目标候选区域。在所有的 候选区域集合内选择相关性最高的的区域认为是当 前帧目标所在区域。 左视觉成像平面 右视觉成像平面 在实际应用中，目标的运动或姿态的变化会引 图1极线几何结构 起目标在图像中大小或方向发生改变。在跟踪过程 Fig.1 Stucture of epipolar geometry 中需要适当地调整检测窗口的尺寸会引起投影直方 图维数的改变。在计算2个直方图的相关性之前， 需要对检测区域生成的投影直方图维数向模板对 齐，即对直方图的维数进行缩放，如式(5)所示： H=kH (5) 式中：表示维数变换后的直方图，为原始直方 (a)点 (b)极线 图，k表示直方图缩放系数。直方图拉伸效果如图4 图2极线几何示例 所示，其走势仍然保持不变。 Fig.2 The experiment of epipolar geometry 为了克服直方图毛刺对匹配精度的影响，需对 1.2基于投影直方图匹配与运动一致性约束的目 直方图进行平滑处理。 标跟踪算法 选择目标的投影直方图作为匹配特征，在图像 序列中检测目标。以运动一致性原则作为约束，引 导目标的搜索方向，加快跟踪算法运算速度。为了 确保投影直方图能有效表达目标的特征，利用多颜 色空间信息融合技术选择可最佳区分背景与目标的 E 颜色分量，以多颜色分量的投影直方图匹配目标。 1.2.1投影直方图匹配 直方图是一种常用的特征，体现了图像的能量 累计效应，可用于图像匹配[16]、图像增强[]等。投 影直方图是一种常用的直方图计算方式，反映了沿 图3投影直方图示例 一定方向上的能量累积和数据的分布特性。2个相 Fig.3 Projection histogram 互垂直方向上的投影直方图，即包含了统计信息又 体现了结构信息。与其他特征提取方式相比，投影 直方图具有原理简单、运算量小、易于维护的优点， 实用价值高。以一个人工绘制的简单模型作为演 示，如图3所示，体现了投影直方图包含统计信息和 结构信息的特点。 在每帧图像中，以当前检测区域的投影直方图 与目标模板直方图的相关性为参考准则，判断当前 检测区域是否为目标。文献[18]中，2个维数相等 (a)原始直方图 (b)直方图拉伸 图4直方图缩放示例 的直方图相关性计算如下： Fig.4 Projection histogram resizing ∑，(H,()-A)(H,()-A) y(H1,H2)= 1.2.2算法实现 √∑，(H()-A)2∑，(H,()-A) 目标的投影直方图特征是一个集合，由多个颜 (3) 色分量的投影直方图组成，每个变量的投影直方图 包括2个方向：X方向和Y方向，它们分别与矩形检 可=∑A (4) 测窗口长、宽方向平行，如图5所示。将这2个方向
图 １ 极线几何结构 Ｆｉｇ．１ Ｓｔｕｃｔｕｒｅ ｏｆ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ （ａ）点 （ｂ）极线 图 ２ 极线几何示例 Ｆｉｇ．２ Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｏｆ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ １．２ 基于投影直方图匹配与运动一致性约束的目 标跟踪算法 选择目标的投影直方图作为匹配特征，在图像 序列中检测目标。 以运动一致性原则作为约束，引 导目标的搜索方向，加快跟踪算法运算速度。 为了 确保投影直方图能有效表达目标的特征，利用多颜 色空间信息融合技术选择可最佳区分背景与目标的 颜色分量，以多颜色分量的投影直方图匹配目标。 １．２．１ 投影直方图匹配 直方图是一种常用的特征，体现了图像的能量 累计效应，可用于图像匹配［１６］ 、图像增强［１７］ 等。 投 影直方图是一种常用的直方图计算方式，反映了沿 一定方向上的能量累积和数据的分布特性。 ２ 个相 互垂直方向上的投影直方图，即包含了统计信息又 体现了结构信息。 与其他特征提取方式相比，投影 直方图具有原理简单、运算量小、易于维护的优点， 实用价值高。 以一个人工绘制的简单模型作为演 示，如图 ３ 所示，体现了投影直方图包含统计信息和 结构信息的特点。 在每帧图像中，以当前检测区域的投影直方图 与目标模板直方图的相关性为参考准则，判断当前 检测区域是否为目标。 文献［１８］中，２ 个维数相等 的直方图相关性计算如下： γ（Ｈ１，Ｈ２） ＝ ∑ｉ （Ｈ１（ｉ） － Ｈ１）（Ｈ２（ｉ） － Ｈ２） ∑ｉ （Ｈ１（ｉ） － Ｈ１） ２∑ｉ （Ｈ２（ｉ） － Ｈ２） ２ （３） Ｈｋ ＝ １ Ｎ∑ｉ Ｈｋ（ｉ） （４） 式中：Ｎ 为直方图的维数，Ｈ１ 、Ｈ２为 ２ 个计算相关性 的直方图。 当 ２ 个直方图的相关大于设定的阈值 时，认为当前检测区域是目标候选区域。 在所有的 候选区域集合内选择相关性最高的的区域认为是当 前帧目标所在区域。 在实际应用中，目标的运动或姿态的变化会引 起目标在图像中大小或方向发生改变。 在跟踪过程 中需要适当地调整检测窗口的尺寸会引起投影直方 图维数的改变。 在计算 ２ 个直方图的相关性之前， 需要对检测区域生成的投影直方图维数向模板对 齐，即对直方图的维数进行缩放，如式（５）所示： Ｈ Ｔ ＝ ｋＨ ｏ （５） 式中：Ｈ Ｔ表示维数变换后的直方图，Ｈ ｏ为原始直方 图，ｋ 表示直方图缩放系数。 直方图拉伸效果如图 ４ 所示，其走势仍然保持不变。 为了克服直方图毛刺对匹配精度的影响，需对 直方图进行平滑处理。 图 ３ 投影直方图示例 Ｆｉｇ．３ Ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ （ａ）原始直方图 （ｂ）直方图拉伸 图 ４ 直方图缩放示例 Ｆｉｇ．４ Ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｒｅｓｉｚｉｎｇ １．２．２ 算法实现 目标的投影直方图特征是一个集合，由多个颜 色分量的投影直方图组成，每个变量的投影直方图 包括 ２ 个方向：Ｘ 方向和 Ｙ 方向，它们分别与矩形检 测窗口长、宽方向平行，如图 ５ 所示。 将这 ２ 个方向 第 ５ 期 王杰，等：基于投影直方图匹配的双目视觉跟踪算法 ·７７７·
·778 智能系统学报 第10卷 的直方图分别记为H,和Hy 目标所在位置。 2)初始化可更新模板H=H",",=0,vp=0。 3)获取新一帧图像，根据"。、"。大小预测目标 在当前帧可能位置及搜索窗口的大小、方向，其中 P2=P1+,W2=(W1+eo)0。 4)在预测位置P2及其邻域内，并根据预测搜索 窗口W2,在一定范围内连续改变窗口的尺寸及方向 生成一个窗口检测序列，计算相应检测区域的投影 图5投影方向示例 直方图H。利用式(3)计算H与H相关性，将满足 Fig.5 Sample of projection orientation 相关系数大于设定阈值的位置及其投影直方图H 目标的正常运动状态是连续一致的，这一特点 记录到目标候选区域集合O中。 可有效引导搜索目标的方向和范围。目标在视频序 5)若4)未检测到相关性满足条件的区域，则扩 列中的运动方式分为：平面运动y。、深度运动"。和旋 大搜索范围，执行4)继续检测目标。若第2次调整 转运动()。平面运动引起目标位置的改变，深度运 搜索范围后仍未检测目标，系统提示目标丢失，请求 动引起目标大小的改变，旋转运动引起目标倾斜方向 再次人工辅助选择目标。若检测到相关性满足条件 的变化。y。用来引导搜索窗口的移动距离，'。用来 的区域，则继续执行6)。 引导搜索窗口的长宽改变程度，0用来引导搜索窗口 6)计算0中各投影直方图与H"的相关性，提 方向的旋转。目标在上一帧和当前帧预测位置分别 记为P,和P2,窗口尺寸（长、宽）为W=(Wx,Wy),上 取相关系数最大的位置P、其投影直方图H和检测 帧和当前帧预测尺寸大小分别记为W,和W2。 窗口WM。更新U,=p-P1,p=WM-W1,8=(Ww)- 为了有效适应目标的变化，并防止目标丢失，算 (W),P1=P,=H。若相关系数均不能满足设 法定义了2个模板：可更新模H和固定模板H。 定的参考阈值，说明目标丢失，系统请求再次人工辅 在运动一致性的约束下，基于直方图匹配的目 助选择目标。 标跟踪算法实现如下： 7)一次目标跟踪完成，从3)开始在新的一帧中 1)人工辅助选定跟踪目标，并提取目标的投影 检测并跟踪目标。 直方图作为目标特征。投影直方图特征记为H= 其中，模板更新是算法的重要组成部分，决定了 H以，，…，H},={,,…,},P为当前 算法跟踪性能。算法流程图如图6所示。 标准模析P 保持 不变 人工辅助 N 选择日标 计算H预W Y 相似度满 计算H预丹 匹配模析什 相似度满 保持更新 相似度 足条件 相似度 足条件 H=H N 目标搜索 更换搜 标记当前位置为 位置H 索位置 目标候选区域 图6 模板更新流程图 Fig.6 Flow chart for template updating 1.3实验测试 标，最终实现利用机械手任意抓取、移动和安放目标 人工标注是为了操作人员灵活选择目标，然后 的目的。1.2部分所述实验结果如图7所示。 利用直方图匹配算术根据直方图特征检测和跟踪目 (a)测试目标1
的直方图分别记为 ＨＸ和 ＨＹ 。 图 ５ 投影方向示例 Ｆｉｇ．５ Ｓａｍｐｌｅ ｏｆ ｐｒｏｊｅｃｔｉｏｎ ｏｒｉｅｎｔａｔｉｏｎ 目标的正常运动状态是连续一致的，这一特点 可有效引导搜索目标的方向和范围。 目标在视频序 列中的运动方式分为：平面运动 ｖｐ、深度运动 ｖＤ 和旋 转运动（θ）。 平面运动引起目标位置的改变，深度运 动引起目标大小的改变，旋转运动引起目标倾斜方向 的变化。 ｖｐ 用来引导搜索窗口的移动距离，ｖＤ 用来 引导搜索窗口的长宽改变程度，θ 用来引导搜索窗口 方向的旋转。 目标在上一帧和当前帧预测位置分别 记为 ｐ１ 和 ｐ２ ，窗口尺寸（长、宽）为 Ｗ ＝ （ＷＸ，ＷＹ ），上 一帧和当前帧预测尺寸大小分别记为 Ｗ１ 和 Ｗ２ 。 为了有效适应目标的变化，并防止目标丢失，算 法定义了 ２ 个模板：可更新模 Ｈ Ｃ 和固定模板 Ｈ Ｍ 。 在运动一致性的约束下，基于直方图匹配的目 标跟踪算法实现如下： １）人工辅助选定跟踪目标，并提取目标的投影 直方图作为目标特征。 投影直方图特征记为 Ｈ Ｍ Ｘ ＝ ｛Ｈ １ Ｘ ，Ｈ ２ Ｘ ，…，Ｈ Ｎ Ｘ ｝ ，Ｈ Ｍ Ｙ ＝ ｛Ｈ １ Ｙ ，Ｈ ２ Ｙ ，…，Ｈ Ｎ Ｙ ｝ ，ｐ１为当前 目标所在位置。 ２）初始化可更新模板 Ｈ Ｃ ＝Ｈ Ｍ ，ｖｐ ＝ ０，ｖＤ ＝ ０。 ３）获取新一帧图像，根据 ｖｐ、ｖＤ 大小预测目标 在当前帧可能位置及搜索窗口的大小、方向，其中 ｐ２ ＝ ｐ１ ＋ｖｐ，Ｗ２ ＝ （Ｗ１ ＋ｖＤ）θ。 ４）在预测位置 ｐ２ 及其邻域内，并根据预测搜索 窗口 Ｗ２ ，在一定范围内连续改变窗口的尺寸及方向 生成一个窗口检测序列，计算相应检测区域的投影 直方图 Ｈ。 利用式（３）计算 Ｈ 与 Ｈ Ｃ相关性，将满足 相关系数大于设定阈值的位置及其投影直方图 Ｈ 记录到目标候选区域集合 ＯＣ中。 ５）若 ４）未检测到相关性满足条件的区域，则扩 大搜索范围，执行 ４）继续检测目标。 若第 ２ 次调整 搜索范围后仍未检测目标，系统提示目标丢失，请求 再次人工辅助选择目标。 若检测到相关性满足条件 的区域，则继续执行 ６）。 ６）计算 ＯＣ中各投影直方图与 Ｈ Ｍ的相关性，提 取相关系数最大的位置 ｐ、其投影直方图 Ｈ Ｍ和检测 窗口 ＷＭ 。 更新 ｖ ｐ ＝ ｐ－ｐ１ ，ｖＤ ＝ ＷＭ －Ｗ１ ，θ ＝ θ（ＷＭ ） － θ（Ｗ１ ），ｐ１ ＝ ｐ，Ｈ Ｃ ＝ Ｈ Ｍ 。 若相关系数均不能满足设 定的参考阈值，说明目标丢失，系统请求再次人工辅 助选择目标。 ７）一次目标跟踪完成，从 ３）开始在新的一帧中 检测并跟踪目标。 其中，模板更新是算法的重要组成部分，决定了 算法跟踪性能。 算法流程图如图 ６ 所示。 图 ６ 模板更新流程图 Ｆｉｇ．６ Ｆｌｏｗ ｃｈａｒｔ ｆｏｒ ｔｅｍｐｌａｔｅ ｕｐｄａｔｉｎｇ １．３ 实验测试 人工标注是为了操作人员灵活选择目标，然后 利用直方图匹配算术根据直方图特征检测和跟踪目 标，最终实现利用机械手任意抓取、移动和安放目标 的目的。 １．２ 部分所述实验结果如图 ７ 所示。 （ａ） 测试目标 １ ·７７８· 智 能 系 统 学 报 第 １０ 卷
第5期 王杰，等：基于投影直方图匹配的双目视觉跟踪算法 ·779. x (b)测试目标2 图7基于投影直方图匹配的目标跟踪算法 Fig.7 Experiments of object tracking based on projection histogram matching 2双目视觉跟踪 会存在的直线位置，即可重新搜索到目标。如此以 来，既提高了双目视觉系统中目标跟踪的运算速度， 双目视觉跟踪除了要在双目视频序列中同步、 又提高了跟踪的准确性和可靠性。 实时和准确跟踪目标外，还应完成双目图像中的目 双目视觉系统中，在极线几何与运动一致性准 标配准工作。传统的方式是在同时获取的双目图像 则引导下，利用直方图匹配的目标跟踪算法实现步 中独立检测和跟踪目标，而后再根据目标的自身特 骤如下： 征及双目视觉的结构关系完成目标的配准工作。然 1)在双目图像中人工辅助标定跟踪目标，并分 而，目标在双目图像中的稳定几何关系，可用来引导 别提取双目图像中的目标投影直方图。 双目视觉中目标的搜索范围，将目标的跟踪与配准 2)初始化右视觉为主视觉，则左视觉为在副视 2个工作合二为一。假设，当在一个右视觉中准确 觉。主视觉踪利用1.2.2所述算法检测并跟踪目 跟踪到目标，利用双目视觉的极线几何原理，将目标 标。若主视觉中目标丢失，则将主副视觉相切换，重 在左视觉中的位置限定在一条直线上。再结合目标 新执行此步骤。 运动的一致性约束，目标在左视觉中的位置限定在 3)根据2)跟踪到的目标位置，利用极线几何原 一个很小的范围内。在左视觉中检测出的图像即是 理，计算目标在副视觉中对应的极线，同时根据运动 已经与右视觉配准后的目标，提高了双目视觉系统 致性约束，将目标限制到极线很小的范围内。利 中目标跟踪和配准的运算速度。另外，当目标在其 用1.2.2所述算法精确检测并跟踪目标。 中的任意一个视觉中跟踪失败时，根据另一个视觉 双目视觉跟踪算法实现流程图如图8所示。 中的目标位置，利用极线几何原理可计算出目标必 根据目标运 利用投影直 主视觉 方图匹配准 判断目标 Y 动连续估算 更新模板并 日标搜索范围 则搜索目标 是否存在 计算目标重心 N 适当扩大目 是否已切 同步获 标搜索范围 N 大搜索 取双目 视觉图像 副视觉互换 计算重心在副 视觉图像中对 成的极线 根据目标运动 根据极线约束 利用投影直 更新模板并 完成目标 判断目材 副视觉 连续性估算日 准则进一步缩 方图匹配准 是否存在 精确计算 跟踪与 标搜索范围 小搜索范围 则搜索目标 目标重心 匹配任务 适当扩大 搜索范围 图8双目视觉跟踪算法实现流程 Fig.8 The flow chart of object tracking in binocular vision
（ｂ）测试目标 ２ 图 ７ 基于投影直方图匹配的目标跟踪算法 Ｆｉｇ．７ Ｅｘｐｅｒｉｍｅｎｔｓ ｏｆ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｂａｓｅｄ ｏｎ ｐｒｏｊｅｃｔｉｏｎ ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ ２ 双目视觉跟踪 双目视觉跟踪除了要在双目视频序列中同步、 实时和准确跟踪目标外，还应完成双目图像中的目 标配准工作。 传统的方式是在同时获取的双目图像 中独立检测和跟踪目标，而后再根据目标的自身特 征及双目视觉的结构关系完成目标的配准工作。 然 而，目标在双目图像中的稳定几何关系，可用来引导 双目视觉中目标的搜索范围，将目标的跟踪与配准 ２ 个工作合二为一。 假设，当在一个右视觉中准确 跟踪到目标，利用双目视觉的极线几何原理，将目标 在左视觉中的位置限定在一条直线上。 再结合目标 运动的一致性约束，目标在左视觉中的位置限定在 一个很小的范围内。 在左视觉中检测出的图像即是 已经与右视觉配准后的目标，提高了双目视觉系统 中目标跟踪和配准的运算速度。 另外，当目标在其 中的任意一个视觉中跟踪失败时，根据另一个视觉 中的目标位置，利用极线几何原理可计算出目标必 会存在的直线位置，即可重新搜索到目标。 如此以 来，既提高了双目视觉系统中目标跟踪的运算速度， 又提高了跟踪的准确性和可靠性。 双目视觉系统中，在极线几何与运动一致性准 则引导下，利用直方图匹配的目标跟踪算法实现步 骤如下： １）在双目图像中人工辅助标定跟踪目标，并分 别提取双目图像中的目标投影直方图。 ２）初始化右视觉为主视觉，则左视觉为在副视 觉。 主视觉踪利用 １． ２． ２ 所述算法检测并跟踪目 标。 若主视觉中目标丢失，则将主副视觉相切换，重 新执行此步骤。 ３）根据 ２）跟踪到的目标位置，利用极线几何原 理，计算目标在副视觉中对应的极线，同时根据运动 一致性约束，将目标限制到极线很小的范围内。 利 用 １．２．２ 所述算法精确检测并跟踪目标。 双目视觉跟踪算法实现流程图如图 ８ 所示。 图 ８ 双目视觉跟踪算法实现流程 Ｆｉｇ．８ Ｔｈｅ ｆｌｏｗ ｃｈａｒｔ ｏｆ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｉｎ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ 第 ５ 期 王杰，等：基于投影直方图匹配的双目视觉跟踪算法 ·７７９·
·780 智能系统学报 第10卷 3实验分析 法不能估计物体的倾斜方向，无法计算目标的位姿。 本文所提算法采用了多颜色空间投影直方图，利用 在实验室环境手工搭建的双目视觉平台上进行 直方图所体现的统计信息与结构信息成功跟踪移动 了相关测试，实验平台如图9所示。硬件配置为：2 目标，并且可以匹配目标的倾斜方向，利于在双目视 台相同型号普通摄像机，普通4通道图像采集卡，计 觉系统中计算目标位姿。 算机一台(Core i7-47703.40GHz8GB内存)。 3.2算法跟踪精度分析 3.1 算法性能测试 为了测试本文所提目标跟踪算法的跟踪精度， 在测试双目视觉的目标跟踪性能之前，需要先 利用实验室自行搭建的双目视觉平台及三维坐标重 确定在单目视觉中基于直方图匹配的目标跟踪算法 建算法进行测试。选择背景稳定的室内环境，在 性能。为定性比较目标跟踪算法的性能，本文选择 0.4~1.5m的范围中，并且场景中没有与目标色彩相 了CamSift算法和背景差分法进行实验比较。手持 同或相近的干扰区域。利用CamShift算法与本文 目标移动进行跟踪测试，实验结果如图10所示。 所提算法分别在双目图像中跟踪目标，并直接利用 跟踪目标的原始图像坐标值计算三维坐标，并将重 建后的三维坐标值与真实值的距离作为误差衡量标 准，其平均误差及每帧平均跟踪运算时间如表1。 表1未配准CamShift算法跟踪结果 Table 1 Tracking results for unmatched Camshift 算法 平均误差/mm 平均时间消耗/ms CamShift 11.7 12.8 图9双目视觉实验平台 本文 4.3 38.2 Fig.9 Testing platform of binocular vision 表1实验结果表明，本文所提算法的跟踪精度 明显高于CamShift算法。CamShift的误差高是因为 目标未进行配准，为了体现本文算法的优势，将 (a)背景差分法 CamShift算法的跟踪目标配准后再次计算其平均误 差及消耗时间，如表2所示。 表2实验结果表明，配准CamShif近算法跟踪结 果后，跟踪的平均误差大幅度降低。然而，与本文算 (b)CamShift算法 法相比，跟踪精度与本文相当，但时间消耗大幅度 增加。 表2配准CamShift算法跟踪结果 Table 2 Tracking results for matched Camshift (c)本文算法 算法 平均误差/mm 平均时间消耗/s 图10目标跟踪实验对比 CamShift 76.8 Fig.10 Comparative experiments for object tracking 3.8 本文 4.3 38.2 背景差分法分割了所有的与背景相差较大的 区域，无法精准定位目标。然而在实际应用中夹取 3.3 实验结果 目标的机械臂也会移动，并且背景差分法需建立在 选择有颜色信息和无颜色信息2种目标测试本 良好的背景模型基础上，应用具有较大局限性。 文跟踪算法。有色彩信息的目标相对容易跟踪，无 CamShift算法利用了图像的色彩信息，然而当背景 色彩信息的目标主要利用其灰度的统计信息及结果 中存在大面积与目标色彩信息相同的物体时，将不 信息进行跟踪，如图11所示。 能准确跟踪目标。另外，背景差分法和Camshift算
３ 实验分析 在实验室环境手工搭建的双目视觉平台上进行 了相关测试，实验平台如图 ９ 所示。 硬件配置为：２ 台相同型号普通摄像机，普通 ４ 通道图像采集卡，计 算机一台（Ｃｏｒｅ ｉ７⁃４７７０ ３．４０ ＧＨｚ ８ ＧＢ 内存）。 ３．１ 算法性能测试 在测试双目视觉的目标跟踪性能之前，需要先 确定在单目视觉中基于直方图匹配的目标跟踪算法 性能。 为定性比较目标跟踪算法的性能，本文选择 了 ＣａｍＳｉｆｔ 算法和背景差分法进行实验比较。 手持 目标移动进行跟踪测试，实验结果如图 １０ 所示。 图 ９ 双目视觉实验平台 Ｆｉｇ．９ Ｔｅｓｔｉｎｇ ｐｌａｔｆｏｒｍ ｏｆ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ （ａ）背景差分法 （ｂ）ＣａｍＳｈｉｆｔ 算法 （ｃ）本文算法 图 １０ 目标跟踪实验对比 Ｆｉｇ．１０ Ｃｏｍｐａｒａｔｉｖｅ ｅｘｐｅｒｉｍｅｎｔｓ ｆｏｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ 背景差分法分割了所有的与背景相差较大的 区域，无法精准定位目标。 然而在实际应用中夹取 目标的机械臂也会移动，并且背景差分法需建立在 良好的背景模型基础上， 应用具有较大局限性。 ＣａｍＳｈｉｆｔ 算法利用了图像的色彩信息，然而当背景 中存在大面积与目标色彩信息相同的物体时，将不 能准确跟踪目标。 另外，背景差分法和 Ｃａｍｓｈｉｆｔ 算 法不能估计物体的倾斜方向，无法计算目标的位姿。 本文所提算法采用了多颜色空间投影直方图，利用 直方图所体现的统计信息与结构信息成功跟踪移动 目标，并且可以匹配目标的倾斜方向，利于在双目视 觉系统中计算目标位姿。 ３．２ 算法跟踪精度分析 为了测试本文所提目标跟踪算法的跟踪精度， 利用实验室自行搭建的双目视觉平台及三维坐标重 建算法进行测试。 选择背景稳定的室内环境，在 ０．４～１．５ ｍ的范围中，并且场景中没有与目标色彩相 同或相近的干扰区域。 利用 ＣａｍＳｈｉｆｔ 算法与本文 所提算法分别在双目图像中跟踪目标，并直接利用 跟踪目标的原始图像坐标值计算三维坐标，并将重 建后的三维坐标值与真实值的距离作为误差衡量标 准，其平均误差及每帧平均跟踪运算时间如表 １。 表 １ 未配准 ＣａｍＳｈｉｆｔ 算法跟踪结果 Ｔａｂｌｅ １ Ｔｒａｃｋｉｎｇ ｒｅｓｕｌｔｓ ｆｏｒ ｕｎｍａｔｃｈｅｄ Ｃａｍｓｈｉｆｔ 算法 平均误差／ ｍｍ 平均时间消耗／ ｍｓ ＣａｍＳｈｉｆｔ １１．７ １２．８ 本文 ４．３ ３８．２ 表 １ 实验结果表明，本文所提算法的跟踪精度 明显高于 ＣａｍＳｈｉｆｔ 算法。 ＣａｍＳｈｉｆｔ 的误差高是因为 目标未进行配准， 为了体现本文算法的优势， 将 ＣａｍＳｈｉｆｔ 算法的跟踪目标配准后再次计算其平均误 差及消耗时间，如表 ２ 所示。 表 ２ 实验结果表明，配准 ＣａｍＳｈｉｆｔ 算法跟踪结 果后，跟踪的平均误差大幅度降低。 然而，与本文算 法相比，跟踪精度与本文相当，但时间消耗大幅度 增加。 表 ２ 配准 ＣａｍＳｈｉｆｔ 算法跟踪结果 Ｔａｂｌｅ ２ Ｔｒａｃｋｉｎｇ ｒｅｓｕｌｔｓ ｆｏｒ ｍａｔｃｈｅｄ Ｃａｍｓｈｉｆｔ 算法 平均误差／ ｍｍ 平均时间消耗／ ｍｓ ＣａｍＳｈｉｆｔ ３．８ ７６．８ 本文 ４．３ ３８．２ ３．３ 实验结果 选择有颜色信息和无颜色信息 ２ 种目标测试本 文跟踪算法。 有色彩信息的目标相对容易跟踪，无 色彩信息的目标主要利用其灰度的统计信息及结果 信息进行跟踪，如图 １１ 所示。 ·７８０· 智 能 系 统 学 报 第 １０ 卷
第5期 王杰，等：基于投影直方图匹配的双目视觉跟踪算法 ·781 (a)无色彩信息目标跟踪测试1 。 (b)无色彩信息目标跟踪测试2 懿 瓣 (c)有色彩信息目标跟踪测试 图11本文所提算法双目跟踪结果 Fig.11 Experiments of our proposed method 注：每组实验第1行为左视觉，第2行为右视觉，每组上下对齐位置为同一时刻左右视觉跟踪结果 4结束语 则得到一个很小的目标搜索范围，并利用投影直方 图匹配算法检测并跟踪目标，完成双目视觉系统的 本文依据双目视觉极线几何与运动一致性，提 目标跟踪任务。本文算法的优势在于，当目标在 出了一种利用投影直方图匹配方法检测并跟踪目标 个视觉中跟踪失败时，可利用目标在另一个视觉中 的方法。首先，人工辅助选择跟踪目标；其次，在主 的位置，在其对应的极线上重新搜索目标，提高了双 视觉中结合目标运动一致性约束，利用投影直方图 目视觉系统目标跟踪的可靠性。 匹配算法检测并跟踪目标：最后，根据目标在主视觉 本文所提算法同样具有局限性，当目标的整个 中的目标位置，利用极线几何原理和运动一致性原 成像平面是纯色或相近灰度，并且与背景相近，进而
（ａ）无色彩信息目标跟踪测试 １ （ｂ）无色彩信息目标跟踪测试 ２ （ｃ）有色彩信息目标跟踪测试 图 １１ 本文所提算法双目跟踪结果 Ｆｉｇ．１１ Ｅｘｐｅｒｉｍｅｎｔｓ ｏｆ ｏｕｒ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ 注：每组实验第 １ 行为左视觉，第 ２ 行为右视觉，每组上下对齐位置为同一时刻左右视觉跟踪结果 ４ 结束语 本文依据双目视觉极线几何与运动一致性，提 出了一种利用投影直方图匹配方法检测并跟踪目标 的方法。 首先，人工辅助选择跟踪目标；其次，在主 视觉中结合目标运动一致性约束，利用投影直方图 匹配算法检测并跟踪目标；最后，根据目标在主视觉 中的目标位置，利用极线几何原理和运动一致性原 则得到一个很小的目标搜索范围，并利用投影直方 图匹配算法检测并跟踪目标，完成双目视觉系统的 目标跟踪任务。 本文算法的优势在于，当目标在一 个视觉中跟踪失败时，可利用目标在另一个视觉中 的位置，在其对应的极线上重新搜索目标，提高了双 目视觉系统目标跟踪的可靠性。 本文所提算法同样具有局限性，当目标的整个 成像平面是纯色或相近灰度，并且与背景相近，进而 第 ５ 期 王杰，等：基于投影直方图匹配的双目视觉跟踪算法 ·７８１·
·782 智能系统学报 第10卷 不存在结构信息时，提取的目标区域的投影直方图 ling []Journal of Beijing University of Aeronautics and 将不再具有表征目标结构特征的功能，算法的跟踪 Astronautics,2011,37(2):206-209. 精度将会明显降低，甚至跟踪失败。此时，文中所使 [11]祝琨，杨唐文，阮秋琦，等.基于双目视觉的运动物体 实时跟踪与测距[J].机器人，2009,31(4)：327-334. 用的对比算法也将失效，背景差分法将检测不出背 ZHU Kun,YANG Tangwen,RUAN Qiuqi,et al.Real- 景与目标的差别，CamShift算法也检测不到目标的 time tracking and measuring of moving objects based on 色彩局域。因此，可以在一些电力设备上添加一些 binocular vision[J].Robot,2009,31(4):327-334. 具有明显结构特征的图案或色彩，如黑白间隔或各 [12]MUFFERT M,PFEIFFER D,FRANKE U.A stereo-vision 种色彩相互隔的条纹，实现目标的准确跟踪定位。 based object tracking approach at roundabouts[J].IEEE Intelligent Transportation Systems Magazine,2013,5(2): 参考文献： 22.32 [13]CAI Ling,HE Lei,XU Yiren,et al.Multi-object detection [1]HOSEINNEZHAD R,VO B N,VO B T.Visual tracking in and tracking by stereo vision[J].Pattern Recognition, background subtracted image sequences via multi-Bernoulli 2010,43(12):4028-4041. filtering[J].IEEE Transactions on Signal Processing,2013, [14]LI Jinping,QIN Min,XIA Yingjie,et al.Remarks on a 61(2):392-397. novel statistical histogram-average scene cumulative his- [2]王乐东，王江安，康圣，等.相邻帧间匹配的迎头点目 togram[C]//2012 IEEE International Conference on Gran- 标跟踪算法[J].光学学报，2009,29(11)：3004-3009. ular Computing.Hangzhou,China,2012:253-257. WANG Ledong,WANG Jiang'an,KANG Sheng,et al.An [15]张广军.视觉测量[M].北京：科学出版社，2008：134 algorithm of adjacent frame matching used for head-on point 174 targets tracking[J].Acta Optica Sinica,2009,29(11): ZHANG Guangjun.Vision measurement[M].Beijing:Sci- 3004-3009. ence Press,2008:134-174. [3]ALLEN J G,XU R Y D,JIN J S.Object tracking using [16]吴成茂.直方图均衡化的数学模型研究[J].电子学报， camshift algorithm and multiple quantized feature spaces 2013,41(3):598-602 [C]//Proceedings of the Pan-Sydney Area Workshop on WU Chenmao.Studies on mathematical model of histogram Visual Information Processing.Darlinghurst,Australia, equalization[J].Acta Electronica Sinica,2013,41(3): 2004:3.7. 598-602. [4]ZHANG Shengping,YAO Hongxun,SUN Xin,et al.Sparse [17]余旺盛，侯志强，田孝华.基于旋转不变直方图的快速 coding based visual tracking:review and experimental com- 匹配穷搜索[J].电子学报，2012,40(11)：2177-2182. parison[J].Pattern Recognition,2013,46(7):1772- YU Wangsheng,HOU Zhiqiang,TIAN Xiaohua.Swift 1788. matching exhaustive search based on rotation invariant his- [5]TSECHPENAKIS G.RAPANTZIKOS K,TSAPATSOULIS togram [J].Acta Electronica Sinica,2012,40 (11): N,et al.A snake model for object tracking in natural se- 2177-2182 quences[J].Signal Processing:Image Communication, [18]BRADSKI G.KAEHLER A.Learning OpenCV:Computer 2004,19(3):219-238. vision with the OpenCV library M].[S.1.]:O'Reilly [6]KOSCHAN A,KANG S,PAIK J,et al.Color active shape Media,1nc.,2008:405-458,193-219. models for tracking non-rigid objects[].Pattern Recogni- 作者简介： tion Letters,2003,24(11):1751-1765. 王杰，男，1989年生，硕士研究生 「71邱雪娜，刘士荣.基于序贯检测机制的双目视觉运动目 主要研究方向为图像处理与模式识别。 标跟踪与定位方法[J].机器人，2011,33(2)：181-190. QIU Xuena,LIU Shirong.Moving objects tracking and lo- calization with binocular vision based on sequential detection mechanism[J].Robot,2011,33(2):181-190. [8]王丽佳，贾松敏，李秀智，等.多特征提取的双目机器 人目标跟踪[J].控制与决策，2013,28(10)：1568- 蒋明敏，男，1993年生，硕士研究 1572. 生，主要研究方向为图像处理、机器学 WANG Lijia,JIA Songmin,LI Xiuzhi,et al.Person follow- ing of binocular robot by extracting multiple features[J]. 习。 Control and Decision,2013,28(10):1568-1572 [9]ZOIDI O,NIKOLAIDIS N,TEFAS A,et al.Stereo object tracking with fusion of texture,color and disparity informa- tion[J].Signal Processing:Image Communication,2014, 29(5):573-589. 花晓慧，女，1988年生，硕土研究 [10]解洪文，王宏伦.基于双目视觉的自动空中加油近距导 生，主要研究方向为复杂系统建模、控 航方法[J].北京航空航天大学学报，2011,37(2)：206- 制与仿真。 209. XIE Hongwen,WANG Honglun.Binocular vision-based short-range navigation method for autonomous aerial refue
不存在结构信息时，提取的目标区域的投影直方图 将不再具有表征目标结构特征的功能，算法的跟踪 精度将会明显降低，甚至跟踪失败。 此时，文中所使 用的对比算法也将失效，背景差分法将检测不出背 景与目标的差别，ＣａｍＳｈｉｆｔ 算法也检测不到目标的 色彩局域。 因此，可以在一些电力设备上添加一些 具有明显结构特征的图案或色彩，如黑白间隔或各 种色彩相互隔的条纹，实现目标的准确跟踪定位。 参考文献： ［１］ＨＯＳＥＩＮＮＥＺＨＡＤ Ｒ， ＶＯ Ｂ Ｎ， ＶＯ Ｂ Ｔ． Ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｉｎ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｅｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｖｉａ ｍｕｌｔｉ⁃Ｂｅｒｎｏｕｌｌｉ ｆｉｌｔｅｒｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２０１３， ６１（２）： ３９２⁃３９７． ［２］王乐东， 王江安， 康圣， 等． 相邻帧间匹配的迎头点目 标跟踪算法［Ｊ］． 光学学报， ２００９， ２９（１１）： ３００４⁃３００９． ＷＡＮＧ Ｌｅｄｏｎｇ， ＷＡＮＧ Ｊｉａｎｇ’ａｎ， ＫＡＮＧ Ｓｈｅｎｇ， ｅｔ ａｌ． Ａｎ ａｌｇｏｒｉｔｈｍ ｏｆ ａｄｊａｃｅｎｔ ｆｒａｍｅ ｍａｔｃｈｉｎｇ ｕｓｅｄ ｆｏｒ ｈｅａｄ⁃ｏｎ ｐｏｉｎｔ ｔａｒｇｅｔｓ ｔｒａｃｋｉｎｇ ［ Ｊ］． Ａｃｔａ Ｏｐｔｉｃａ Ｓｉｎｉｃａ， ２００９， ２９ （ １１）： ３００４⁃３００９． ［３］ＡＬＬＥＮ Ｊ Ｇ， ＸＵ Ｒ Ｙ Ｄ， ＪＩＮ Ｊ Ｓ． Ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｃａｍｓｈｉｆｔ ａｌｇｏｒｉｔｈｍ ａｎｄ ｍｕｌｔｉｐｌｅ ｑｕａｎｔｉｚｅｄ ｆｅａｔｕｒｅ ｓｐａｃｅｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｐａｎ⁃Ｓｙｄｎｅｙ Ａｒｅａ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ． Ｄａｒｌｉｎｇｈｕｒｓｔ， Ａｕｓｔｒａｌｉａ， ２００４： ３⁃７． ［４］ＺＨＡＮＧ Ｓｈｅｎｇｐｉｎｇ， ＹＡＯ Ｈｏｎｇｘｕｎ， ＳＵＮ Ｘｉｎ， ｅｔ ａｌ． Ｓｐａｒｓｅ ｃｏｄｉｎｇ ｂａｓｅｄ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ： ｒｅｖｉｅｗ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｃｏｍ⁃ ｐａｒｉｓｏｎ［ Ｊ ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１３， ４６ （ ７ ）： １７７２⁃ １７８８． ［５］ ＴＳＥＣＨＰＥＮＡＫＩＳ Ｇ， ＲＡＰＡＮＴＺＩＫＯＳ Ｋ， ＴＳＡＰＡＴＳＯＵＬＩＳ Ｎ， ｅｔ ａｌ． Ａ ｓｎａｋｅ ｍｏｄｅｌ ｆｏｒ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｉｎ ｎａｔｕｒａｌ ｓｅ⁃ ｑｕｅｎｃｅｓ ［ Ｊ ］． Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ， ２００４， １９（３）： ２１９⁃２３８． ［６］ＫＯＳＣＨＡＮ Ａ， ＫＡＮＧ Ｓ， ＰＡＩＫ Ｊ， ｅｔ ａｌ． Ｃｏｌｏｒ ａｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌｓ ｆｏｒ ｔｒａｃｋｉｎｇ ｎｏｎ⁃ｒｉｇｉｄ ｏｂｊｅｃｔｓ［ Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉ⁃ ｔｉｏｎ Ｌｅｔｔｅｒｓ， ２００３， ２４（１１）： １７５１⁃１７６５． ［７］邱雪娜， 刘士荣． 基于序贯检测机制的双目视觉运动目 标跟踪与定位方法［Ｊ］． 机器人， ２０１１， ３３（２）：１８１⁃１９０． ＱＩＵ Ｘｕｅｎａ， ＬＩＵ Ｓｈｉｒｏｎｇ． Ｍｏｖｉｎｇ ｏｂｊｅｃｔｓ ｔｒａｃｋｉｎｇ ａｎｄ ｌｏ⁃ ｃａｌｉｚａｔｉｏｎ ｗｉｔｈ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ ｂａｓｅｄ ｏｎ ｓｅｑｕｅｎｔｉａｌ ｄｅｔｅｃｔｉｏｎ ｍｅｃｈａｎｉｓｍ［Ｊ］． Ｒｏｂｏｔ， ２０１１， ３３（２）： １８１⁃１９０． ［８］王丽佳， 贾松敏， 李秀智， 等． 多特征提取的双目机器 人目标跟踪［ Ｊ］． 控制与决策， ２０１３， ２８ （ １０）： １５６８⁃ １５７２． ＷＡＮＧ Ｌｉｊｉａ， ＪＩＡ Ｓｏｎｇｍｉｎ， ＬＩ Ｘｉｕｚｈｉ， ｅｔ ａｌ． Ｐｅｒｓｏｎ ｆｏｌｌｏｗ⁃ ｉｎｇ ｏｆ ｂｉｎｏｃｕｌａｒ ｒｏｂｏｔ ｂｙ ｅｘｔｒａｃｔｉｎｇ ｍｕｌｔｉｐｌｅ ｆｅａｔｕｒｅｓ ［ Ｊ］． Ｃｏｎｔｒｏｌ ａｎｄ Ｄｅｃｉｓｉｏｎ， ２０１３， ２８（１０）： １５６８⁃１５７２． ［９］ＺＯＩＤＩ Ｏ， ＮＩＫＯＬＡＩＤＩＳ Ｎ， ＴＥＦＡＳ Ａ， ｅｔ ａｌ． Ｓｔｅｒｅｏ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｆｕｓｉｏｎ ｏｆ ｔｅｘｔｕｒｅ， ｃｏｌｏｒ ａｎｄ ｄｉｓｐａｒｉｔｙ ｉｎｆｏｒｍａ⁃ ｔｉｏｎ［ Ｊ］． Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ， ２０１４， ２９（５）： ５７３⁃５８９． ［１０］解洪文， 王宏伦． 基于双目视觉的自动空中加油近距导 航方法［Ｊ］． 北京航空航天大学学报， ２０１１， ３７（２）： ２０６⁃ ２０９． ＸＩＥ Ｈｏｎｇｗｅｎ， ＷＡＮＧ Ｈｏｎｇｌｕｎ． Ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ⁃ｂａｓｅｄ ｓｈｏｒｔ⁃ｒａｎｇｅ ｎａｖｉｇａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏｎｏｍｏｕｓ ａｅｒｉａｌ ｒｅｆｕｅ⁃ ｌｉｎｇ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｅｒｏｎａｕｔｉｃｓ ａｎｄ Ａｓｔｒｏｎａｕｔｉｃｓ， ２０１１， ３７（２）： ２０６⁃２０９． ［１１］祝琨， 杨唐文， 阮秋琦， 等． 基于双目视觉的运动物体 实时跟踪与测距［Ｊ］． 机器人， ２００９， ３１（４）： ３２７⁃３３４． ＺＨＵ Ｋｕｎ， ＹＡＮＧ Ｔａｎｇｗｅｎ， ＲＵＡＮ Ｑｉｕｑｉ， ｅｔ ａｌ． Ｒｅａｌ⁃ ｔｉｍｅ ｔｒａｃｋｉｎｇ ａｎｄ ｍｅａｓｕｒｉｎｇ ｏｆ ｍｏｖｉｎｇ ｏｂｊｅｃｔｓ ｂａｓｅｄ ｏｎ ｂｉｎｏｃｕｌａｒ ｖｉｓｉｏｎ［Ｊ］． Ｒｏｂｏｔ， ２００９， ３１（４）： ３２７⁃３３４． ［１２］ＭＵＦＦＥＲＴ Ｍ， ＰＦＥＩＦＦＥＲ Ｄ， ＦＲＡＮＫＥ Ｕ． Ａ ｓｔｅｒｅｏ⁃ｖｉｓｉｏｎ ｂａｓｅｄ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ａｐｐｒｏａｃｈ ａｔ ｒｏｕｎｄａｂｏｕｔｓ ［ Ｊ］． ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｍａｇａｚｉｎｅ， ２０１３， ５（２）： ２２⁃３２． ［１３］ＣＡＩ Ｌｉｎｇ， ＨＥ Ｌｅｉ， ＸＵ Ｙｉｒｅｎ， ｅｔ ａｌ． Ｍｕｌｔｉ⁃ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｂｙ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ［ Ｊ］． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０， ４３（１２）： ４０２８⁃４０４１． ［１４］ ＬＩ Ｊｉｎｐｉｎｇ， ＱＩＮ Ｍｉｎ， ＸＩＡ Ｙｉｎｇｊｉｅ， ｅｔ ａｌ． Ｒｅｍａｒｋｓ ｏｎ ａ ｎｏｖｅｌ ｓｔａｔｉｓｔｉｃａｌ ｈｉｓｔｏｇｒａｍ—ａｖｅｒａｇｅ ｓｃｅｎｅ ｃｕｍｕｌａｔｉｖｅ ｈｉｓ⁃ ｔｏｇｒａｍ［Ｃ］ ／ ／ ２０１２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｇｒａｎ⁃ ｕｌａｒ Ｃｏｍｐｕｔｉｎｇ． Ｈａｎｇｚｈｏｕ， Ｃｈｉｎａ， ２０１２： ２５３⁃２５７． ［１５］张广军． 视觉测量［Ｍ］． 北京： 科学出版社， ２００８： １３４⁃ １７４． ＺＨＡＮＧ Ｇｕａｎｇｊｕｎ． Ｖｉｓｉｏｎ ｍｅａｓｕｒｅｍｅｎｔ［Ｍ］． Ｂｅｉｊｉｎｇ： Ｓｃｉ⁃ ｅｎｃｅ Ｐｒｅｓｓ， ２００８： １３４⁃１７４． ［１６］吴成茂． 直方图均衡化的数学模型研究［Ｊ］． 电子学报， ２０１３， ４１（３）： ５９８⁃６０２． ＷＵ Ｃｈｅｎｍａｏ． Ｓｔｕｄｉｅｓ ｏｎ ｍａｔｈｅｍａｔｉｃａｌ ｍｏｄｅｌ ｏｆ ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ［Ｊ］． Ａｃｔａ Ｅｌｅｃｔｒｏｎｉｃａ Ｓｉｎｉｃａ， ２０１３， ４１（ ３）： ５９８⁃６０２． ［１７］余旺盛， 侯志强， 田孝华． 基于旋转不变直方图的快速 匹配穷搜索［Ｊ］． 电子学报， ２０１２， ４０（１１）： ２１７７⁃２１８２． ＹＵ Ｗａｎｇｓｈｅｎｇ， ＨＯＵ Ｚｈｉｑｉａｎｇ， ＴＩＡＮ Ｘｉａｏｈｕａ． Ｓｗｉｆｔ ｍａｔｃｈｉｎｇ ｅｘｈａｕｓｔｉｖｅ ｓｅａｒｃｈ ｂａｓｅｄ ｏｎ ｒｏｔａｔｉｏｎ ｉｎｖａｒｉａｎｔ ｈｉｓ⁃ ｔｏｇｒａｍ ［ Ｊ］． Ａｃｔａ Ｅｌｅｃｔｒｏｎｉｃａ Ｓｉｎｉｃａ， ２０１２， ４０ （ １１ ）： ２１７７⁃２１８２． ［１８］ＢＲＡＤＳＫＩ Ｇ， ＫＡＥＨＬＥＲ Ａ． Ｌｅａｒｎｉｎｇ ＯｐｅｎＣＶ： Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ｗｉｔｈ ｔｈｅ ＯｐｅｎＣＶ ｌｉｂｒａｒｙ ［ Ｍ］． ［ Ｓ． ｌ．］： Ｏ′ Ｒｅｉｌｌｙ Ｍｅｄｉａ， Ｉｎｃ．， ２００８： ４０５⁃４５８， １９３⁃２１９． 作者简介： 王杰，男，１９８９ 年生，硕士研究生， 主要研究方向为图像处理与模式识别。 蒋明敏，男，１９９３ 年生，硕士研究 生，主要研究方向为图像处理、机器学 习。 花晓慧，女，１９８８ 年生，硕士研究 生，主要研究方向为复杂系统建模、控 制与仿真。 ·７８２· 智 能 系 统 学 报 第 １０ 卷
