第5卷第5期 智能系统学报 Vol.5 No.5 2010年10月 CAAI Transactions on Intelligent Systems 0ct.2010 doi:10.3969/i.i8sn.1673-4785.2010.05.004 双目视觉模型移动目标跟踪系统 张波，刘冀伟，崔朝辉，王志良 (北京科技大学信息工程学院，北京100083) 摘要：为了使机器人能够对目标进行自主智能的跟踪，基于仿生学原理建立双目视觉模型，设计出四自由度的仿 人眼颈跟踪系统，通过上位机与下位机的配合以及2台摄像机与4台直流电机，实现双目视觉移动目标跟踪系统.该 系统通过双目摄像机对目标进行图像采集，由P℃机对目标进行特征提取以及一系列处理后计算出目标的移动范 围，将目标移动数据传愉至下位机后通过PD控制算法平滑控制直流电机的运转方向与运转速度，从而对移动目标 实现良好的跟踪性能. 关键词：智能机器人；双目视觉模型；移动目标跟踪：PID控制 中图分类号：TP242.6文献标识码：A文章编号：16734785(2010)05040005 Design and implementation of a binocular vision moving target tracking system ZHANG Bo,LIU Ji-wei,CUI Zhao-hui,WANG Zhi-liang (School of Information Engineering,University of Science and Technology Beijing,Beijing 100083,China) Abstract:In order to allow robots to track a target autonomously and intelligently,a stereo vision model based on bionic principles was established,and a humanoid neck eye tracking system with four degrees of freedom was de- signed.Based on the above developments,a binocular vision moving target tracking system was produced by the upper and lower computers,as well as two cameras and four DC motors.This system captured images of the target through the binocular camera,and then the image processing and feature extraction was produced in a PC.There- fore,the target range of treatment could be calculated and sent to the lower computer,and the direction and run- ning speed of the DC motors was smoothly controlled through a PID control algorithm,finally tracking a moving tar- get well. Keywords:intelligent robot;binocular visual mode;moving target tracking;PID control 视觉是人类获取信息最为有效的手段，这不仅移动目标自动跟踪算法及其执行机构实现。 包含人眼对光信号的感受，还包括对视党图像信息 1双目视觉系统结构设计 的获取、传输、处理、存储与理解的全过程.机器视觉 就是基于人眼的视觉功能，利用计算机模拟从图像 基于仿生学原理，机器人头部骨架采用铝合金 或图像序列中提取信息，对客观世界的三维景物和 机械装置，模拟人的头和颈部；2个高分辨率彩色 物体进行形态和运动识别，依靠视觉信息反馈，实现 CCD摄像机作为视觉传感器模拟人的眼睛：4个直 机器人在运动学及动力学等方面的闭环控制，即 流电机实现机器人颈部水平、垂直方向旋转和2只 “视觉反馈控制”或“视觉伺服控制”，以此实现对移 “眼镜”水平方向旋转，以模拟机器“眼颈”运动231. 动物体的自动跟踪.本文将针对智能机器人的双 (机器人头部结构参见图1). 目视觉系统，讨论双目视觉模型及立体视觉图像处 本文为智能机器人设计了一种具有四自由度 理流程，在此基础上，重点分析基于双目视觉模型的 (4-F)的双目视觉系统3)（如图2所示），确保智能 机器人“眼颈”的监控范围尽可能大，以便快速、准 收稿日期：2009-12-13. 基金项目：国家“863”计划资助项目(2007AA01Z160);国家自然科学 确地完成对移动目标的图像采集.基于仿生学原理， 基金资助项目(60903067)：北京市重点学科建设资助项目 自由度一般为旋转自由度，它比较灵活，反应 (XK100080537). 通信作者：张波.E-mail:bournezhangusth(@gmail..com. 快46.因此，为智能机器人设计的“眼颈”系统由4
第5期 张波，等：双目视觉模型移动目标跟踪系统 401 个转动机构组成，以控制双目视觉系统4个方向的 2 旋转运动： 立体视觉图像信息处理 1)自由度1：模拟颈部水平方向旋转； 2.1双目摄像机标定 2)自由度2：模拟颈部垂直方向旋转； 双目摄像机标定的目的在于获取双目摄像机内 3)自由度3：模拟“左眼”水平方向旋转； 外参数，从而实时从采集图像中提取目标三维信息， 4)自由度4：模拟“右眼”水平方向旋转. 或从三维信息计算目标的准确位置坐标.由于双目摄 像机光学成像系统加工、装配等误差，双目摄像机实 际成像与理论成像间存在光学畸变误差，本文中双目 视觉成像模型采用带有一阶径向畸变的针孔模型（参 见图3).经过光学坐标系到摄像机坐标系、摄像机坐 标系到图像坐标系、理想图像坐标系到实际图像坐标 系以及实际图像坐标系到计算机图像坐标系的4种 变换后，最终完成双目视觉系统摄像机标定。 0 图1机器人头部机构装置图 Fig.1 The structure diagram of robot head P.(v) P0.0.z 白由度4 自由度3 自由度2 2 图3。带有一阶径向畸变的针孔模型 Fig.3 The mode of pinhole imaging with 1-D radio distortion 白中度1 2.2目标检测 在进行立体视觉双目成像时，首先应确定共轭 图2双目视觉系统自由度示意图 对，考虑到移动目标的特点，采用计算目标重心的方 Fig.2 Freedom of binocular vision 法来求解立体视觉双目目标对称性，所求得的双目 图像中对应的目标重心为一对共轭对. 基于上述双目视觉系统实现双目摄像机对移动 双目摄像机镜头选择对双目视觉匹配性能有较 目标跟踪，双目视觉图像采集优点在于： 大影响，镜头选择主要在于焦距选择：镜头焦距越 1)对于智能机器人来说，单目视觉仅能获取目 小，摄像机拍摄角度越大，但视场中目标成像越小， 标的平面信息，而双目视觉则更能获取深度信息，即 同时变形也越严重；反之，镜头焦距越大，摄像机拍 目标的三维信息，故双目视觉也称为“立体视觉”. 摄角度越小，但视场中目标成像越大，变形也越轻 即使是在光照条件较为恶劣和几何失真条件下，双 微.同时，镜头焦距越小，立体视觉系统所能分辨出 目视觉也能提供准确、可靠的立体信息、 的距离分辨率也越低。 2)立体视觉对深度信息的检测分辨率很高，此 双目视觉系统成像的最终目的在于跟踪移动目 外采用双目视觉可以较好地消除成像误差。 标，因此，基于双目视觉系统进行移动目标跟踪的核 3)双目视觉要比单目视觉具有更大的监控视 心任务，就是在双目摄像机实时采集的图像中找出 野，特别是在2个独立自由度情况下 目标，这就需要通过对双目视觉图像的区域分割和 4)双目视觉较单目视觉能经受更大的对比度 实时采集图像的连续比对来实现， 变化，在2幅图像间具有明显的模糊或扩展时，仍能 基于双目视觉系统的移动目标检测，目的在于 较好地工作 从双目图像序列中提取变化区域.图像区域的有效 5)双目视觉图像处理更加快速，特别是针对移 分割对于目标分类、行为理解和目标跟踪等图像处 动目标的连续图像处理和目标识别. 理至关重要，这些处理仅需考虑双目图像中对应的
·402 智能系统学报 第5卷 运动区域像素.不同的应用场合，根据场景特点应采 采用ATmegal28作为双目视觉系统下位微控 用不同的目标检测和跟踪算法]，兼顾到机器人运 制器]，在通过RS232口接收到上位机成像角度控 动控制系统实时性要求，采用基于彩色图像模型的 制指令后，按照通信协议实施驱动控制， 移动目标检测算法，即利用彩色图像的颜色信息进 实施双目视觉系统目标自动跟踪的执行机构是 行双目图像分割和目标识别，该算法实现简单，受光 直流电机，采用PD控制算法. 照影响较小. 2.3成像角度 y=6(0+e(e0业+62 在得到目标三维坐标后，系统需将目标三维坐 采用PD算法的功能主要体现在： 标信息转换为双目视觉系统成像角度（机器人头部 1)比例调节作用.即按比例反应系统偏差，系 转动角度)控制信息. 统一旦出现偏差，比例调节即发挥调节作用以减少 基于针孔成像模型计算成像角度，如图4所示：假 偏差.比例调节作用较大，可加快调节诚少误差 设移动目标（小球）初始位置为C点，位于摄像机光轴 2)积分调节作用.使系统消除稳态误差，提高 上，当目标由C点运动到P点时，摄像机要转动∠POC 无差度，只要有误差存在，积分调节就起作用，误差 以正对目标求解转动角度∠POC可转化为求解角度 消失，积分调节停止，积分调节输出一常值.加入积 ∠P'OC'.在L△POC中，OC为焦距，P'C容易求得. 分调节会使系统稳定性下降，动态响应变慢 故可获得成像转角及控制信息。 3)微分调节作用.微分调节作用反映系统偏差 ' 信号的变化率，具有预见性，能预见偏差变化趋势， 产生超前的控制作用，在偏差尚未形成之前，已被微 分调节作用消除.因此，微分调节可以减少超调，减 少调节时间，改善系统动态性能， 双目视觉系统执行机构运行时，由下位机主处 图4针孔成像模型 理器Megal228将上位机传来的成像角度控制指令 Fig.4 The mode of pinhole imaging 转换为直流电机控制位置值，每个采样周期都用这 些值计算出新的位置值并送入求和点.由编码器检 3 系统实现 测电机实际位置，其输出信号经位置解码器解码后 本文设计了采用2级控制系统实现上述双目视 作为求和点的另一输人，并与给定位置值相减，得到 觉移动目标跟踪算法的执行机构.上位机采用通用 误差值作为PD控制器输入，从而满足稳定性、响 P℃机实现双目视觉图像采集、图像预处理及目标识 应时间、超调量等要求，确保执行机构的运行速度和 别、成像角度控制等图像处理功能；下位机采用单片 准确性.如图6所示。 机对智能机器人双目视觉系统机构实施PID(比例、 参数 PWM 积分、微分)控制.上、下位机间通过串口实现通信. 上位机基于双目视觉移动目标跟踪算法确定成像角 度控制信息，下位机驱动“眼颈”机构直流电机调整 双目成像角度，最终实现移动目标自动跟踪功能.系 统的硬件结构如图5所示. 图6下位机PD控制流程图 Fig.6 The control flow of microcontroller PID 4实验仿真 基于上述双目视觉移动目标跟踪算法及执行机 构进行仿真，以一个橙色乒乓球作为移动目标，以实 验室简单环境为目标背景.实验中，先让小球不动，与 机器人“眼颈”机构正对方向成一定角度，发出跟踪指 图5双目视觉系统控制系统实现电路板 令后观察机器人是否可以迅速转动以正对小球；然后 Fig.5 The PCB of dual-eyes vision system implement 使小球不断运动，观察机器人是否能够随小球运动而 自动跟踪；接着改变小球运动速度，观察机器人跟踪
第5期 张波，等：双目视觉模型移动目标跟踪系统 ·403· 结果.实验表明：该双目视觉系统执行机构能够很好 地跟踪小球运动实验仿真结果如图7所示， 4.。w ()从背京中提取日标并确定重心 (b)日标低速运动时跟踪结果 成5 (c)受光照影响时日标提取效果 (未做中值滤波处理的日标提取 (©)移动日标轮郭提取（拟合法） ()提取日标轮郭并跟踪日标运动 图7仿真结果 Fig.7 Results of simulation 5结束语 参考文献： 本文以智能机器人双目视觉系统为出发点，分 [1]王麟琨，徐德，谭民.机器人视觉伺服研究进展[J].机器 析讨论双目视觉成像模型，即目标检测图像处理算 人，2004,26(3)：277-282 法，并在此基础上，设计了四自由度的智能机器人双 WANG Linkun,XU De,TAN Min.Survey of research on 目视觉图像处理及移动目标自动跟踪系统.最后，通 robotic visual servoing [J].Robot,2004,26(3):277- 过实现机器人“眼颈”系统并利用其进行实验，验证 282. 了该系统能够很好地对移动目标进行自主智能的自 [2]肖宝平.双CCD仿人眼颈系统运动分析与控制研究 动跟踪.需要说明的是，本文的实验仿真是在较为简 [D].杭州：浙江大学，2004. 单的实验环境下，针对单一目标（小球）实现的，对 XIAO Baoping.Study of movement analysis and control based on dual-CCD system simulating human eyes and neck 于更为复杂环境下模型及算法的执行效率有待进一 [D].Hangzhou:Zhejiang University,2004. 步探讨 [3]陈书桥，朱兴龙，王瑞，等.四自由度视觉装置设计及其
。404. 智能系统学报 第5卷 控制系统实现[J].机电产品开发与创新，2004,17 作者简介： (③)：4345. 张波，男，1984年生，博士研究 CHEN Shugiao,ZHU Xinglong,WANG Rui,et al.Design 生，主要研究方向为无线传感器网络、 on visual equipment with 4-D.0.F.and control system im- 嵌入式系统、图像处理与模式识别、机 plementation[.Development&Innovation of Machinery 器视觉、物联网 Electrical Products,2004,17(3):3-45 [4]BROWN D C.Close-range camera calibration[J].Photo- grammetric Engineering,1971,37(8))::855-866. 吲]黄素媚，肖南峰，仿人形机器人两眼的运动模型和控制 刘冀伟，男，1962年生，副教授、博 方法研究[1.系统仿真学报，2005,17(9))：2065-2069. 士，北京科技大学信息工程学院自动化 HUANG Sumei,XIAO Nanfeng.Research on binocular mo- 系副主任，IEEE会员，中国人工智能学 tion model and its control method for humanoid robot J]. 会人工心理与情感计算专业委员会理 Acta Simulata Systematica Sinica,2005,17(9)):2065- 事.主要研究方向为图像处理、视频压 2069。 缩、步态识别、运动跟踪、自动控制等 囵]余洪山，王耀南.仿人多自由度立体双目视觉导航系统 作为负责人与主要参与人员完成国家自然科学基金、国家 的研究与开发[J].湖南大学学报：自然科学版，2004， “863”计划以及军工"863"计划多项，发表学术论文50余 31(5)1：62-65,93. 篇，其中被SCI、EI检索30余篇. YU Hongshan,WANG Yaonan.Research and development 崔朝辉，男，1983年生，博士研究 of multi-fredom stereovision navigating system with biologi- 生，主要研究方向为图像压缩、图像分 cal vision mechanisms[J].Journal of Hunan University: 析、嵌入式系统 Natural Science,2004,31(5):62-65,93. 门]邹风娇，苏嫌渝，李美菊.基于共面点的摄像机线性标定 法[1.光电工程，2005,32(4)：70-74 ZOU Fengiao,SU Xianyu,LI Meiju.Camera linear cali- bration method with a coplanar target[J].Opto-electronic 王志良，男，1956年生，国家二级教 Engineering,2005,32(4):70-74 授、博士生导师、博士，北京科技大学 [⑧方帅，迟健男，徐心和视频监控中的运动目标跟踪算法 电子信息系主任，中国人工智能学会人 [0.控制与决策，2005,20(12))：1388-1396. 工心理与人工情感专业委员会主任，第 FANG Shuai,CHI Jiannan,XU Xinhe.Moving target 一届国际情感计算和智能交互学术大 tracking algorithm in video surveillance[J].Control and 会主席.主要研究方向为人工心理与情 Decision,2005,20(12)):1388-1396. 感计算、服务机器人与数字人技术、网络化的信息服务系 [9]ALMEL.ATmegal28(L))[EB/OL].[2009-12-05].htp:// 统等.近年来主持完成国家“863"计划、国家自然科学基 www.atmel.com/dyn/products/datasheets.asp?family_id 金、国家科技攻关和国家"973"计划子项目等多项科研项 =607#760.2010 目.发表学术论文180余篇，其中被SCI、EI检索60余篇，出 版专著5部
张 波,男,1984年生,博士研究 生,主要研究方向为无线传感器网络、 嵌入式系统、图像处理与模式识别、机 器视觉、物联网. [9] ALMEL.ATmegal28(L) [EB/OL].[2009-12-05] .htp: // www. atmel.com/dyn/products/datasheets.asp? family_id =607#760.2010. FANG Shuai,CHI Jiannan,XU Xinhe. Moving target tracking algorithm in video surveillance[J]. Control and Decision,2005,20(12) :1388-1396. [6] 余洪山,王耀南.仿人多自由度立体双目视觉导航系统 的研究与开发[J].湖南大学学报: 自然科学版,2004, 31(5) : 62-65,93. 智 能 系 统 学 报 刘冀伟,男,1962年生,副教授、博 士,北京科技大学信息工程学院自动化 系副主任,IEEE 会员,中国人工智能学 会人工心理与情感计算专业委员会理 事.主要研究方向为图像处理、视频压 缩、步态识别、运动跟踪、自动控制等. 作为负责人与主要参与人员完成国家自然科学基金、国家 “863”计划以及军工"863"计划多项,发表学术论文50余 篇,其中被SCI、EI检索30余篇. 作者简介: [4] BROWN D C. Close-range camera calibration[J] . Photogrammetric Engineering,1971,37(8) : 855-866. [8] 方帅,迟健男,徐心和.视频监控中的运动目标跟踪算法 [J] .控制与决策,2005,20(12) : 1388-1396. [5] 黄素媚,肖南峰.仿人形机器人两眼的运动模型和控制 方法研究[J].系统仿真学报,2005,17(9) : 2065-2069. HUANG Sumei,XIAO Nanfeng. Research on binocular motion model and its control method for humanoid robot[J]. Acta Simulata Systematica Sinica,2005,17(9) : 2065- 2069. 崔朝辉,男,1983年生,博士研究 生,主要研究方向为图像压缩、图像分 析、嵌入式系统. 控制系统实现[J] .机电产品开发与创新,2004,17 (3) : 4345. YU Hongshan,WANG Yaonan. Research and development of multi-fredom stereovision navigating system with biological vision mechanisms[J]. Journal of Hunan University: Natural Science,2004,31(5) :62-65,93. 第5卷 ZOU Fengiao,SU Xianyu,LI Meiju. Camera linear calibration method with a coplanar target[J]. Opto-electronic Engineering,2005,32(4) : 70-74. [7] 邹风娇,苏嫌渝,李美菊.基于共面点的摄像机线性标定 法[J] .光电工程,2005,32(4) :70-74. CHEN Shuqiao,ZHU Xinglong,WANG Rui,et al. Design on visual equipment with 4-D.0.F. and control system implementation[ J] . Development & Innovation of Machinery & Electrical Products,2004,17(3) : 43-45. 会主席.主要研究方向为人工心理与情 感计算、服务机器人与数字人技术、网络化的信息服务系 统等.近年来主持完成国家"863"计划、国家自然科学基 金、国家科技攻关和国家"973"计划子项目等多项科研项 目.发表学术论文180余篇,其中被SCI、EI检索60余篇,出 王志良,男,1956年生,国家二级教 授、博士生导师、博士,北京科技大学 电子信息系主任,中国人工智能学会人 工心理与人工情感专业委员会主任,第 一届国际情感计算和智能交互学术大 版专著5部. 。404·