第2卷第3期 智能系统学报 Vol.2 N23 2007年6月 CAAI Transactions on Intelligent Systems Jun.2007 双目轮式移动机器人的运动目标识别与跟踪 刘宏鼎，秦世引 (北京航空航天大学自动化科学与电气工程学院，北京市100083) 摘要：研究在室内相对复杂背景下的运动目标识别与跟踪，采用H山氏不变矩作为目标特征，通过环形方式搜索种 子点进行目标区域生长，在有干扰的情况下检出目标，并估计相对位姿和控制本体机器人快速跟踪目标.用Int©l的 计算机视觉库Op©nCV实现图像预处理，图像分割，孔洞填充，区域生长和特征提取.实验结果表明，系统能对运动 目标进行实时稳定快速的跟踪，适用性强. 关键词：运动目标；识别与跟踪，区域生长；形状特征提取 中图分类号：TP242.6文献标识码：A文章编号：16734785(2007)03-001606 Recognition and tracking of moving targets for binocular wheel moving robotst LIU Hong-ding,QIN Shi-yin (School of Automation Science and Electrical Engineering,Beihang University,Beijing 100083,China) Abstract:This paper studies in depth recognition and tracking of moving targets by binocular mobile robots in relatively complex environments.To deal with noise,Hu's moment invariants were taken as object fea- tures and object region growing was carried out from the seed point which was searched by loop scanning. In this way objects could be detected and their relative positions estimated so as to effectively track moving targets and control the individual robots.This paper made use of OpenCV to carry out image preprocess- ing,image segmentation,hole filling,region growing and feature extracting.Experimental results indica- ted that the system produces stable and fast tracking of moving targets in real time and is suitable for prac- tical applications. Key words:moving target,recognition and tracking,region growing,shape feature extraction 运动目标的识别与跟踪是计算机视觉研究的一 目标在运动，摄像机自身也在运动，摄像机的运动造 个重要课题，在导航与制导，交通监管，运动分析等 成图像背景的不断变化，给目标识别与跟踪带来更 领域有很高的实用价值山.运动目标跟踪与控制的 大的扰动，MCMT跟踪的关键问题是目标识别与 目的在于分析获取的图像信息，自动监测和识别出 运动估计，广泛采用的方法有转化为摄像机静止- 目标，并计算目标的运动参数，据此控制和调节摄像 目标运动(static camera-moving target,MC-MT) 机所固结的机器人的运动模式，从而保证在视场范 模式2引，背景预测法4)，模板匹配与波门跟踪 围内，不会丢失目标，并使机器人能有效跟踪该目 法6.】，以及光流跟踪1等 标 文中基于Intel OPenCV计算机视觉库的相关 在运动检测与识别方面，目前研究的热点和难 工具，采用基于区域生长和形状匹配的目标识别方 点是摄像机运动-目标运动(moving camera-mov- 法，将带视觉标记的运动目标提取、识别与跟踪融为 ing target,MCMT)模式.在MC-MT模式中，不仅 一体，实现了对室内环境下的简单运动目标的稳定 识别与跟踪，并具有很好的实时性能， 收稿日期：2007-0904. 基金项目：因家高技术研究发展计划资助项目(2006AA04Z207):教 育部博士点基金资助项目(20060006018). 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
第 2 卷第 3 期 智 能 系 统 学 报 Vol. 2 №. 3 2007 年 6 月 CAA I Transactions on Intelligent Systems J un. 2007 双目轮式移动机器人的运动目标识别与跟踪 刘宏鼎 ,秦世引 (北京航空航天大学 自动化科学与电气工程学院 ,北京市 100083) 摘 要 :研究在室内相对复杂背景下的运动目标识别与跟踪 ,采用 Hu 氏不变矩作为目标特征 ,通过环形方式搜索种 子点进行目标区域生长 ,在有干扰的情况下检出目标 ,并估计相对位姿和控制本体机器人快速跟踪目标. 用 Intel 的 计算机视觉库 OpenCV 实现图像预处理 ,图像分割 ,孔洞填充 ,区域生长和特征提取. 实验结果表明 ,系统能对运动 目标进行实时稳定快速的跟踪 ,适用性强. 关键词 :运动目标 ;识别与跟踪 ; 区域生长 ;形状特征提取 中图分类号 : TP242. 6 文献标识码 :A 文章编号 :167324785 (2007) 0320016206 Recognition and tracking of moving targets for binocular wheel moving robotst L IU Hong2ding ,QIN Shi2yin (School of Automation Science and Electrical Engineering , Beihang University , Beijing 100083 , China) Abstract :This paper studies in dept h recognition and tracking of moving targets by binocular mobile robots in relatively complex environments. To deal with noise , Hu’s moment invariants were taken as object fea2 t ures and object region growing was carried out from the seed point which was searched by loop scanning. In t his way objects could be detected and their relative positions estimated so as to effectively track moving targets and control the individual robots. This paper made use of OpenCV to carry out image p reprocess2 ing , image segmentation , hole filling , region growing and feat ure extracting. Experimental results indica2 ted t hat t he system produces stable and fast tracking of moving targets in real time and is suitable for prac2 tical applications. Keywords :moving target , recognition and tracking , region growing , shape feat ure extraction 收稿日期 :2007209204. 基金项目 :国家高技术研究发展计划资助项目 (2006AA04Z207) ;教 育部博士点基金资助项目(20060006018) . 运动目标的识别与跟踪是计算机视觉研究的一 个重要课题 ,在导航与制导 ,交通监管 ,运动分析等 领域有很高的实用价值[ 1 ] . 运动目标跟踪与控制的 目的在于分析获取的图像信息 ,自动监测和识别出 目标 ,并计算目标的运动参数 ,据此控制和调节摄像 机所固结的机器人的运动模式 ,从而保证在视场范 围内 ,不会丢失目标 ,并使机器人能有效跟踪该目 标. 在运动检测与识别方面 ,目前研究的热点和难 点是摄像机运动 - 目标运动 (moving camera2mov2 ing target ,MC2M T) 模式. 在 MC2M T 模式中 ,不仅 目标在运动 ,摄像机自身也在运动 ,摄像机的运动造 成图像背景的不断变化 ,给目标识别与跟踪带来更 大的扰动 ,MC2M T 跟踪的关键问题是目标识别与 运动估计 ,广泛采用的方法有转化为摄像机静止 - 目标运动 (static camera2moving target , MC2M T) 模式[2 - 3 ] ,背景预测法[4 - 5 ] ,模板匹配与波门跟踪 法[6 - 8 ] ,以及光流跟踪[9 ]等. 文中基于 Intel OPenCV 计算机视觉库的相关 工具 ,采用基于区域生长和形状匹配的目标识别方 法 ,将带视觉标记的运动目标提取、识别与跟踪融为 一体 ,实现了对室内环境下的简单运动目标的稳定 识别与跟踪 ,并具有很好的实时性能
·20· 智能系统学报 第2卷 1系统原理与构成 1.1系统场景 系统场景如图1所示：左上方机器人为带视觉 标记的被跟踪目标，右下方的双目机器人为跟踪机 器人.当目标机器人以设定速度和路径前进时，要求 双目机器人以给定的相对位置跟踪上目标 1.2系统的组织结构 抽象出的系统组织结构如图2所示，视觉伺服 跟踪系统由图像采集与处理模块和伺服模块联合组 成.视觉模块在整个系统中构成反馈通路，估算出目 标的位姿，与期望位姿比较产生误差信号，驱动视觉 控制器产生控制作用，控制机器人的前进速度和旋 转角速度，保证目标在2摄像机视野内，并使机器人 跟踪上目标」 图1系统识别与跟踪场景 Fig 1 The scene of recognition and tracking 期望位姿 双日本体机器人 速度PID控制器 跟踪机器人运动系统 带视觉标记的动 视觉控制器 态H标机器人 光电编码器测速 受扰环境 视觉反馈 双目摄像机 图2动态目标识别与跟踪系统的组成 Fig,2 Moving target recognition and tracking system 文中使用的双目摄像机固接在跟踪机器人上， 摄像机不能单独控制.目标机器人上的视觉标记是 预处理 月标识别 位姿估计 一灰度级几乎等于255的白色三角纸板或其它有规 原始图像采集 圆值分制 区城生长 计算目标区 域中心坐标 则形状的物体 形态学滤波 双日匹配 1.3视觉信息处理模块的组成 孔洞填充 取 配 立体测量 如图3所示，本模块在获取左右2眼摄像机采 集到的包含目标在内的环境图像（已矫正）后，通过 阈值分割、滤波和孔洞填充，再生长出待识别的区 图3视觉信息处理模块 域、提取形状特征，并与上一帧的目标特征进行匹 Fig 3 Vision information processing module 配，辨识出目标，然后分别计算出目标中心在左右摄 无粘连时，可以正确地分割出目标.在目标提取中 像机图像平面的坐标，利用成像模型进行双目匹配 文中并不要求目标的完整性，但要保证识别标记（目 和相对位姿估计，进而反馈给控制前向通路」 标)的形状大致不变.为此，在实验前，采用人机交互 2基于灰度和形状的日标检测 反复验证的方法获取阈值 2.2形态学滤波与孔洞填充 2.1灰度特征图像分割 阈值分割后的二值化图像，难免引入噪声，采用 为了减少光照的影响，给目标机器人设置一白 数学形态学的腐蚀算法滤除背景杂波（主要是盐噪 色视觉标记，当在图像上其它白色物体与视觉标记 声).腐蚀正方形模板大小的选取也要根据实验来确 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
1 系统原理与构成 111 系统场景 系统场景如图 1 所示 :左上方机器人为带视觉 标记的被跟踪目标 ,右下方的双目机器人为跟踪机 器人. 当目标机器人以设定速度和路径前进时 ,要求 双目机器人以给定的相对位置跟踪上目标. 112 系统的组织结构 抽象出的系统组织结构如图 2 所示 ,视觉伺服 跟踪系统由图像采集与处理模块和伺服模块联合组 成. 视觉模块在整个系统中构成反馈通路 ,估算出目 标的位姿 ,与期望位姿比较产生误差信号 ,驱动视觉 控制器产生控制作用 ,控制机器人的前进速度和旋 转角速度 ,保证目标在 2 摄像机视野内 ,并使机器人 跟踪上目标. 图 1 系统识别与跟踪场景 Fig11 The scene of recognition and tracking 图 2 动态目标识别与跟踪系统的组成 Fig12 Moving target recognition and tracking system 文中使用的双目摄像机固接在跟踪机器人上 , 摄像机不能单独控制. 目标机器人上的视觉标记是 一灰度级几乎等于 255 的白色三角纸板或其它有规 则形状的物体. 113 视觉信息处理模块的组成 如图 3 所示 ,本模块在获取左右 2 眼摄像机采 集到的包含目标在内的环境图像 (已矫正) 后 ,通过 阈值分割、滤波和孔洞填充 ,再生长出待识别的区 域、提取形状特征 ,并与上一帧的目标特征进行匹 配 ,辨识出目标 ,然后分别计算出目标中心在左右摄 像机图像平面的坐标 ,利用成像模型进行双目匹配 和相对位姿估计 ,进而反馈给控制前向通路. 2 基于灰度和形状的目标检测 211 灰度特征图像分割 为了减少光照的影响 ,给目标机器人设置一白 色视觉标记 ,当在图像上其它白色物体与视觉标记 图 3 视觉信息处理模块 Fig13 Vision information processing module 无粘连时 ,可以正确地分割出目标. 在目标提取中 , 文中并不要求目标的完整性 ,但要保证识别标记(目 标) 的形状大致不变. 为此 ,在实验前 ,采用人机交互 反复验证的方法获取阈值. 212 形态学滤波与孔洞填充 阈值分割后的二值化图像 ,难免引入噪声 ,采用 数学形态学的腐蚀算法滤除背景杂波 (主要是盐噪 声) . 腐蚀正方形模板大小的选取也要根据实验来确 ·20 · 智 能 系 统 学 报 第 2 卷
第3期 刘宏鼎，等：双目轮式移动机器人的运动目标识别与跟踪 ·21· 定.当目标离摄像机较远时，为避免目标被完全腐蚀 fi,1∑fi,, 掉和提高处理速度，可自适应的减小模板大小 .o (3) 由于采用区域生长方法分割出待识别连通域， ru.pl j= 因此必须填充孔洞.这样可以避免选取了区域内部 归一化的中心矩为 的孔洞作为种子点，导致生长后的区域不是目标而 g=“g/,Y=(p+/2+1,p+g=2,3,: 是背景.使用连通区域标记和外边缘跟踪技术0山 (4) 找到各个区域的外边界，再填充连通区域内部， Hu提出的p+q3时的7个不变矩，满足平移、缩 2.3形状识别 放、旋转不变条件，其计算方法为 在完成前面的2步预处理以后，图像为包含目 haun =bo he 标的多个连通区域.通过区域生长提取出一个待识 he =(Tbo-e) 别区域，计算形状特征，完成匹配识别， s=(0-32+6:-s)2, 2.3.1区域生长 hu=(ho·2+h1+2, 在跟踪的过程中，目标在前后2帧图像上的位 h6=(0-3z)0+2[o+22.31+21+ 置变化不是太大，只要找到目标上的任何一点，就可 6h-s)仍1+s)B0+22.1+s21, 以通过区域生长将目标生长出来，而不必在整个图 s=(o-)[(o+2.(1+s)2]+ 像平面上进行目标搜索.种子点在跟踪开始时，可由 手工选取，其后，以前一次检测到的目标区域中心位 4h1(o+2)(B1+), 置为基准进行环行搜索，如图4所示.每一环按先上 hh=6h:-0+2[o+22.31+s21- 后下，先左后右的顺序查找.搜索环数根据目标机器 (0·(+s)B0+2.(h+s21 人的运动情况进行自适应调整 ) 则特征向量为 Hu [hu huz hushus hus hu 2 6) 2.3.3目标特征匹配 由于Hu氏矩的形状不变性只在摄像机光轴垂 直二维物体空间平面时才成立4)，但本系统中光轴 与地面有一夹角，故不满足矩不变性条件.考虑到摄 像机跟踪目标的运动，前后2帧间Hu氏矩的变化 会很小，因此将左右2眼的前一帧识别出的目标的 Hu氏矩作为各自本次匹配的基准.用相对欧氏距 图4环形搜索种子点示意图 离作为相似匹配度量函数，即 Fig 4 Loop searching for a seed point m =IEuzer-Huo ll 2.3.2特征提取 HuTpr‖ 7) 图像矩是广泛应用的形状特征之一，其具有稳 式中：m为相对欧氏距离：Hupr为前次目标的u 定性好、易于实现、匹配效率高等优点，.Hu最早 氏矩，H为待识别区域的不变矩 提出矩的概念并应用于形状识别！，其给出的不变 选定相似度阈值，当m小于阈值时，认为该区 矩具有平移、伸缩和旋转不变性.文中采用H山氏矩 域为所寻找的目标，否则计算并匹配邻近的下一个 的前7个计算目标（视觉标记）的中心坐标 待识别区域.在一帧图像中，待识别区域的个数可以 考虑图像上某区域P,其p+g阶规则矩定义为 根据实际试验确定 m网=∑Pj(i, 1) 实际试验可以证实：被跟踪目标只要有规则的 i.0 mm不具备平移不变性.将计算的原点平移到区 形状，且在跟踪过程中相邻帧间的目标形状变化不 域的中心产生中心矩m网为 大，上述的目标识别方法都可以识别出该运动目标 mo =i.o(j-pf(i.p. 2 即文中的目标识别方法具有通用性和鲁棒性。 式中：i,j是图像区域的中心， 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
定. 当目标离摄像机较远时 ,为避免目标被完全腐蚀 掉和提高处理速度 ,可自适应的减小模板大小. 由于采用区域生长方法分割出待识别连通域 , 因此必须填充孔洞. 这样可以避免选取了区域内部 的孔洞作为种子点 ,导致生长后的区域不是目标而 是背景. 使用连通区域标记和外边缘跟踪技术[10 - 11 ] 找到各个区域的外边界 ,再填充连通区域内部. 213 形状识别 在完成前面的 2 步预处理以后 ,图像为包含目 标的多个连通区域. 通过区域生长提取出一个待识 别区域 ,计算形状特征 ,完成匹配识别. 21311 区域生长 在跟踪的过程中 ,目标在前后 2 帧图像上的位 置变化不是太大 ,只要找到目标上的任何一点 ,就可 以通过区域生长将目标生长出来 ,而不必在整个图 像平面上进行目标搜索. 种子点在跟踪开始时 ,可由 手工选取 ;其后 ,以前一次检测到的目标区域中心位 置为基准进行环行搜索 ,如图 4 所示. 每一环按先上 后下 ,先左后右的顺序查找. 搜索环数根据目标机器 人的运动情况进行自适应调整. 图 4 环形搜索种子点示意图 Fig14 Loop searching for a seed point 21312 特征提取 图像矩是广泛应用的形状特征之一 ,其具有稳 定性好、易于实现、匹配效率高等优点[10 ] . Hu 最早 提出矩的概念并应用于形状识别[13 ] ,其给出的不变 矩具有平移、伸缩和旋转不变性. 文中采用 Hu 氏矩 的前 7 个计算目标(视觉标记) 的中心坐标. 考虑图像上某区域Ω,其 p + q 阶规则矩定义为 mpq = ( i ,∑ j) ∈Ω i p j q ( i , j) . (1) mpq不具备平移不变性. 将计算的原点平移到区 域的中心产生中心矩 mpq为 mpq ≡( i ,∑ j) ∈Ω ( i - i) p ( j - j) q f ( i , j) . (2) 式中 :i , j是图像区域的中心 , i = ( i ,∑ j) ∈Ω i f ( i , j) / ( i ,∑ j) ∈Ω f ( i , j) , j = ( i ,∑ j) ∈Ω j f ( i , j) / ( i ,∑ j) ∈Ω f ( i , j) . (3) 归一化的中心矩ηpq为 ηpq = μpq /μγ pq ,γ = ( p + q) / 2 + 1 , p + q = 2 ,3 , …. (4) Hu 提出的 p + q ≤3 时的 7 个不变矩 ,满足平移、缩 放、旋转不变条件 ,其计算方法为 hu1 =η20 +η02 , hu2 = (η20 - η02 ) 2 + 4η2 11 , hu3 = (η30 - 3η12 ) 2 + (3η21 - η03 ) 2 , hu4 = ( h30 - η12 ) 2 + (η21 +η03 ) 2 , hu5 = (η30 - 3η12 ) (η30 +η12 ) [(η30 +η12 ) 2 - 3(η21 +η03 ) 2 ] + (3η21 - η03 ) (η21 +η03 ) [3(η30 +η12 ) 2 - (η21 +η03 ) 2 ], hu6 = (η20 - η02 ) [(η30 +η12 ) 2 - (η21 +η03 ) 2 ] + 4η11 (η30 +η12 ) (η21 +η03 ) , hu7 = (3η21 - η03 ) (η30 +η12 ) [(η30 +η12 ) 2 - 3(η21 +η03 ) 2 ] - (η30 - η12 ) (η21 +η03 ) [3(η30 +η12 ) 2 - (η21 +η03 ) 2 ]. (5) 则特征向量为 Hu = [ hu1 hu2 hu3 hu4 hu5 hu7 ] T . (6) 21313 目标特征匹配 由于 Hu 氏矩的形状不变性只在摄像机光轴垂 直二维物体空间平面时才成立[14 ] ,但本系统中光轴 与地面有一夹角 ,故不满足矩不变性条件. 考虑到摄 像机跟踪目标的运动 ,前后 2 帧间 Hu 氏矩的变化 会很小 ,因此将左右 2 眼的前一帧识别出的目标的 Hu 氏矩作为各自本次匹配的基准. 用相对欧氏距 离作为相似匹配度量函数 ,即 m = ‖HuTpr - Hunew ‖ ‖HuTpr ‖ . (7) 式中 : m 为相对欧氏距离; HuTpr 为前次目标的 Hu 氏矩; Hunew 为待识别区域的不变矩. 选定相似度阈值 ,当 m 小于阈值时 ,认为该区 域为所寻找的目标 ,否则计算并匹配邻近的下一个 待识别区域. 在一帧图像中 ,待识别区域的个数可以 根据实际试验确定. 实际试验可以证实 :被跟踪目标只要有规则的 形状 ,且在跟踪过程中相邻帧间的目标形状变化不 大 ,上述的目标识别方法都可以识别出该运动目标. 即文中的目标识别方法具有通用性和鲁棒性. 第 3 期 刘宏鼎 ,等 :双目轮式移动机器人的运动目标识别与跟踪 ·21 ·
·22 智能系统学报 第2卷 这种混合控制策略可用下列规则标出： 3 位姿估计与跟踪控制 f1el≤a,PID控制， 同构双目视觉机器人的优势在于可以进行双目 f|e|>a,|ul=tomax (Bang Bang控制 测距，获取目标中心在左右2眼图像中的位置坐标 (9列 后，计算目标与摄像机的相对位置，并反馈至控制回 式中：a为控制切换线，e为误差，u为控制量 路.利用双目摄像机的结构约束内极线约束？用 控制器的输出是机器人的前进速度ⅴ和旋转角 来进行双目匹配和检查目标中心提取的正确性 速度ω.并由速度闭环控制电机驱动2轮.采用分立 3.1立体测距 单独控制的思想)，e=Za-Z控制跟踪速度v, 按照小孔成像模型61和文献171中的双目测 ew=0-0控制机器人跟踪旋转角速度ω，即 量模型，同构、焦平面重合、同物点在2图中只有水 v =VSC,(e:), 平方向的平移的三维测量式为(8)，其中x,y,:是 (10) @=VSCu(eo). 目标中心在摄像机坐标系中的三维坐标，(m,v) 式中：VSC,VSC。为按式3)设计的视觉伺服控制器 为右图像的中心像素坐标，(，2)，(M,)分别是 依轮式移动机器人的运动模型分别驱动控制模 目标中心在左、右摄像机的图像坐标，b,∫是基线长 型1，如式11)所示. 度和焦距以像素表示)： =v+w·L/2 11) x b x(u-un)/(i m), 、VR=V-P·L/2 y =b x(vI vo)/(u-m). 8) 式中：L为机器人轮间距，z,VR分别为机器人左右 :=fXb/(·M). 轮速度 根据坐标系转换关系，可计算目标在跟踪机器 人坐标系的位置 4实验结果 3.2跟踪控制 4.1曲线跟踪 如图5所示，建立机器人跟踪坐标系，2轮间中 跟踪曲线前进的目标具有一般意义.目标机器 点为原点，机器人正前方为Z轴正向，向右为X轴 人在前方以vR=9cm/s,z=11cm/s的速度逆时 正向.系统在室内平坦地面实施跟踪，认为目标中心 针曲线行进，初始时其在跟踪坐标系的位置为X= 与跟踪机器人的相对高度不变，故只考虑目标在 -10cm,Z=114cm,则目标机器人的路径示意如图 XOZ二维平面的位置信息 6所示.跟踪过程中要求跟踪机器人在目标后方80 cm,偏右10cm处，即X,=-10cm,Z,=80cm.图 像分割的阈值选为252，待识别区域个数取1个，式 9)中a取10cm.图6-2中矩形阴影框部分为识别 标 出的目标 、目标机器人 II cms 跟踪机器人 9 cm/s 图5目标跟踪坐标关系 跟踪机器人 Fig 5 Relationship of coordinates for target tracking (a) (b) 图5中，0为机器人的前进方向与目标连线矢 径的夹角，Z,X为目标中心在跟踪坐标系的位置坐 图6跟踪路径示意与识别效果图 标在图1的控制回路中，视觉伺服控制器采用 Fig 6 Diagram tracking path and recognition effect Bang-Bang控制与PD控制相结合的策略u],保证 实验所得的全局跟踪轨迹为图7.目标在跟踪 跟踪系统的快速性，且具有较高控制精度和稳定性 坐标系的坐标位置曲线如图8示，图9为误差曲线 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
3 位姿估计与跟踪控制 同构双目视觉机器人的优势在于可以进行双目 测距 ,获取目标中心在左右 2 眼图像中的位置坐标 后 ,计算目标与摄像机的相对位置 ,并反馈至控制回 路. 利用双目摄像机的结构约束 —内极线约束[15 ]用 来进行双目匹配和检查目标中心提取的正确性. 311 立体测距 按照小孔成像模型[16 ] 和文献[17 ]中的双目测 量模型 ,同构、焦平面重合、同物点在 2 图中只有水 平方向的平移的三维测量式为 (8) ,其中 x , y , z 是 目标中心在摄像机坐标系中的三维坐标 , ( uro , vro ) 为右图像的中心像素坐标 , ( u2 , v2 ) , ( u1 , v1 ) 分别是 目标中心在左、右摄像机的图像坐标 , b, f 是基线长 度和焦距(以像素表示) : x = b ×( u1 - ur0 ) / ( u2 - u1 ) , y = b ×( v1 - vr0 ) / ( u2 - u1 ) , z = f ×b/ ( u2 - u1 ) . (8) 根据坐标系转换关系 ,可计算目标在跟踪机器 人坐标系的位置. 312 跟踪控制 如图 5 所示 ,建立机器人跟踪坐标系 , 2 轮间中 点为原点 ,机器人正前方为 Z 轴正向 ,向右为 X 轴 正向. 系统在室内平坦地面实施跟踪 ,认为目标中心 与跟踪机器人的相对高度不变 , 故只考虑目标在 XO Z 二维平面的位置信息. 图 5 目标跟踪坐标关系 Fig15 Relationship of coordinates for target tracking 图 5 中 ,θ为机器人的前进方向与目标连线矢 径的夹角 , Z , X 为目标中心在跟踪坐标系的位置坐 标. 在图 1 的控制回路中 , 视觉伺服控制器采用 Bang2Bang 控制与 PID 控制相结合的策略[18 ] ,保证 跟踪系统的快速性 ,且具有较高控制精度和稳定性. 这种混合控制策略可用下列规则标出 : if | e | ≤a ,PID 控制 , if | e | > a , | u | = umax (Bang2Bang 控制) . (9) 式中 : a 为控制切换线 , e 为误差 , u 为控制量. 控制器的输出是机器人的前进速度 v 和旋转角 速度ω,并由速度闭环控制电机驱动 2 轮. 采用分立 单独控制的思想[19 ] , ez = Zd - Z 控制跟踪速度 v , eθ =θd - θ控制机器人跟踪旋转角速度ω,即 v = V S Cv ( ez ) , ω = V S Cω( eθ) . (10) 式中:VSCv ,VSCω 为按式(3)设计的视觉伺服控制器. 依轮式移动机器人的运动模型分别驱动控制模 型[19 ] ,如式(11) 所示. vL = v + w ·L/ 2 , vR = v - w ·L/ 2. (11) 式中 :L 为机器人轮间距 , vL ,V R 分别为机器人左右 轮速度. 4 实验结果 411 曲线跟踪 跟踪曲线前进的目标具有一般意义. 目标机器 人在前方以 vR = 9 cm/ s, vL = 11 cm/ s 的速度逆时 针曲线行进 ,初始时其在跟踪坐标系的位置为 X = - 10 cm , Z = 114 cm ,则目标机器人的路径示意如图 6 所示. 跟踪过程中要求跟踪机器人在目标后方 80 cm ,偏右 10 cm 处 ,即 Xr = - 10 cm , Zr = 80 cm. 图 像分割的阈值选为 252 ,待识别区域个数取 1 个 ,式 (9) 中 a 取 10 cm. 图 622 中矩形阴影框部分为识别 出的目标. 图 6 跟踪路径示意与识别效果图 Fig16 Diagram tracking path and recognition effect 实验所得的全局跟踪轨迹为图 7 ,目标在跟踪 坐标系的坐标位置曲线如图 8 示 ,图 9 为误差曲线 , ·22 · 智 能 系 统 学 报 第 2 卷
第3期 刘宏鼎，等：双目轮式移动机器人的运动目标识别与跟踪 ·23· 可见机器人能快速稳定地跟踪上目标.分析图9结 图7在2轴上的误差分别为：X方向mina= 果，可得在跟踪坐标系下轴方向最大误差为 0m,maxa=0.7874m;Z轴方向minc=0.001m, -0.0867,轴最大误差为0.3399.由于系统首先要 maxc-1.3657m.其最大误差偏大的原因分析如下： 保证目标在双目摄像机的2眼视场内不丢失，故图 在立体视觉测距中，没有考虑目标的方位，把其 8.9的跟踪在稳定时刻的误差是可以容许的 当作质点，用中心代替目标，在这种情况下只要目标 跟踪轨迹 在跟踪坐标系中的期望坐标确定，跟踪机器人在以 300 目标轨迹 目标质点为圆心，以期望距离为半径的圆周上任何 200 一点（保证目标在视场内），只需调整自身角度均可 达到期望值.此外，视觉测距本身也会引入误差 100 4.2系统性能分析 0 设定目标的运动速度与角速度为独立、均值为 0,方差为0.1的正态分布随机变量，目标的控制采 -10 500-400-300-200-1000100 X/cm 样周期为0.5s,做大量实验，抽样统计分析系统的 性能，结果如表1所示，其中的识别精度是指式门) 图7跟踪轨迹曲线 中的m小于给定的精度值.可见系统具有优良的性 Fig 7 Tracking curves 能，并有进一步研究的意义和价值 115 表1系统性能分析 Table 1 Analysis of system performance 105 指标项 指标值(ms) 精度 最大识别时间 501 0.10 最小识别时间 180 0.10 平均识别时间 187.1556 0.10 最大稳定跟踪时间 911 0.01m 最大稳定跟踪时间 15673 0.1m 平均稳定跟踪时间 5.6667 0.01m 平均稳定跟踪时间 135.469 0.1m 100 200 300 100 200 300 采样点/个 采样点/个 (a)X轴跟踪坐标位置曲线 (b)Z轴跟踪坐标位置曲线 结束语 图8目标在跟踪坐标系下的位置曲线 文中采用区域生长、不变矩形状特征提取和相 Fig 8 Position curves of target in tracking coordinate 对匹配的方法对室内复杂环境下简单运动目标进行 动态识别，并将Bang-Bang控制与传统的PD控制 相结合，实现了二维平面内双目轮式移动机器人对 带视觉标记运动目标的快速稳定跟踪.实验结果显 示了该方法的有效性.下一步将考虑目标方位的影 响和运用滤波算法实现目标运动状态的最佳估计， 20 以提高跟踪精度 30 参考文献： 100200 300 100 200 300 采样点/个 采样点/个 [1]杨耿，和卫星.运动目标图像识别与跟踪系统的研究 (a)X轴跟踪跟踪误美 (b)Z轴跟踪跟踪误差 [U].计算机测量与控制，2005,13(3)：267-269 YANG Geng,HE Weixing.Study of system on image 图9跟踪过程中的相对坐标误差曲线 recognition and tracking of moving object [J ]Computer Fig 9 Relative coordinate errors curves in tracking process Measurement Control,2005,13(3),267-269. [2]曹银花，李林.动摄像机和动目标跟踪模式下的目标检 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
可见机器人能快速稳定地跟踪上目标. 分析图 9 结 果 , 可 得 在 跟 踪 坐 标 系 下 轴 方 向 最 大 误 差 为 - 01086 7 ,轴最大误差为 01339 9. 由于系统首先要 保证目标在双目摄像机的 2 眼视场内不丢失 ,故图 8 ,9 的跟踪在稳定时刻的误差是可以容许的. 图 7 跟踪轨迹曲线 Fig17 Tracking curves 图 8 目标在跟踪坐标系下的位置曲线 Fig18 Position curves of target in tracking coordinate 图 9 跟踪过程中的相对坐标误差曲线 Fig19 Relative coordinate errors curves in tracking process 图 7 在 2 轴上的误差分别为: X 方向 minex = 0 m;maxex = 01787 4 m; Z 轴方向 minez = 01001 m , maxez = 11365 7 m. 其最大误差偏大的原因分析如下: 在立体视觉测距中 ,没有考虑目标的方位 ,把其 当作质点 ,用中心代替目标 ,在这种情况下只要目标 在跟踪坐标系中的期望坐标确定 ,跟踪机器人在以 目标质点为圆心 ,以期望距离为半径的圆周上任何 一点(保证目标在视场内) ,只需调整自身角度均可 达到期望值. 此外 ,视觉测距本身也会引入误差. 412 系统性能分析 设定目标的运动速度与角速度为独立、均值为 0 ,方差为 011 的正态分布随机变量 ,目标的控制采 样周期为 015 s,做大量实验 ,抽样统计分析系统的 性能 ,结果如表 1 所示 ,其中的识别精度是指式 (7) 中的 m 小于给定的精度值. 可见系统具有优良的性 能 ,并有进一步研究的意义和价值. 表 1 系统性能分析 Table 1 Analysis of system performance 指标项 指标值(ms) 精度 最大识别时间 501 0110 最小识别时间 180 0110 平均识别时间 1871155 6 0110 最大稳定跟踪时间 911 0101 m 最大稳定跟踪时间 15 673 011 m 平均稳定跟踪时间 51666 7 0101 m 平均稳定跟踪时间 1351469 011 m 5 结束语 文中采用区域生长、不变矩形状特征提取和相 对匹配的方法对室内复杂环境下简单运动目标进行 动态识别 ,并将 Bang2Bang 控制与传统的 PID 控制 相结合 ,实现了二维平面内双目轮式移动机器人对 带视觉标记运动目标的快速稳定跟踪. 实验结果显 示了该方法的有效性. 下一步将考虑目标方位的影 响和运用滤波算法实现目标运动状态的最佳估计 , 以提高跟踪精度. 参考文献 : [1 ]杨 耿 ,和卫星. 运动目标图像识别与跟踪系统的研究 [J ]. 计算机测量与控制 , 2005 ,13 (3) :267 - 269. YAN G Geng , HE Weixing. Study of system on image recognition and tracking of moving object [J ]. Computer Measurement & Control , 2005 , 13 (3) , 267 - 269. [2 ]曹银花 ,李 林. 动摄像机和动目标跟踪模式下的目标检 第 3 期 刘宏鼎 ,等 :双目轮式移动机器人的运动目标识别与跟踪 ·23 ·
·24 智能系统学报 第2卷 测新方法0].光学技术，2003,31(2)：276.278. WANG Meihua.The application of invariants theory in CAO Yinhua,LI Lin.New method of target detection in pattern recognition [D].YanShan:YanShan Univer- the moving camera and moving target mode[J ]Optical city,2004. Technique,2003,31(2):276.278. [13]HU M K.Visual pattern recognition by moment invari- [3]杨志华，曾禹村.背景移动补偿技术D].北京理工大学学 ants[J ]IRE Transaction on Information Theory,1962 报，2000,20(3)：333-337 (2):179-187. YANG Hihua,ZENG Yucun.Motional background [14]孙亦南.基于几何不变量的图像特征识别.计算机应用 compensation technique [J].Journal of Beijing Institute 与软件，2004,12(12)：1.4. of Technology,2000,20(3):333-337. SUN Yinan.Recognition of image feature based on ge- [4]沈志华，全自主机器人双目视觉检测研究U].计算机测 ometry invariants [J ]Computer Application and Soft- 量与控制，2006,14(1)：26.28. ware,2004,12(12):1-4. SHEN Zhihua.Reaserch on Iso-vision system of autono- [15]高文，陈熙霖.计算机视觉算法与系统原理[M]. mous mobile robot for motion detection [J].Computer 北京：清华大学出版社，2000. Measurement Control,2006,14(1):26-28. [16]罗飞路，傅恩锡.CCD摄像机内外参数快速准确的标定 [5]余静，游志胜.自动目标识别与跟踪技术综述[J].计 方法[】.湖南大学大学学报，1997,24(2)：71.74. 算机应用研究，2005,22(1)：12.15. LUO Feilu,FU Enxi.A fast and accurate calibration YU jing,YOU Zhisheng.Survey of automatic target rec- method of intrinsic and extrinsic parameters of CCD ognition and tracking method [J].Appliction Research of Cameras [J].Journal of Hunan University,1997,24 Computer,2005,22(1):12.15 (2):71-74. [6]张天序，李小文.复杂背景中的目标辨识方法研究[U] [17]周富强，郑继贵.双目视觉传感器的现场标定技术[U]」 华中理工大学学报，1994,22(5)：1·6. 仪器仪表学报，2000,21(2)：142,145. ZHANG Tianxu,LI Xiaowen.Research on the method ZHOU Fuqiang,ZHU Jigui.A field calibration tech- of object recognition in complex environment [J ]J. nique for binocular vision senor [J ]Chian Journal of Huazhong Univ.of Sc.Tech,1994,22(5):1-6. Scientific Instrument,2000,21(2):142-145. [7]黄飞泉.基于模板匹配的运动目标快速检测与跟踪[U], [18]于海生.微型计算机控制技术[M].北京：清华大学出 应用科技，2006,33(6)：115·117. 版社，2001」 HUAN G Feiquan.Fast detection and tracking of moving [19]王仲民.非完整轮式移动机器人运动控制系统的设计与 object based on template matching [J].Applied Science 实现[J].天津工程师范学院学报，2005,15(2)：11. and Technology,2006,33(6):115.117. WANG Zhongming.Design and implementation of mo- [8]吉书鹏，张桂林，丁晓青.地面复杂场景图像相关跟踪算 tion control system of nonholomic wheeled mobile robot 法研究U].激光与红外，2002,32(6)：428-430. [J].Journal of Tianjin Univercity of Technology and JI Shupeng,ZHANG Guilin,DING Xiaoging.Study on Education,2005,15(2):11 image correlation tracking algorithm in the condition of 作者简介： comlicated ground background [J ]Laser Infrared, 2002,32(6):428.430. [9]杨杨，张田文.一种基于特征光流的运动目标跟踪方法 刘宏鼎，男，1982年生，硕士研究 [J].宇航学报，2000,21(2)：8.12. 生，研究方向为图像目标识别与机器 YANG Yang,HANG Tianwen.Moving target tracking 人视觉伺服跟踪 based on feature-optical-flow [J ]Journal of Astronau- E mail liuhongding @126.com. tics,2000,21(2):8-12. [10]王铁生，施鹏飞.二值图像的快速标记方法及其应用 U].微型电脑应用，2004,20(6)：6.8. WANG Tiesheng,SHI Pengfei.Fast labeling of binary image and its application[J].Microcomputer Applica- 秦世引，男，1955年生，教授，博 tion,2004,20(6):6-8. 士，博士生导师，中国人工智能学会秘 [11]李云，鲍苏苏.二值图像中物体区域的选定及外边缘 书长，智能控制与智能管理专业委员会 跟踪技术0].华南师范大学学报（自然科学版），2000， 副主任，主持、参与完成国家重点基础 3(3):27-29 研究(973)项目的子课题、国家自然科 LI yun,BAO Susu.The technology object regions se- 学基金、国防科技预研基金、武器装备 lection and exterior edges ttracking in binary image [J ] 预研基金等项目20余项，发表学术论 Journal of South China Normal University,2000,3(3): 文90余篇 27.29. [12]王美华.硕士学位论文：不变量理论在模式识别中的应 用[D],燕山：燕山大学，2004 1994-2009 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net
测新方法[J ]. 光学技术 ,2003 , 31 (2) : 276 - 278. CAO Yinhua , L I Lin. New method of target detection in the moving camera and moving target mode [J ]. Optical Technique , 2003 , 31 (2) :276 - 278. [3 ]杨志华 ,曾禹村. 背景移动补偿技术[J ]. 北京理工大学学 报 ,2000 , 20 (3) : 333 - 337. YAN G Hihua , ZEN G Yucun. Motional background compensation technique [J ]. Journal of Beijing Institute of Technology , 2000 ,20 (3) :333 - 337. [4 ]沈志华. 全自主机器人双目视觉检测研究[J ]. 计算机测 量与控制 ,2006 , 14 (1) : 26 - 28. SHEN Zhihua. Reaserch on Iso2vision system of autono2 mous mobile robot for motion detection [J ]. Computer Measurement & Control , 2006 , 14 (1) : 26 - 28. [5 ]余 静 ,游志胜. 自动目标识别与跟踪技术综述[J ]. 计 算机应用研究 ,2005 , 22 (1) : 12 - 15. YU jing , YOU Zhisheng. Survey of automatic target rec2 ognition and tracking method [J ]. Appliction Research of Computer ,2005 , 22 (1) : 12 - 15. [6 ]张天序 ,李小文. 复杂背景中的目标辨识方法研究[J ]. 华中理工大学学报 , 1994 , 22 (5) : 1 - 6. ZHAN G Tianxu , L I Xiaowen. Research on the method of object recognition in complex environment [J ]. J. Huazhong Univ. of Sc. & Tech , 1994 , 22 (5) : 1 - 6. [7 ]黄飞泉. 基于模板匹配的运动目标快速检测与跟踪[J ]. 应用科技 ,2006 , 33 (6) : 115 - 117. HUAN G Feiquan. Fast detection and tracking of moving object based on template matching [J ]. Applied Science and Technology , 2006 , 33 (6) : 115 - 117. [8 ]吉书鹏 ,张桂林 ,丁晓青. 地面复杂场景图像相关跟踪算 法研究[J ]. 激光与红外 ,2002 , 32 (6) : 428 - 430. J I Shupeng , ZHAN G Guilin , DIN G Xiaoqing. Study on image correlation tracking algorithm in the condition of comlicated ground background [J ]. Laser & Infrared , 2002 , 32 (6) : 428 - 430. [9 ]杨 杨 ,张田文. 一种基于特征光流的运动目标跟踪方法 [J ]. 宇航学报 , 2000 , 21 (2) : 8 - 12. YAN G Yang , HAN G Tianwen. Moving target tracking based on feature2optical2flow [J ]. Journal of Astronau2 tics , 2000 , 21 (2) : 8 - 12. [10 ]王铁生 ,施鹏飞. 二值图像的快速标记方法及其应用 [J ]. 微型电脑应用 , 2004 ,20 (6) :6 - 8. WAN G Tiesheng , SHI Pengfei. Fast labeling of binary image and its application [J ]. Microcomputer Applica2 tion , 2004 , 20 (6) : 6 - 8. [11 ]李 云 ,鲍苏苏. 二值图像中物体区域的选定及外边缘 跟踪技术[J ]. 华南师范大学学报(自然科学版) , 2000 , 3 (3) : 27 - 29. L I yun , BAO Susu. The technology object regions se2 lection and exterior edges ttracking in binary image[J ]. Journal of South China Normal University , 2000 ,3 (3) : 27 - 29. [12 ]王美华. 硕士学位论文 : 不变量理论在模式识别中的应 用[D] , 燕山 : 燕山大学 , 2004. WAN G Meihua. The application of invariants theory in pattern recognition [ D ]. YanShan : YanShan Univer2 city , 2004. [ 13 ] HU M K. Visual pattern recognition by moment invari2 ants[J ]. IRE Transaction on Information Theory , 1962 (2) :179 - 187. [ 14 ]孙亦南. 基于几何不变量的图像特征识别. 计算机应用 与软件 , 2004 ,12 (12) :1 - 4. SUN Yinan. Recognition of image feature based on ge2 ometry invariants [J ]. Computer Application and Soft2 ware , 2004 , 12 (12) :1 - 4. [15 ]高 文 ,陈熙霖. 计算机视觉 —算法与系统原理[ M ]. 北京 :清华大学出版社 ,2000. [16 ]罗飞路 ,傅恩锡. CCD 摄像机内外参数快速准确的标定 方法[J ]. 湖南大学大学学报 ,1997 , 24 (2) : 71 - 74. LUO Feilu , FU Enxi. A fast and accurate calibration method of intrinsic and extrinsic parameters of CCD Cameras [J ]. Journal of Hunan University , 1997 , 24 (2) : 71 - 74. [17 ]周富强 ,邾继贵. 双目视觉传感器的现场标定技术[J ]. 仪器仪表学报 , 2000 , 21 (2) :142 - 145. ZHOU Fuqiang , ZHU Jigui. A field calibration tech2 nique for binocular vision senor [J ]. Chian Journal of Scientific Instrument , 2000 , 21 (2) : 142 - 145. [18 ]于海生. 微型计算机控制技术[ M ]. 北京 :清华大学出 版社 ,2001. [19 ]王仲民. 非完整轮式移动机器人运动控制系统的设计与 实现[J ]. 天津工程师范学院学报 ,2005 ,15 (2) :11. WAN G Zhongming. Design and implementation of mo2 tion control system of nonholomic wheeled mobile robot [J ]. Journal of Tianjin Univercity of Technology and Education , 2005 , 15 (2) : 11. 作者简介 : 刘宏鼎 ,男 ,1982 年生 ,硕士研究 生 ,研究方向为图像目标识别与机器 人视觉伺服跟踪. E2mail :liuhongding @126. com. 秦世引 ,男 , 1955 年生 ,教授 ,博 士 ,博士生导师 ,中国人工智能学会秘 书长 ,智能控制与智能管理专业委员会 副主任 ,主持、参与完成国家重点基础 研究(973) 项目的子课题、国家自然科 学基金、国防科技预研基金、武器装备 预研基金等项目 20 余项 ,发表学术论 文 90 余篇. ·24 · 智 能 系 统 学 报 第 2 卷
