第6卷第1期 智能系统学报 Vol.6 No.1 2011年2月 CAAI Transactions on Intelligent Systems Feb.2011 doi:10.3969/i.issn.16734785.2011.01.010 结合HSL模型与傅里叶描述子的三维彩色物体识别 冉冉，杨唐文，阮秋琦 (北京交通大学信息科学研究所，北京100044)】 摘要：目标物识别是机器人导航中重要的一步，现存的方法大多对于场景中的彩色物体仅采用颜色分割，或者转 化为灰度图进行识别，不能满足彩色物体识别的需要.提出在基于HSL模型颜色分割的基础上，结合傅里叶算子对 轮廓特征识别的优势，先用三维目标各个角度成像的傅里叶描述子建立分类器，再对三维物体的二维成像进行轮廓 特征识别，并在颜色分割的过程中采用了快速算法.实验表明，物体测试集的识别率达到了73.3%，可应用于对实时 性要求比较高的彩色物体智能识别系统. 关键词：HSL颜色分割；傅里叶描述子；轮廓特征；三维彩色物体识别 中图分类号：TP391.4文献标识码：A文章编号：1673-4785(2011)01-007306 Recognizing a colored object based on an HSL model and Fourier descriptors RAN Ran,YANG Tangwen,RUAN Qiuqi Institute of Information Science,Beijing Jiaotong University,Beijing 100044,China) Abstract:Object recognition is an important step for achieving robot navigation.There are many approaches in this domain to recognize a colored object.Most of them segment an image by color to determine the target,or convert the color image to grey before recognizing it.This study focused both on color and shape information.First,the im- age was segmented based on an HSL model and flood fill algorithm;secondly,by combination with the Fourier op- erator that has advantage in contour feature recognition,build a classifier by Fourier descriptor to discriminate a three-dimensional object from every angle,and then identify the two-dimensional image's outline feature of a three- dimensional object,and use a fast algorithm during color segmentation.The experiments show that the average rec- ognition rate reaches 73.3%on the testing set.The method proposed in this paper can be applied to colored object intelligent recognition system which has higher real-time requirement. Keywords:color segmentation using HSL;Fourier descriptors;shape recognition;colored object recognition 移动机器人的关键技术之一是自主导航，该问题法结合起来，在颜色分割的基础上，对物体的形状进 被定义为基于环境理解的全局定位、目标识别和避 行识别，达到彩色目标识别的目的：并且采用了快速 障.其中目标识别是实现真正的智能化和完全自主移算法，具有速度快、识别率高的特点. 动的基础，也是机器人领域的一大研究热点山.目前， 对彩色目标识别主要有2种思路：1)颜色分割和区域 1图像分割 生长结合得到目标所在连通区，该类方法利用目标物 1.1基于HSL颜色模型的彩色图像分割 颜色和背景颜色的差别进行识别，没有考虑到目标物 选择HSL色彩空间模型是因为它在图像处理 的形状信息；2)将彩色图像转化为灰度图像，利用 中具备以下一些优点：在HSL模型中，亮度分量L 傅里叶描述子、角点、不变矩、SIFT/SUFT、haar特征、 与色度分量H是分开的，L分量与图像的彩色信息 houg冲变换等方法进行目标识别3].本文将这2种方 无关；色度分量H和饱和度分量S概念上相互独立 并与人的感知紧密相连.这些特点使得HSL模型非 收稿日期：2010-04-21 基金项目：国家自然科学基金资助项目(60973060). 常适合基于人的视觉系统对彩色感知特性进行处理 通信作者：冉冉.E-mail:auroranran(@live.cn. 分析的图像算法4
·74 智能系统学报 第6卷 对HSL模型表示的彩色图像进行基于颜色阈 面积最大的2个连通区域作为候选目标.处理前后 值的分割，实现图像二值化的关键是要确定出1个 的结果如图2所示. 合理的分割准则.经过对单一颜色目标在不同光照 条件下的大量样本统计，可以确定它的色度H、饱和 度S的大致取值范围.这里，由于亮度L跟光照有很 大关系，且不能反映出物体固有的颜色信息，因此， 这里不将L作为颜色分割的条件5. 设统计出的色度H的取值范围为[H,H],饱 和度S的取值范围为[S,S].由于色度H是沿圆 周分布的角度信息而不是线性信息（如0°和360附 (a)原始彩色图像 近其实是连续变化的颜色，而不是像数值所反映出 的相差很远)，参见图1，用阈值上下限构成区间这 种表示方法不能正确分割图像，一种可行的方案是 在H圆周上找到距H1和H距离相等的点Hm,Hm 到H或H的距离为H,计算余弦表示的色度差范 围最小值cosH,判定1个像素点是否为候选目标 (b)颜色分割后的二值图像 时，通过计算cos(h-Hm),若cos(h-Hm)≥cos Ha 则认为h是目标颜色， (c)填充再筛选出的图像 图2提取橙色物体步骤 Fig.2 Procedure of segmenting the orange objects 1.3改进的快速算法 经典的flood fill方法存在以下几个缺点：1)种 图1HSL模型示意 子填充时是对整幅图的像素点进行递归搜索填充， Fig.1 HSL model sketch 时间复杂度高；2)当目标物处于一个复杂的背景 综上，得到对图像颜色分割的准则如式(1). 中，背景中相似颜色的干扰会导致填充结果中存在 0, cos(h-Hm)≥cos Ha, 大量非候选目标的连通区域，影响后续的目标识别 f依= s E [S,S]; 的准确性；3)目标物颜色可能不是单一的，或者由 L255,else. 于目标物上存在污点，或者图像获取过程中存在噪 式中：是用于保存分割结果的图像像素. 声，导致在目标区域的填充结果往往不是连通的，即 1.2区域填充 目标物区域被错误地分裂成若干区域.针对这些缺 完成了图像的二值化，用种子填充方法去除二 点，本文先对图像进行缩小得到缩小图像矩阵，并对 值图像中的背景干扰，以及一些小物体的干扰，进一 其进行形态学滤波处理，再用ood进行填充实现 步确定出候选目标.使用lood填充算法，先对图 目标物体分割，由于填充算法实现上是深度优先或 像像素进行等间隔（如隔3个像素）顺序遍历，将经 广度优先搜索法，查找每个像素邻接点的时间复杂 过式(1)处理后，灰度值为0的像素点确定为种子 度为O(n2),n为像素个数，缩小n可以大大降低搜 点，对每次得到的种子点通过判断它的8邻域（或4 索时间.这样，改进算法一方面提高了物体识别的正 邻域)内的像素是否为0，若为0，则将该邻域像素纳 确率，同时又提高了分割效率 入目标区域，否则，不进行填充.这样经过填充的图 采用双线性插值法对图像进行缩小.在数学上， 像虽然在视觉上与颜色分割后的二值图像无异，但 双线性插值是有2个变量的插值函数的线性插值扩 展，其核心思想是在2个方向上分别进行1次线性插 实际在填充过程中可以得到各区域的外接矩形、面 值，该方法利用了原始图像像素点周围4个像素点的 积等信息的描述.为了去除背景和小物体干扰，选取
第1期 冉冉，等：结合HSL模型与傅里叶描述子的三维彩色物体识别 ·75 相关性，用原始图像中的4个点来代替图像子块，效 1 果比较理想.本文只用到H通道的图像和S通道的图 分()eK a()=衣 像，因此只对H通道和S通道进行缩小.然后再对缩 式中：u=0,1,…,K-1.我们称傅里叶系数a(u)为 小图像进行ood填充，得到目标区域 傅里叶描述子，由于傅里叶变换是可逆的，这种对轮 廓的描述方法没有损失信息。根据傅里叶变换的物 2目标识别 理意义可知，傅里叶系数的高频分量是对细节的刻 传统的傅里叶描述子主要用于平面图形形状描 画，低频分量是对总体形状的刻画.针对目标识别这 述、重建、识别.由于三维物体成像所得平面形状与 一任务只需知道物体的大致形状就足以达到区分不 拍摄角度有很大关系，这些成像均对应同一物体，但 同形状的目的，因此只需选取若干低频傅里叶系数 没有明显的规律.考虑到本文的研究目的是让机器 作为形状的描述，对方盒轮廓线进行FT8]可以得 人识别1个简单三维物体，一般具有对称性和简单 到频谱图如图4。 轮廓，因此提出将这类简单物体各个角度的投影图 0.06 像建立分类器，包含的样本数较小，区分形状所需的 0.05 FD阶数也较小，再用傅里叶描述子进行识别. 0.04 2.1轮廓检测 扫 对图2得到的二值图像平滑滤波后，用canny 要0.03 算子6]可以很容易地得到它的边缘点序列，但是边 0.02 缘特征不同于轮廓特征，边缘信息过于庞大，包含了 冗余和杂散特征，不利于进行物体识别.为了得到有 0.01 用的轮廓信息，可以对边缘点序列进行重采样得到 W 1020304050607080 新的边缘点序列，并将最外层的边缘作为轮廓，如图 频率/Hz 3所示.设得到的某个连通域的轮廓点序列为cx(x, 图4方盒频谱图 y),其中K表示轮廓长度. Fig.4 Frequency spectrum of the box 可见，频率分量主要集中在低频部分，前8阶包 含了轮廓的主要能量.因此选取前8个傅里叶系数 用来表征轮廓，设P=8表示阶数.傅里叶描述子与 平面形状的旋转、平移、尺度和曲线起点(，y)选 择有关，如表1所示. 表1傅里叶描述子的基本性质 Table 1 Basic characters of Fourier descriptors 轮廓 傅里叶描述子 图3外轮廓图像 Fig.3 Outer contours 原形状 s(k) a(u》 2.2基于傅里叶描述子的特征提取 旋转 3,(k)=s(k)e a,(u)=a(u)e 令得到的轮廓序列cx(x,y)起始点为(x,ya）, 平移 s,(k)=s(k)+△ya,(u）=a(u)+△y6(u) 沿轮廓的逆时针方向得到一系列点坐标(x,yo), 尺度 s,(k)=a(k) a (u)=aa(u) (x1,y),（x2y2）,…,（-1y-1),这些坐标可以写 起点 s(k)=s(k-ko) a,(u）=a(u)epw 成x(k)=x,y(k)=yk的形式，轮廓点可以表示为 s(k)=x(k)+jy(k),k=0,1,…,K-1的复数形 为了让识别效果具有旋转、平移、尺度和序列起 式，相当于将图像坐标系的x轴看作实轴，y轴看作 点选取不变性，需要对傅里叶描述子进行归一化.有 虚轴.这种表示方法并没有改变轮廓点的本质， 如下推导过程91：设形状旋转0，平移(0，y),放大 除此之外还将二维图像表示转化为一维点列表示， 心倍，起点右移了k长度，新的傅里叶系数变为： 问题得到简化. a'(u)=F[(x'+jy')ae9+(+jyo)]= 对s(k),k=0,1,…,K-1进行离散傅里叶变 aeF(x'+jy')+F(xo jyo)= 换(DFT)得 ae”a(u)e卫rko-/K+F(x+jyo);
·76 智能系统学报 第6卷 [a'(0)=aeia(0)+F(%o +jyo),k=0 N;d:(k)表示目标图像的傅里叶描述子；P表示选用 la'(u）=ae°e2owa(u),u=1,2,…,K-1 的傅里叶描述子的阶数.目标与模板差异越大，d越 a'(u)I Iae"e a(ua(u 大，当物体投影与模板完全一致时，d=0.可以为d ‖a'(1)IIae”ea*wwra(1）IIa(1)Ⅱ 设定一个阈值T:,用目标图像与分类器中的模板图 式中：u=1,2,…,K-1;‖·‖表示取模；x'+jy= 像的各组傅里叶描述子分别计算d,选出其中最小 x'(L)+jy'(l)=x(l+o)+jy(1+). 的距离dia,若di。≤T.,将物体判定为目标，否则不 由此可见，无论形状旋转、平移、缩放还是起点 是目标 平移，a四L恒定，定义归一化傅里叶描述子： ”‖a(1) 3 实验与结果分析 d()-a ,4=1,2,…,K-1. 本文通过测试集和训练集来检测彩色物体识别 的准确度.训练样本是对一个橙色盒子从不同角度 2.3 模板匹配 拍摄所得的彩色图片，如图5所示.用颜色分割得到 在对模板图像进行傅里叶描述子计算可以得到 的样本二值图像如表2. 一个P阶的数值点集，由于识别对象是三维物体， 不同拍摄角度会得到它的不同的二维投影成像，因 此在建立分类器时需要考虑到三维物体旋转角度问 题.每一个类别对应N个不同角度样本投影，N的 选取与三维物体自身特征有关，对称性高的物体，比 如正方体，N的选取可以较小，对称性低的物体，如 不规则物体，N的选取应该较大 形状相似度采用欧式距离度量，计算目标图像 与模板的N组不同角度投影图像的傅里叶描述子 之间的距离d: 图5待识别物体 d= Id,(k)-Dn(k)‖2 Fig.5 The object to be recognized 式中：D.(k)表示模板的傅里叶描述子，n=1,2,…, 表2采集的样本形状 Table 2 Collection of the sample shapes 样本号 2 4 6 图像 处理60幅640×480大小的图像，缩小的倍数 dows XP下运行，所用的未改进的flood fill方法和改 为1/2倍，在Intel(R)Core2CPU、1GB内存、Wim- 进后的flood fill方法的运行时间对比如表3. 表3改进前后运行时间对比 Table 3 Comparison of programs run time 经典方法/ms 改进方法/ms 改进/经典/% 改进后时间缩短的百分比/% 平均1 ood fill时间 37.75944 3.5203 9.32 90.67 平均总处理时间 190.25680 67.2023 35.32 64.68 对样本的轮廓求取前8阶傅里叶系数作为傅里叶 描述子，上述图片对应的傅里叶描述子如表4所示
第1期 冉冉，等：结合HSL模型与傅里叶描述子的三维彩色物体识别 ·77 表4样本形状的傅里叶描述子 Table 4 Fourier descriptors for sample shapes 阶数 样本号 2 3 4 5 6 7 1 0.0353 0.0584 0.0337 0.0452 0.0299 0.0376 0.0258 2 0.0303 0.0037 0.0353 0.0268 0.0080 0.0081 0.0022 0.0344 0.0244 0.0386 0.0118 0.0189 0.0051 0.0049 4 0.0486 0.0404 0.0341 0.0246 0.0176 0.0050 0.0111 J 0.0295 0.0135 0.0221 0.0595 0.0092 0.0255 0.0323 6 0.0283 0.0384 0.0357 0.0189 0.0173 0.0082 0.0108 7 0.0520 0.0020 0.0067 0.0020 0.0035 0.0020 0.0029 实验1选取1组正例测试图形进行测试，与上 得到表5. 述7组傅里叶算子分别计算距离，取距离的最小值， 表5正例样本测试结果 Table 5 Test results for positive samples 正例测试 图像 最小距离 0.45 0.26 0.21 0.26 0.21 0.28 0.46 实验2选取1组负例测试图形进行测试，与上 得到表6. 述7组傅里叶算子分别计算距离，取距离的最小值， 表6负例样本测试结果 Table 6 Test results for negative samples 负例测试 图像 最小距离 0.56 1.12 1.03 0.31 0.79 0.45 0.70 可以看出，正例测试图形与训练样本图形距离 采用傅里叶描述子表征物体的形状特征，可以比较 总体上较小，负例测试图形与训练样本图形距离总 好地区分轮廓不同的形状.这2种方法的结合采用， 体上较大.实验表明，通过增加训练样本的拍摄角度 可以达到识别彩色物体的实时要求。 从而增加训练样本数，可以生成更加精确的分类器. 4 结束语 改进后，用了20个不同角度的训练样本，对30个正 例测试图形进行识别，最小距离均值可以达到0.22， 本文方法的提出是基于三维场景中的彩色物体 30个测试图形的最小距离均在[0.16,0.35]区间. 识别这一具体任务的，为了达到更好的识别效果，综 拍摄了60组彩色测试图像，其中30组为既包 合利用了物体的颜色信息和形状信息.首先利用物 含目标物体又包含颜色相近干扰物体的图片，剩下 体区别于背景的特定颜色，使用HSL模型，对图像 30组为不包含目标物体的图片，这2类图片中均包 进行阈值分割，通过图像分割去除部分背景干扰信 含不同光照条件下的拍摄.经过颜色预分割、区域填 息.再对图像进行种子填充，得到可能包含目标的若 充、轮廓提取、傅里叶算子计算、匹配整个流程，最终 干连通区域，根据区域面积大小进一步确定出2~3 识别率达到73.3%，误判率为20%. 个候选连通区，去掉其余干扰.然后根据对这2~3 可见，本文改进的floodfill彩色分割方法在并无 个连通区分别进行轮廓提取，计算归一化傅里叶描 明显影响分割精度的前提下，显著降低了系统的运 述子，再进行模板匹配，最终得到目标.在种子填充 行时间，适合应用于对实时性要求比较高的系统；而 过程中，本文采取对图像缩小再填充的策略，大大节
·78· 智能系统学报 第6卷 省了填充时间，提高了系统的实时性.提出的方法取 [7]|GONZALEZ R C,WOODS R E.Digital image processing 得了较高的识别率，可以应用到具有单一颜色的彩 [M].Englewood Cliffs,USA::Prentice-Hall,2002.. 色物体识别领域，还可用于机器人视觉导航、彩色图 [8]ZAHN C T,ROSKIES RZ.Fourier descriptors for plane 像分割等研究领域：但是对更具有复杂颜色的彩色 closed curves[J].IEEE Transactions on Computers,1972, 物体识别，本文的方法不再适用，可以加入纹理特 21(③)：269-281. [⑨王涛，刘文印，孙家广，等.傅立叶描述子识别物体的形 征、统计特征等分析方法 状0.计算机研究与发展，2002,39(12)：1714-1719. 参考文献： WANG Tao,LIU Wenyin,SUN Jiaguang.Using Fourier descriptors to recognize object's shape[J].Journal of Com- []川张朋飞，何克忠，欧阳正柱，等.多功能室外智能移动机 puter Research and Development,2002,39(12)::1714- 器人实验平台一THMR-V[J].机器人，2002,24(2)： 1719. 97-101. 作者简介： ZHANG Pengfei,HE Kezhong OUYANG Zhengzhu.Muti 冉冉，女，1986年生，硕士研究生， functional intelligent outdoor mobile robot tested-THMR-V 主要研究方向为数字图像处理和机器 0.Robot,.2002,24(2):97-101. 视觉方向 ②]曲昆鹏，郑丽颖.基于目标、背景比例的灰度图像自动阀 值选取法[].应用科技，2010,37(2)：254 QU Kunpeng,ZHENG Liying.Automatic thresholding of gray-scale image based on the proportion of object and back- gound[J].Applied Science and Technology,2010,37 杨唐文，男，1971年生，讲师，博士， 0）:52-54. 主要研究方向为智能传感与信息处理、 图]付永庆，宋宝森，吴建芳.边缘分类SIT算法[J].哈尔 机器人学与技术 滨工程大学学报，2010,31(5)：632636 FU Yongqing,SONG Baosen,WU Jianfang.An improved scale invariant feature transform algorithm[J].Journal of Harbin Engineering Univerity,2010,31(5)):632-636. [4川林开颜，吴军辉，徐立鸿.彩色图像分割方法综述[J].中 阮秋琦，男，1944年生，教授，博士 国图象图形学报，2005,10(1))：1-10. 生导师，博士，北京交通大学信息科学 LIN Kaiyan,WU Junhui,XU Lihong.A survey on color 研究所所长，国务院学位委员会学科评 image segmentation techniques[J].Journal of Image and 议组成员，EEE高级会员.主要研究方 Graphics,2005,10(1):1-10. 向为图像处理、计算机视觉、多媒体信 5]王红波.移动机器人视觉导航系统研究[D].北凉：北惊 息处理、虚拟现实、计算机支持的协同 交通大学计算机与信息技术学院，2008. 工作.曾承担国家自然科学基金重大项目，国家自然科学基 WANG Honbo.Research on vision navigation system for 金项目，国家“863“计划项目，铁道部、省、市级科研项目50 mobile robot[D].Beiing::School of Computer and Informa- 余项.曾获国家教委科技进步二等奖，铁道部科技进步二等 tion Technology,Beijing Jiaotong University,2008. 奖和三等奖等.发表学术论文350余篇，出版书籍3部，获国 [6们阮秋琦.数字图像处理学[1.2版.北京：电子工业出版 家专利1项 社，2007：391-396
ZHANG Pengfei,HE Kezhong,OUYANG Zhengzhu. Muti functional intelligent outdoor mobile robot tested —-THMR-V [J]. Robot,2002,24(2) : 97-101. 阮秋琦,男,1944年生,教授,博士 [2] 生导师,博士,北京交通大学信息科学 研究所所长,国务院学位委员会学科评 议组成员,EEE 高级会员.主要研究方 向为图像处理、计算机视觉、多媒体信 息处理、虚拟现实、计算机支持的协同 工作.曾承担国家自然科学基金重大项目,国家自然科学基 金项目,国家"863"计划项目,铁道部、省、市级科研项目50 余项.曾获国家教委科技进步二等奖,铁道部科技进步二等 奖和三等奖等.发表学术论文350余篇,出版书籍3部,获国 家专利1项. 曲昆鹏,郑丽颖.基于目标、背景比例的灰度图像自动阈 5] 王红波.移动机器人视觉导航系统研究[D] .北京: 北京 交通大学计算机与信息技术学院,2008. 省了填充时间,提高了系统的实时性.提出的方法取 得了较高的识别率,可以应用到具有单一颜色的彩 色物体识别领域,还可用于机器人视觉导航、彩色图 像分割等研究领域;但是对更具有复杂颜色的彩色 物体识别,本文的方法不再适用,可以加入纹理特 征、统计特征等分析方法. [8] ZAHN C T,ROSKIES R Z. Fourier descriptors for plane closed curves[J] . IEEE Transactions on Computers,1972, 21(3) : 269-281. [6] 阮秋琦.数字图像处理学[M] .2版.北京: 电子工业出版 社,2007: 391-396. [3] 付永庆,宋宝森,吴建芳.边缘分类 SIFT算法[J] .哈尔 滨工程大学学报,2010,31(5) : 632-636. 第6卷 LIN Kaiyan,WU Junhui,XU Lihong. A survey on color image segmentation techniques[J]. Journal of Image and Graphics,2005,10(1) : 1-10. FU Yongqing, SONG Baosen,WU Jianfang. An improved scale invariant feature transform algorithm[J].Journal of Harbin Engineering Univerity,2010,31(5) :632-636. [4] 林开颜,吴军辉,徐立鸿.彩色图像分割方法综述[J].中 国图象图形学报,2005,10(1) :1-10. [9] 王涛,刘文印,孙家广,等.傅立叶描述子识别物体的形 状[J] .计算机研究与发展,2002,39(12) : 1714-1719. WANG Tao,LIU Wenyin, SUN Jiaguang. Using Fourier descriptors to recognize object's shape[ J]. Journal of Computer Research and Development,2002,39(12) : 1714- 1719. [7] GONZALEZ R C,WOODS R E. Digital image processing [M] . Englewood Cliffs,USA: Prentice-Hall,2002. [1] 张朋飞,何克忠,欧阳正柱,等.多功能室外智能移动机 器人实验平台—THMR-V[J] .机器人,2002,24(2) : 97-101. 参考文献: WANG Honbo. Research on vision navigation system for mobile robot[ D]. Beiing: School of Computer and Information Technology,Beijing Jiaotong University,2008. 杨唐文,男,1971年生,讲师,博士, 主要研究方向为智能传感与信息处理、 机器人学与技术. 冉冉,女,1986年生,硕士研究生, 主要研究方向为数字图像处理和机器 视觉方向. 作者简介: ·78· 智 能 系 统 学 报 值选取法[J] .应用科技,2010,37(2) : 52-54. QU Kunpeng,ZHENG Liying. Automatic thresholding of gray-scale image based on the proportion of object and backgound[J] . Applied Science and Technology,2010,37 (2) : 52-54