第5卷第6期 智能系统学报 Vol.5 No.6 2010年12月 CAAI Transactions on Intelligent Systems Dec.2010 doi:10.3969/i.issn1673-4785.2010.06.003 分辨率LBP的掌纹特征提取 李倩颖，阮秋琦 (北京交通大学计算机学院，北京100044) 摘要：为了研究NSCT变换(nonsubsampled contourlet transform,NSCT)和局部二值模式(local binary pattern,LBP)在 学纹识别应用方面的可行性和性能，提出了一种基于NSCT变换与局部二值模式相结合的掌纹特征提取算法.该方 法能够较好地提取皱褶、乳突纹等掌纹的细节特征，并且能够有效减少掌纹识别中由于图像的平移、旋转和光照对 识别结果造成的影响.使用NSCT变换可以稀疏地表示二维奇异曲线并且变换本身具有平移不变性：而LBP算子是 一种有效的纹理描述算子并且该算子具有很好的灰度和旋转不变性.首先对掌纹图像进行NSCT变换，然后对变换 后的掌纹子图提取局部多分辨率和多尺度的LBP特征.实验结果表明，该算法能够更好地表达掌纹纹线的细节和结 构特征，对掌纹图像有更高的鉴别性. 关键词：学纹识别；NSCT变换；LBP;平移不变性；旋转不变性 中图分类号：TP391.41文献标志码：A文章编号：16734785(2010)06048205 Palmprint feature extraction based on multiresolution LBP LI Qian-ying,RUAN Qiu-qi (Department of Computer Science and Technology,Northem Jiaotong University,Beijing 100044,China) Abstract:In order to study the feasibility and performance of the nonsubsampled contourlet(NSCT)and local bina- ry pattern(LBP)operation in palm recognition,this paper presented a palmprint identification approach,which was the combinations of NSCT and LBP operation.It can effectively extract detail features of palmprint and reduce the influence on the shift,rotation and illumination of palmprint identification.The NSCT provides sparse representa- tion at both spatial and directional resolution and is a fully shift-invariant.LBP is a powerful texture descriptor that is gray-scale and rotation invariant.In this paper,we extracted multiresolution and directional local binary pattern histogram to represent the local features of a palmprint image after NSCT.The results of experiments illustrate that this identification approach is efficient and effectively extract details and structure of palmprint. Keywords:palmprint identification;NSCT;LBP;shift-invariant;rotation invariant 近些年来，随着信息技术的飞速发展，人们对系 基于掌纹线结构特征的识别算法23]、基于正交变 统安全性的要求日益提高.传统的身份认证方式渐 换的识别算法「45)、基于子空间的识别算法「6刃和基 渐不能满足人们的需求了.生物特征识别相比于传 于统计特征[8]的识别算法.其中大部分的算法都 统的身份认证方式不但具有惟一性，而且有不会被 是通过借鉴其他生物特征识别方法而得到的，所以 丢失或者遗忘的特点，因此相关生物特征识别技术 还存在很多缺点，其中一个共同的缺点就是不能很 受到了广泛关注，掌纹识别技术对用户没有侵犯性， 好地支持图像平移和旋转不变的性质。 比其他生物特征识别技术更容易被用户接受，而且 Fourier算法[4和小波算法[5]都是经典的正交 其采集设备要求不高，容易实现山 变换算法，都曾经应用在掌纹特征提取方面.小波变 目前掌纹识别算法大体上可以分为4类，包括 换与Fourier变换相比具有时间局域化的能力，能够 精准地提供时域和频域的定位，但是其只能有效地 收稿日期：20100324。 基金项目：国家自然科学基金资助项目(60973060)；高等学校博土学 表示图像中的点奇异信息，无法很好地表示二维图 科点专项科研基金资助项目(20080004001). 像的线奇异性，所以本文将采用NSCT变换解决这 通信作者：李情颖.E-mail:kiml128910@sina.com 个问题.NSCT变换可以在不同分辨率和不同方向
第6期 李倩颖，等：基分辨率BP的掌纹特征提取 ·483· 的子带中对图像的边缘进行提取，与传统的小波变 DFB将LP捕捉到的同一方向的奇异点合成一个系 换相比能够更好地捕捉线的奇异性；NSCT变换还 数，对得到的低通图像继续LP分解得到下一层的 具有很好的平移不变的性质，因为在图像的采集阶 低通图像和差值带通图像，如此下去，就可以得到图 段，手掌放置的位置和方向每次都有所不同，尽管在 像的多分辨率和多尺度分解，如图1所示.Contourlet 预处理阶段会对图像进行对准和归一化，但仍然无 变换的支撑区间为“长条形”，这种结构实际是方向 法完全避免图像的平移和旋转，这种平移会使得不 性的一种体现，所以其可以使用比小波变换更少的 同尺度的小波系数的分布出现比较大的变化，而传 系数表示线奇异性.但是由于为Contourlet变换设计 统的小波变换却不具备平移不变的性质.在对掌纹 好地滤波器是十分困难的，并且在拉普拉斯金字塔 图像进行NSCT变换后，如果直接计算掌纹子图的 和方向滤波器组中都存在上采样和下采样滤波器， 均值和方差作为特征向量，会大量地丢失掌纹中的 使得Contourlet变换不具有平移不变性. 纹线细节特征和结构特征，例如皱褶、乳突纹等，这 样会降低算法的识别效率，所以本文将对经过 NSCT变换的掌纹子图提取LBP特征矢量作为掌纹 低通子 的特征.LBP算子是图像纹理的描述算子，不但计算 简单，能够表示图像的局部特征，而且具有很强的灰 度单调和旋转不变性，可以减少光照对识别结果的 影响；由于不同方向和尺度的掌纹主线和乳突纹等 带通子带 特征包含了更多可以区分不同掌纹的信息，所以在 图像输人 DFB NSCT变换的基础上，再计算各个尺度和方向的掌 图1NSCT变换 纹子图的LBP特征，然后利用直方图来描述得到的 Fig.1 Nonsubsampled contourlet transform LBP值，连接各个尺度和各个方向子图的直方图特 征，通过直方图的相似度计算2幅待识别掌纹图像 NSCTT变换与Contourlet变换相比去掉了上 的相似度.该方法不但能增强LBP算子对掌纹纹线 采样和下采样功能，因此具有平移不变的性质，克服 细节特征和结构特征的表示能力，同时可以避免平 了因为平移的影响而使得各个尺度的能量系数分布 移、旋转和光照变化对识别结果的影响.实验证明， 产生较大变化的缺点.NSCT变换由2部分组成，包 本方法可以有效地提高掌纹的识别率， 括：非采样的金字塔结构(nonsubsampled pyramid, NSP)和非采样的方向滤波器组(nonsubsampled 1多分辨率的LBP特征提取 DFB,NSDFB).NSP保证了图像的多分辨率分析，由 1.1掌纹图像的NSCT变换 一组非采样的双通道滤波器组实现，其余各层的滤 传统的正交变换包括Fourier和小波变换等， 波器可以通过对第1层滤波器进行插值获取；NS Fourier4]是一种全局变换，虽然能够完成时域到频 DB保证了图像的多方向性，是一种双通道非采样 域的变换，但却不能具体知道每个时刻附近的频率 滤波器组，由于是由去掉了上采样和下采样的DFB 成分，无法做到时间局域化；小波变换]克服了 构成，有平移不变的性质， Fourier不能时间局域化的缺点，能够提供精确的时 NSCT变换不但能够很好地提取掌纹的主线信 频域定位，并且能够有效地表示图像中的点奇异信 息，因为其多尺度的性质更能够有效地提取皱褶和 息，但由于其只对水平、垂直和对角3个有限方向进 乳突纹等细节特征，并且NSCT变换具有很好的平 行分离，所以小波变换只能表示点奇异信息.因为掌 移不变性质，可以有效减小平移对能量系数分布的 纹图像中大量的有效信息都为纹线类的信息，所以 影响，所以利用NCT变换来提取掌纹图像在不同 小波变换无法高效地表示掌纹图像的特征： 分辨率和不同方向的系数矩阵.对掌纹图像进行3 Contourlet变换o是M.N.Do和M.Vetterli于 层NSCT分解，最多可以达到8个方向，所以3层分 2002年提出的一种新的多方向和多尺度的真正的 解已经可以满足掌纹纹线的方向性表达，过多的分 二维意义上的正交变换，由拉普拉斯金字塔滤波器 解层数则只会使数据量过大.为了更好地说明 组(Laplacian pyramid,LP)和方向滤波器组(DFB) NSCT变换的效果，图2是对一幅ZONEPLATE图像 连接构成.原始图像经过LP分解得到一个低通图 进行3层的NSCT分解，得到的12(1+1+2+8)个 像和一个差值带通图像，对得到的带通图像使用 不同尺度和不同方向的掌纹子图
484 智能系统学报 第5卷 式中：(x。,y)为中心点坐标，NSCT表示经过NSCT 变换的掌纹子图，NSCT(g。)为中心点的灰度值， NSCT(g。)(p=0,…,P-1)为相邻P个点的灰度 值，U为二进制串中0/1之间的变换次数，最多的变 换次数为2. LBP8,1、LBP6.2和LBP4.3统一模式的特征维数 分别为10、18和26.下图显示的分别是掌纹的原始 图像，以及分别计算LBPs,1、LBP6.2和LBP4,3算子的 图像. 图2NSCT3层分解 Fig.2 The three levels decomposition of NSCT 1.2掌纹子图的多分辨率LBP掌纹特征表示 掌纹图像经过NSCT变换后得到各个尺度和各 图4计算掌纹图像的LBP.1、LBP6.2和LBP43算子的 个方向的掌纹子图后，采用LBP算子来描述掌纹子 图像 图的细节特征和纹线结构特征，并使用统计直方图 Fig.4 LBPs.1,LBP6.2 and LBP2.3 of palmprint through 的形式作为掌纹的特征向量. compute 局部二进制模式(local binary pattern,LBP)I2] 1.3基于直方图的相似度计算 最早由Ojala等人提出，是一种有效的纹理描述算 本文将对经过NSCT变换得到的各个尺度和各个 子.LBP算子定义为：在一幅图像的任何3×3的邻 方向的掌纹子图计算LBP特征，如果对一整幅掌纹 域内，包括9个点，1个中心点灰度值设为g。和8个 图像提取LBP特征，则只能表征掌纹图像的全局轮廓 相邻点灰度值设为(g0,81,82,3,B4,85,6,87),用 特征，而不能表现掌纹图像局部特征，并且掌纹上的主 8个相邻点灰度值的与中心点值相比较，大于等于 线、乳突纹和皱褶等特征也与它们在空间位置上的分 中心点灰度值8。的用1表示，反之用0表示，从左 布密切相关，也不能很好表示；所以在计算直方图特征 上角顺时针读出得到一个8位的二进制串，转换成 向量前，首先应该将每幅掌纹子图分成m块，再用直方 十进制作为该点的LBP编码值. 图描述所有分块的LBP特征，连接所有掌纹子图的 LBP值计算过程如图3所示： 分块直方图特征作为掌纹的特征向量， 678945 110 计算出图像的LBPP值之后，需要统计图像的 555536 ·1550 =110000112—*195。 直方图特征，计算公式如下： 793548 100 H=∑I(fx,y）=),i=0,1,…,P+1, 图3LBP值计算过程 Fig.3 Computation process of LBP operator -6:为股 (1) 后来Ojala等人通过对标准LBP算子的扩展， 连接12幅掌纹子图的12×m块直方图特征， 得到统一模式的LBP算子LBP,这种算子有着 作为一幅掌纹特征的最终的表示(H,H1,2,…, 很强的旋转不变性和灰度不变性，可以减小由于掌 H1,m,…,H2,m） 纹图像的旋转和光照不匀带来的影响，其中P、R表 计算待识别样本直方图特征与其他掌纹的直方 示在中心点周围半径R的范围内均匀取P个相邻 图相似度如式(2)： 点的灰度值，上标iu2表示旋转不变的统一模式. 在本方法中将会对经过NSCT变换的掌纹子图 X(S,M)=∑(S-M)2 Sij +Mid (2) 计算LBP的值，LBP算子的公式定义如下： 式中：S和M为式(1)中的统计的直方图特征， LBPR= X(S,M)中样本的类别即为待识别样本所属类别. ∑(NSCT(g)-NSCT(ge)),ifU(LBPr,R)≤2； 本文提出的多分辨率LBP特征的提取方法，主 要包括如下几个步骤： P+1, 其他. 1)对原始掌纹图像进行NSCT变换，得到各个 S(x)= 1,x≥0； 尺度和各个方向的掌纹子图.其中对原始掌纹图像 l0,x<0. 进行3层NSCT分解，共产生12幅掌纹子图
第6期 李倩颖，等：基分辨率BP的掌纹特征提取 .485· 2)对每幅掌纹子图进行分块，计算各个分块区 并没有提高识别效果 域的LBP值，并统计各个子块的直方图，连接所有 表2不同LBP算子组合识别效果比较 子块的直方图得到掌纹子图的LBP特征矢量 Table 2 Different combination of LBP influence on LBP 3)计算待识别样本与测试样本的直方图相似 operator 度，采用最近邻分类器进行分类识别。 算子 特征维数正确识别数识别率/% 基于多分辨率的LBP掌纹特征提取算法过程 LBPs. 960 276 92.0 如图5所示 LBPs+LBP16.2 2688 288 96.0 LBP:6.2+LBP24.3 4224 298 99.3 计算 LBRx1+LBP16.2+LBP24.35184 298 99.3 各区 连接各区域的 直方图作为拿纹特征 表3给出了传统算法与本文提出的算法的识别率 方图 以及特征所需的维数Fourier变换把经过变换的图像 图5多分辨率LBP算法过程示意图 分别提取8个不同半径和8个不同角度的能量作为特 Fig.5 The diagram of multiresolution LBP operator 征值4)；小波变换采用Har小波来对掌纹图像进行分 解，小波分解的总层数为3，计算WEF时，每个细节图 2实验结果及分析 像均被分成16(4×4)个子块，将每一类小波能量特征 为了验证算法的有效性，实验采用北京交通大 的均值作为该掌纹类的模板。 学信息所掌纹图像数据库V1.1.此数据库为每个人 表3与传统的正交变换算法比较 的左右手手掌分别采集了10幅图像，每幅图像经过 Table 3 Comparison with traditional orthogonal transform 预处理后得到大小为128×128的掌纹子图.本次实 方法 特征维数正确识别数识别率/% 验取其中60个人的600幅掌纹图像进行验证，300 Fourier变换 16 249 83.0 幅做训练样本，300幅作为测试样本。 小波变换 160 265 88.2 NSCT变换 192 270 90.0 首先实验将测试掌纹图像的分块大小对算法识 本文算法 4224 298 99.3 别结果的影响，对NSCT变换得到的掌纹子图进行 通过表3可知，在使用相同测试样本数量的情况 不同尺度的分块，图像分块的数目为1、2、4、8、16， 对分块后的掌纹子图提取LBP特征，比较识别效 下，与传统的正交变换方法相比，因为NSCT变换有 果，实验结果如表1.实验结果表明掌纹图像分成8 更好的捕捉线奇异的能力并且具有平移不变性，所以 块时识别就已经得到最佳效果，过少的分块无法很 有更好的识别效果.本文提出的多分辨率的LBP掌 好地描绘掌纹图像的细节纹线特征和结构特征，而 纹特征提取算法，能够有效提取纹线的各个尺度和各 过多的分块只会增加特征向量的长度，对识别率却 个方向子图的细节特征和结构特征，并且有很强的平 没有提高. 移、旋转和灰度不变性，对掌纹有更强的区分力， 表1不同分块对多分辨率IBP算法的识别率影响 3结束语 Table 1 Different blocks influence on recognition rate of multiresolution LBP 本文提出的一种基于多分辨率的LBP掌纹特 块数 特征维数正确识别数识别率/% 征提取算法，其具有很好的旋转、平移和灰度不变 1 性.算法通过使用NSCT变换得到掌纹图像的多分 528 270 90.0 2 1056 282 94.0 辨率和多尺度的掌纹子图，这种变换不但能够更好 4 2112 288 96.0 地提取掌纹图像各个尺度的纹线特征并且具有平移 8 4224 298 99.3 不变性；然后使用统一模式的LBP算子对各个尺度 16 8448 298 99.3 和各个方向的子图分别提取LBP直方图特征，比单 接下来实验将测试使用3种LBP算子 独使用LBP算子能够更准确描述掌纹纹线的结构 LBPs,1、LBP6,2、LBP24,3的识别效果.实验对LBPa,1 特征和细节特征，并且LBP算子具有灰度和旋转不 LBP8,1+LBP16,2、LBP16,2+LBP4,3和LBPg,1+ 变性，很适合图像纹理的特征提取.实验结果表明， LBP16,2+LBP4,34种组合方式特征矢量效果进行了 基于多分辨率的LBP的掌纹特征提取算法可以达 比较，实验结果如表2.实验结果表明LBP62+ 到99.3%的识别率，比其他传统的掌纹识别算法有 LBP4.3已经可以能够较好地描述掌纹的特征，而 更高的识别率.由于掌纹算法提取的特征维数过高， LBPs,1+LBP16,2+LBP4.3增加了特征向量的长度，但 数据量过大，所以接下来将研究使用子空间的方法
·486 智能系统学报 第5卷 降低数据量： [9]PANG Y,Tee CONNIE,JIN A T B,et al.Palmprint au- thentication with Zernike moment invariants C]//Proceed- 参考文献： ings of the 3rd IEEE International Symposium.[S.1.] [1]邬向前，张大鹏，王宽全.学纹识别技术[M].北京：科学 2003,12:199-202. 出版社，2006：10-30. [10]DO M N,VETTERLI M.Contourlets beyond wavelets 2]HAN C,CHEN H,LIN C,et al.Personal authentication u- [M].New York:Academic Press,2003:83-105. sing palmprint features[J].Pattern Recognition,2003,36 [11]CUNHA A L,ZHOU Jianping,DO M N.The nonsubsam- (2):371-381. pled contourlet transform:theroy,design,and applications [3]KUMAR A,WONG D,SHEN H,et al.Personal verifica- [J].IEEE Transactions on Image Processing,2006,15 tion using palmpirnt and hand geometry biometric[J].Lec- (10):3089-3101. ture Notes in Computer Science,2003,2688:668-678. [12]OJALA T.Gray scale and rotation invariant texture classi- [4]LI W,ZHANG D,XU Z.Palmprint identification by Fou- fication with local binary patterns[C]//Proc of 6th Euro- rier transform J].Pattem Recognition,2002,16(4): pean Conference on Computer Vision.S.1.]2000, 417432. 1842:404-420. [5]WU X,WANG K,ZHANG D.Wavelet based palmprint [13]OJALA T.Multiresolution gray-scale and rotation invariant recognition[C]//Proceedings of the Interational Confer- texture classification with local binary patterns[J].IEEE ence on Machine Learning Cyberetics.[S.L.]USA, Transactions on Patter Analysis and Machine Intelligence, 2002:1253-1257. 2002,24(7):971-987. [6]WU X,ZHANG D,WANG K.Fisherpalms based palm- 作者简介： print recognition[J].Pattem Recognition Letters,2003,24 李倩颖，女，1985年生，硕士研究 (15):2829-2838. 生，主要研究方向为计算机视觉、数字 [7]LU G,ZHANG D,WANG K.Palmpirnt recognition using 图像处理、信号与信息处理 eigenpalms features[J].Patter Recognition Letters,2003, 24(9/10):1463-1467. [8]竺乐庆，张三元，张引，等.基于概率化模板和模糊逻辑 的掌纹识别算法[J].模式识别与人工智能，2009,22 (3):468474. 阮秋琦，男，1944年生，教授，博士 ZHU Leqing,ZHANG Sanyuan,ZHANG Yin,et al.Palm- 生导师，主要研究方向为数字图像处 print recognition based on probability template and fuzzy log- 理、模式识别等，国务院学位委员会学 ic[J].Patten Recognition and Artificial Intelligence,2009 科评议组成员，EEE高级会员等.发表 22(3):468474. 学术论文350余篇