第7卷第3期 智能系统学报 Vol.7 No.3 2012年6月 CAAI Transactions on Intelligent Systems Jun.2012 D0I:10.3969/i.issn.16734785.201112017 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20120527.1343.004.html 采用旋转校正的指静脉图像感兴趣区域提取方法 马慧，王科俊2 (1.黑龙江大学电子工程学院，黑龙江哈尔滨150080；2.哈尔滨工程大学自动化学院，黑龙江哈尔滨150001) 摘要：针对静脉图像采样过程中存在的旋转、平移等非线性因素造成手指静脉图像定位困难的问题，考虑图像非 接触式采集特点，提出一种采用旋转校正的手指静脉图像感兴趣区域提取方法，首先对读入的手指静脉图像采用 Kpr嫡阚值法分割出手指区域，再依据图像的质心对图像进行旋转校正，最后根据图像中每列像素竖直方向上的 投影值和手指区域的边缘轮廓，确定出感兴趣区域的位置.实验结果表明，该方法能够准确地提取出静脉图像的感 兴趣区域，有效地提高识别系统的性能. 关键词：静脉图像：手指静脉：感兴趣区域提取：旋转校正：图像分割：静脉识别 中图分类号：TP391.41文献标志码：A文章编号：16734785(2012)030230-05 A region of interest extraction method using rotation rectified finger vein images MA Hui,WANG Kejun? (1.College of Electronic Engineering,Heilongjiang University,Harbin 150080,China;2.College of Automation,Harbin Engineer- ing University,Harbin 150001,China) Abstract:In order to reduce the influence of nonlinear translation and rotation on the positioning of finger vein ima- ges in the process of vein image sampling,a region of interest extraction method that utilizes a rotation rectified fin- ger vein image was proposed.The method took account of the non-contact collecting characteristics.First,the fin- ger regions of finger vein images were extracted using the Kapur entropy threshold method.These images were then rotated along their centroids;finally,the regions of interest were extracted according to the vertical projection value of every column pixel and the outline of the finger regions.Experimental results show that this algorithm can not on- ly accurately extract the regions of interest of finger vein images,but also effectively improve the performance of the vein recognition system. Keywords:vein images;finger vein;region of interest extraction;rotation rectification;image segmentation;finger vein recognition 静脉识别技术是通过近红外线穿透手指后所得 的感兴趣区域确定方面的相关研究较少，文献[6-7] 的静脉纹路来进行个人身份识别，具有精度高、速度 较好地提取出了静脉图像的感兴趣区域，但是这2 快、非接触式等诸多优点，作为一种高度可靠的身份 种方法并未考虑到旋转变换等非线性因素对图像的 鉴别方法，它的识别性能很大程度上与静脉目标提取 影响，对这类样本的提取效果并不理想：而对掌 的质量密切相关1s].通过感兴趣区域(region of inter- 纹[8]、手背静脉9和掌静脉图像感兴趣区域的大 est,ROI)提取方法能够减少数据量，降低外界噪声的 部分提取方法依靠引入定位辅助装置，尽管文献 影响，有效地提高识别系统的准确性和有效性 [11]提出了一种非接触展开式掌纹样本感兴趣区 目前针对非接触采集方式获取的手指静脉图像 域提取方法，但该方法仍需要样本具有明显的指璞 结构信息，而手指细长平直，不具备这一特性，使得 收稿日期：2011-12-27.网络出版日期：201205-27 基金项目：国家自然科学基金资助项目(60975022)：国家“863”计划 这类方法无法应用于指静脉的感兴趣区域的确定. 资助项目(2006AA04Z248):黑龙江大学青年基金资助项 针对上述算法存在的问题，本文充分考虑手指 目(0L201111). 通信作者：马慧.E-mail:mahu929@126.corm 静脉图像的特点，提出了一种基于旋转校正的手指
第3期 马慧，等：采用旋转校正的指静脉图像感兴趣区域提取方法 ·231· 静脉图像感兴趣区域提取方法.由于质心是每幅图 难度，增加了系统的鲁棒性： 像均存在的性能指标，并且它的计算是全局性的，因 手指区域的质心是每幅图像均存在的性能指 此通过图像前景区域的质心对图像进行旋转校正的 标，并且质心的计算是全局性的，其抗干扰能力较 方式，充分利用图像本身的固有属性，具有较强的抗 强，因此本文通过图像前景区域的质心进行旋转校 旋转变换的能力；再根据手指不同部位对近红外线 正.在提取出手指区域后，计算目标图像即手指区域 穿透能力的不同，由图像中每列像素竖直方向上的 图像的质心C(c,c,),其计算公式如式(1)、(2)： 投影值和手指区域的边缘轮廓确定出感兴趣区域的 M N N 位置，这种感兴趣区域确定方式有效地避免了平移 C= 含含4×pi/点 =0=6 p(i), (1) 变换对后续处理的影响.实验结果表明，本文方法能 Cy= p(i,),(2) 够准确地提取出手指静脉图像的感兴趣区域，在此 点×p(/店 601 基础上进行指静脉图像匹配识别具有更好的识别精 p(i,j)= 1,(i,)e1; 度和应用价值，为非接触式手指静脉样本的ROI区 0,(i,)1 域定位问题提供了一种有效的新途径. 式中：x:表示图像中第i个像素的横坐标，少表示图 像中第j个元素的纵坐标，M表示图像的宽，N表示 1手指区域提取 图像的高，I表示图像中属于手指的区域。 由于采集到的图像受环境的影响，其背景像素 在得到图像质心后，可以找到手指轮廓图像的最 点的灰度值不全为0，为了避免背景对后续特征提 后一列所在的直线段，并确定这条线段的中点坐标0， 取和识别处理的影响，在后续处理之前需要获取手 连接点C和点0成一条直线Lco,计算直线lo与水平 指区域像素点的集合.本文通过Kapur熵阈值化操 方向线1g的夹角，即旋转角度（如图2所示），以此对 作来实现手指区域的获取. 图像进行旋转校正.0的计算公式如式(3)： 实验原始图像如图1(a)所示，阈值化后的结果 0=tan"(yo -yc)/(xo -xc). (3) 如图1(b)所示，图像中的白色区域为提取出的手指 式中：(xc,yc)、(xo,yo)分别为点C和点O的横纵 区域.由于阈值分割后的图像中存在毛刺，此处采用 坐标值.当0>0，即yo>yc时，对图像进行顺时针旋 数学形态学中的开操作对其进行处理，如图1(c)所 转；当0<0，即yo<yc时，对图像进行逆时针旋转； 示，最终提取出的手指区域图像如图1(d)所示，本 当0=0，即yo=yc时，不对图像进行旋转操作. 文后续的处理均在提取手指区域后的图像进行 图2感兴趣区域提取关键点 Fig.2 The key points of region of interest (a)原始图像 (b)二值化图像 若图像上任意点A(x,y)绕旋转中心C(c,c,) 逆时针旋转0，则点A旋转后的坐标(x',y)为： x=(x-c)cos 0+(y-c)sin 0+c:, y'=(y-c:)cos 0-(x-c:)sin 0 +c,. (c)去毛刺后图像 (d)手指区域图像 若图像上任意点A(x,y)绕旋转中心C(c.,c,) 图1手指区域图像 顺时针旋转0，则点A旋转后的坐标(x',y)为： Fig.1 Finger region images x'=（x-c￥)cos0-（y-c,)sin0+c, 2旋转校正 y'=(y-c)cos 0 (x-c:)sin 0 +cx. 旋转校正后的图像如图3所示. 指静脉图像采集时，由于被采集者手指摆放位 置和方向是有些差别的，使得不同时间从同一手指 上获取的静脉图像存在不同程度的旋转和平移现 象，而手指没有诸如指璞或手指关节弯曲形成的凹、 凸点等辅助ROI区域提取的特征；因此，本文提出 先对手指静脉图像进行旋转校正，在旋转校正的基 图3旋转校正后的指静脉图像 础上提取图像的ROI区域，能减少后续图像匹配的 Fig.3 Finger vein image after rotation correction
.232 智能系统学报 第7卷 节处，曲线有一个很好的峰值，即对应图像中的第 3 确定感兴趣区域位置 60~90列.而第2个指关节的峰值不如第1个明 ROI区域应该位于所有指静脉图像上相同的区 显，这是因为第2个指关节部位肌肉的厚度相对于 域，且主要静脉信息都应在该区域中；因此，ROI应 第1个指关节点要厚，肌肉中水分含量较高，水分对 选择指静脉图像的中心区域，这样也可以减少不必 红外线有一定的吸收作用，从而导致曲线上的峰值 要的噪声干扰，降低匹配算法的难度，保证识别系统 不明显.因此，本文选取第1个指关节点作为感兴趣 的准确性和有效性.并且为了能在匹配时进一步的 区域的定位分割点。 配准，需要从指静脉图像中提取出稳定的参考元素 1g*10 作为合适的基准点，来对图像进行定位及ROI的提 取，以减少采样过程中引起的非线性因素的影响. 10 由于指关节部位具有软骨组织，在基于近红外 6 照射获取图像的方式下，指关节相对于手指其他部 位具有更强的穿透能力；因此，整个指静脉图像中手 指关节部位亮度比较高，即该部分图像的像素值较 50100150200250 其他部分高 图像的列数 从提取出的手指区域的图像矩阵中抽取一列指 图5竖直方向投影图像 关节部位的像素，再从其他部位抽取一列像素（如图 Fig.5 Projection image of vertical direction 4(a)所示)，将这2列像素点的灰度值绘成曲线图，如 在竖直方向投影上，以长度为15的滑动窗口在 图4(b)、(c)和(d)所示，图中横坐标为所取像素所 L上进行平移，在j∈[0,180]像素区间内找到平均 在的行数号，纵坐标为该像素点的灰度值.从图中可 值最大的区域，将此区域的中点p作为分割的关节 以得出，关节部位的那列像素点的灰度值相对于非关 点，即手指左轮廓线的最小横坐标，则图像感兴趣区 节部位要更高.因此，可以通过找出灰度值较高的列 域在竖直方向左侧的分割线取为 来确定出关节位置，进而实现图像的定位分割， l1:x=卫 根据左侧分割线，确定出右侧分割线2为 200r b:x p d. 160 120 式中：d表示2条竖直平行直线1、l2之间的距离， 80 即图像感兴趣区域的横向宽度.理论上，d值选取越 40 大，图像的感兴趣区域的面积就越大，这样图像中包 20406080 行数号 含的信息量就越多，有利于后续图像的匹配、识别操 (a)所取像素点列位置 (b)a列像素点灰度俏 作.但是，通过对大量指静脉图像综合分析发现，不 2501 250[ 同采集者的手指长度不同，即使是同一采集者，在图 200 200 像采集时，由于手指摆放的位置不同也会导致采集 150 150 100 岗 到的图像中手指的长度不同，这都使得第1个指关 100 50 50 节在图像中的位置存在一定的差异，若d值选取过 0 204060 80 20406080 大，将会存在p+d的值超出图像范围的可能.因此， 行数号 行数号 为了兼顾感兴趣区域面积尽可能大和分割线2不 (c)b列像索点灰度值 (dc列像素点灰度值 超出图像范围，将d值取为124. 图4列像素灰度值曲线 为了确定出图像水平方向的分割线，首先利用 Fig.4 Gray value curves of row pixels 轮廓提取算法获取图像中手指区域的边缘轮廓，得 首先，将整个图像区域向竖直方向进行投影，即 到单像素边缘的图像，然后分别求取手指轮廓上、下 计算图像中每列像素的灰度值的总和L: 边缘的内切线3、14，这2条水平方向的直线与竖直 H-1 L=∑p(i). 方向的直线11、2相交形成一个封闭的矩形区域，如 =0 式中：P(i)为图像的第i行第j列上的像素点灰度 图6(a)所示.采用内切线的方式避免了外切线方式 值，H为图像的高度 将背景区域混入感兴趣区域中，提取出的手指静脉 的R0I区域如图6(b)所示. 图3投影后的曲线如图5所示，在第1个指关
第3期 马慧，等：采用旋转校正的指静脉图像感兴趣区域提取方法 ·233· 度存在一定的差异.采用传统的基于细节特征点匹 配方法对这2幅图像进行单样本认证实验，认证结 果为失败；而采用本文方法提取出经过旋转校正的 感兴趣区域后再进行认证，认证结果为成功， (a)矩形区域 b)ROI区域 图6指静脉ROI区域提取效果 Fig.6 ROI of finger vein image 4实验与分析 (a)示例样本1 (b)示例样本2 图8单样本认证的静脉图像示例 为了验证本文方法的有效性，采用哈尔滨工程 Fig.8 Sample finger vein images under single-sample 大学模式识别与智能系统实验室建立的指静脉图像 authentication 库中的图像进行测试.该库包含150个人的指静脉 由此可见，对经过不同角度旋转后的同一样本， 图像，每人采集食指图像5幅，共750幅，图像大小 本文方法依然能够有效地提取出ROI区域，具有较 为320×240.实验算法采用Visual C++6.0编写， 强的抗旋转能力，并且很好地减小了这种非线性变 计算机硬件配置为CPUE5200主频2.5GHz,内存 换对识别系统的影响，克服了指静脉识别中由于图 2 GB. 像受旋转变换而造成的认证失败现象， 4.1普适性分析 4.3识别比对实验 为了检验本文方法的普适性，利用上述ROI区 为了验证本文方法对系统识别性能的影响，采 域提取方法对静脉样本库中的图像进行处理，最后 用上述基于细节特征点的匹配方法分别对原始图像 能够成功提取R0I的比例是96.4%，这说明所提出 库和提取出的ROI区域图像库中所有图像进行1：1 的ROI区域提取方法具有较高的普适性 认证实验和1：n识别实验.实验时从每个人的5幅 对不能成功提取ROI的样本进行分析可知，导 静脉图像中，任选1幅（共150幅图像）作为待识别 致ROI提取失败主要是因为采集的图像质量较差， 样本构成验证库，其余4幅（共150×4=600幅图 图像曝光不均匀，如图7所示.这些图像的对比度较 像)构成模板库，实验结果如表1~2所示. 低，使得本文ROI提取方法中手指关节位置无法确 表12种图像库在1：1模式下的认证结果 定，从而导致感兴趣区域提取失败.实验中，这类样 Table 1 Results of two image databases under 1:1 matc- 本占总样本的比例为3.47%左右，它们大多数静脉 hing 纹路不够清晰，并且含有大量的噪声，不利于后续的 所用图像匹配次数 通过率/% 拒识率/% 匹配识别，这类图像可在采集环节加以改善，补充采 原始图像 600 86.3 13.7 集样本图像 ROI图像 600 93.2 6.8 表22种图像库在1：n模式下的认证结果 (a)示例样本1(b)示例样本2(c)示例样本3 Table 2 Results of two image databases under 1:n recog- nition 图7实验数据库中部分提取ROI失败的静脉图像 Fig.7 Images where extraction of ROI failed in the fin- 所用图像 识别次数通过率/% 误识率/% ger vein database 原始图像 150 94.0 6.0 4.2旋转性分析 ROI图像 150 97.3 2.7 在实际应用中，ROI提取方法的抗旋转性很重 要，因为采集样本时只要求待采集手指平面与采集 从实验结果可以得出，采用传统的基于细节特 摄像头保持大致垂直，没有限制手指的水平摆动，而 征点的指静脉识别算法能够对大多数图像实现匹 这种摆动会导致样本图像中的目标发生旋转，这对 配、识别，但对少数图像质量过差的图像，其识别效 后续的匹配、识别操作带来了很大困难，往往会造成 果并不理想.这是因为，对受旋转或平移因素影响较 拒识或者误识现象 大的静脉图像进行特征提取，会造成提取出的特征 图8是同一被采集者在不同时刻采集的2幅手 点间的相对位移较大，严重地影响后续的匹配、识 指静脉图像，这2幅图像中被采集者的手指摆放角 别.而采用基于旋转校正的ROI区域提取方法不仅
·234 智能系统学报 第7卷 提高了系统的识别率，并且降低了拒识率与误识率， [6]余成波，秦华锋.生物特征识别技术：手指静脉识别技术 系统性能得到明显改善，从而证明了本文方法的有 [M.北京：清华大学出版社，2009：117119 效性。 [7]宋尚玲.鼻部毛囊识别和手指静脉识别[D].济南：山东 大学，2009：6264. 5结束语 SONG Shangling.Nose pore recognition and finger vein rec- ognition[D].Ji'nan:Shandong University,2009:62-64. 使用本文基于旋转校正的感兴趣区域提取方法 [8]KUMAR A,WONG D C M,SHEN H C,et al.Personal 能够准确地提取出静脉图像的ROI区域，有效地克 verification using palmprint and hand geometry biometric 服了图像采样过程中存在的旋转、平移等非线性因 [C]//Proceedings of the 4th Interational Conference on 素对图像质量的影响，并且方法的普适性较好，为解 Audio-and Video-Based Biometric Person Authentication. 决非接触式手指静脉样本ROI区域定位困难的问 Berlin/Heidelberg:Springer-Verlag,2003:668-678. 题提供了一种有效的途径.在提取出ROI区域的基 [9]李秀艳，刘铁根，邓仕超，等.基于SURF算子的快速手背 础上进行静脉图像的匹配识别，能有效地改善采集 静脉识别[J].仪器仪表学报，2011,32(4)：831836. 图像质量不理想所带来的影响，使识别结果更加可 LI Xiuyan,LIU Tiegen,DENG Shichao,et al.Fast recog- 靠.为了进一步地优化和改进本文方法，在今后的研 nition of hand vein with SURF descriptors[J].Chinese Journal of Scientific Instrument,2011,32(4):831-836. 究中，将扩大样本库，寻求更有效、更具普适性的手 [10]WANG J G,YAU W Y,SUWANDY A,et al.Person rec- 指静脉感兴趣区域提取方法 ognition by fusing palmprint and palm vein images based 参考文献： on "Laplacianpalm"representation[J].Pattem Recogni- tion,2008,41(5):1514-1527. [1]贾旭，薛定宇，崔建江，等.基于Contourlet子带能量特征 [11]李强.手部特征识别及特征级融合算法研究[D].北京： 多HMM融合的静脉识别[J].电子与信息学报，2011， 北京交通大学，2006：22-24. 33(8):1377-1382. LI Qiang.Research on hand feature recognition and feature JIA Xu,XUE Dingyu,CUI Jianjiang,et al.Vein recogni- level fusion[D].Beijing:Beijing Jiaotong University, tion based on fusing multi HMMs with Contourlet subband 2006:22-24. energy observations[J].Journal of Electronics Informa- 作者简介： tion Technology,2011,33(8):1377-1382. 马慧，女，1982年生，讲师，博士，主 [2]KUMAR A,PRATHYUSHA K V.Personal authentication 要研究方向为模式识别、生物特征识 using hand vein triangulation and knuckle shape[J].IEEE 别.发表学术论文7篇，申请专利4项. Transactions on Image Processing,2010,9(18):2127- 2136. 「3]康文雄，李华嵩，邓飞其.静脉灰度图像拓扑特征提取方 法[J刀.中国科学：信息科学，2011,41(3)：324337. KANG Wenxiong,LI Huasong,DENG Feiqi.Direct gray- 王科俊，男，1962年生，教授，博士 scale extraction of topographic features for vein recognition 生导师，博士，哈尔滨工程大学模式识 [J].Scientia Sinica:Informationis,2011,41 (3):324- 别与智能系统学科带头人.主要研究方 337. 向为模糊混沌神经网络、自适应逆控制 4]王科俊，刘靖宇，马慧，等.手指静脉图像质量评价[J]: 理论、可拓控制、网络智能控制、模式识 智能系统学报，2011,6(4)：324-327. 别、多模态生物特征识别、联脱机指纹 WANG Kejun,LIU Jingyu,MA Hui,et al.A finger vein 考试身份鉴别系统、微小型机器人系统等.完成科研项目20 image quality assessment method[J].CAAI Transactions on 余项，目前在研项目10余项.曾获得部级科技进步二等奖2 Intelligent Systems,2011,6(4):324-327. 项、三等奖3项，省高校科学技术一等奖1项、二等奖1项. 「5]陈立伟，倪杰.基于多阈值模糊增强的手指静脉图像分 获发明专利1项、公开3项，国家版权局软件著作权登记1 割[J1.应用科技，2011,38(4)：14-18. 项.发表学术论文180余篇，出版学术专著3部、国防教材1 CHEN Liwei,NI Jie.Method for finger vein feature seg- 部，主审教材2部. mentation based on multi-threshold fuzzy enhancement[J]. Applied Science and Technology,2011,38(4):14-18