D0I:10.13374/1.issnl00103.2007.s2.099 第29卷增刊2 北京科技大学学报 Vol.29 Suppl.2 2007年12月 Journal of University of Science and Technology Beijing Dec.2007 基于人脸和人耳的多模态生物特征识别 袁立穆志纯曾慧 北京科技大学信息工程学院，北京100083 摘要单一模式生物特征识别系统由于存在一些固有的局限性，有时难以满足实际应用的需求，本文提出了基于正面人脸 和人耳信息融合的多模态生物特征识别方法.针对USTB人耳图像库和ORL人脸图像库，利用核Fisher鉴别分析方法分别 进行了人耳识别、人脸识别和人脸人耳融合识别，融合策略包括图像层融合和特征层融合两种.识别结果表明基于人脸人耳 信息融合的多模态识别的识别率优于单体的人耳或人脸识别.这说明融合多种生物特征的多模态识别可以提高身份认证的 准确率，也为实现非打扰式识别提供了一种新的途径 关键词人耳识别：人脸识别；多模态生物特征识别：核Fisher鉴别分析算法 分类号TP391.4 随着信息技术的高速发展，基于生物特征识别 手形识别等需要对象配合的识别方式进行融合时， 的身份鉴别技术在现代社会的安全领域正扮演着越 则丧失了非打扰识别的特点 来越重要的角色，现有的生物特征识别技术包括人 人耳识别近年来受到了越来越多学者的关 脸识别、虹膜识别、指纹识别以及人耳识别等，人脸 注町.由于人耳不受表情、化妆的影响，也不易损 识别由于具有友好性、非打扰性的优点，一直是研究 伤，并且人耳图像具有更一致的颜色分配，在转化为 和应用热点，当前人脸识别技术也存在一些问题， 灰度图像时信息丢失少等这些独特的特点，使得人 FRVT2002人脸识别性能测试的结果表明，角度 耳识别具有一定的研究价值和应用前景，是对生物 变化超过45°后，人脸识别率显著下降；随着样本库 特征识别领域的一种拓广，由于人耳和人脸这两种 中图像获取时间与测试图像获取时间间隔的增加， 特征体在生理位置上的特殊关系，可以考虑将两者 识别率显著下降；样本年龄的变化也会导致识别率 进行融合，这种融合的优势在于可以使用同一类型 的波动，可见，人脸识别的难点在于人脸图像易变 的采集器进行人脸和人耳图像的采集，采集时均无 性的问题，包括姿态、时间间隔、年龄等因素带来的 需被识别对象的配合，可以继续保持非打扰识别的 人脸图像的差异，因此，多模态生物特征识别技术 特点；两者的结合还将扩大非打扰识别的识别范围 近年来开始受到广泛关注，多模态识别可以提高系 本文利用核Fisher鉴别分析算法实现基于正面 统的识别率，增强系统的安全级别，并且可以扩展系 人脸图像和人耳图像的多模态生物特征识别，该算 统的适用范围[]，与基于单一特征体的识别技术相 法是基于Fisher线性判别的一种非线性分类方法， 比，多模态生物识别技术更容易克服外界因素的干 其主要的思想是：首先通过一个非线性映射，将输入 扰，而且即使不改进算法也能获得性能的明显提升， 样本映射到一个高维的特征空间中，然后在这个特 因而具有良好的应用前景，多特征体融合的研究工 征空间中再进行线性Fisher鉴别分析，从而实现相 作主要集中在人脸与其他特征体的融合，如：人脸与 对于输入空间为非线性的判别分析，首先利用该算 语音]，人脸与步态，人脸外观、形状和温度可， 法分别进行人脸识别和人耳识别，然后将人耳图像 人脸和指纹[，人脸和虹膜门，人脸、指纹和手形] 和人脸图像进行图像层融合和特征层融合·实验结 等，在这些多特征体融合识别研究中，不同类型的 果表明基于人脸人耳信息融合的多模态识别优于单 生物特征体采集一般需要多种类型的采集器；人脸 体识别 识别时不需要被识别对象的配合，而与指纹、虹膜、 1 线性Fisher鉴别分析算法 收稿日期：2007-10-12 基金项目：国家自然科学基金资助项目(N。.60573058):北京市教有 该算法是一种基于Fisher准则的线性鉴别方 委员会重点学科共建项目资助(No-XK100080537) 法1o],即利用Fisher准则函数找到最优的投影矩阵 作者简介：袁立(1978一)，女，讲师，博士 wp,使得投影后在低维空间里不同类别的样本尽基于人脸和人耳的多模态生物特征识别 袁 立 穆志纯 曾 慧 北京科技大学信息工程学院‚北京100083 摘 要 单一模式生物特征识别系统由于存在一些固有的局限性‚有时难以满足实际应用的需求‚本文提出了基于正面人脸 和人耳信息融合的多模态生物特征识别方法．针对 USTB 人耳图像库和 ORL 人脸图像库‚利用核 Fisher 鉴别分析方法分别 进行了人耳识别、人脸识别和人脸人耳融合识别‚融合策略包括图像层融合和特征层融合两种．识别结果表明基于人脸人耳 信息融合的多模态识别的识别率优于单体的人耳或人脸识别．这说明融合多种生物特征的多模态识别可以提高身份认证的 准确率‚也为实现非打扰式识别提供了一种新的途径． 关键词 人耳识别；人脸识别；多模态生物特征识别；核 Fisher 鉴别分析算法 分类号 TP391∙4 收稿日期：2007-10-12 基金项目：国家自然科学基金资助项目（No．60573058）；北京市教育 委员会重点学科共建项目资助（No．XK100080537） 作者简介：袁立（1978—）‚女‚讲师‚博士 随着信息技术的高速发展‚基于生物特征识别 的身份鉴别技术在现代社会的安全领域正扮演着越 来越重要的角色．现有的生物特征识别技术包括人 脸识别、虹膜识别、指纹识别以及人耳识别等．人脸 识别由于具有友好性、非打扰性的优点‚一直是研究 和应用热点．当前人脸识别技术也存在一些问题． FRVT2002人脸识别性能测试［1］的结果表明‚角度 变化超过45°后‚人脸识别率显著下降；随着样本库 中图像获取时间与测试图像获取时间间隔的增加‚ 识别率显著下降；样本年龄的变化也会导致识别率 的波动．可见‚人脸识别的难点在于人脸图像易变 性的问题‚包括姿态、时间间隔、年龄等因素带来的 人脸图像的差异．因此‚多模态生物特征识别技术 近年来开始受到广泛关注．多模态识别可以提高系 统的识别率‚增强系统的安全级别‚并且可以扩展系 统的适用范围［2］．与基于单一特征体的识别技术相 比‚多模态生物识别技术更容易克服外界因素的干 扰‚而且即使不改进算法也能获得性能的明显提升‚ 因而具有良好的应用前景．多特征体融合的研究工 作主要集中在人脸与其他特征体的融合‚如：人脸与 语音［3］‚人脸与步态［4］‚人脸外观、形状和温度［5］‚ 人脸和指纹［6］‚人脸和虹膜［7］‚人脸、指纹和手形［8］ 等．在这些多特征体融合识别研究中‚不同类型的 生物特征体采集一般需要多种类型的采集器；人脸 识别时不需要被识别对象的配合‚而与指纹、虹膜、 手形识别等需要对象配合的识别方式进行融合时‚ 则丧失了非打扰识别的特点． 人耳识别近年来受到了越来越多学者的关 注［9］．由于人耳不受表情、化妆的影响‚也不易损 伤‚并且人耳图像具有更一致的颜色分配‚在转化为 灰度图像时信息丢失少等这些独特的特点‚使得人 耳识别具有一定的研究价值和应用前景‚是对生物 特征识别领域的一种拓广．由于人耳和人脸这两种 特征体在生理位置上的特殊关系‚可以考虑将两者 进行融合．这种融合的优势在于可以使用同一类型 的采集器进行人脸和人耳图像的采集‚采集时均无 需被识别对象的配合‚可以继续保持非打扰识别的 特点；两者的结合还将扩大非打扰识别的识别范围． 本文利用核Fisher 鉴别分析算法实现基于正面 人脸图像和人耳图像的多模态生物特征识别．该算 法是基于 Fisher 线性判别的一种非线性分类方法‚ 其主要的思想是：首先通过一个非线性映射‚将输入 样本映射到一个高维的特征空间中‚然后在这个特 征空间中再进行线性 Fisher 鉴别分析‚从而实现相 对于输入空间为非线性的判别分析．首先利用该算 法分别进行人脸识别和人耳识别‚然后将人耳图像 和人脸图像进行图像层融合和特征层融合．实验结 果表明基于人脸人耳信息融合的多模态识别优于单 体识别． 1 线性 Fisher 鉴别分析算法 该算法是一种基于 Fisher 准则的线性鉴别方 法［10］‚即利用 Fisher 准则函数找到最优的投影矩阵 wopt‚使得投影后在低维空间里不同类别的样本尽 第29卷 增刊2 2007年 12月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．29Suppl．2 Dec．2007 DOI:10．13374／j．issn1001－053x．2007．s2．099