D0I:10.13374/1.issnl00103.2007.s2.099 第29卷增刊2 北京科技大学学报 Vol.29 Suppl.2 2007年12月 Journal of University of Science and Technology Beijing Dec.2007 基于人脸和人耳的多模态生物特征识别 袁立穆志纯曾慧 北京科技大学信息工程学院，北京100083 摘要单一模式生物特征识别系统由于存在一些固有的局限性，有时难以满足实际应用的需求，本文提出了基于正面人脸 和人耳信息融合的多模态生物特征识别方法.针对USTB人耳图像库和ORL人脸图像库，利用核Fisher鉴别分析方法分别 进行了人耳识别、人脸识别和人脸人耳融合识别，融合策略包括图像层融合和特征层融合两种.识别结果表明基于人脸人耳 信息融合的多模态识别的识别率优于单体的人耳或人脸识别.这说明融合多种生物特征的多模态识别可以提高身份认证的 准确率，也为实现非打扰式识别提供了一种新的途径 关键词人耳识别：人脸识别；多模态生物特征识别：核Fisher鉴别分析算法 分类号TP391.4 随着信息技术的高速发展，基于生物特征识别 手形识别等需要对象配合的识别方式进行融合时， 的身份鉴别技术在现代社会的安全领域正扮演着越 则丧失了非打扰识别的特点 来越重要的角色，现有的生物特征识别技术包括人 人耳识别近年来受到了越来越多学者的关 脸识别、虹膜识别、指纹识别以及人耳识别等，人脸 注町.由于人耳不受表情、化妆的影响，也不易损 识别由于具有友好性、非打扰性的优点，一直是研究 伤，并且人耳图像具有更一致的颜色分配，在转化为 和应用热点，当前人脸识别技术也存在一些问题， 灰度图像时信息丢失少等这些独特的特点，使得人 FRVT2002人脸识别性能测试的结果表明，角度 耳识别具有一定的研究价值和应用前景，是对生物 变化超过45°后，人脸识别率显著下降；随着样本库 特征识别领域的一种拓广，由于人耳和人脸这两种 中图像获取时间与测试图像获取时间间隔的增加， 特征体在生理位置上的特殊关系，可以考虑将两者 识别率显著下降；样本年龄的变化也会导致识别率 进行融合，这种融合的优势在于可以使用同一类型 的波动，可见，人脸识别的难点在于人脸图像易变 的采集器进行人脸和人耳图像的采集，采集时均无 性的问题，包括姿态、时间间隔、年龄等因素带来的 需被识别对象的配合，可以继续保持非打扰识别的 人脸图像的差异，因此，多模态生物特征识别技术 特点；两者的结合还将扩大非打扰识别的识别范围 近年来开始受到广泛关注，多模态识别可以提高系 本文利用核Fisher鉴别分析算法实现基于正面 统的识别率，增强系统的安全级别，并且可以扩展系 人脸图像和人耳图像的多模态生物特征识别，该算 统的适用范围[]，与基于单一特征体的识别技术相 法是基于Fisher线性判别的一种非线性分类方法， 比，多模态生物识别技术更容易克服外界因素的干 其主要的思想是：首先通过一个非线性映射，将输入 扰，而且即使不改进算法也能获得性能的明显提升， 样本映射到一个高维的特征空间中，然后在这个特 因而具有良好的应用前景，多特征体融合的研究工 征空间中再进行线性Fisher鉴别分析，从而实现相 作主要集中在人脸与其他特征体的融合，如：人脸与 对于输入空间为非线性的判别分析，首先利用该算 语音]，人脸与步态，人脸外观、形状和温度可， 法分别进行人脸识别和人耳识别，然后将人耳图像 人脸和指纹[，人脸和虹膜门，人脸、指纹和手形] 和人脸图像进行图像层融合和特征层融合·实验结 等，在这些多特征体融合识别研究中，不同类型的 果表明基于人脸人耳信息融合的多模态识别优于单 生物特征体采集一般需要多种类型的采集器；人脸 体识别 识别时不需要被识别对象的配合，而与指纹、虹膜、 1 线性Fisher鉴别分析算法 收稿日期：2007-10-12 基金项目：国家自然科学基金资助项目(N。.60573058):北京市教有 该算法是一种基于Fisher准则的线性鉴别方 委员会重点学科共建项目资助(No-XK100080537) 法1o],即利用Fisher准则函数找到最优的投影矩阵 作者简介：袁立(1978一)，女，讲师，博士 wp,使得投影后在低维空间里不同类别的样本尽
基于人脸和人耳的多模态生物特征识别 袁 立 穆志纯 曾 慧 北京科技大学信息工程学院北京100083 摘 要 单一模式生物特征识别系统由于存在一些固有的局限性有时难以满足实际应用的需求本文提出了基于正面人脸 和人耳信息融合的多模态生物特征识别方法．针对 USTB 人耳图像库和 ORL 人脸图像库利用核 Fisher 鉴别分析方法分别 进行了人耳识别、人脸识别和人脸人耳融合识别融合策略包括图像层融合和特征层融合两种．识别结果表明基于人脸人耳 信息融合的多模态识别的识别率优于单体的人耳或人脸识别．这说明融合多种生物特征的多模态识别可以提高身份认证的 准确率也为实现非打扰式识别提供了一种新的途径． 关键词 人耳识别；人脸识别；多模态生物特征识别；核 Fisher 鉴别分析算法 分类号 TP391∙4 收稿日期：2007-10-12 基金项目：国家自然科学基金资助项目（No．60573058）；北京市教育 委员会重点学科共建项目资助（No．XK100080537） 作者简介：袁立（1978—）女讲师博士 随着信息技术的高速发展基于生物特征识别 的身份鉴别技术在现代社会的安全领域正扮演着越 来越重要的角色．现有的生物特征识别技术包括人 脸识别、虹膜识别、指纹识别以及人耳识别等．人脸 识别由于具有友好性、非打扰性的优点一直是研究 和应用热点．当前人脸识别技术也存在一些问题． FRVT2002人脸识别性能测试［1］的结果表明角度 变化超过45°后人脸识别率显著下降；随着样本库 中图像获取时间与测试图像获取时间间隔的增加 识别率显著下降；样本年龄的变化也会导致识别率 的波动．可见人脸识别的难点在于人脸图像易变 性的问题包括姿态、时间间隔、年龄等因素带来的 人脸图像的差异．因此多模态生物特征识别技术 近年来开始受到广泛关注．多模态识别可以提高系 统的识别率增强系统的安全级别并且可以扩展系 统的适用范围［2］．与基于单一特征体的识别技术相 比多模态生物识别技术更容易克服外界因素的干 扰而且即使不改进算法也能获得性能的明显提升 因而具有良好的应用前景．多特征体融合的研究工 作主要集中在人脸与其他特征体的融合如：人脸与 语音［3］人脸与步态［4］人脸外观、形状和温度［5］ 人脸和指纹［6］人脸和虹膜［7］人脸、指纹和手形［8］ 等．在这些多特征体融合识别研究中不同类型的 生物特征体采集一般需要多种类型的采集器；人脸 识别时不需要被识别对象的配合而与指纹、虹膜、 手形识别等需要对象配合的识别方式进行融合时 则丧失了非打扰识别的特点． 人耳识别近年来受到了越来越多学者的关 注［9］．由于人耳不受表情、化妆的影响也不易损 伤并且人耳图像具有更一致的颜色分配在转化为 灰度图像时信息丢失少等这些独特的特点使得人 耳识别具有一定的研究价值和应用前景是对生物 特征识别领域的一种拓广．由于人耳和人脸这两种 特征体在生理位置上的特殊关系可以考虑将两者 进行融合．这种融合的优势在于可以使用同一类型 的采集器进行人脸和人耳图像的采集采集时均无 需被识别对象的配合可以继续保持非打扰识别的 特点；两者的结合还将扩大非打扰识别的识别范围． 本文利用核Fisher 鉴别分析算法实现基于正面 人脸图像和人耳图像的多模态生物特征识别．该算 法是基于 Fisher 线性判别的一种非线性分类方法 其主要的思想是：首先通过一个非线性映射将输入 样本映射到一个高维的特征空间中然后在这个特 征空间中再进行线性 Fisher 鉴别分析从而实现相 对于输入空间为非线性的判别分析．首先利用该算 法分别进行人脸识别和人耳识别然后将人耳图像 和人脸图像进行图像层融合和特征层融合．实验结 果表明基于人脸人耳信息融合的多模态识别优于单 体识别． 1 线性 Fisher 鉴别分析算法 该算法是一种基于 Fisher 准则的线性鉴别方 法［10］即利用 Fisher 准则函数找到最优的投影矩阵 wopt使得投影后在低维空间里不同类别的样本尽 第29卷 增刊2 2007年 12月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．29Suppl．2 Dec．2007 DOI:10．13374／j．issn1001－053x．2007．s2．099
Vol.29 Suppl.2 袁立等：基于人脸和人耳的多模态生物特征识别 191 可能分开，而同一类别内的样本尽量密集，最终以原 核Fisher鉴别分析算法首先通过一个非线性映 始样本在投影矩阵wp的投影作为鉴别特征进行识 射Φ，将输入样本映射到一个高维的特征空间F 别 中，即：Φ：R→F,x→Φ(x) Fisher准则函数定义为： 这时输入的训练样本由原来的x变成Φ(x), IwT Spwl 然后在这个特征空间F中进行线性Fisher鉴别分 J(wop)-arg max IwT s.wl (1) 析，即在特征空间F中求解以下问题： 式中，S为类间离散度矩阵，它定义为： l(w9TSs”w (5) F之(u-w(w-)T 5 J(w)=ag职ar1（prs”w1 (2) 式中S为在特征空间F中的类间离散度，即： S。为类内离散度，它定义为： s-白(--r (3) =1=1 s为在特征空间F中的类内离散度，即： 式中，C为类别数，N:为C:类的样本数，u为所有 样本的均值向量，为C:类样本的均值向量，x为 (Φ(x)-u”)((x)月-”)T C:类中的第j个样本向量， 式中C为类别数，N:为C:类的样本数，“”为在特 因为Fisher准则函数是关于矩阵S和Sw的 征空间F中所有样本的均值，“”为在特征空间F 广义Rayleigh商，因此根据广义Rayleigh商的极值 中C:类样本的均值，Φ(x)为在特征空间F中C: 性质，在类内离散度矩阵Sw非奇异的情况下，wpt 类中的第j个样本， 实际上就是满足如下等式的解山 因为特征空间F的维数很高，进行通常的运算 SW:=入SwW:（i=1,2,,m) (4) 不可能，所以为了能够在特征空间F中实现线性 也就是对应于矩阵SS较大的特征值入的特征 Fisher鉴别分析，可以利用内积核函数来隐含地进 向量 行运算，即： 但是，在人耳的实际识别过程中存在着小样本 K(x,y)=(x)(y) (6) 问题，即训练样本数小于一幅人耳图像的像素点数， 也就是说，特征空间F中的两个向量Φ(x)和 故其类内离散度矩阵S。总为奇异矩阵，而无法利 Φ(y)的点积可以由x和y的内积来代替 用广义特征值方程来求解广义Rayleigh商的极值问 因此，可以利用核函数和上一部分介绍的改进 题，所以，本文采用了一种改进的基于全空间的线 的全空间线性Fisher鉴别分析算法来直接求解特征 性Fisher鉴别分析算法来求解最优的投影矩阵 空间F中的最优投影矩阵wP wpt·由文献[12]知：这种基于Fisher准则的算法的 其具体的算法步骤如下： 有效鉴别信息都存在于Sw的零空间与S的非零 ()计算特征空间F中训练样本X”在其总离 空间的交集以及S.的非零空间这两个子空间中， 散度S”的非零空间9上的投影Y,因为 所以，本文提出的改进算法首先利用PCA算法原理 去掉S的零空间与S的零空间的交集，然后再在 S- 22(g-(-= =1=1 此基础上分别计算S的零空间与S.的非零空间 Φ”（ΦT (7) 的交集以及S.的非零空间这两个子空间中的有效 Φ=span((x)-w”),…,(Φ(x)f-w)} 鉴别信息，最后再将这两个子空间中的有效鉴别信 (8) 息组合成最终用于鉴别的特征向量 所以根据线性代数理论，上述投影Y可以通过 2 核Fisher鉴别分析算法 如下方法求解得到计算（Φ）T”的非零特征值所 对应的特征向量V,其中()T用核函数可以 核Fisher鉴别分析算法的思想是：首先通过一 表示为： 个非线性映射，将输入样本映射到一个高维的特征 空间中，然后在这个特征空间中再进行线性Fisher 鉴别分析，找出使得类间离散度最大而类内离散度 最小的投影空间， (9)
可能分开而同一类别内的样本尽量密集最终以原 始样本在投影矩阵 wopt的投影作为鉴别特征进行识 别． Fisher 准则函数定义为： J（wopt）＝arg max w ｜w T Sb w｜ ｜w T Sw w｜ （1） 式中Sb 为类间离散度矩阵它定义为： Sb＝ ∑ C i＝1 （ ui— u）（ ui— u） T （2） Sw 为类内离散度它定义为： Sw＝ ∑ C i＝1 ∑ Ni j＝1 （ x i j— ui）（ x i j— ui） T （3） 式中C 为类别数Ni 为 Ci 类的样本数u 为所有 样本的均值向量ui 为 Ci 类样本的均值向量x i j 为 Ci 类中的第 j 个样本向量． 因为 Fisher 准则函数是关于矩阵 Sb 和 Sw 的 广义 Rayleigh 商因此根据广义 Rayleigh 商的极值 性质在类内离散度矩阵 Sw 非奇异的情况下wopt 实际上就是满足如下等式的解［11］ Sb Wi＝λiSw Wi （ i＝12…m） （4） 也就是对应于矩阵 S —1 w Sb 较大的特征值 λi 的特征 向量． 但是在人耳的实际识别过程中存在着小样本 问题即训练样本数小于一幅人耳图像的像素点数 故其类内离散度矩阵 Sw 总为奇异矩阵而无法利 用广义特征值方程来求解广义 Rayleigh 商的极值问 题．所以本文采用了一种改进的基于全空间的线 性 Fisher 鉴别分析算法来求解最优的投影矩阵 wopt．由文献［12］知：这种基于 Fisher 准则的算法的 有效鉴别信息都存在于 Sw 的零空间与 Sb 的非零 空间的交集以及 Sw 的非零空间这两个子空间中． 所以本文提出的改进算法首先利用 PCA 算法原理 去掉 Sw 的零空间与 Sb 的零空间的交集然后再在 此基础上分别计算 Sw 的零空间与 Sb 的非零空间 的交集以及 Sw 的非零空间这两个子空间中的有效 鉴别信息最后再将这两个子空间中的有效鉴别信 息组合成最终用于鉴别的特征向量． 2 核 Fisher 鉴别分析算法 核 Fisher 鉴别分析算法的思想是：首先通过一 个非线性映射将输入样本映射到一个高维的特征 空间中然后在这个特征空间中再进行线性 Fisher 鉴别分析找出使得类间离散度最大而类内离散度 最小的投影空间． 核Fisher 鉴别分析算法首先通过一个非线性映 射 Φ将输入样本映射到一个高维的特征空间 F 中即：Φ：R n→Fx→Φ（ x）． 这时输入的训练样本由原来的 x 变成 Φ（ x） 然后在这个特征空间 F 中进行线性 Fisher 鉴别分 析即在特征空间 F 中求解以下问题： J（w Φ opt）＝argmax w Φ ｜（w Φ ） T S Φ b w Φ｜ ｜（w Φ ） T S Φ w w Φ｜ （5） 式中 S Φ b 为在特征空间 F 中的类间离散度即： S Φ b ＝ ∑ C i＝1 （ u Φ i — u Ф ）（ u Φ i — u Φ ） T S Φ w 为在特征空间 F 中的类内离散度即： S Φ w＝ ∑ C i＝1 ∑ Ni j＝1 （Φ（ x） i j — u Φ i ）（Φ（ x） i j — u Φ i ） T 式中 C 为类别数Ni 为 Ci 类的样本数u Φ 为在特 征空间 F 中所有样本的均值u Φ i 为在特征空间 F 中 Ci 类样本的均值Φ（ x） i j 为在特征空间 F 中 Ci 类中的第 j 个样本． 因为特征空间 F 的维数很高进行通常的运算 不可能所以为了能够在特征空间 F 中实现线性 Fisher 鉴别分析可以利用内积核函数来隐含地进 行运算即： K（ xy）＝Φ（ x）·Φ（y） （6） 也就是说特征空间 F 中的两个向量 Φ（ x）和 Φ（y）的点积可以由 x 和 y 的内积来代替． 因此可以利用核函数和上一部分介绍的改进 的全空间线性Fisher 鉴别分析算法来直接求解特征 空间 F 中的最优投影矩阵 w Φ opt． 其具体的算法步骤如下： （1）计算特征空间 F 中训练样本 X Φ 在其总离 散度 S Φ t 的非零空间φ上的投影 Y因为 S Φ t ＝ ∑ C i＝1 ∑ Ni j＝1 （Φ（ x） i j — u Φ）（Φ（ x） i j — u Φ） T＝ Φ Φ t （Φ Φ t ） T （7） Φ Φ t ＝span｛（Φ（ x） l l — u Φ ）…（Φ（ x） C Ni— u Φ ）｝ （8） 所以根据线性代数理论上述投影 Y 可以通过 如下方法求解得到计算（ΦΦ t ） T ΦΦ t 的非零特征值所 对应的特征向量 Vt其中（ΦΦ t ） T ΦΦ t 用核函数可以 表示为： （ΦΦ t ） T ΦΦ t ＝ 1 N K— 1 N （ K·IN× N＋ IN× N·K）＋ 1 N 2·IN× N·K·IN× N （9） Vol．29Suppl．2 袁 立等： 基于人脸和人耳的多模态生物特征识别 ·191·
,192 北京科技大学学报 2007年增刊2 则投影Y即为：Y=(Φy,)Tx,其用核函数 对于人脸识别，本文采用ORL人脸图像库，选 可以表示为y=K-1x内 用其中75个个体，ID号依次为1至75.每人4幅 图像.人脸图像归一化为48×48像素，如图2所 (2)计算特征空间F中训练样本x”在其总离 示 散度S”的非零空间9上的投影Y的类间离散度S” 和类内离散度s”； (3)分别计算”的零空间平和非零空间平， (1) (2) 3) (4) 平即为S”的零特征值所对应的特征向量V如，而 图2OL人脸图像库中归一化后的图像 平为S的非零特征值所对应的特征向量V; 对于以下进行的人耳识别、人脸识别、多模态识 (4)在S的零空间平中求解该子空间的最 别，在每个个体的四个样本中随机挑选三个进行训 优鉴别向量集，将S向S的零空间平投影，即 练，剩余的一个用于识别，识别方法采用基于欧式 s=(V)Ts"v,计算s的特征方程sx=y 距离的最近邻法，在多模态融合识别中，将人耳图 的前d个最大特征值所对应的特征向量Vb,则s” 像库和人脸图像库中具有相同ID号的个体被视为 的零空间平吐中的最优鉴别向量集为V=VV; 同一个对象， (5)在S的非零空间平中求解该子空间的最 3.2图像层融合策略 图像层的融合策略将对应D号的人耳图像向 优鉴别向量集，将S和S”向S"的非零空间平投 量和正面人脸图像向量串连构成一个大向量，然后 影，即S0=VSy和s=VS"y.,计算S0-1 执行第3节中所述的核Fisher鉴别分析算法提取其 S需的特征方程3-S云x=x的前L个最大特征值 特征向量用于识别， 所对应的特征向量Vb,则S的非零空间平中的最 3.3特征层融合策略 优鉴别向量集为V2=Vs Vsw Vwb; 首先分别计算人耳图像和正面人脸图像的核矩 (6)组合得到最终的最优鉴别向量集，将分别 阵： 在S的零空间平和非零空间平中求解得到的最 (Kx)ij=kx(xi,xj),(K)ij=k(yi,yi)(10) 优鉴别向量集V1和V2进行组合，则最终的最优鉴 核函数的选择及其参数的确定会对识别效果有 别向量集V=[V1,V2]; 影响，因为内积核函数的性质直接影响着高维特征 (7)提取人耳图像的特征向量Z,即Z=VY, 空间的性质，即选取不同的内积核函数，就相当于将 3实验及实验结果 输入样本投影到不同的高维特征空间之中，本文采 用径向基内积核函数： 3.1图像库介绍 k(x,y)=exp (11) 对于人耳识别，本文采用自行构建的USTB人 耳图像库1，该库由77个个体构成，ID号依次为1 式中，参数σ设定为10000. 至75.每个个体拍摄图像的条件包括光照变化、角 本文中选择两种特征层的融合规则，第一个和 度变化.每人4幅图像，图像大小为300×400像 规则，第二个为积规则，则融合后的核矩阵分别为： 素.第一幅和第四幅为人耳的正面图像，这两幅图 (Kfusionm)g=(Kx)时十(K,）可)/2(12) 反映光照变化，第二幅和第三幅分别为人耳十30°和 (Kfusionprd)ijKx)jKy)j (13) 一30°深度旋转后的图像，这两幅图反映角度变化 利用上述规则得到融合核矩阵后，代入式(9)得 经统计，人耳的平均长宽比为2，所以将人耳归一化 到Yfusion,然后执行第3节中所述的算法步骤，训练 为24×48像素.图1所示为人耳图像库中某一个 过程结束后可得到最优融合鉴别向量Vfusion,则最 体归一化后的4幅人耳图像. 终融合后的特征为： Zfusion Vfusion Yfusion (14) 3.4实验结果与分析 2) 4 利用第2部分中所述的核Fisher鉴别分析算 图1USB人耳图像库中某一人的4幅人耳图像 法，人脸识别、人耳识别以及图像层和特征层人脸人 耳多模态识别的首选识别率如图3所示
则投影 Y 即为：Y＝（Φ Φ t Vt） T X Φ其用核函数 可以表示为 Y＝V T t· K— 1 N ·IN× N·K ； （2） 计算特征空间 F 中训练样本 X Φ 在其总离 散度 S Φ t 的非零空间φ上的投影 Y 的类间离散度 S Φ b 和类内离散度 S Φ w； （3） 分别计算 S Φ w 的零空间Ψ⊥和非零空间 Ψ Ψ⊥即为 S Φ w 的零特征值所对应的特征向量 V ⊥ sw而 Ψ为 S Φ w 的非零特征值所对应的特征向量 Vsw； （4） 在 S Φ w 的零空间Ψ⊥ 中求解该子空间的最 优鉴别向量集将 S Φ b 向 S Φ w 的零空间 Ψ⊥ 投影即 S Φ b ＝（V ⊥ sw） T S Φ b V ⊥ sw计算 S Φ b 的特征方程 S Φ b X＝λX 的前 d 个最大特征值所对应的特征向量 Vsb则 S Φ w 的零空间Ψ⊥中的最优鉴别向量集为 V1＝V ⊥ sw Vsb； （5） 在 S Φ w 的非零空间 Ψ中求解该子空间的最 优鉴别向量集将 S Φ b 和 S Φ w 向 S Φ w 的非零空间 Ψ投 影即S Φ b ＝V T sw S Φ b Vsw和 S Φ w ＝ V T sw S Φ w Vsw计算 S Φ w —1 S Φ b 的特征方程S Φ w —1 S Φ b X＝λX 的前 t 个最大特征值 所对应的特征向量 Vwb则Sw的非零空间 Ψ中的最 优鉴别向量集为 V2＝Vst Vsw Vwb； （6） 组合得到最终的最优鉴别向量集将分别 在 S Φ w 的零空间Ψ⊥和非零空间 Ψ中求解得到的最 优鉴别向量集 V1 和 V2 进行组合则最终的最优鉴 别向量集 V＝［ V1V2］ T； （7） 提取人耳图像的特征向量 Z即 Z＝VY． 3 实验及实验结果 3∙1 图像库介绍 对于人耳识别本文采用自行构建的 USTB 人 耳图像库1该库由77个个体构成ID 号依次为1 至75．每个个体拍摄图像的条件包括光照变化、角 度变化．每人4幅图像图像大小为300×400像 素．第一幅和第四幅为人耳的正面图像这两幅图 反映光照变化第二幅和第三幅分别为人耳＋30°和 —30°深度旋转后的图像这两幅图反映角度变化． 经统计人耳的平均长宽比为2所以将人耳归一化 为24×48像素．图1所示为人耳图像库中某一个 体归一化后的4幅人耳图像． 图1 USTB 人耳图像库中某一人的4幅人耳图像 对于人脸识别本文采用 ORL 人脸图像库选 用其中75个个体ID 号依次为1至75．每人4幅 图像．人脸图像归一化为48×48像素如图2所 示． 图2 ORL 人脸图像库中归一化后的图像 对于以下进行的人耳识别、人脸识别、多模态识 别在每个个体的四个样本中随机挑选三个进行训 练剩余的一个用于识别．识别方法采用基于欧式 距离的最近邻法．在多模态融合识别中将人耳图 像库和人脸图像库中具有相同 ID 号的个体被视为 同一个对象． 3∙2 图像层融合策略 图像层的融合策略将对应 ID 号的人耳图像向 量和正面人脸图像向量串连构成一个大向量．然后 执行第3节中所述的核 Fisher 鉴别分析算法提取其 特征向量用于识别． 3∙3 特征层融合策略 首先分别计算人耳图像和正面人脸图像的核矩 阵： （ Kx）ij＝kx（ xixj）（ Ky）ij＝ky（yiyj） （10） 核函数的选择及其参数的确定会对识别效果有 影响因为内积核函数的性质直接影响着高维特征 空间的性质即选取不同的内积核函数就相当于将 输入样本投影到不同的高维特征空间之中．本文采 用径向基内积核函数： k（ xy）＝exp — ‖x—y‖2 σ2 （11） 式中参数 σ设定为10000． 本文中选择两种特征层的融合规则第一个和 规则第二个为积规则则融合后的核矩阵分别为： （ Kfusion-sum）ij＝（（ Kx）ij＋（ Ky）ij）／2 （12） （ Kfusion-prd）ij＝（ Kx）ij·（ Ky）ij （13） 利用上述规则得到融合核矩阵后代入式（9）得 到 Yfusion然后执行第3节中所述的算法步骤．训练 过程结束后可得到最优融合鉴别向量 Vfusion则最 终融合后的特征为： Zfusion＝Vfusion Yfusion （14） 3∙4 实验结果与分析 利用第2部分中所述的核 Fisher 鉴别分析算 法人脸识别、人耳识别以及图像层和特征层人脸人 耳多模态识别的首选识别率如图3所示． ·192· 北 京 科 技 大 学 学 报 2007年 增刊2
Vol.29 Suppl.2 袁立等：基于人脸和人耳的多模态生物特征识别 .193. 100 Vendor Test 2002:Evaluation Report.Technical Report.NIS- TIR 6965.Gaitherburg.National Institute of Standards and 95 Technology.2003.http/www.frvt.org/FRVT2002/docu- 90 ments.htm [2]Ross A,Jain A.Multimodal biometrics:an overview //Proc.of 85 ·一特征层加法融合 12th European Processing Conference.2004:1221 粒80 日一特征层乘法融合 +一图像层融合 [3]Yacoub S B.Abdeljaoued Y.Fusion of face and speech data for 75 人耳 person identity verification.IEEE Tran Neur Networks,1999. e-人脸 10(5):1065 700 30 4050607080 [4]Zhou X L.Bhanu B.Integrating face and gait for human recogni- 特征空间维数 tion//Proe.of Conference on Computer Vision and Pattern Recognition.New York.United States.2006:55 图3不同识别方法和融合方法的识别率对比 [5]Chang K.Bowyer K.Flynn P.Multi-biometrics using facial ap- pearance,shape and temperature//Proc.of the Sixth IEEE In- 上述实验结果表明基于人脸人耳信息融合的多 ternational Conference on Automatic Face and Gesture Recogni- 模态识别的识别率优于利用单体的人耳识别或人脸 tion:Seoul,South Korea,2004:43 识别，在融合识别中，采用加法规则的特征层融合 [6]Hong L,Jain A.Integrating faces and fingerprints for personal i- 的识别率高于采用乘法规则的特征层融合识别率和 dentification.IEEE Transactions on Pattern Analysis and Ma- 图像层的融合识别率，由于人脸图像库中图像质量 chine Intelligence,1998,20(12):1295 不如人耳图像，故识别率较低，本实验说明基于特 [7]Wang Y.Tan T,Jain A.Combining face and iris biometrics for identity verification//Proe.of 4th International Conference on 征融合的方法可以有效提高识别率. Audio Video Based Pattern Analysis.UK.2003:805 4结论 [8]Ross A.Jain A.Information fusion in biometrics.Pattern Recogn Lett.2003,(24):2115 本文提出一种新的将正面人脸和人耳进行融合 [9]Yuan L.Mu Z C.Zhang Y,et al.Ear recognition using im- 的多模态生物特征识别方法，在USTB人耳图像库 proved non negative matrix factorization /18th International Conference on Pattern Recognition.HK.2006 和ORL人脸图像库上，应用基于全空间的核Fisher [10]刘青山，卢汉清，马颂德.综述人脸识别中的子空间方法，自 鉴别分析方法进行识别，实验结果表明基于特征层 动化学报，2003,29(6)：900 和图像层融合策略的识别率优于利用单体特征的识 [11]陈才扣，杨静宇.基于组合子空间的最优特征抽取及人脸识 别率.下一步工作是扩建USTB人脸人耳多模态图 别.信号处理，2004,20(6)：609 像库，并在更大规模的图像库上进行实验，以对该系 [12]Yang J.Yang JY.Optimal FLD algorithm for facial feature ex- traction//SPIE Processing of the Intelligent Robots and Com 统进行性能评价 puter Vision XX:Algorithms.Techniques,and Active Vision. 2001,4572,438 参考文献 [1]Phillips P J.Grother P,Micheals R J.et al.Face Recognition Multimodal recognition using face and ear Y UAN Li,MU Zhichun,ZENG Hui Information Engineering of School.University of Science and Technology Beijing.Beijing 100083.China ABSTRACI Unimodal biometric systems have to contend with a variety of problems and sometimes cannot sat- isfy application requirements.In this paper,a novel method of multimodal recognition using frontal face and ear was proposed.Kernel Fisher Discriminant Analysis was used for ear recognition,face recognition and the multi- modal recognition.The multimodal recognition was studied on the image level fusion and feature level fusion. The experimental results from using USTB ear database and ORL face database show that the multimodal recog- nition outperforms the unimodal biometric recognition.This work shows that multibiometric system can increase the accuracy of overall system recognition,and provides an effective approach of non intrusive biometric recogni- tion. KEY WORDS ear recognition:face recognition;multimodal recognition;Kernel Fisher Discriminant Analysis
图3 不同识别方法和融合方法的识别率对比 上述实验结果表明基于人脸人耳信息融合的多 模态识别的识别率优于利用单体的人耳识别或人脸 识别．在融合识别中采用加法规则的特征层融合 的识别率高于采用乘法规则的特征层融合识别率和 图像层的融合识别率．由于人脸图像库中图像质量 不如人耳图像故识别率较低．本实验说明基于特 征融合的方法可以有效提高识别率． 4 结论 本文提出一种新的将正面人脸和人耳进行融合 的多模态生物特征识别方法．在 USTB 人耳图像库 和 ORL 人脸图像库上应用基于全空间的核 Fisher 鉴别分析方法进行识别．实验结果表明基于特征层 和图像层融合策略的识别率优于利用单体特征的识 别率．下一步工作是扩建 USTB 人脸人耳多模态图 像库并在更大规模的图像库上进行实验以对该系 统进行性能评价． 参 考 文 献 ［1］ Phillips P JGrother PMicheals R Jet al．Face Recognition Vendor Test 2002：Evaluation Report．Technical ReportNISTIR 6965Gaitherburg． National Institute of Standards and Technology2003．http ∥ www．frvt．org／FRVT2002／documents．htm ［2］ Ross AJain A．Multimodal biometrics：an overview ∥Proc．of 12th European Processing Conference．2004：1221 ［3］ Yacoub S BAbdeljaoued Y．Fusion of face and speech data for person identity verification．IEEE Tran Neur Networks1999 10（5）：1065 ［4］ Zhou X LBhanu B．Integrating face and gait for human recognition∥ Proc．of Conference on Computer Vision and Pattern Recognition．New YorkUnited States2006：55 ［5］ Chang KBowyer KFlynn P．Mult-i biometrics using facial appearanceshape and temperature∥ Proc．of the Sixth IEEE International Conference on Automatic Face and Gesture RecognitionSeoulSouth Korea2004：43 ［6］ Hong LJain A．Integrating faces and fingerprints for personal identification．IEEE Transactions on Pattern Analysis and Machine Intelligence199820（12）：1295 ［7］ Wang YTan TJain A．Combining face and iris biometrics for identity verification∥ Proc．of 4th International Conference on Audio Video Based Pattern Analysis．UK2003：805 ［8］ Ross AJain A．Information fusion in biometrics．Pattern Recogn Lett2003（24）：2115 ［9］ Yuan LMu Z CZhang Yet al．Ear recognition using improved non-negative matrix factorization ∥ 18th International Conference on Pattern Recognition．HK2006 ［10］ 刘青山卢汉清马颂德．综述人脸识别中的子空间方法．自 动化学报200329（6）：900 ［11］ 陈才扣杨静宇．基于组合子空间的最优特征抽取及人脸识 别．信号处理200420（6）：609 ［12］ Yang JYang J Y．Optimal FLD algorithm for facial feature extraction∥ SPIE Processing of the Intelligent Robots and Computer Vision XX：AlgorithmsTechniquesand Active Vision 20014572：438 Multimodal recognition using face and ear Y UA N L iMU ZhichunZENG Hui Information Engineering of SchoolUniversity of Science and Technology BeijingBeijing100083China ABSTRACT Unimodal biometric systems have to contend with a variety of problems and sometimes cannot satisfy application requirements．In this papera novel method of multimodal recognition using frontal face and ear was proposed．Kernel Fisher Discriminant Analysis was used for ear recognitionface recognition and the multimodal recognition．The multimodal recognition was studied on the image level fusion and feature level fusion． The experimental results from using USTB ear database and ORL face database show that the multimodal recognition outperforms the unimodal biometric recognition．This work shows that multibiometric system can increase the accuracy of overall system recognitionand provides an effective approach of non-intrusive biometric recognition． KEY WORDS ear recognition；face recognition；multimodal recognition；Kernel Fisher Discriminant Analysis Vol．29Suppl．2 袁 立等： 基于人脸和人耳的多模态生物特征识别 ·193·