D0I:10.13374/1.issm100103.2008.10.02I 第30卷第10期 北京科技大学学报 Vol.30 No.10 2008年10月 Journal of University of Science and Technology Beijing 0ct.2008 基于核典型相关分析的姿态人耳、人脸多模态识别 王瑜穆志纯徐正光骆佳佳 北京科技大学信息工程学院，北京100083 摘要选用在生理位置上具有一定关联性的人耳和人脸作为研究对象，针对剧烈的姿态变化会造成融合信息大量缺损的 问题，提出了一种基于核典型相关分析的多模态识别方法，利用标准化和中心化两种方法对原始数据集进行预处理，并用最 近邻方法进行分类识别实验结果表明，核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响，且 与单生物特征相比，识别率显著提高 关键词多模态识别：核典型相关分析：人耳识别：多模态：融合；标准化：中心化 分类号TP391.41 Multimodal recognition of posed ear and face based on kernel canonical correla- tion analysis WANG Yu,MU Zhichun.XU Zhengguang.LUO Jigjia School of Information Engineering.University of Science and Technology Beijing.Beijing 100083.China ABSTRACT Using the ear and face possessing of special physiological correlation under the same pose condition as the research ob- ject,a multimodal recognition method based on kernel canonical correlation analysis(KCCA)was proposed to solve the problem of in- formation loss resulted from sharp pose change.In the method,the normalization and centering methods were used to preprocess ear and face datasets and the nearest neighbor method was used to classify.Experimental results show that KCCA can availably overcome the effect of sharp pose change.Compared with the single biometric,the recognition rate improves remarkably. KEY WORDS multimodal recognition:kernel canonical correlation analysis(KCCA):ear recognition:multimodal:fusion:normal- ization:centering 单一的生物特征识别系统通常会受到噪声的影 在一起，在没有提供正面人脸的情况下，利用信息互 响、自由度的限制、生物特征的非普遍性以及无法接 补来进行身份鉴别， 受的误差干扰等等山.利用多种生物特征进行身份 本文在这种思想的启发下，以人耳为主特征，以 鉴别可以有效地克服甚至消除这些弊端，是未来生 侧面人脸为辅助特征，探讨利用人耳和人脸进行多 物特征识别领域的必然趋势.，人耳识别是近年来新 模态识别的有效性和可行性，目前用于人耳识别的 兴起的一种生物特征识别技术，虽然起步较晚，但与 方法很多，按照所提取的特征来划分可以归纳为两 人脸识别相比，它不受表情、年龄、心理、化妆等因素 大类：一类是基于几何特征的方法，这类方法通过寻 的影响，因而具有广阔的理论研究价值和实际应用 找人耳轮廓和内部结构的关键点，构建几何特 前景，人脸识别是生物特征识别领域中三大主流技 征2]；一类是基于代数特征的方法，如主元分析 术（人脸、虹膜和指纹）之一，具有扎实的理论基础和 法等.虽然这些方法都取得了满意的效果，但都 丰富的实践经验，侧面人脸虽然不如正面人脸信息 是基于无姿态变化或小姿态变化的条件下进行研究 丰富，但却是人脸识别的重要补充，人耳在人脸的 的，一旦在大角度姿态背景下，这些可靠有效的技巧 侧面，这种特殊的生理位置，决定了可以将它们融合 便会表现得非常不稳定，有时甚至会完全失效，剧 收稿日期：2007-09-02修回日期：2007-11-25 基金项目：国家自然科学基金资助项目(N。.60375002:60573058):北京市教育委员会重点学科共建项目(No,XK100080537) 作者简介：王瑜(1977一)，女，博士研究生；穆志纯(1952一)，男，教授，博士生导师，Emai:mu@ies-ustb.edu-cn
基于核典型相关分析的姿态人耳、人脸多模态识别 王 瑜 穆志纯 徐正光 骆佳佳 北京科技大学信息工程学院北京100083 摘 要 选用在生理位置上具有一定关联性的人耳和人脸作为研究对象针对剧烈的姿态变化会造成融合信息大量缺损的 问题提出了一种基于核典型相关分析的多模态识别方法利用标准化和中心化两种方法对原始数据集进行预处理并用最 近邻方法进行分类识别．实验结果表明核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响且 与单生物特征相比识别率显著提高． 关键词 多模态识别；核典型相关分析；人耳识别；多模态；融合；标准化；中心化 分类号 TP391∙41 Multimodal recognition of posed ear and face based on kernel canonical correlation analysis W A NG Y uMU ZhichunXU ZhengguangLUO Jiajia School of Information EngineeringUniversity of Science and Technology BeijingBeijing100083China ABSTRACT Using the ear and face possessing of special physiological correlation under the same pose condition as the research objecta multimodal recognition method based on kernel canonical correlation analysis （KCCA） was proposed to solve the problem of information loss resulted from sharp pose change．In the methodthe normalization and centering methods were used to preprocess ear and face datasets and the nearest neighbor method was used to classify．Experimental results show that KCCA can availably overcome the effect of sharp pose change．Compared with the single biometricthe recognition rate improves remarkably． KEY WORDS multimodal recognition；kernel canonical correlation analysis （KCCA）；ear recognition；multimodal；fusion；normalization；centering 收稿日期：2007-09-02 修回日期：2007-11-26 基金项目：国家自然科学基金资助项目（No．60375002；60573058）；北京市教育委员会重点学科共建项目（No．XK100080537） 作者简介：王 瑜（1977—）女博士研究生；穆志纯（1952—）男教授博士生导师E-mail：mu＠ies．ustb．edu．cn 单一的生物特征识别系统通常会受到噪声的影 响、自由度的限制、生物特征的非普遍性以及无法接 受的误差干扰等等［1］．利用多种生物特征进行身份 鉴别可以有效地克服甚至消除这些弊端是未来生 物特征识别领域的必然趋势．人耳识别是近年来新 兴起的一种生物特征识别技术虽然起步较晚但与 人脸识别相比它不受表情、年龄、心理、化妆等因素 的影响因而具有广阔的理论研究价值和实际应用 前景．人脸识别是生物特征识别领域中三大主流技 术（人脸、虹膜和指纹）之一具有扎实的理论基础和 丰富的实践经验侧面人脸虽然不如正面人脸信息 丰富但却是人脸识别的重要补充．人耳在人脸的 侧面这种特殊的生理位置决定了可以将它们融合 在一起在没有提供正面人脸的情况下利用信息互 补来进行身份鉴别． 本文在这种思想的启发下以人耳为主特征以 侧面人脸为辅助特征探讨利用人耳和人脸进行多 模态识别的有效性和可行性．目前用于人耳识别的 方法很多按照所提取的特征来划分可以归纳为两 大类：一类是基于几何特征的方法这类方法通过寻 找人耳轮廓和内部结构的关键点构建几何特 征［2—3］；一类是基于代数特征的方法如主元分析 法［4］等．虽然这些方法都取得了满意的效果但都 是基于无姿态变化或小姿态变化的条件下进行研究 的一旦在大角度姿态背景下这些可靠有效的技巧 便会表现得非常不稳定有时甚至会完全失效．剧 第30卷 第10期 2008年 10月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．30No．10 Oct．2008 DOI:10．13374／j．issn1001－053x．2008．10．021
第10期 王瑜等：基于核典型相关分析的姿态人耳、人脸多模态识别 .1201 烈的姿态变化使人耳信息大量缺损，而信息融合的 对式(4)利用Lagrange乘数法，取函数： 效果在很大程度上依赖于所融合的信息表达得是否 L(a,B,入a,3)= 真实、准确和完整]，因此姿态问题成为人耳和人 脸多模态识别无法回避的课题 aK.k,B-(q'Ka-1)(BKB-1) 本文在研究2D图像的基础上，提出将核典型 (5) 相关分析(kernel canonical correlation analysis, 式中，入.和3为Lagrange乘数.将该函数对a和B KCCA)方法应用于带有姿态的人耳和人脸图像，利 分别求偏导并令其为零，利用式(4)的约束条件可以 用同一姿态下人耳与人脸在生理位置上特殊的关联 得到入=3，这里为了推导方便统一用入表示，则 性，找到两种生物特征相关性最大的投影方向并用 可以得到： 于最终识别，由于该方法同时利用人耳和人脸的有 K:K,B-Kq=0 (6) 效关联信息，因而与单生物特征相比，可以更加有效 K,K:a-K2B=0 (7) 地克服姿态和噪声的影响，另外，Ross和Jain认 为]，生物特征融合的层次越早，识别效果提高得 因为K和K?均为正定阵，由式(6)和式(7) 就越显著，因此本文采取在数据层进行融合，然后 可推得： 用最近邻方法进行分类识别 (K)KK(K3)K,Ka=2a (8) (K)KK(KKK,B=2B (9) 1核典型相关分析(KCCA) 记 为了比较KCCA方法的有效性，本文采用典型 M,=(K2)-1KK,(K)-1K,Kx, 相关分析(CCA)和KCCA两种方法对人耳和人脸 M.=(K)-1K,K(K2)KK, 数据集进行融合，由于CCA方法比较简单，所以这 为了给出满足式(4)的求解，令8] 里只介绍KCCA的基本原理. G=(K1Kk,(KKK (K-1/2 KCCA[]是利用两个非线性映射Φ和亚将原 (10) 始随机矢量空间x:和y:映射到高维空间F和F, G=(K)1/K,K(K)KK,(K)1 映射后的数据集为（Φ(x),平(y:)是1，n为样本 (11) 个数，高维空间的基向量对(w哈x,w,)(k=1,2, 由矩阵的有关理论不难得到，My与G1,Mx与 …,r)用下式表示： 6.空x)=)a G?分别具有相同的非零本征值，再令H= (1) (K)-1/2 KKy (K3)12 G=HH,G2= 吃，=之)=(y)B HH.对矩阵H应用奇异值分解理论： (2) 这里为了推导方便，假设(X)=[(x1), H启Ai=amk(K.K) (x2),…,(xn)],Ψ(Y)=[业(y1),Ψ(y2),…, 其中，，…，2是G1与G2的所有非零本征值， Ψ(y)]均值都为0.a-[,g,,an]T,B=[B, 4和%(k=1,2,,r)分别为G与G2对应于非 B,…,B]P表示特征空间中的系数向量，同CCA 零本征值是的单位正交本征向量，则My与Mx 方法一样，KCCA方法也需要求取投影函数 对应于的本征向量为： w,(X)Ψ(Y)Pwg.,的最大值，将式(1)和式(2) a4=(K)24,B=(K)1/2p4 带入可以得到： (12) a(x)TΦ(X)Ψ(Y)IΨ(Y)B (k=1,2,…,r) (3) ,和B求出后，对于任意样本x,只需在高维 对式（③）中出现的内积形式应用核技巧，定义 K,K,∈RXA,且(K)可=Φ(x:)Φ(x), 空间F,中计算其映射后①(x)在基向量w,x上的 (K,)=业(y:)平(y),则KCCA可以转换成下面 投影值： 形式的优化问题： ma aKKB (dr-空k)) 将①(x)在所有基向量w,(k=1,…,m)上 s.t.a KK,a=1 (4) 的投影值形成一个列向量z:=(,经，…，)， BT K,K,B=1 作为任意样本图像x的特征列向量.同理，可以求
烈的姿态变化使人耳信息大量缺损而信息融合的 效果在很大程度上依赖于所融合的信息表达得是否 真实、准确和完整［5］因此姿态问题成为人耳和人 脸多模态识别无法回避的课题． 本文在研究2D 图像的基础上提出将核典型 相 关 分 析 （ kernel canonical correlation analysis KCCA）方法应用于带有姿态的人耳和人脸图像利 用同一姿态下人耳与人脸在生理位置上特殊的关联 性找到两种生物特征相关性最大的投影方向并用 于最终识别．由于该方法同时利用人耳和人脸的有 效关联信息因而与单生物特征相比可以更加有效 地克服姿态和噪声的影响．另外Ross 和 Jain 认 为［6］生物特征融合的层次越早识别效果提高得 就越显著．因此本文采取在数据层进行融合然后 用最近邻方法进行分类识别． 1 核典型相关分析（KCCA） 为了比较 KCCA 方法的有效性本文采用典型 相关分析（CCA）和 KCCA 两种方法对人耳和人脸 数据集进行融合由于 CCA 方法比较简单所以这 里只介绍 KCCA 的基本原理． KCCA ［7］是利用两个非线性映射 Φ和 Ψ 将原 始随机矢量空间 xi 和 yi 映射到高维空间 Fx 和 Fy 映射后的数据集为｛（Φ（ xi）Ψ（ yi））｝n i＝1n 为样本 个数高维空间的基向量对（w k Φxw k Ψy）（ k＝12 …r）用下式表示： w k Φx＝ ∑ n i＝1 αiΦ（ xi）＝Φ（X）α （1） w k Ψy＝ ∑ n i＝1 βiΨ（yi）＝Ψ（ Y）β （2） 这 里 为 了 推 导 方 便假 设 Φ（X）＝ ［Φ（ x1） Φ（ x2）…Φ（ xn）］Ψ（ Y）＝［ Ψ（ y1）Ψ（ y2）… Ψ（yn）］均值都为0．α＝［α1α2…αn ］ Tβ＝［β1 β2…βn ］ T 表示特征空间中的系数向量．同 CCA 方法 一 样KCCA 方 法 也 需 要 求 取 投 影 函 数 w T ΦxΦ（X）Ψ（ Y） T wΨy的最大值将式（1）和式（2） 带入可以得到： α TΦ（X） TΦ（X）Ψ（ Y） T Ψ（ Y）β （3） 对式（3）中出现的内积形式应用核技巧定义 KxKy ∈ R n× n且 （ Kx ）ij ＝ Φ（ xi ） TΦ（ xj ） （ Ky）ij＝Ψ（yi） T Ψ（ yj）则 KCCA 可以转换成下面 形式的优化问题： max αβ α T KxKyβ s．t．α T KxKxα＝1 β T KyKyβ＝1 （4） 对式（4）利用 Lagrange 乘数法取函数： L （αβλαλβ）＝ α T KxKyβ— λα 2 （α T K 2 xα—1）— λβ 2 （β T K 2 yβ—1） （5） 式中λα和λβ为 Lagrange 乘数．将该函数对 α和β 分别求偏导并令其为零利用式（4）的约束条件可以 得到 λα＝λβ这里为了推导方便统一用 λ表示则 可以得到： KxKyβ—λK 2 xα＝0 （6） KyKxα—λK 2 yβ＝0 （7） 因为 K 2 x 和 K 2 y 均为正定阵由式（6）和式（7） 可推得： （ K 2 x） —1KxKy（ K 2 y） —1KyKxα＝λ2α （8） （ K 2 y） —1KyKx（ K 2 x） —1KxKyβ＝λ2β （9） 记 Mxy＝（ K 2 x） —1KxKy（ K 2 y） —1KyKx Myx＝（ K 2 y） —1KyKx（ K 2 x） —1KxKy． 为了给出满足式（4）的求解令［8］ G1＝（ K 2 x） —1／2KxKy（ K 2 y） —1KyKx（ K 2 x） —1／2 （10） G2＝（ K 2 y） —1／2KyKx（ K 2 x） —1KxKy（ K 2 y） —1／2 （11） 由矩阵的有关理论不难得到Mxy与 G1Myx与 G2 分 别 具 有 相 同 的 非 零 本 征 值．再 令 H ＝ （ K 2 x ） —1／2 KxKy （ K 2 y ） —1／2则 G1 ＝ HH TG2 ＝ H T H．对矩阵 H 应用奇异值分解理论： H＝ ∑ r k＝1 λkukv T kr＝rank（ KxKy）． 其中 λ2 1λ2 2…λ2 r 是 G1 与 G2 的所有非零本征值 uk 和 vk（ k＝12…r）分别为 G1 与 G2 对应于非 零本征值 λ2 k 的单位正交本征向量．则 Mxy与 Myx 对应于λ2 k 的本征向量为： αk＝（ K 2 x） —1／2 ukβk＝（ K 2 y） —1／2 vk （ k＝12…r） （12） αk 和βk 求出后对于任意样本 x只需在高维 空间 Fx 中计算其映射后Φ（ x）在基向量 w k Φx上的 投影值： z k x＝（w k Φx） TΦ（ x）＝ ∑ N i＝1 αiKx（ xix） （13） 将 Φ（ x）在所有基向量 w k Φx （ k＝1…m）上 的投影值形成一个列向量 z x ＝（ z 1 xz 2 x…z m x ） T 作为任意样本图像 x 的特征列向量．同理可以求 第10期 王 瑜等： 基于核典型相关分析的姿态人耳、人脸多模态识别 ·1201·
.1202. 北京科技大学学报 第30卷 出样本y映射后Ψ(y)在基向量，上的投影列向 邻规则”的分类方法就是把点z分为z所属的类 量y=(,z子，，)，由x和zy组成的列向量 别.在设计最近邻分类器时，需要一个衡量模式（样 z=[zx十zy]为任意样本x和y的融合特征列向量， 本)之间距离的度量函数，但是距离的概念本身要广 实验过程中，将同一人的人耳图像作为KCCA 义得多，有很多种类的距离度量方式，例如 中原始随机矢量空间x,人脸图像作为原始随机矢 Minkowski距离、Tanimoto距离和切空间距离.本 量空间y:,经过上述过程可以得到融合特征列向量 文使用了d维空间中的“欧几里德距离o], z(=1,2,,n,为样本个数)，由z:组成的集合为 d=min(-zi)(z-zi)'ziEDN (16) 人耳、人脸的融合特征集Z={x1,z2,…,zm}, 4实验结果 2融合前的预处理 4.1数据库及实验步骤 2.1标准化 本文实验中所应用的人耳、人脸图像是自建的 由于参与融合的两个数据集x与y可能存在量 USTB彩色图像库三中的图像，共79人，其中选用 纲选择的不同或是各个分量差异较大，不利于相关 了侧面0°，向右旋转5°、20°、35°和45°五种姿态情 特征的抽取，为了消除其在数值上或量纲上的非均 况，每种情况2幅图像，且人耳和人脸为同一姿态下 衡性带来的不利影响，在特征组合之前，可先对两组 的图像经手动分割得到，如图1所示，实验过程中 数据集分别作如下的标准化预处理8]： 统一将人耳图像归一化为31×58像素，人脸图像归 x=丛，y= 一化为32×51像素，实验过程中将侧面(0)人耳 (14) 和人脸图像(79×2=158幅)利用KCCA方法作训 其中，"=E(x)与，=E(y)分别为样本的均值向 练，找到相关性最大的投影方向，然后将5°、20°、35° 量；ō.与6，分别为样本的标准差向量在各个分量上 和45的人耳和人脸图像（共79×2×4=632幅）分 的均值 别作测试，并用最近邻方法进行分类识别， 2.2中心化 KCCA实际上是对映射后的数据集使用传统的 CCA方法，然而在映射后的高维空间F,和F,中， 很难保证CCA方法的假设条件 ④(x:)=0和 ∑(y)=0,但是对于任意映射④和一组样本 图1人耳和人脸图像实例（从左至右：0°.520°.35°和45） Fig.I Examples of ear and face images (from left to right:0.5, 1…()=(x)一(/m）空(x)却 20°，35，and45) 具体实验步骤如下（这里为了叙述方便，仅以 满足假设条件，定义映射后特征空间核函数X:= 5的人耳和人脸图像为例进行说明，20°、35°和45° (Φ(x),(y),1=1,(1n)=1/n,则有： 方法相同)： 1 (x)一n ∑(x,) 第一步将79人的侧面(0)人耳图像组成数 据集Ar=(x11,x12,…,xn1,xn2),F表示0°图像， (x)= x1,x2(=1,2,…,79)分别为第i个人的两幅图 (K-LmK-KIm十InKIm)i (15) 像，且均为列向量，由每幅图像中第一列像素至最后 其中，K为原始数据集未经映射的核函数，同理对 一列像素首尾相接组成，同理，这79人的5°人耳图 像、侧面(0)人脸图像和5°人脸图像可以分别组成 于映射平和样本y1,y2,,yn也是如此 数据集Ar,Ae,Ae,P表示带有姿态角度的图 3分类器设计 像 在模式识别中，最近邻无疑是一种简单、易行的 第二步将A{r、Ar、A和A利用式(14) 好方法，令DN={z1,…,zx},其中每一个样本z: 进行融合前的标准化预处理，分别得到(A)、 所属的类别均已知（已标记），对于测试样本点z, （(Ar)'、(A-)'和(Ae)',再选用合适的核函数类 在集合D中距离它最近的点记为z,那么，“最近 型，求得核函数Kar、Kr、Ke和Ke,并利用式
出样本 y 映射后Ψ（y）在基向量 w k Ψy上的投影列向 量 z y＝（ z 1 yz 2 y…z m y ） T由 z x 和 z y 组成的列向量 z＝［ z x＋z y ］为任意样本 x 和 y 的融合特征列向量． 实验过程中将同一人的人耳图像作为 KCCA 中原始随机矢量空间 xi人脸图像作为原始随机矢 量空间 yi经过上述过程可以得到融合特征列向量 zi（ i＝12…n为样本个数）由 zi 组成的集合为 人耳、人脸的融合特征集 Z＝｛z1z2…z n｝． 2 融合前的预处理 2∙1 标准化 由于参与融合的两个数据集 x 与y 可能存在量 纲选择的不同或是各个分量差异较大不利于相关 特征的抽取．为了消除其在数值上或量纲上的非均 衡性带来的不利影响在特征组合之前可先对两组 数据集分别作如下的标准化预处理［8］： x ∗＝ x—μx σx y ∗＝ y—μy σy （14） 其中μx＝ E（ x）与 μy＝ E（y）分别为样本的均值向 量；σx 与σy 分别为样本的标准差向量在各个分量上 的均值． 2∙2 中心化 KCCA 实际上是对映射后的数据集使用传统的 CCA 方法然而在映射后的高维空间 Fx 和 Fy 中 很难保证 CCA 方法的假设条件 ∑ n i＝1 Φ（ xi）＝0和 ∑ n i＝1 Ψ（ yi）＝0但是对于任意映射 Φ和一组样本 x1x2…xnΦ ～ （ xi）＝Φ（ xi）—（1／n） ∑ n i＝1 Φ（ xi）却 满足假设条件定义映射后特征空间核函数 K ～ ij ＝ （Φ ～ （ xi）Φ ～ （ xj））Iij＝1（ In）ij＝1／n则有［9］： K ～ ij＝ Φ（ xi）— 1 n ∑ n p＝1 Φ（ xp） Φ（ xj）— 1 n ∑ n q＝1 Φ（ xq） ＝ （ K— Im K— KIm＋ Im KIm）ij （15） 其中K 为原始数据集未经映射的核函数同理对 于映射 Ψ和样本 y1y2…yn 也是如此． 3 分类器设计 在模式识别中最近邻无疑是一种简单、易行的 好方法．令 D N＝｛z1…z N｝其中每一个样本 zi 所属的类别均已知（已标记）．对于测试样本点 z 在集合 D N 中距离它最近的点记为 z′．那么“最近 邻规则”的分类方法就是把点 z 分为 z′所属的类 别．在设计最近邻分类器时需要一个衡量模式（样 本）之间距离的度量函数但是距离的概念本身要广 义得 多有 很 多 种 类 的 距 离 度 量 方 式例 如 Minkowski 距离、Tanimoto 距离和切空间距离．本 文使用了 d 维空间中的“欧几里德距离” ［10］： d＝min （ z—zi）（ z—zi）′ zi∈ D N （16） 4 实验结果 4∙1 数据库及实验步骤 本文实验中所应用的人耳、人脸图像是自建的 USTB 彩色图像库三中的图像共79人其中选用 了侧面0°向右旋转5°、20°、35°和45°五种姿态情 况每种情况2幅图像且人耳和人脸为同一姿态下 的图像经手动分割得到如图1所示．实验过程中 统一将人耳图像归一化为31×58像素人脸图像归 一化为32×51像素．实验过程中将侧面（0°）人耳 和人脸图像（79×2＝158幅）利用 KCCA 方法作训 练找到相关性最大的投影方向然后将5°、20°、35° 和45°的人耳和人脸图像（共79×2×4＝632幅）分 别作测试并用最近邻方法进行分类识别． 图1 人耳和人脸图像实例（从左至右：0°、5°、20°、35°和45°） Fig．1 Examples of ear and face images （from left to right：0°5° 20°35°and45°） 具体实验步骤如下（这里为了叙述方便仅以 5°的人耳和人脸图像为例进行说明20°、35°和45° 方法相同）： 第一步 将79人的侧面（0°）人耳图像组成数 据集 A F ear＝（ x11x12…xn1xn2）F 表示0°图像 xi1xi2（ i＝12…79）分别为第 i 个人的两幅图 像且均为列向量由每幅图像中第一列像素至最后 一列像素首尾相接组成．同理这79人的5°人耳图 像、侧面（0°）人脸图像和5°人脸图像可以分别组成 数据集 A P earA F faceA P faceP 表示带有姿态角度的图 像． 第二步 将 A F ear、A P ear、A F face和 A P face利用式（14） 进行融合前的标准化预处理分别得到（ A F ear ）′、 （ A P ear）′、（ A F face）′和（ A P face）′再选用合适的核函数类 型求得核函数 K F ear、K P ear、K F face和 K P face并利用式 ·1202· 北 京 科 技 大 学 学 报 第30卷
第10期 王瑜等：基于核典型相关分析的姿态人耳、人脸多模态识别 ,1203 (15)进行中心化预处理，分别得到、、 使用KCCA方法时对原始数据集进行了标准化和 和Ke' 中心化预处理，实验结果如图2所示 第三步将K和K利用式(12)求出a4和 1.0 图人耳+KPCA 四人脸+KPCA B,并利用式(13)求出融合特征集Z(0°)，将 0.8 ☒CCA 目KCCA 和利用已经求得的a和B及式(13)求出融 合特征集Z(5),最后利用最近邻方法进行分类 0.6 目 识别， 4.2实验结果 为了比较KCCA方法应用在人耳和人脸两种 0.2 生物特征上的有效性，本文利用主元分析(PCA)和 核主元分析(KPCA)方法分别测试了人耳和人脸单 20 35 45 生物特征的识别效果，且所有方法均选用了158个 角度() 基向量，KPCA和KCCA的核函数选用了Gaussian 图2单生物特征与多生物特征识别率比较 核函数，即k(xi,x)=exp ‖x一 具体 Fig.2 Comparison of the recognition rates of single biometric and 2 multimodal biometrics 识别结果如表1所示， 从图2中可以看出，当使用CCA方法时，如果 表1人耳、人脸识别率比较 单生物特征数据集的质量相差悬殊，就会在很大程 Table 1 Comparison of the recognition rates of ear and face 度上影响最终的融合识别结果：在5°、20°和35°时， 识别率/% 方法 人耳和人脸识别率差异超过37%，导致融合后均略 5° 20° 35 45° 差于单独测试人耳时的识别率，但却明显高于单独 人耳十PCA 84.81 21.52 8.86 4.43 测试人脸时的识别率：但在45°时，虽然两者识别率 人耳十KPCA 98.10 82.58 43.04 24.68 都不理想，但是由于相差较小，只有9%，所以融合 人脸十PCA 22.78 8.86 5.70 9.49 后识别结果达到了38%，明显高于单独测试人耳和 人脸十KPCA 36.71 13.29 6.96 15.19 人脸时的识别率（分别为25%和15%）.而采用 KCCA方法时，识别结果却不受两种数据集质量相 从表1显示的识别率可以看出：(1)无论是人 差悬殊的影响，融合后识别率均明显高于单生物特 耳还是人脸，KPCA方法的识别率都要高于PCA方 征，尤其是在大角度姿态旋转下，优势更加显著(45° 法，这是因为PCA方法提取特征时只考虑了图像数 时可达到60%) 据中的二阶统计信息，而KPCA方法能够充分考虑 此外，本文还以时间为度量指标，比较了PCA、 输入数据的高阶非线性统计信息，因此能够取得更 KPCA、CCA和KCCA等方法的计算量大小，具体运 好的识别效果，(2)不管使用何种方法，识别率都 算结果如表2所示，从表2显示的数据可以看出： 会随着人头图像旋转角度的增加而降低，人脸在旋 对于单生物特征来说，PCA和KPCA两种方法所用 转45°时识别率之所以会提高，是因为随着角度的 的时间相差无几，但由于人脸比人耳信息丰富，所以 增加，人脸信息也不断增加， 表2计算时间比较 另外，表1中的数据还显示，人脸识别率普遍较 Table 2 Comparison of computing time 低，主要原因是人脸图像存在严重的遮挡和表情变 计算时间/s 化，经过统计，79人中有42人带眼镜，7人严重表 方法 5° 20° 35° 45° 情变化，24人轻微表情变化，但只有2人带有耳环 人耳十PCA 14 13 13 14 另外，人耳识别是用信息最丰富的侧面人耳作训练， 人耳十KPCA 18 12 12 13 而人脸识别是用信息最贫乏的侧面人脸作训练，因 人脸十PCA 46 49 49 56 此人脸的识别结果远不如人耳， 人脸十KPCA 44 47 50 56 为了测试多模态方法的效果，本文用CCA和 CCA 397 421 431 440 KCCA两种方法对人耳和人脸数据集进行融合，使 KCCA 58 61 62 68 用CCA方法时对原始数据集进行了标准化预处理
（15）进行中心化预处理分别得到 K ～ F ear、K ～ P ear、K ～ F face 和 K ～ P face． 第三步 将 K ～ F ear和 K ～ F face利用式（12）求出 αk 和 βk并利用式（13）求出融合特征集 Z F （0°）将 K ～ P ear 和 K ～ P face利用已经求得的 αk 和βk 及式（13）求出融 合特征集 Z P （5°）最后利用最近邻方法进行分类 识别． 4∙2 实验结果 为了比较 KCCA 方法应用在人耳和人脸两种 生物特征上的有效性本文利用主元分析（PCA）和 核主元分析（KPCA）方法分别测试了人耳和人脸单 生物特征的识别效果且所有方法均选用了158个 基向量KPCA 和 KCCA 的核函数选用了 Gaussian 核函数即 k（ xixj）＝exp — ‖xi—xj‖2 2σ2 ．具体 识别结果如表1所示． 表1 人耳、人脸识别率比较 Table1 Comparison of the recognition rates of ear and face 方法 识别率／％ 5° 20° 35° 45° 人耳＋PCA 84∙81 21∙52 8∙86 4∙43 人耳＋KPCA 98∙10 82∙58 43∙04 24∙68 人脸＋PCA 22∙78 8∙86 5∙70 9∙49 人脸＋KPCA 36∙71 13∙29 6∙96 15∙19 从表1显示的识别率可以看出：（1） 无论是人 耳还是人脸KPCA 方法的识别率都要高于 PCA 方 法这是因为 PCA 方法提取特征时只考虑了图像数 据中的二阶统计信息而 KPCA 方法能够充分考虑 输入数据的高阶非线性统计信息因此能够取得更 好的识别效果．（2） 不管使用何种方法识别率都 会随着人头图像旋转角度的增加而降低人脸在旋 转45°时识别率之所以会提高是因为随着角度的 增加人脸信息也不断增加． 另外表1中的数据还显示人脸识别率普遍较 低主要原因是人脸图像存在严重的遮挡和表情变 化．经过统计79人中有42人带眼镜7人严重表 情变化24人轻微表情变化但只有2人带有耳环． 另外人耳识别是用信息最丰富的侧面人耳作训练 而人脸识别是用信息最贫乏的侧面人脸作训练因 此人脸的识别结果远不如人耳． 为了测试多模态方法的效果本文用 CCA 和 KCCA 两种方法对人耳和人脸数据集进行融合使 用 CCA 方法时对原始数据集进行了标准化预处理 使用 KCCA 方法时对原始数据集进行了标准化和 中心化预处理实验结果如图2所示． 图2 单生物特征与多生物特征识别率比较 Fig．2 Comparison of the recognition rates of single biometric and multimodal biometrics 从图2中可以看出当使用 CCA 方法时如果 单生物特征数据集的质量相差悬殊就会在很大程 度上影响最终的融合识别结果：在5°、20°和35°时 人耳和人脸识别率差异超过37％导致融合后均略 差于单独测试人耳时的识别率但却明显高于单独 测试人脸时的识别率；但在45°时虽然两者识别率 都不理想但是由于相差较小只有9％所以融合 后识别结果达到了38％明显高于单独测试人耳和 人脸时的识别率（分别为25％和15％）．而采用 KCCA 方法时识别结果却不受两种数据集质量相 差悬殊的影响融合后识别率均明显高于单生物特 征尤其是在大角度姿态旋转下优势更加显著（45° 时可达到60％）． 此外本文还以时间为度量指标比较了 PCA、 KPCA、CCA 和 KCCA 等方法的计算量大小具体运 算结果如表2所示．从表2显示的数据可以看出： 对于单生物特征来说PCA 和 KPCA 两种方法所用 的时间相差无几但由于人脸比人耳信息丰富所以 表2 计算时间比较 Table2 Comparison of computing time 方法 计算时间／s 5° 20° 35° 45° 人耳＋PCA 14 13 13 14 人耳＋KPCA 18 12 12 13 人脸＋PCA 46 49 49 56 人脸＋KPCA 44 47 50 56 CCA 397 421 431 440 KCCA 58 61 62 68 第10期 王 瑜等： 基于核典型相关分析的姿态人耳、人脸多模态识别 ·1203·
.1204 北京科技大学学报 第30卷 使用的时间较人耳长；CCA和KCCA融合方法由于 20(5/6):311 同时计算两种生物特征，所以使用的时间较单生物 [4]Chang K.Bowyer K W.Sarkar S,et al.Comparison and combi- nation of ear and face images in appearance-based biometrics. 特征长，尤其是CCA方法，大约是单生物特征的9~ IEEE Trans Pattern Anal Mach Intell.2003.25(9):1160 35倍：而本文提出的方法在识别率最优的情况下最 [5]Rogova GL.Nimier V.Reliability in information fusion:litera- 多比人脸多用14s,可见其计算量是非常少的 ture survey//Proceedings of the 7th International Conference on Information Fusion.Stockholm:2004:1158 5结论 [6]Arun R.Anil K J.Multimodal biometrics:an overview /Pro 本文提出用KCCA方法对带有姿态的人耳和 ceedings of 12th European Signal Processing Conference.Vien na,2004,1221 人脸两种生物特征在数据层进行融合，利用其在生 [7]Sun T K.Chen SC.Locality preserving CCA with applications to 理位置上特殊的关联性来克服姿态对人耳、人脸识 data visualization and pose estimation.Image Vision Comput, 别所带来的影响，并用标准化和中心化两种方法对 2007,25(5):531 人耳和人脸数据集进行预处理.实验结果表明，利 [8]Sun QS,Zeng S G.Yang M L:et al.Combined feature extrac- 用本文提出的方法可以在耗时少的情况下有效地克 tion based on canonical correlation analysis and face recognition.J Comput Res Dev.2005,42(4):614 服姿态对识别结果的影响，尤其是在大角度姿态变 (孙权森，曾生根，杨茂龙，等。基于典型相关分析的组合特征 化下，效果更加显著 抽取及脸像鉴别.计算机研究与发展，2005,42(4)：614) [9]Yuan L,Mu Z C.Liu L M.Ear recognition based on Kernel 参考文献 principal component analysis and support vector machine.Univ [1]Arun R.Anil J.Information fusion in biometrics.Pattern Recog- Sci Technol Beijing.2006.28(9):890 nit Lett,2003,24(13):2115 (袁立，穆志纯，刘垒明，基于核主元分析法和支持向量机的 [2]Burge M J.Burger W.Using ear biometrics for passive identifica- 人耳识别.北京科技大学学报，2006,28(9)：890) tion /Proceedings of the 14th International Information Secu- [10]Duda O R.Hart E P,Stork G D.Pattern Classification.Bei- rity Conference.Vienna,1998:139 jing:China Machine Press.2003 [3]Hurley JD.Nixon S M.Carter N J.Force field energy function- (Duda O R,Hart E P,Stork G D.模式分类.北京：机械工 als for image feature extraction.Image Vision Comput,2002. 业出版社，2003)
使用的时间较人耳长；CCA 和 KCCA 融合方法由于 同时计算两种生物特征所以使用的时间较单生物 特征长尤其是 CCA 方法大约是单生物特征的9～ 35倍；而本文提出的方法在识别率最优的情况下最 多比人脸多用14s可见其计算量是非常少的． 5 结论 本文提出用 KCCA 方法对带有姿态的人耳和 人脸两种生物特征在数据层进行融合利用其在生 理位置上特殊的关联性来克服姿态对人耳、人脸识 别所带来的影响并用标准化和中心化两种方法对 人耳和人脸数据集进行预处理．实验结果表明利 用本文提出的方法可以在耗时少的情况下有效地克 服姿态对识别结果的影响尤其是在大角度姿态变 化下效果更加显著． 参 考 文 献 ［1］ Arun RAnil J．Information fusion in biometrics．Pattern Recognit Lett200324（13）：2115 ［2］ Burge M JBurger W．Using ear biometrics for passive identification ∥ Proceedings of the 14th International Information Security Conference．Vienna1998：139 ［3］ Hurley J DNixon S MCarter N J．Force field energy functionals for image feature extraction．Image V ision Comput2002 20（5／6）：311 ［4］ Chang KBowyer K WSarkar Set al．Comparison and combination of ear and face images in appearance-based biometrics． IEEE T rans Pattern A nal Mach Intell200325（9）：1160 ［5］ Rogova G LNimier V．Reliability in information fusion：literature survey∥ Proceedings of the7th International Conference on Information Fusion．Stockholm2004：1158 ［6］ Arun RAnil K J．Multimodal biometrics：an overview ∥ Proceedings of 12th European Signal Processing Conference．Vienna2004：1221 ［7］ Sun T KChen S C．Locality preserving CCA with applications to data visualization and pose estimation． Image V ision Comput 200725（5）：531 ［8］ Sun Q SZeng S GYang M Let al．Combined feature extraction based on canonical correlation analysis and face recognition．J Comput Res Dev200542（4）：614 （孙权森曾生根杨茂龙等．基于典型相关分析的组合特征 抽取及脸像鉴别．计算机研究与发展200542（4）：614） ［9］ Yuan LMu Z CLiu L M．Ear recognition based on Kernel principal component analysis and support vector machine．J Univ Sci Technol Beijing200628（9）：890 （袁立穆志纯刘垒明．基于核主元分析法和支持向量机的 人耳识别．北京科技大学学报200628（9）：890） ［10］ Duda O RHart E PStork G D．Pattern Classification．Beijing：China Machine Press2003 （Duda O RHart E PStork G D．模式分类．北京：机械工 业出版社2003） ·1204· 北 京 科 技 大 学 学 报 第30卷
