正在加载图片...
第10期 王瑜等：基于核典型相关分析的姿态人耳、人脸多模态识别 .1201 烈的姿态变化使人耳信息大量缺损，而信息融合的 对式(4)利用Lagrange乘数法，取函数： 效果在很大程度上依赖于所融合的信息表达得是否 L(a,B,入a,3)= 真实、准确和完整]，因此姿态问题成为人耳和人 脸多模态识别无法回避的课题 aK.k,B-(q'Ka-1)(BKB-1) 本文在研究2D图像的基础上，提出将核典型 (5) 相关分析(kernel canonical correlation analysis, 式中，入.和3为Lagrange乘数.将该函数对a和B KCCA)方法应用于带有姿态的人耳和人脸图像，利 分别求偏导并令其为零，利用式(4)的约束条件可以 用同一姿态下人耳与人脸在生理位置上特殊的关联 得到入=3，这里为了推导方便统一用入表示，则 性，找到两种生物特征相关性最大的投影方向并用 可以得到： 于最终识别，由于该方法同时利用人耳和人脸的有 K:K,B-Kq=0 (6) 效关联信息，因而与单生物特征相比，可以更加有效 K,K:a-K2B=0 (7) 地克服姿态和噪声的影响，另外，Ross和Jain认 为]，生物特征融合的层次越早，识别效果提高得 因为K和K?均为正定阵，由式(6)和式(7) 就越显著，因此本文采取在数据层进行融合，然后 可推得： 用最近邻方法进行分类识别 (K)KK(K3)K,Ka=2a (8) (K)KK(KKK,B=2B (9) 1核典型相关分析(KCCA) 记 为了比较KCCA方法的有效性，本文采用典型 M,=(K2)-1KK,(K)-1K,Kx, 相关分析(CCA)和KCCA两种方法对人耳和人脸 M.=(K)-1K,K(K2)KK, 数据集进行融合，由于CCA方法比较简单，所以这 为了给出满足式(4)的求解，令8] 里只介绍KCCA的基本原理. G=(K1Kk,(KKK (K-1/2 KCCA[]是利用两个非线性映射Φ和亚将原 (10) 始随机矢量空间x:和y:映射到高维空间F和F, G=(K)1/K,K(K)KK,(K)1 映射后的数据集为（Φ(x),平(y:)是1，n为样本 (11) 个数，高维空间的基向量对(w哈x,w,)(k=1,2, 由矩阵的有关理论不难得到，My与G1,Mx与 …,r)用下式表示： 6.空x)=)a G?分别具有相同的非零本征值，再令H= (1) (K)-1/2 KKy (K3)12 G=HH,G2= 吃，=之)=(y)B HH.对矩阵H应用奇异值分解理论： (2) 这里为了推导方便，假设(X)=[(x1), H启Ai=amk(K.K) (x2),…,(xn)],Ψ(Y)=[业(y1),Ψ(y2),…, 其中，，…，2是G1与G2的所有非零本征值， Ψ(y)]均值都为0.a-[,g,,an]T,B=[B, 4和%(k=1,2,,r)分别为G与G2对应于非 B,…,B]P表示特征空间中的系数向量，同CCA 零本征值是的单位正交本征向量，则My与Mx 方法一样，KCCA方法也需要求取投影函数 对应于的本征向量为： w,(X)Ψ(Y)Pwg.,的最大值，将式(1)和式(2) a4=(K)24,B=(K)1/2p4 带入可以得到： (12) a(x)TΦ(X)Ψ(Y)IΨ(Y)B (k=1,2,…,r) (3) ,和B求出后，对于任意样本x,只需在高维 对式（③）中出现的内积形式应用核技巧，定义 K,K,∈RXA,且(K)可=Φ(x:)Φ(x), 空间F,中计算其映射后①(x)在基向量w,x上的 (K,)=业(y:)平(y),则KCCA可以转换成下面 投影值： 形式的优化问题： ma aKKB (dr-空k)) 将①(x)在所有基向量w,(k=1,…,m)上 s.t.a KK,a=1 (4) 的投影值形成一个列向量z:=(,经，…，)， BT K,K,B=1 作为任意样本图像x的特征列向量.同理，可以求烈的姿态变化使人耳信息大量缺损而信息融合的 效果在很大程度上依赖于所融合的信息表达得是否 真实、准确和完整［5］因此姿态问题成为人耳和人 脸多模态识别无法回避的课题． 本文在研究2D 图像的基础上提出将核典型 相 关 分 析 （ kernel canonical correlation analysis KCCA）方法应用于带有姿态的人耳和人脸图像利 用同一姿态下人耳与人脸在生理位置上特殊的关联 性找到两种生物特征相关性最大的投影方向并用 于最终识别．由于该方法同时利用人耳和人脸的有 效关联信息因而与单生物特征相比可以更加有效 地克服姿态和噪声的影响．另外Ross 和 Jain 认 为［6］生物特征融合的层次越早识别效果提高得 就越显著．因此本文采取在数据层进行融合然后 用最近邻方法进行分类识别． 1 核典型相关分析（KCCA） 为了比较 KCCA 方法的有效性本文采用典型 相关分析（CCA）和 KCCA 两种方法对人耳和人脸 数据集进行融合由于 CCA 方法比较简单所以这 里只介绍 KCCA 的基本原理． KCCA ［7］是利用两个非线性映射 Φ和 Ψ 将原 始随机矢量空间 xi 和 yi 映射到高维空间 Fx 和 Fy 映射后的数据集为｛（Φ（ xi）Ψ（ yi））｝n i＝1n 为样本 个数高维空间的基向量对（w k Φxw k Ψy）（ k＝12 …r）用下式表示： w k Φx＝ ∑ n i＝1 αiΦ（ xi）＝Φ（X）α （1） w k Ψy＝ ∑ n i＝1 βiΨ（yi）＝Ψ（ Y）β （2） 这 里 为 了 推 导 方 便假 设 Φ（X）＝ ［Φ（ x1） Φ（ x2）…Φ（ xn）］Ψ（ Y）＝［ Ψ（ y1）Ψ（ y2）… Ψ（yn）］均值都为0．α＝［α1α2…αn ］ Tβ＝［β1 β2…βn ］ T 表示特征空间中的系数向量．同 CCA 方法 一 样KCCA 方 法 也 需 要 求 取 投 影 函 数 w T ΦxΦ（X）Ψ（ Y） T wΨy的最大值将式（1）和式（2） 带入可以得到： α TΦ（X） TΦ（X）Ψ（ Y） T Ψ（ Y）β （3） 对式（3）中出现的内积形式应用核技巧定义 KxKy ∈ R n× n且 （ Kx ）ij ＝ Φ（ xi ） TΦ（ xj ） （ Ky）ij＝Ψ（yi） T Ψ（ yj）则 KCCA 可以转换成下面 形式的优化问题： max αβ α T KxKyβ s．t．α T KxKxα＝1 β T KyKyβ＝1 （4） 对式（4）利用 Lagrange 乘数法取函数： L （αβλαλβ）＝ α T KxKyβ— λα 2 （α T K 2 xα—1）— λβ 2 （β T K 2 yβ—1） （5） 式中λα和λβ为 Lagrange 乘数．将该函数对 α和β 分别求偏导并令其为零利用式（4）的约束条件可以 得到 λα＝λβ这里为了推导方便统一用 λ表示则 可以得到： KxKyβ—λK 2 xα＝0 （6） KyKxα—λK 2 yβ＝0 （7） 因为 K 2 x 和 K 2 y 均为正定阵由式（6）和式（7） 可推得： （ K 2 x） —1KxKy（ K 2 y） —1KyKxα＝λ2α （8） （ K 2 y） —1KyKx（ K 2 x） —1KxKyβ＝λ2β （9） 记 Mxy＝（ K 2 x） —1KxKy（ K 2 y） —1KyKx Myx＝（ K 2 y） —1KyKx（ K 2 x） —1KxKy． 为了给出满足式（4）的求解令［8］ G1＝（ K 2 x） —1／2KxKy（ K 2 y） —1KyKx（ K 2 x） —1／2 （10） G2＝（ K 2 y） —1／2KyKx（ K 2 x） —1KxKy（ K 2 y） —1／2 （11） 由矩阵的有关理论不难得到Mxy与 G1Myx与 G2 分 别 具 有 相 同 的 非 零 本 征 值．再 令 H ＝ （ K 2 x ） —1／2 KxKy （ K 2 y ） —1／2则 G1 ＝ HH TG2 ＝ H T H．对矩阵 H 应用奇异值分解理论： H＝ ∑ r k＝1 λkukv T kr＝rank（ KxKy）． 其中 λ2 1λ2 2…λ2 r 是 G1 与 G2 的所有非零本征值 uk 和 vk（ k＝12…r）分别为 G1 与 G2 对应于非 零本征值 λ2 k 的单位正交本征向量．则 Mxy与 Myx 对应于λ2 k 的本征向量为： αk＝（ K 2 x） —1／2 ukβk＝（ K 2 y） —1／2 vk （ k＝12…r） （12） αk 和βk 求出后对于任意样本 x只需在高维 空间 Fx 中计算其映射后Φ（ x）在基向量 w k Φx上的 投影值： z k x＝（w k Φx） TΦ（ x）＝ ∑ N i＝1 αiKx（ xix） （13） 将 Φ（ x）在所有基向量 w k Φx （ k＝1…m）上 的投影值形成一个列向量 z x ＝（ z 1 xz 2 x…z m x ） T 作为任意样本图像 x 的特征列向量．同理可以求 第10期 王 瑜等： 基于核典型相关分析的姿态人耳、人脸多模态识别 ·1201·