第10期 王瑜等:基于核典型相关分析的姿态人耳、人脸多模态识别 .1201 烈的姿态变化使人耳信息大量缺损,而信息融合的 对式(4)利用Lagrange乘数法,取函数: 效果在很大程度上依赖于所融合的信息表达得是否 L(a,B,入a,3)= 真实、准确和完整],因此姿态问题成为人耳和人 脸多模态识别无法回避的课题 aK.k,B-(q'Ka-1)(BKB-1) 本文在研究2D图像的基础上,提出将核典型 (5) 相关分析(kernel canonical correlation analysis, 式中,入.和3为Lagrange乘数.将该函数对a和B KCCA)方法应用于带有姿态的人耳和人脸图像,利 分别求偏导并令其为零,利用式(4)的约束条件可以 用同一姿态下人耳与人脸在生理位置上特殊的关联 得到入=3,这里为了推导方便统一用入表示,则 性,找到两种生物特征相关性最大的投影方向并用 可以得到: 于最终识别,由于该方法同时利用人耳和人脸的有 K:K,B-Kq=0 (6) 效关联信息,因而与单生物特征相比,可以更加有效 K,K:a-K2B=0 (7) 地克服姿态和噪声的影响,另外,Ross和Jain认 为],生物特征融合的层次越早,识别效果提高得 因为K和K?均为正定阵,由式(6)和式(7) 就越显著,因此本文采取在数据层进行融合,然后 可推得: 用最近邻方法进行分类识别 (K)KK(K3)K,Ka=2a (8) (K)KK(KKK,B=2B (9) 1核典型相关分析(KCCA) 记 为了比较KCCA方法的有效性,本文采用典型 M,=(K2)-1KK,(K)-1K,Kx, 相关分析(CCA)和KCCA两种方法对人耳和人脸 M.=(K)-1K,K(K2)KK, 数据集进行融合,由于CCA方法比较简单,所以这 为了给出满足式(4)的求解,令8] 里只介绍KCCA的基本原理. G=(K1Kk,(KKK (K-1/2 KCCA[]是利用两个非线性映射Φ和亚将原 (10) 始随机矢量空间x:和y:映射到高维空间F和F, G=(K)1/K,K(K)KK,(K)1 映射后的数据集为(Φ(x),平(y:)是1,n为样本 (11) 个数,高维空间的基向量对(w哈x,w,)(k=1,2, 由矩阵的有关理论不难得到,My与G1,Mx与 …,r)用下式表示: 6.空x)=)a G?分别具有相同的非零本征值,再令H= (1) (K)-1/2 KKy (K3)12 G=HH,G2= 吃,=之)=(y)B HH.对矩阵H应用奇异值分解理论: (2) 这里为了推导方便,假设(X)=[(x1), H启Ai=amk(K.K) (x2),…,(xn)],Ψ(Y)=[业(y1),Ψ(y2),…, 其中,,…,2是G1与G2的所有非零本征值, Ψ(y)]均值都为0.a-[,g,,an]T,B=[B, 4和%(k=1,2,,r)分别为G与G2对应于非 B,…,B]P表示特征空间中的系数向量,同CCA 零本征值是的单位正交本征向量,则My与Mx 方法一样,KCCA方法也需要求取投影函数 对应于的本征向量为: w,(X)Ψ(Y)Pwg.,的最大值,将式(1)和式(2) a4=(K)24,B=(K)1/2p4 带入可以得到: (12) a(x)TΦ(X)Ψ(Y)IΨ(Y)B (k=1,2,…,r) (3) ,和B求出后,对于任意样本x,只需在高维 对式(③)中出现的内积形式应用核技巧,定义 K,K,∈RXA,且(K)可=Φ(x:)Φ(x), 空间F,中计算其映射后①(x)在基向量w,x上的 (K,)=业(y:)平(y),则KCCA可以转换成下面 投影值: 形式的优化问题: ma aKKB (dr-空k)) 将①(x)在所有基向量w,(k=1,…,m)上 s.t.a KK,a=1 (4) 的投影值形成一个列向量z:=(,经,…,), BT K,K,B=1 作为任意样本图像x的特征列向量.同理,可以求烈的姿态变化使人耳信息大量缺损而信息融合的 效果在很大程度上依赖于所融合的信息表达得是否 真实、准确和完整[5]因此姿态问题成为人耳和人 脸多模态识别无法回避的课题. 本文在研究2D 图像的基础上提出将核典型 相 关 分 析 ( kernel canonical correlation analysis KCCA)方法应用于带有姿态的人耳和人脸图像利 用同一姿态下人耳与人脸在生理位置上特殊的关联 性找到两种生物特征相关性最大的投影方向并用 于最终识别.由于该方法同时利用人耳和人脸的有 效关联信息因而与单生物特征相比可以更加有效 地克服姿态和噪声的影响.另外Ross 和 Jain 认 为[6]生物特征融合的层次越早识别效果提高得 就越显著.因此本文采取在数据层进行融合然后 用最近邻方法进行分类识别. 1 核典型相关分析(KCCA) 为了比较 KCCA 方法的有效性本文采用典型 相关分析(CCA)和 KCCA 两种方法对人耳和人脸 数据集进行融合由于 CCA 方法比较简单所以这 里只介绍 KCCA 的基本原理. KCCA [7]是利用两个非线性映射 Φ和 Ψ 将原 始随机矢量空间 xi 和 yi 映射到高维空间 Fx 和 Fy 映射后的数据集为{(Φ( xi)Ψ( yi))}n i=1n 为样本 个数高维空间的基向量对(w k Φxw k Ψy)( k=12 …r)用下式表示: w k Φx= ∑ n i=1 αiΦ( xi)=Φ(X)α (1) w k Ψy= ∑ n i=1 βiΨ(yi)=Ψ( Y)β (2) 这 里 为 了 推 导 方 便假 设 Φ(X)= [Φ( x1) Φ( x2)…Φ( xn)]Ψ( Y)=[ Ψ( y1)Ψ( y2)… Ψ(yn)]均值都为0.α=[α1α2…αn ] Tβ=[β1 β2…βn ] T 表示特征空间中的系数向量.同 CCA 方法 一 样KCCA 方 法 也 需 要 求 取 投 影 函 数 w T ΦxΦ(X)Ψ( Y) T wΨy的最大值将式(1)和式(2) 带入可以得到: α TΦ(X) TΦ(X)Ψ( Y) T Ψ( Y)β (3) 对式(3)中出现的内积形式应用核技巧定义 KxKy ∈ R n× n且 ( Kx )ij = Φ( xi ) TΦ( xj ) ( Ky)ij=Ψ(yi) T Ψ( yj)则 KCCA 可以转换成下面 形式的优化问题: max αβ α T KxKyβ s.t.α T KxKxα=1 β T KyKyβ=1 (4) 对式(4)利用 Lagrange 乘数法取函数: L (αβλαλβ)= α T KxKyβ— λα 2 (α T K 2 xα—1)— λβ 2 (β T K 2 yβ—1) (5) 式中λα和λβ为 Lagrange 乘数.将该函数对 α和β 分别求偏导并令其为零利用式(4)的约束条件可以 得到 λα=λβ这里为了推导方便统一用 λ表示则 可以得到: KxKyβ—λK 2 xα=0 (6) KyKxα—λK 2 yβ=0 (7) 因为 K 2 x 和 K 2 y 均为正定阵由式(6)和式(7) 可推得: ( K 2 x) —1KxKy( K 2 y) —1KyKxα=λ2α (8) ( K 2 y) —1KyKx( K 2 x) —1KxKyβ=λ2β (9) 记 Mxy=( K 2 x) —1KxKy( K 2 y) —1KyKx Myx=( K 2 y) —1KyKx( K 2 x) —1KxKy. 为了给出满足式(4)的求解令[8] G1=( K 2 x) —1/2KxKy( K 2 y) —1KyKx( K 2 x) —1/2 (10) G2=( K 2 y) —1/2KyKx( K 2 x) —1KxKy( K 2 y) —1/2 (11) 由矩阵的有关理论不难得到Mxy与 G1Myx与 G2 分 别 具 有 相 同 的 非 零 本 征 值.再 令 H = ( K 2 x ) —1/2 KxKy ( K 2 y ) —1/2则 G1 = HH TG2 = H T H.对矩阵 H 应用奇异值分解理论: H= ∑ r k=1 λkukv T kr=rank( KxKy). 其中 λ2 1λ2 2…λ2 r 是 G1 与 G2 的所有非零本征值 uk 和 vk( k=12…r)分别为 G1 与 G2 对应于非 零本征值 λ2 k 的单位正交本征向量.则 Mxy与 Myx 对应于λ2 k 的本征向量为: αk=( K 2 x) —1/2 ukβk=( K 2 y) —1/2 vk ( k=12…r) (12) αk 和βk 求出后对于任意样本 x只需在高维 空间 Fx 中计算其映射后Φ( x)在基向量 w k Φx上的 投影值: z k x=(w k Φx) TΦ( x)= ∑ N i=1 αiKx( xix) (13) 将 Φ( x)在所有基向量 w k Φx ( k=1…m)上 的投影值形成一个列向量 z x =( z 1 xz 2 x…z m x ) T 作为任意样本图像 x 的特征列向量.同理可以求 第10期 王 瑜等: 基于核典型相关分析的姿态人耳、人脸多模态识别 ·1201·