第10期 王瑜等：基于核典型相关分析的姿态人耳、人脸多模态识别 ,1203 (15)进行中心化预处理，分别得到、、 使用KCCA方法时对原始数据集进行了标准化和 和Ke' 中心化预处理，实验结果如图2所示 第三步将K和K利用式(12)求出a4和 1.0 图人耳+KPCA 四人脸+KPCA B,并利用式(13)求出融合特征集Z(0°)，将 0.8 ☒CCA 目KCCA 和利用已经求得的a和B及式(13)求出融 合特征集Z(5),最后利用最近邻方法进行分类 0.6 目 识别， 4.2实验结果 为了比较KCCA方法应用在人耳和人脸两种 0.2 生物特征上的有效性，本文利用主元分析(PCA)和 核主元分析(KPCA)方法分别测试了人耳和人脸单 20 35 45 生物特征的识别效果，且所有方法均选用了158个 角度() 基向量，KPCA和KCCA的核函数选用了Gaussian 图2单生物特征与多生物特征识别率比较 核函数，即k(xi,x)=exp ‖x一 具体 Fig.2 Comparison of the recognition rates of single biometric and 2 multimodal biometrics 识别结果如表1所示， 从图2中可以看出，当使用CCA方法时，如果 表1人耳、人脸识别率比较 单生物特征数据集的质量相差悬殊，就会在很大程 Table 1 Comparison of the recognition rates of ear and face 度上影响最终的融合识别结果：在5°、20°和35°时， 识别率/% 方法 人耳和人脸识别率差异超过37%，导致融合后均略 5° 20° 35 45° 差于单独测试人耳时的识别率，但却明显高于单独 人耳十PCA 84.81 21.52 8.86 4.43 测试人脸时的识别率：但在45°时，虽然两者识别率 人耳十KPCA 98.10 82.58 43.04 24.68 都不理想，但是由于相差较小，只有9%，所以融合 人脸十PCA 22.78 8.86 5.70 9.49 后识别结果达到了38%，明显高于单独测试人耳和 人脸十KPCA 36.71 13.29 6.96 15.19 人脸时的识别率（分别为25%和15%）.而采用 KCCA方法时，识别结果却不受两种数据集质量相 从表1显示的识别率可以看出：(1)无论是人 差悬殊的影响，融合后识别率均明显高于单生物特 耳还是人脸，KPCA方法的识别率都要高于PCA方 征，尤其是在大角度姿态旋转下，优势更加显著(45° 法，这是因为PCA方法提取特征时只考虑了图像数 时可达到60%) 据中的二阶统计信息，而KPCA方法能够充分考虑 此外，本文还以时间为度量指标，比较了PCA、 输入数据的高阶非线性统计信息，因此能够取得更 KPCA、CCA和KCCA等方法的计算量大小，具体运 好的识别效果，(2)不管使用何种方法，识别率都 算结果如表2所示，从表2显示的数据可以看出： 会随着人头图像旋转角度的增加而降低，人脸在旋 对于单生物特征来说，PCA和KPCA两种方法所用 转45°时识别率之所以会提高，是因为随着角度的 的时间相差无几，但由于人脸比人耳信息丰富，所以 增加，人脸信息也不断增加， 表2计算时间比较 另外，表1中的数据还显示，人脸识别率普遍较 Table 2 Comparison of computing time 低，主要原因是人脸图像存在严重的遮挡和表情变 计算时间/s 化，经过统计，79人中有42人带眼镜，7人严重表 方法 5° 20° 35° 45° 情变化，24人轻微表情变化，但只有2人带有耳环 人耳十PCA 14 13 13 14 另外，人耳识别是用信息最丰富的侧面人耳作训练， 人耳十KPCA 18 12 12 13 而人脸识别是用信息最贫乏的侧面人脸作训练，因 人脸十PCA 46 49 49 56 此人脸的识别结果远不如人耳， 人脸十KPCA 44 47 50 56 为了测试多模态方法的效果，本文用CCA和 CCA 397 421 431 440 KCCA两种方法对人耳和人脸数据集进行融合，使 KCCA 58 61 62 68 用CCA方法时对原始数据集进行了标准化预处理，（15）进行中心化预处理‚分别得到 K ～ F ear、K ～ P ear、K ～ F face 和 K ～ P face． 第三步 将 K ～ F ear和 K ～ F face利用式（12）求出 αk 和 βk‚并利用式（13）求出融合特征集 Z F （0°）‚将 K ～ P ear 和 K ～ P face利用已经求得的 αk 和βk 及式（13）求出融 合特征集 Z P （5°）‚最后利用最近邻方法进行分类 识别． 4∙2 实验结果 为了比较 KCCA 方法应用在人耳和人脸两种 生物特征上的有效性‚本文利用主元分析（PCA）和 核主元分析（KPCA）方法分别测试了人耳和人脸单 生物特征的识别效果‚且所有方法均选用了158个 基向量‚KPCA 和 KCCA 的核函数选用了 Gaussian 核函数‚即 k（ xi‚xj）＝exp — ‖xi—xj‖2 2σ2 ．具体 识别结果如表1所示． 表1 人耳、人脸识别率比较 Table1 Comparison of the recognition rates of ear and face 方法 识别率／％ 5° 20° 35° 45° 人耳＋PCA 84∙81 21∙52 8∙86 4∙43 人耳＋KPCA 98∙10 82∙58 43∙04 24∙68 人脸＋PCA 22∙78 8∙86 5∙70 9∙49 人脸＋KPCA 36∙71 13∙29 6∙96 15∙19 从表1显示的识别率可以看出：（1） 无论是人 耳还是人脸‚KPCA 方法的识别率都要高于 PCA 方 法‚这是因为 PCA 方法提取特征时只考虑了图像数 据中的二阶统计信息‚而 KPCA 方法能够充分考虑 输入数据的高阶非线性统计信息‚因此能够取得更 好的识别效果．（2） 不管使用何种方法‚识别率都 会随着人头图像旋转角度的增加而降低‚人脸在旋 转45°时识别率之所以会提高‚是因为随着角度的 增加‚人脸信息也不断增加． 另外‚表1中的数据还显示‚人脸识别率普遍较 低‚主要原因是人脸图像存在严重的遮挡和表情变 化．经过统计‚79人中有42人带眼镜‚7人严重表 情变化‚24人轻微表情变化‚但只有2人带有耳环． 另外‚人耳识别是用信息最丰富的侧面人耳作训练‚ 而人脸识别是用信息最贫乏的侧面人脸作训练‚因 此人脸的识别结果远不如人耳． 为了测试多模态方法的效果‚本文用 CCA 和 KCCA 两种方法对人耳和人脸数据集进行融合‚使 用 CCA 方法时对原始数据集进行了标准化预处理‚ 使用 KCCA 方法时对原始数据集进行了标准化和 中心化预处理‚实验结果如图2所示． 图2 单生物特征与多生物特征识别率比较 Fig．2 Comparison of the recognition rates of single biometric and multimodal biometrics 从图2中可以看出‚当使用 CCA 方法时‚如果 单生物特征数据集的质量相差悬殊‚就会在很大程 度上影响最终的融合识别结果：在5°、20°和35°时‚ 人耳和人脸识别率差异超过37％‚导致融合后均略 差于单独测试人耳时的识别率‚但却明显高于单独 测试人脸时的识别率；但在45°时‚虽然两者识别率 都不理想‚但是由于相差较小‚只有9％‚所以融合 后识别结果达到了38％‚明显高于单独测试人耳和 人脸时的识别率（分别为25％和15％）．而采用 KCCA 方法时‚识别结果却不受两种数据集质量相 差悬殊的影响‚融合后识别率均明显高于单生物特 征‚尤其是在大角度姿态旋转下‚优势更加显著（45° 时可达到60％）． 此外‚本文还以时间为度量指标‚比较了 PCA、 KPCA、CCA 和 KCCA 等方法的计算量大小‚具体运 算结果如表2所示．从表2显示的数据可以看出： 对于单生物特征来说‚PCA 和 KPCA 两种方法所用 的时间相差无几‚但由于人脸比人耳信息丰富‚所以 表2 计算时间比较 Table2 Comparison of computing time 方法 计算时间／s 5° 20° 35° 45° 人耳＋PCA 14 13 13 14 人耳＋KPCA 18 12 12 13 人脸＋PCA 46 49 49 56 人脸＋KPCA 44 47 50 56 CCA 397 421 431 440 KCCA 58 61 62 68 第10期 王 瑜等： 基于核典型相关分析的姿态人耳、人脸多模态识别 ·1203·