D0I:10.13374/1.issm100103.2008.10.02I 第30卷第10期 北京科技大学学报 Vol.30 No.10 2008年10月 Journal of University of Science and Technology Beijing 0ct.2008 基于核典型相关分析的姿态人耳、人脸多模态识别 王瑜穆志纯徐正光骆佳佳 北京科技大学信息工程学院，北京100083 摘要选用在生理位置上具有一定关联性的人耳和人脸作为研究对象，针对剧烈的姿态变化会造成融合信息大量缺损的 问题，提出了一种基于核典型相关分析的多模态识别方法，利用标准化和中心化两种方法对原始数据集进行预处理，并用最 近邻方法进行分类识别实验结果表明，核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响，且 与单生物特征相比，识别率显著提高 关键词多模态识别：核典型相关分析：人耳识别：多模态：融合；标准化：中心化 分类号TP391.41 Multimodal recognition of posed ear and face based on kernel canonical correla- tion analysis WANG Yu,MU Zhichun.XU Zhengguang.LUO Jigjia School of Information Engineering.University of Science and Technology Beijing.Beijing 100083.China ABSTRACT Using the ear and face possessing of special physiological correlation under the same pose condition as the research ob- ject,a multimodal recognition method based on kernel canonical correlation analysis(KCCA)was proposed to solve the problem of in- formation loss resulted from sharp pose change.In the method,the normalization and centering methods were used to preprocess ear and face datasets and the nearest neighbor method was used to classify.Experimental results show that KCCA can availably overcome the effect of sharp pose change.Compared with the single biometric,the recognition rate improves remarkably. KEY WORDS multimodal recognition:kernel canonical correlation analysis(KCCA):ear recognition:multimodal:fusion:normal- ization:centering 单一的生物特征识别系统通常会受到噪声的影 在一起，在没有提供正面人脸的情况下，利用信息互 响、自由度的限制、生物特征的非普遍性以及无法接 补来进行身份鉴别， 受的误差干扰等等山.利用多种生物特征进行身份 本文在这种思想的启发下，以人耳为主特征，以 鉴别可以有效地克服甚至消除这些弊端，是未来生 侧面人脸为辅助特征，探讨利用人耳和人脸进行多 物特征识别领域的必然趋势.，人耳识别是近年来新 模态识别的有效性和可行性，目前用于人耳识别的 兴起的一种生物特征识别技术，虽然起步较晚，但与 方法很多，按照所提取的特征来划分可以归纳为两 人脸识别相比，它不受表情、年龄、心理、化妆等因素 大类：一类是基于几何特征的方法，这类方法通过寻 的影响，因而具有广阔的理论研究价值和实际应用 找人耳轮廓和内部结构的关键点，构建几何特 前景，人脸识别是生物特征识别领域中三大主流技 征2]；一类是基于代数特征的方法，如主元分析 术（人脸、虹膜和指纹）之一，具有扎实的理论基础和 法等.虽然这些方法都取得了满意的效果，但都 丰富的实践经验，侧面人脸虽然不如正面人脸信息 是基于无姿态变化或小姿态变化的条件下进行研究 丰富，但却是人脸识别的重要补充，人耳在人脸的 的，一旦在大角度姿态背景下，这些可靠有效的技巧 侧面，这种特殊的生理位置，决定了可以将它们融合 便会表现得非常不稳定，有时甚至会完全失效，剧 收稿日期：2007-09-02修回日期：2007-11-25 基金项目：国家自然科学基金资助项目(N。.60375002:60573058):北京市教育委员会重点学科共建项目(No,XK100080537) 作者简介：王瑜(1977一)，女，博士研究生；穆志纯(1952一)，男，教授，博士生导师，Emai:mu@ies-ustb.edu-cn基于核典型相关分析的姿态人耳、人脸多模态识别 王 瑜 穆志纯 徐正光 骆佳佳 北京科技大学信息工程学院‚北京100083 摘 要 选用在生理位置上具有一定关联性的人耳和人脸作为研究对象‚针对剧烈的姿态变化会造成融合信息大量缺损的 问题‚提出了一种基于核典型相关分析的多模态识别方法‚利用标准化和中心化两种方法对原始数据集进行预处理‚并用最 近邻方法进行分类识别．实验结果表明‚核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响‚且 与单生物特征相比‚识别率显著提高． 关键词 多模态识别；核典型相关分析；人耳识别；多模态；融合；标准化；中心化 分类号 TP391∙41 Multimodal recognition of posed ear and face based on kernel canonical correla￾tion analysis W A NG Y u‚MU Zhichun‚XU Zhengguang‚LUO Jiajia School of Information Engineering‚University of Science and Technology Beijing‚Beijing100083‚China ABSTRACT Using the ear and face possessing of special physiological correlation under the same pose condition as the research ob￾ject‚a multimodal recognition method based on kernel canonical correlation analysis （KCCA） was proposed to solve the problem of in￾formation loss resulted from sharp pose change．In the method‚the normalization and centering methods were used to preprocess ear and face datasets and the nearest neighbor method was used to classify．Experimental results show that KCCA can availably overcome the effect of sharp pose change．Compared with the single biometric‚the recognition rate improves remarkably． KEY WORDS multimodal recognition；kernel canonical correlation analysis （KCCA）；ear recognition；multimodal；fusion；normal￾ization；centering 收稿日期：2007-09-02 修回日期：2007-11-26 基金项目：国家自然科学基金资助项目（No．60375002；60573058）；北京市教育委员会重点学科共建项目（No．XK100080537） 作者简介：王 瑜（1977—）‚女‚博士研究生；穆志纯（1952—）‚男‚教授‚博士生导师‚E-mail：mu＠ies．ustb．edu．cn 单一的生物特征识别系统通常会受到噪声的影 响、自由度的限制、生物特征的非普遍性以及无法接 受的误差干扰等等［1］．利用多种生物特征进行身份 鉴别可以有效地克服甚至消除这些弊端‚是未来生 物特征识别领域的必然趋势．人耳识别是近年来新 兴起的一种生物特征识别技术‚虽然起步较晚‚但与 人脸识别相比‚它不受表情、年龄、心理、化妆等因素 的影响‚因而具有广阔的理论研究价值和实际应用 前景．人脸识别是生物特征识别领域中三大主流技 术（人脸、虹膜和指纹）之一‚具有扎实的理论基础和 丰富的实践经验‚侧面人脸虽然不如正面人脸信息 丰富‚但却是人脸识别的重要补充．人耳在人脸的 侧面‚这种特殊的生理位置‚决定了可以将它们融合 在一起‚在没有提供正面人脸的情况下‚利用信息互 补来进行身份鉴别． 本文在这种思想的启发下‚以人耳为主特征‚以 侧面人脸为辅助特征‚探讨利用人耳和人脸进行多 模态识别的有效性和可行性．目前用于人耳识别的 方法很多‚按照所提取的特征来划分可以归纳为两 大类：一类是基于几何特征的方法‚这类方法通过寻 找人耳轮廓和内部结构的关键点‚构建几何特 征［2—3］；一类是基于代数特征的方法‚如主元分析 法［4］等．虽然这些方法都取得了满意的效果‚但都 是基于无姿态变化或小姿态变化的条件下进行研究 的‚一旦在大角度姿态背景下‚这些可靠有效的技巧 便会表现得非常不稳定‚有时甚至会完全失效．剧 第30卷 第10期 2008年 10月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．30No．10 Oct．2008 DOI:10．13374／j．issn1001－053x．2008．10．021