第4卷第6期 智能系统学报 Vol.4 No.6 2009年12月 CAAI Transactions on Intelligent Systems Dec.2009 doi:10.3969/i.i8gn.1673-4785.2009.06.001 多技术合力的人脸识别系统设计 苏光大 (清华大学电子工程系，北京100084)》 摘要：人脸识别系统结构复杂，也包含了多种技术.从多个角度阐述了多技术合力的人脸识别系统设计方法，内容 涉及人脸图像采集、人脸识别算法、并行处理、综合系统集成4个部分.多技术合力的人脸识别系统设计方法体现了 速度与智能化相结合的优势，也体现了系统的完备性和性能的互补性.给出了该方法在人脸识别率和识别速度上达 到的性能指标，并给出了所设计的人脸识别系统的部分突出应用。 关键词：人脸识别；Gabor滤波；图像并行处理 中图分类号：TP391.4文献标识码：A文章编号：16734785(2009)06047104 Face recognition system designed to integrate multiple techniques SU Guang-da Department of Electronic Engineering,Tsinghua University,Beijing 100084,China) Abstract:Face recognition systems usually have complicated structures and integrate many techniques.In this pa- per,the design of a face recognition system that combines various technologies was explained from different per- spectives,including facial image capture,face recognition algorithms,parallel processing,and system integration Multi-technique integration reflects the advantages of combining hardware speed with artificial intelligence,as well as the completeness and complementary performance of the proposed face recognition system.Experiments with the suggested system showed improvements in recognition rate and recognition speed.Finally,some special applications of this system were presented. Keywords:face recognition;Gabor transform;image parallel processing 人脸识别技术在国家安全和人民生命财产安全成4个部分.该方法属于面向系统的设计方法，每一 中具有重要的意义.当前，人脸识别已成为科技热点 部分都体现了多技术合力的设计思想.本文还给出 和应用热点.但是人脸图像由于姿态、光照、年龄等 了人脸识别率和识别速度的性能指标. 因素的变化而具有“一人千面”的特点，因此，人脸 1 识别技术在适应性上面临着严峻的挑战， 人脸图像采集 人脸识别系统是一个高智能化、高速处理的复 通用人脸识别系统的框图如图1所示 杂系统.在算法层面上，既包括人脸识别算法，还包 图像输人 一人脸检测→标准人脸形成一人脸识别 括人脸图像预处理算法；而在系统层面上，不仅仅需 要识别算法，还需要多方面的技术，特别是并行处理 图1通用人脸识别系统的框图 技术 Fig.1 General face recognition system framework 文献[1]论述了面向机器和面向算法的系统设 众所周知，人脸图像的质量严重影响人脸识别 计策略.本文在人脸识别系统的设计上采用多技术 的性能.一个问题是人脸分辨率问题.人脸分辨率定 合力的设计方法，内容涉及人脸图像采集、人脸几何 义为人脸在图像中所占的像素数量，一般以两眼球 尺寸归一化、人脸识别算法、并行处理、综合系统集 中心点之间的距离来衡量.现在的人脸检测技术，最 小可以检测到16×12点阵的人脸，而当前的人脸识 收稿日期：200903-24. 基金项目：国家“十一五”科技支撑计划资助项目(2006BAK08B07). 别技术对这种超低分辨率的人脸难以直接进行自动 通信作者：苏光大.E-mail:susu(@tsinghua..edu.cn. 识别.另一个问题是姿态问题.当姿态在±15°（包括
472 智能系统学报 第4卷 水平转动角、俯仰角、倾斜角)之内变化时，大部分 2人脸识别算法 人脸识别算法都能达到较高识别率，而对于大角度 变化的人脸图像，其识别率却大幅度下降.光照问题 文献[2]提出了PCA人脸识别方法，在人脸识 也对人脸识别性能带来重大影响，在研制成功的二 别中具有指导意义.在这些有益的研究成果基础之 代证实名身份认证系统（如图2所示）中，为了获取 上，构造了特征脸、特征眼眉、特征眼睛、特征鼻子、 更好的人脸图像质量，做了多方面的考虑.系统配置 特征嘴巴并根据各自重要性的程度进行特征融合， 了2台摄像机以适应不同身高；为了使被识别者更 由此形成了基于组合部件PCA的多模式人脸识别 好地配合，在被识别者面前安装了液晶显示器，以吸 方法(MMP-PCA)[3] 引被识别者看摄像机并知道自己的姿态是否端正； 通过人脸定位，从整个人脸中自动提取出如图 在摄像机四周安有日光灯，以便获得较好的光照；将 4所示的裸脸、眼+眉、眼、鼻、嘴5种部件.其中，以 二代身份证验证机安装在胸前，便于拍摄到被识别 眼球为中心，对人脸进行了裁剪，并依据颌下点进行 者的正面图像（避免低头）.这是针对主动人脸识别 了三次曲线的切割，由此形成了不含头发和背景的 的设计，另一种针对被动识别中多姿态问题的摄像 裸脸 机布局图如图3所示.当被识别人的水平转动角在 ±45°之间变化时，图3所示的多摄像机布局可以获 得接近水平转动角±15°的识别效果. 图4人脸部件划分 Fig.4 Partition of facial parts 从训练集人脸中分离出裸脸、眼睛+眉毛、眼 睛、鼻子、嘴巴，分别采用PCA方法形成特征脸、特 征（眼睛+眉毛）、特征眼睛、特征鼻子、特征嘴巴. 已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的投 影特征向量可通过式(1)求得： 图2二代证实名身份认证系统 Fig.2 Face authentication system using the second genera- B:=ui x qi, i=1,2,…,5.(1) tion identity card of Chinese 式中：：分别为已知人脸的裸脸、眼睛+眉毛、眼睛、 摄像机2 鼻子、嘴巴图像，分别为从训练集人脸中得到的特征 摄像机1 摄像机3 脸、特征（眼睛+眉毛）、特征眼睛、特征鼻子、特征 嘴巴 在人脸识别的过程，利用式(1)计算待识别人 30 30 脸的投影特征向量，再与数据库中存储人脸的投影 进 退出 特征向量进行相似度计算.对裸脸、眼睛+眉毛、眼 睛、鼻子、嘴巴5种人脸部件进行不同组合的识别. Daugman④率先在计算机视觉中引入二维Ga- 人员通行方向 bor小波表示法，Gabor滤波器能够捕捉对应于空间 频率（尺度）、空间位置以及方向的选择性局部结构 监控通道 信息，近年来人脸识别也广泛应用Gbor技术.在 MMP-PCA的基础上引入了Gabor技术，由此形成了 GGMMP-PCA人脸识别算法[51(Gabor&Gray multi- 图33摄像机的监视人脸识别示意图 modal part face recognition method based on principal Fig.3 Face monitoring using three video cameras component analysis). 二维Gabor函数[6的公式表述如下：
第6期 苏光大：多技术合力的人脸识别系统设计 473 日）=e-6. 在其他测试集上也得到与图7和表1类似的测 o 试结果，这里不再赘述.图7表明，全局(5部件融 (2) 合)识别模式的识别率优于单部件识别模式的识别 式中：z=(x,y)表示二维点坐标，波矢量k。的定 率；表1表明，灰度+Gabor识别算法GGMMP-PCA 义为k。=ke4,k。=kmm/A“,8。=T/n.本文取 的识别率优于灰度识别算法MMP-P℃A的识别率， n=8,0=2m,k=T/2,A=V2,以及u∈{0,1， 也优于Gabor识别算法GMMP-PCA的识别率. 2,3,4},0∈{0,1,2,3,4,5,6,7}，得到五尺度八方 ROC曲线 1.0 向的Gbor滤波器组.各个滤波器的实部和虚部如 0.9r 图5所示 0.8z 三0.7 0.6 2 Convolution 0.5 3.Eve 0.4 5.Mouth Normalized image Different orientation 0.30 10 10 10 FAR 图5 Gabor滤波 图7各个部件和融合的ROC曲线 Fig.5 Gabor transform Fig.7 ROC curves of each part and multiple parts 对图4所示的人脸部件进行Gabor滤波，得到 各部件的Gabor图像. 3 MMX和集群技术的应用 GGMMP-PCA人脸识别算法的框图如图6所示. 在大数据库中进行人脸识别，最耗时的环节是 多部件 PCA 多部件 灰度图像 相似度计算，采用MMX技术和集群计算机技术来 灰度特征 人脸归 化图像 融合 提高计算速度，图8给出了应用集群计算机的实验 多部件 结果，表2给出了应用MMX技术的实验结果]. 降维 Gabora滤Gabor图像PCA 多部件 分割 Gabor特 匹配 混合特征1 判断决策 融合 匹配 混合特征5 图6 GGMMP-PCA人脸识别算法的框图 34 6 Fig.6 GGMMP-PCA face recognition algorithm framework 集群机台数 多部件灰度特征和多部件Gabor特征进行特征 图8。应用集群计算机的实验结果 级融合，组成混合特征.计算相似度时，仍按照各个 Fig.8 Experimental resultal of using multi-computer 部件的重要性程度，采用加权和规则进行融合 表2MMX加速的实验 GGMMP-PCA方法体现了多特征多部件合力的设计 Table 2 Experiment of MMX speedup 思想.图7给出了各个部件和融合的R0C曲线，表1 数据容量/万 VC实现/sMMX实现/s加速比Rax 给出了灰度图像MMP-PCA、Gabor图像MMP-PCA 5 2.1766 0.1526 14.26 以及GGMMP-PCA的识别率. 表1 FERET-h数据库下的测试结果 10 4.3375 0.2992 14.50 Table 1 Experimental results of using FERET-fb database% 20 8.7238 0.6026 14.48 FAR=0.1% FAR=1% 算法 系统的加速比为R,则 时的GAR 时的GAR R Ryx X Rdmter (3) MMP-PCA 92.44 97.58 采用MMX和集群计算机技术（使用5台从 GMMP-PCA 96.07 99.19 机)，查询速度达到了256万/s. GGMMP-PCA 98.88 99.80
474 智能系统学报 第4卷 应用效果 4 模拟像形成与识别的综合技术 值得指出的是，人脸识别技术，涉及到许多方 模拟像技术常用于公安刑侦工作8]，按照模拟 面，如姿态、光照、年龄、形状特征点定位等等.随着 像来源来划分，分临墓模拟像、目击者模拟像、视频 研究的深入，将出现一些新的算法、新的系统，以提 监视模拟像和颅像复原模拟像.基于部件的人脸识 高人脸识别的适应性.目前，硬件实现的Gabor滤 别方法有利于模拟像的人脸识别.图9给出了模拟 波，大大提升GGMMP-PCA算法的速度.可以预见， 像人脸识别成功应用的结果. 采用专用硬件，多姿态人脸识别可能会达到实时应 用图9左上角的模拟像去识别，在40万人的数 用的效果.多技术合力的思想，在设计新的算法、新 据库中，目标人处于第4名. 的系统中，仍有重要的应用价值. 参考文献： [1]苏光大.图像并行处理技术[M].北京：清华大学出版 社，2002：20-23. [2]TURK M,PENTLAND A.Face recognition using eigenfaces [C]//Proc IEEE CVPR'91.Lahaina,aui,USA,1991:586- 591. [3]SU Guangda,ZHENG Cuiping,DING Rong,DU Cheng. MMP-PCA face recognition method [J].Electronics Let- ters,2002,38(25):1654-1656 [4]DAUGMAN J G.Two-dimensional spectral analysis of corti- 图9模拟像人脸识别成功应用的图示 cal receptive field profile[J].Vision Research,1980,20: Fig.9 Successful application of face recognition using sim- 847-856. ulation picture [5]XIANG Yan,SU Guangda.Multi-parts and multi-feature fu- 由于视频监控的高速发展，监视模拟像的需求与 sion in face verification[C]//2008 IEEE Computer Society 日俱增，但常规视频监控的人脸图像的分辨率常处于 Conference on Computer Vision and Pattern Recognition. 超低分辨率水平，现有的人脸识别技术难以直接识别 Anchorage,USA,2008:102-107. 超低分辨率的人脸图像.针对这一类问题，采用了模 [6]LEE T.Image representation using 2D Gabor wavelets[J] IEEE Trans on Pattern Analysis and Machine Intelligence 糊图像复原、人像组合人脸识别等综合技术，以多技 1996,18(10):959-971. 术集成的方法，在超低分辨率人脸的模拟像形成与识 [7]MENG Kai,SU Guangda,LI Congcong,FU Bo,ZHOU 别方面取得了突出的研究成果.图10给出了模糊图 Jun.A high performance face recognition system based on a 像复原和人像组合技术综合应用的成功案例 huge face database[C]//2005 Interational Conference on Machine Leaming and Cybernetics.Guangzhou,China, 2005:5159-5164. [8]SU G D,SHANG Y.A multimodal and multistage face rec- ognition method for simulated portrait[C]//Proceedings of the 18th International Conference on Pattem Recognition (ICPR2006).Hong Kong,China,2006:1013-1017. 作者简介： 苏光大，男，1948年生，教授，博士生 (a)监控图像 仍)像组合像 (c)目标人 导师，目前主要研究方向为图像识别（人 图10模糊图像复原和人像组合的综合应用 脸识别、指纹识别)和高速图像处理.提 Fig.10 Integration application of blurry picture reversion 出了图像邻域计算理论和视频图像1： and face combination 1采样理论.研制成功的人脸识别系统、 计算机人像组合系统、模糊图像复原系 5 结束语 统在我国公安办案工作中广泛应用，破 获了大量的刑事案件.研制成功的人脸识别技术成功用于 多技术合力的人脸识别系统在人脸识别算法上 2008年北京奥运会；NIPC-3邻域图像并行计算机，在邻域图 则体现了多特征、多部件的特点.在设计的人脸识别 像处理的速度上达到了国际最高水平.获发明创业奖和发明 系统中，多技术合力的设计还涉及很多方面，这里不 展金奖，6次获省部级科技成果奖，获5项国家发明专利，3次 再赘述.作者依据多技术合力思想设计的人脸识别 获清华大学先进工作者称号.发表学术论文120余篇，著有 系统，用在了2008北京奥运会上，也建成了我国首 《微机图像处理系统》、《图像并行处理技术》2部专著， 个千万级的海量人脸识别应用系统，取得了显著的
