880 量和运动矢量作为状态变量从而引进时间和空间的 上述方法中都采用贝叶斯理论引进了时间信 信息;利用序贯重要度采样( Sequential Importance息,极大地提高了识别率并且采用序贯重要度采样 Sampling,SIS)的方法有效估计出身份变量和运动克服非高斯分布和非线性系统带来的难以估计概率 矢量的联合后验概率分布,通过边缘化提取出身份密度的问题.但是估计概率密度需要大量的粒子,导 变量的概率分布.实验结果表明了该算法的有效性.致其计算量比较大 不过当姿态变化时识别率只有57%之所以出现姿3.2“视频视频”人脸识别 态变化时识别率低的原因是对时间连续性的利用体 ‘视频视频”人脸识别是指输入和数据库中的 现在人脸外观一致上,而随着光照或姿态的变化会人脸均是以视频的形式存在大量的文献对如何同 导致外观的明显不同因此文献[1进一步提出了时利用输入和数据库中的人脸视频进行了深入的研 自适应外观变化模型并且采用自适应运动模型更准究现有文献中对视频中人脸信息的描述方式总结 确地处理姿态的变化,对运动模型中噪声的方差和起来有下面几种 采样算法中的粒子数根据计算得到外观模型的误差 (1)利用一幅代表性的图像得到的特征(矢量 进行更新,采用鲁棒统计学( ro bust statistics)处理表示),如主成分分析(PCA)降维后的矢量等 脸部遮挡问题.利用基于贝叶斯人脸识别方法的 (2)利用所有图像得到的特征(矩阵表示),如 似然函数进行权重更新使得整个算法更加有效 特征空间示例( exemplar,)等 文献[3-32]通过对输入视频中人脸的脸部特 (3)利用概率密度函数刻画视频中的人脸分 征或外观的跟踪进行人脸验证基本思想是,如果是布,如高斯模型等 正确的输入(对应数据库中要验证的人脸),则跟踪 4)利用动态模型刻画视频中人脸随时间的动 的轨迹基本一致;而如果是不正确的输入,则跟踪态变化,如隐马尔可夫模型等 轨迹没有规律性相应的数学模型就是考虑所得到 (5)利用流形( manifold)刻画视频中的人脸分 的运动矢量分布,如果呈现尖峰(一致的运动参数)布,如分段线性PCA子空间等 则认为是正确的人脸.如果没有呈现尖峰,而是类似 上述各种描述方式(矢量矩阵、概率密度、动态 均匀分布,则认为是错误的人脸 模型、流形)之间可能的度量如表2所示 表2描述方式之间的度量 输入 量(y(数据库)矩阵亻ⅹ(数据库)概率密度(∫数据库)动态模型(D(数据库)流形(M(数据 矢量(x frx D(x M(X 矩阵(X I(X. X d(X. x M(X 概率密度(f fIx f(X d(. f 动态模型(D d(D, D) d(D, M) 表2中d代表两个模型之间的距离或相似度,基于视频的人脸验证方法,采用形状和归一化纹理 f(X,M(y代表概率/距离累加或多数投票,D(X的联合外观模型( Active Appearance Model,AAM) 代表各帧后验概率 来表示人脸,通过加入类别信息的改进线性鉴别分 下面按照对输入描述方式的不同,分成矢量矩析( Linear Discriminant Analysis,LDA)分离出身 阵、概率、动态模型、流形5个小节分别给予介绍 份变量( identity)和其他变化因素(姿态、光照和表 3.21矢量 情).采用卡尔曼滤波器( Kalman filter)对身份变量 利用矢量作为输入描述方式的基本思想是利用进行跟踪得到的稳定值就是身份稳定估计量.人脸 视频得到一个反映输入人脸视频特性(如均值人脸验证就可以通过对输入人脸视频进行跟踪得到的估 图像、最好的正面图像等)的特征(矢量表示),和数计量和数据库得到的身份估计量进行比较看是否大 据库中的人脸视频描述方式进行匹配.数据库中人于某个阈值来实现.与基于静止图像的人脸验证方 脸视频的描述方式可以是矢量、矩阵、概率、动态模法相比,采用基于视频的人脸验证能利用更多的信 型`流形等 息,效果更好.算法采用ASM( Active Shape Model) 文献[33]对数据库中的每类人脸建立一个进行人脸定位可以避免误配准带来的影响但是一 PCA子空间,利用与各个人脸子空间的距离对输入旦定位不准,则对后继的参数跟踪会产生很大的误 视频中的所有人脸进行标注文献[34]介绍了一种差,导致识别率下降.并且对于达到稳定估计值需要 c1994-2009ChinaAcademicJourmalElectronicPublishingHouseAllrightsreservedhttp://www.cnki.net量和运动矢量作为状态变量从而引进时间和空间的 信息 ;利用序贯重要度采样 (Sequential Importance Sampling ,SIS) 的方法有效估计出身份变量和运动 矢量的联合后验概率分布 ,通过边缘化提取出身份 变量的概率分布. 实验结果表明了该算法的有效性. 不过当姿态变化时识别率只有 57 %. 之所以出现姿 态变化时识别率低的原因是对时间连续性的利用体 现在人脸外观一致上 ,而随着光照或姿态的变化会 导致外观的明显不同. 因此文献[ 11 ]进一步提出了 自适应外观变化模型并且采用自适应运动模型更准 确地处理姿态的变化 ,对运动模型中噪声的方差和 采样算法中的粒子数根据计算得到外观模型的误差 进行更新 ,采用鲁棒统计学 (robust statistics) 处理 脸部遮挡问题. 利用基于贝叶斯人脸识别[30 ] 方法的 似然函数进行权重更新使得整个算法更加有效. 文献[31232 ]通过对输入视频中人脸的脸部特 征或外观的跟踪进行人脸验证. 基本思想是 ,如果是 正确的输入(对应数据库中要验证的人脸) ,则跟踪 的轨迹基本一致 ; 而如果是不正确的输入 ,则跟踪 轨迹没有规律性. 相应的数学模型就是考虑所得到 的运动矢量分布 ,如果呈现尖峰 (一致的运动参数) 则认为是正确的人脸. 如果没有呈现尖峰 ,而是类似 均匀分布 ,则认为是错误的人脸. 上述方法中都采用贝叶斯理论引进了时间信 息 ,极大地提高了识别率. 并且采用序贯重要度采样 克服非高斯分布和非线性系统带来的难以估计概率 密度的问题. 但是估计概率密度需要大量的粒子 ,导 致其计算量比较大. 3. 2 “视频2视频”人脸识别 “视频2视频”人脸识别是指输入和数据库中的 人脸均是以视频的形式存在. 大量的文献对如何同 时利用输入和数据库中的人脸视频进行了深入的研 究. 现有文献中对视频中人脸信息的描述方式总结 起来有下面几种 : (1) 利用一幅代表性的图像得到的特征 (矢量 表示) ,如主成分分析(PCA) 降维后的矢量等 ; (2) 利用所有图像得到的特征 (矩阵表示) ,如 特征空间、示例(exemplar) 等 ; (3) 利用概率密度函数刻画视频中的人脸分 布 ,如高斯模型等 ; (4) 利用动态模型刻画视频中人脸随时间的动 态变化 ,如隐马尔可夫模型等 ; (5) 利用流形 (manifold) 刻画视频中的人脸分 布 ,如分段线性 PCA 子空间等. 上述各种描述方式(矢量、矩阵、概率密度、动态 模型、流形) 之间可能的度量如表 2 所示. 表 2 描述方式之间的度量 输入 度量函数 矢量( x) (数据库) 矩阵( X) (数据库) 概率密度( f ) (数据库) 动态模型( D) (数据库) 流形( M) (数据库) 矢量( x) d( x , x) d( x , X) f ( x) D( x) M ( x) 矩阵( X) d( X, x) d( X, X) f ( X) D( X) M ( X) 概率密度( f ) f ( x) f ( X) d( f , f ) \ \ 动态模型( D) D( x) D( X) \ d( D , D) d( D , M) 流形( M) M ( x) M ( X) \ d( M , D) d( M , M) 表 2 中 d 代表两个模型之间的距离或相似度 , f ( X) , M ( X) 代表概率/ 距离累加或多数投票 , D ( X) 代表各帧后验概率. 下面按照对输入描述方式的不同 ,分成矢量、矩 阵、概率、动态模型、流形 5 个小节分别给予介绍. 31211 矢 量 利用矢量作为输入描述方式的基本思想是利用 视频得到一个反映输入人脸视频特性 (如均值人脸 图像、最好的正面图像等) 的特征 (矢量表示) ,和数 据库中的人脸视频描述方式进行匹配. 数据库中人 脸视频的描述方式可以是矢量、矩阵、概率、动态模 型、流形等. 文献 [ 33 ] 对数据库中的每类人脸建立一个 PCA 子空间 ,利用与各个人脸子空间的距离对输入 视频中的所有人脸进行标注. 文献[ 34 ]介绍了一种 基于视频的人脸验证方法 ,采用形状和归一化纹理 的联合外观模型(Active Appearance Model ,AAM) 来表示人脸 ,通过加入类别信息的改进线性鉴别分 析(Linear Discriminant Analysis ,LDA) 分离出身 份变量(identity) 和其他变化因素 (姿态、光照和表 情) . 采用卡尔曼滤波器 ( Kalman filter) 对身份变量 进行跟踪得到的稳定值就是身份稳定估计量. 人脸 验证就可以通过对输入人脸视频进行跟踪得到的估 计量和数据库得到的身份估计量进行比较看是否大 于某个阈值来实现. 与基于静止图像的人脸验证方 法相比 ,采用基于视频的人脸验证能利用更多的信 息 ,效果更好. 算法采用 ASM (Active Shape Model) 进行人脸定位可以避免误配准带来的影响. 但是一 旦定位不准 ,则对后继的参数跟踪会产生很大的误 差 ,导致识别率下降. 并且对于达到稳定估计值需要 880 计 算 机 学 报 2009 年