严等:基于视频的人脸识别研究进展 发生遮挡等困难是研究的重点.国内外众多的大学和“视频视频”人脸识别可以利用的信息最多.视频中 研究机构,如美国的MIT1、CMU、UIUC9、可以利用的信息包括:多幅同一个人的人脸图 Maryland大学H、英国的剑桥大学1、日本的像,视频中人脸在时间和空间上的连续性,利用视频 Toshi ba公司1和国内的中国科学院自动化生成的三维(3D)人脸模型等.需要强调的是本文这 所2都对基于视频的人脸识别进行了广泛而深入样分类的目的是为了能够对整个人脸识别领域的研 的研究鉴于目前现有的人脸识别国内外综述文献究现状有一个宏观上的认识,并区分不同情况下的 主要针对基于静止图像的人脸识别研究,因此有人脸识别.事实上不同情况下人脸识别采用的技术 必要对现阶段基于视频的人脸识别研究情况进行分可以是相同的,例如对所有人脸视频序列的处理是 析和总结,期望能够更好地指导未来的研究工作.按照某种规则(如大小、姿态清晰度等)提取一张人 脸图像,则上面的情况都可以采用基于静止图像的 2人脸识别概述 人脸识别技术 本文首先对现阶段基于视频的人脸识别研究现 个自动的基于视频的人脸识别系统包括了人状进行了详细的分析和讨论,接着介绍了常用的视 脸检测模块、人脸跟踪模块、人脸特征提取模块和人频人脸数据库和实验结果最后展望了未来的发展方 脸识别模块2.关于人脸检测、人脸跟踪和人脸特向本文假设已经得到图像或者视频中需识别人脸的 征提取的研究进展可以参考综述文献[-3]本文重位置对静止图像中人脸的定位可参见文献[2y24] 点介绍基于视频的人脸识别研究进展 对视频中人脸的定位和分割可参见文献[25 人脸识别问题可以定义成:输入(查询)场景中 的静止图像或者视频使用人脸数据库识别或验证3基于视频的人脸识别 场景中的一个人或者多个人21.基于静止图像的人 脸识别通常是指输入(查询)一幅静止的图像,使用 根据上一节的讨论,下面把基于视频的人脸识 人脸数据库进行识别或验证图像中的人脸而基于别分成“视频图像(多幅图像)”人脸识别和“视频 视频的人脸识别是指输入(查询)一段视频,使用人视频”人脸识别两种情况分别给予综述 脸数据库进行识别或验证视频中的人脸如不考虑3.1“视频图像(多幅图像)”人脸识别 视频的时间连续信息,问题也可以变成采用多幅图 “视频-图像(多幅图像)”人脸识别是指采用人 像(时间上不一定连续)作为输入(查询)进行识别或脸视频作为输入(查询)利用静止图像人脸数据库进 验证因此按照上面的分析,根据输入(查询)和人脸行识别或验证由于现有的大部分人脸数据库都是 数据库的不同,人脸识别可以分成如表1所示的静止图像人脸数据库,如何充分利用视频中的人脸 4种情况 信息更好地进行人脸识别是现阶段迫切需要解决的 表1输入(查询)和数据库不同情况下的人脸识别 识别方式 解决这类问题的传统做法128可以分成两大 数据库中图像(多幅图像)数据库中视频 类:一类方法对输入视频中的人脸进行跟踪,寻找满 输入(査询)图像图像-图像(多幅图像)图像视频 命入(査询)视频。视频-图像(多幅图像)视频视频 足一定规则(如大小、姿态清晰度等)的人脸图像,然 后利用基于静止图像的人脸识别方法.这类方法的 表中“图像图像(多幅图像)”人脸识别就是传缺点是规则很难定义,并且没有最大限度地利用人 统的基于静止图像的人脸识别.而“图像视频”脸视频中的时间和空间连续信息.另一类方法利用 人脸识别是指利用人脸图像作为输入采用视频人脸视频中的空间信息进行人脸识别通过对输入视频 数据库进行识别或验证.通常的应用领域是基于人中每一幅人脸或者若干幅人脸采用基于静止图像的 脸的视频信息检索.本文重点介绍的基于视频的人人脸识别方法3,利用各种联合规则(如多数投 脸识别主要是指后面两种情况,即“视频-图像(多幅票或者概率/距离累加等方法)再进行最终的识别 图像)”人脸识别和“视频视频”人脸识别.“视频图这类方法的缺点是联合规则常有相当的随机性 像(多幅图像)”人脸识别是指输入(查询)一段人脸 近年来,一些研究者开始利用视频中人脸的时 视频,利用静止图像人脸数据库进行识别或验证.间和空间连续信息进行识别文献[10]讨论了在贝 “视频视频”人脸识别是指输入和数据库都利用视叶斯理论的框架下统一解决人脸识别和跟踪问题, 频进行人脸识别或验证相对于前面3种情况,采用时间序列模型刻画人脸的动态变化,把身份变 C1994-2009ChinaAcademicJournalElectronicPublishingHouseAllrightsreservedhttp://www.cnki.net发生遮挡等困难是研究的重点. 国内外众多的大学和 研究机构 ,如美国的 MIT [ 5 ] 、CMU [627 ] 、U IUC [829 ] 、 Maryland 大学[10212 ] 、英国的剑桥大学[13215 ] 、日本的 Toshiba 公司[16218 ] 和国内的中国科 学院自动 化 所[19221 ]都对基于视频的人脸识别进行了广泛而深入 的研究. 鉴于目前现有的人脸识别国内外综述文献 主要针对基于静止图像的人脸识别研究[ 123 ] ,因此有 必要对现阶段基于视频的人脸识别研究情况进行分 析和总结 ,期望能够更好地指导未来的研究工作. 2 人脸识别概述 一个自动的基于视频的人脸识别系统包括了人 脸检测模块、人脸跟踪模块、人脸特征提取模块和人 脸识别模块[22 ] . 关于人脸检测、人脸跟踪和人脸特 征提取的研究进展可以参考综述文献[ 123 ]. 本文重 点介绍基于视频的人脸识别研究进展. 人脸识别问题可以定义成 : 输入 (查询) 场景中 的静止图像或者视频 ,使用人脸数据库识别或验证 场景中的一个人或者多个人[ 122 ] . 基于静止图像的人 脸识别通常是指输入 (查询) 一幅静止的图像 ,使用 人脸数据库进行识别或验证图像中的人脸. 而基于 视频的人脸识别是指输入 (查询) 一段视频 ,使用人 脸数据库进行识别或验证视频中的人脸. 如不考虑 视频的时间连续信息 ,问题也可以变成采用多幅图 像(时间上不一定连续) 作为输入(查询) 进行识别或 验证. 因此按照上面的分析 ,根据输入(查询) 和人脸 数据库的不同 ,人脸识别可以分成如表 1 所示的 4 种情况. 表 1 输入(查询)和数据库不同情况下的人脸识别 识别方式 数据库中图像(多幅图像) 数据库中视频 输入(查询) 图像 图像2图像(多幅图像) 图像2视频 输入(查询) 视频 视频2图像(多幅图像) 视频2视频 表中“图像2图像 (多幅图像) ”人脸识别就是传 统的基于静止图像的人脸识别[123 ] . 而“图像2视频” 人脸识别是指利用人脸图像作为输入采用视频人脸 数据库进行识别或验证. 通常的应用领域是基于人 脸的视频信息检索. 本文重点介绍的基于视频的人 脸识别主要是指后面两种情况 ,即“视频2图像(多幅 图像) ”人脸识别和“视频2视频”人脸识别.“视频2图 像(多幅图像) ”人脸识别是指输入 (查询) 一段人脸 视频 ,利用静止图像人脸数据库进行识别或验证. “视频2视频”人脸识别是指输入和数据库都利用视 频进行人脸识别或验证. 相对于前面 3 种情况 , “视频2视频”人脸识别可以利用的信息最多. 视频中 可以利用的信息包括[4 ] : 多幅同一个人的人脸图 像 ,视频中人脸在时间和空间上的连续性 ,利用视频 生成的三维(3D) 人脸模型等. 需要强调的是本文这 样分类的目的是为了能够对整个人脸识别领域的研 究现状有一个宏观上的认识 ,并区分不同情况下的 人脸识别. 事实上不同情况下人脸识别采用的技术 可以是相同的 ,例如对所有人脸视频序列的处理是 按照某种规则(如大小、姿态、清晰度等) 提取一张人 脸图像 ,则上面的情况都可以采用基于静止图像的 人脸识别技术. 本文首先对现阶段基于视频的人脸识别研究现 状进行了详细的分析和讨论 ,接着介绍了常用的视 频人脸数据库和实验结果 ,最后展望了未来的发展方 向.本文假设已经得到图像或者视频中需识别人脸的 位置.对静止图像中人脸的定位可参见文献[ 23224 ] , 对视频中人脸的定位和分割可参见文献[25 ]. 3 基于视频的人脸识别 根据上一节的讨论 ,下面把基于视频的人脸识 别分成“视频2图像 (多幅图像) ”人脸识别和“视频2 视频”人脸识别两种情况分别给予综述. 3. 1 “视频2图像(多幅图像) ”人脸识别 “视频2图像 (多幅图像) ”人脸识别是指采用人 脸视频作为输入(查询) 利用静止图像人脸数据库进 行识别或验证. 由于现有的大部分人脸数据库都是 静止图像人脸数据库 ,如何充分利用视频中的人脸 信息更好地进行人脸识别是现阶段迫切需要解决的 问题. 解决这类问题的传统做法[26228 ] 可以分成两大 类 :一类方法对输入视频中的人脸进行跟踪 ,寻找满 足一定规则(如大小、姿态、清晰度等)的人脸图像 ,然 后利用基于静止图像的人脸识别方法. 这类方法的 缺点是规则很难定义 ,并且没有最大限度地利用人 脸视频中的时间和空间连续信息. 另一类方法利用 视频中的空间信息进行人脸识别. 通过对输入视频 中每一幅人脸或者若干幅人脸采用基于静止图像的 人脸识别方法[123 ] ,利用各种联合规则[ 29 ] (如多数投 票或者概率/ 距离累加等方法) 再进行最终的识别. 这类方法的缺点是联合规则常有相当的随机性[4 ] . 近年来 ,一些研究者开始利用视频中人脸的时 间和空间连续信息进行识别. 文献[ 10 ]讨论了在贝 叶斯理论的框架下统一解决人脸识别和跟踪问题 , 采用时间序列模型刻画人脸的动态变化 ,把身份变 5 期 严 严等 :基于视频的人脸识别研究进展 879