第4卷第5期 智能系统学报 Vol.4 No.5 2009年10月 CAAI Transactions on Intelligent Systems 0ct.2009 d10.3969/j.issn.1673-4785.2009.05.007 从视频中恢复三维人脸的实时方法 孙正兴，姚伟 (南京大学计算机软件新技术国家重点实验室，江苏南京210093) 摘要：三维人脸恢复是视觉交互的一个难点问题，提出了一种从视频中实时恢复三维人脸的新方法.该方法利用 主动形状模型进行人脸特征点提取和跟踪，确保了三维形状恢复和特征跟踪的有效性和一致性：采用非刚体形状和 运动估计方法构建三维形变基，有效地适应人脸形状变化的多样性：采用非线性优化算法估算人脸姿态和三维形变 基参数，实现了三维人脸形状和姿态的实时恢复.实验结果表明，该方法不仅能从视频中实时恢复三维人脸模型，而 且可有效跟踪人脸各种姿态的变化 关键词：视觉交互：三维人脸：人脸姿态：主动形状模型：非刚体运动恢复：三维形变模型 中图分类号：TP391文献标识码：A文章编号：1673-4785(2009)05-0427-06 A real-time method for recovering 3D faces from monocular video SUN Zheng-xing,YA0 Wei (State Key Laboratory of Novel Software Technology,Nanjing University,Nanjing 210093,China) Abstract:A major challenge for vision-based user interfaces has been the construction of 3D face models in real- time.This paper proposes a novel method for recovering 3D faces from monocular videos.First,active shape model (ASM))was used to extract and trace face features in videos,guaranteeing the validity and consistency of model re- covery and feature racking.Next,a motion algorithm based on non-rigid structures was adapted to create 3D de- formable shape bases as sources for a variety of face shapes.Finally,a nonlinear optimization algorithm was intro- duced to estimate the parameters of the face pose to be applied to the deformable model so as to rapidly reconstruct a 3D image.Experimental results proved the effectiveness of the proposed method;it robustly recovers 3D shapes and poses from videos in real-ime. Keywords:vision-based interaction(VBD);3D face;face pose;active shape model(ASM));non-rigid structure from motion;3D deformable model 三维人脸建模是视觉交互中的难点课题之 法30，不仅需要人工标定相关特征点，且对人脸姿 一，已有三维人脸建模方法大多利用三维扫描数 态、表情和光照等条件变化敏感诸如主动形状模型 据进行23，这种方法所建立的人脸模型非常精细： ASM(active shape model))7和主动外观模型AAM 但三维扫描设备昂贵，且建模及后处理工作量大，难 (active apearance model))"等形变模型通过对同类 以满足人机交互对人脸运动及姿态等估计的实时性性 目标物体的统计学习获得形状变化的统计模型，可 要求.从视频中直接恢复三维人脸模型是一种快捷 有效提取和跟踪人脸特征.但如何保证三维人脸建 有效的方法，其核心思想是采用运动分析方法，通过 模的实时性和鲁棒性仍是其面临的一个重要问题 跟踪人脸运动将其运动信息转化为控制人脸模型的 Blanz等提出了一种基于三维形变模型(3D 运动参数”.但是，已有研究大多采用光流算 morphable model,.3DMM)的三维人脸建模方法， 它通过对人脸三维扫描数据的主成分分析(princi- 收稿日期：2009-07-23 pal component analysis,PCA)进行三维人脸的统计 基金项目：.国家高科技发展计划863)资助项目(2007A401Z334): 国家自然科学基金资助项目(69903006,60373065， 建模并采用合成分析(analysis by synthesis))技术对 60721002. 输入人脸图像的三维形状和纹理参数进行优化和估 通信作者孙：正兴.E-mai1:ezx@nju.edu.cn. 计.该方法能精确表现人脸形状变化的多样性，但其
孙正兴,姚 伟 (南京大学计算机软件新技术国家重点实验室,江苏南京210093) Abstract: A major challenge for vision-based user interfaces has been the construction of 3D face models in real- 通信作者孙:正兴.E-mail:ezx@nju.edu.cn. time. This paper proposes a novel method for recovering 3D faces from monocular videos. First, active shape model (ASM) was used to extract and trace face features in videos,guaranteeing the validity and consistency of model recovery and feature racking. Next,a motion algorithm based on non-rigid structures was adapted to create 3D deformable shape bases as sources for a variety of face shapes. Finally,a nonlinear optimization algorithm was introduced to estimate the parameters of the face pose to be applied to the deformable model so as to rapidly reconstruct a 3D image. Experimental results proved the effectiveness of the proposed method; it robustly recovers 3D shapes and poses from videos in real-ime. 摘 要: 三维人脸恢复是视觉交互的一个难点问题,提出了一种从视频中实时恢复三维人脸的新方法.该方法利用 主动形状模型进行人脸特征点提取和跟踪,确保了三维形状恢复和特征跟踪的有效性和一致性;采用非刚体形状和 运动估计方法构建三维形变基,有效地适应人脸形状变化的多样性;采用非线性优化算法估算人脸姿态和三维形变 基参数,实现了三维人脸形状和姿态的实时恢复.实验结果表明,该方法不仅能从视频中实时恢复三维人脸模型,而 且可有效跟踪人脸各种姿态的变化. 关键词:视觉交互;三维人脸;人脸姿态;主动形状模型;非刚体运动恢复;三维形变模型 中图分类号: TP391 文献标识码: A 文章编号: 1673-4785(2009) 05-0427-06 智 能 系 统 学 报 CAAI Transactions on Intelligent Systems doi: 10.3969/j.issn.1673-4785.2009.05.007 Vol.4 No.5 Oct.2009 法30,不仅需要人工标定相关特征点,且对人脸姿 态、表情和光照等条件变化敏感.诸如主动形状模型 ASM(active shape model) 7和主动外观模型 AAM (active apearance model) "等形变模型通过对同类 目标物体的统计学习获得形状变化的统计模型,可 有效提取和跟踪人脸特征.但如何保证三维人脸建 模的实时性和鲁棒性仍是其面临的一个重要问题. Blanz等提出了一种基于三维形变模型(3D morphable model,3DMM) 的三维人脸建模方法, 它通过对人脸三维扫描数据的主成分分析(principal component analysis,PCA) 进行三维人脸的统计 建模,并采用合成分析(analysis-by-synthesis) 技术对 输入人脸图像的三维形状和纹理参数进行优化和估 计.该方法能精确表现人脸形状变化的多样性,但其 第4卷第5期 2009年10月 A real-time method for recovering 3D faces from monocular video 三维人脸建模是视觉交互中的难点课题之 .已有三维人脸建模方法大多利用三维扫描数 据进行23,这种方法所建立的人脸模型非常精细; 但三维扫描设备昂贵,且建模及后处理工作量大,难 以满足人机交互对人脸运动及姿态等估计的实时性 要求.从视频中直接恢复三维人脸模型是一种快捷 有效的方法,其核心思想是采用运动分析方法,通过 跟踪人脸运动将其运动信息转化为控制人脸模型的 运动参数".但是,已有研究大多采用光流算 从视频中恢复三维人脸的实时方法 Keywords: vision-based interaction(VBI) ;3D face; face pose; active shape model(ASM) ;non-rigid structure from motion;3D deformable model SUN Zheng-xing,YA0 Wei (State Key Laboratory of Novel Software Technology,Nanjing University,Nanjing 210093,China) 收稿日期::2009-07-23 基金项目: 国家高科技发展计划(863)资助项目(2007AA01Z334) ; 国家自然科学基金资助项目(69903006,60373065， 60721002)
·428 智能系统学报 第4卷 在匹配中需要对大量参数进行复杂连续优化，非常 水平和垂直方向上的平移量；3为缩放因子；0为平 耗时.Ahlberg等[1o]提出了基于3D-AAM的人脸建 面内旋转角度；3为平均形状，其初始值为关键特征 模与跟踪方法，它首先定义一个三维Candide人脸 点集合；Φ为主成分特征向量构成的变换矩阵，反 模型，通过拟合该模型来获得三维物体的深度信息， 映了形状变化的主要模式.该模型可以直观解释为， 并用AAM跟踪获得人脸的相应运动姿态和三维形 任意形状均可近似表示为对平均形状的“形变”，这 状参数，进而计算脸部动画参数(facial animation pa- 种形变是通过形状参数b,对若干形状变化模式的 rameters,FAP)来驱动Candide模型来获得三维动 加权和来呈现的： 画效果.Vogler等把ASM和3DMM融合在一起， 形状的初始化对ASM搜索过程至关重要，如果 3DMM用来控制全局形状、方向和位置，ASM则用 偏离目标太远，则可能会陷入到局部最小利用人脸 于二维特征点的跟踪并从失效中恢复形状.这些方 检测器「16]估测出人脸大致位置可以得到相应的缩 法满足了恢复建模的实时性要求，但需要借助于三 放因子s和平移量(：，飞，)，从而避免了搜索中局部 维人脸模型定义并设置大量参数.Bregler等12]和 最小情况的出现 Brand[1s]提出的分解因数方法能从视频中恢复人脸 ASM中局部纹理的建立是假定特征点在其某 等非刚性形变物体的三维形状，但其不支持实时在 个邻域内的图像亮度的一阶导数服从高斯正态分 线形状恢复.Xiao等[14)和Zhu等[5]分别对该方法 布，在模型适应阶段则用来进行标定点位置的自动 进行了扩展，使之满足在线形状恢复的要求；但X- 更新.也就是说，对p点邻域内的每个候选点q,都 ao的模型对特定人脸具有依赖性且模型更新过于 计算其局部纹理飞。与训练集合中p点局部纹理间 复杂，Zhu的方法实时性则得不到保证. 的马氏距离： 针对上述问题，本文提出了一种从视频中实时 d(g)=(,-,)r∑，(-)： (2) 恢复三维人脸模型的方法.该方法首先利用ASM方 ASM搜索的目标是寻找最优匹配点p·使得代 法对视频样本进行跟踪和特征提取，获得二维形状 价函数d(p·)最小.对大多数图像解释任务而言， 序列：进而采用非刚体形状和运动估计方法从视频 特征点通常选择为具有较强边缘信息的点，而这些 流中恢复三维人脸形状和姿态，并创建三维形变基； 点可以通过边缘检测操作算子得到，因此，通过给式 最后，利用非线性优化算法估算人脸姿态参数和三 (3)增加一个权值来调整匹配算法： 维形变基参数，从而恢复出三维人脸的形状和姿态 由于采用了ASM跟踪二维形状并利用非线性优化 dg)=(c-0·(4-,)Σ0-，.(3) 式中：C为常量（在实验中取为400），K为目标点的 方法，避免了形状跟踪和三维形变模型的复杂参数 Sobel边缘灰度.式(3)使得具有较强边缘信息的点 优化的问题，保证了三维人脸模型恢复的实时性. 在搜索过程中更可能被确定为最佳候选点， 1 三维人脸实时恢复和建模方法 1.2三维形状的非刚体运动恢复建模 形变模型的特征可概括为，任意形状可看作是 1.1基于ASM的人脸特征跟踪 个平均（中性）形状与一系列形变基的线性组合， 主动形状模型(ASM)是基于统计学习模型的 即二维形状s、三维形状S可统一表示为 特征点提取方法，主要包括两大部分：形状建模和形 状匹配.形状建模过程通过同一类目标物体进行统 S=S0+∑c·3:(,:∈R2m,c:∈R), 计建模，得到反映形状变化的形状统计模型及特征 点区域内灰度变化的局部纹理模型；在匹配阶段，则 S,+P:·S(SS∈RA∈R). 利用先验知识进行模型初始定位，再利用局部纹理 式中：$o和So分别为二维和三维平均形状，s:和S: 模型进行特征点搜索，并利用形状模型对形状进行 分别为二维和三维形变基；R2x"和R3x"分别为二维 合理近似调整.在ASM方法中，任意形状先由训练 和三维欧氏几何空间，c:和P:为二维和三维形变基 集预定义的图像关键特征点集合来描述，再通过采 参数，R为实数集.通常，So和S。及S:和S:需要从 用形状对齐算法将训练集中所有形状对齐到同一坐 诸如扫描三维数据中主成分分析得到，本文则采用 标体系，最后利用主成分分析方法按式(1)计算获 非刚体运动恢复(non-rigid structure from motion,NS 得统计形状模型，即主动形状模型： FM)方法来自动创建三维形状 S=T,0·(s+重·b,): (1) 为生成三维形变模型，需将三维形状S转换成 式中：T为对齐算子，即复合几何变换；t、,分别为 二维网格.在弱透视投影下，三维点(x,y,)投影
第5期 孙正兴，等：从视频中恢复三维人脸的实时方法 ·429· 到二维图像平面(u,v),两者间的变换关系为 isix+ii,+isi j'i +j,j,+j:j, i"j+iy·j,+丘=0. (10) =R 5 显然，利用最小二乘法就可求解出矫正矩阵G.一旦 确定G,通过计算式(9)就可得到三维形变模型的 式中：R为弱透视投影矩阵，T为摄像机平移量 形变基B及对应的三维姿态矩阵M.这样，根据 给定形变基参数P:,通过式(4)计算三维形状 ASM二维跟踪结果，就创建了相应的三维形变基. S;每个三维顶点(x,y,),通过式(5)的摄像机模 1.3三维人脸模型的实时恢复 型投影到二维图像平面（山，）上.因此，二维形状3 实时恢复阶段先利用ASM定位或跟踪人脸特 以及三维形状S存在着如下的映射关系： 征点得到人脸的二维形状信息$，进而利用三维形 变模型对该二维跟踪结果进行重建.根据通用透视 12…》 =R(+A·S)+T(6) 摄像机模型，三维点集S投影到二维图像平面s'上： 由于所有点的平移量相同，可假定世界坐标系 s'=A·[R1T]·S (11) 的原点位于场景中心.因此，首先要计算出投影 式中：A为摄像机的内部矩阵，可通过摄像机定标一 图像的中心点，然后使所有点以该中心点进行平移， 次性得到；R为摄像机旋转矩阵；T为摄像机平移 就可忽略掉了平移量T.不失一般性，利用ASM匹 量.这样，三维匹配问题就转变成寻找合适的摄像机 配算法跟踪一段F帧的视频序列，计算式(4)可得 外部矩阵R和T,使得三维投影s'尽可能与二维跟 到时刻t的相应二维形状S: 踪形状s重合： Is-A·[RIT]·S‖. (12) s- (7) 鉴于非刚体存在着部分形变，因此，三维形状可 吃… 描述为一个平均形状与一系列形变基的线性组合. 进而，可把F帧图像上所有形状拼成一个2F×n矩 结合式(4)和式(12)，上述优化问题就转化为 阵W,利用式(6)的弱透视摄像机成像模型，得到 吃… 盟s-A[R1T](S+P:·S):(I3) 设摄像机围绕水平x轴的转动角度为α，绕y轴的 W= 转动角度为B,绕其所在x轴的旋转角度为y,则旋 * 转矩阵R=R(y）·R(α)·R,(B),T=(t,t, 3 t,)「为空间平移量，上述最小化问题实质上是一个 ΓR p PRRIT So T 关于旋转角（α，B,y)T、平移量(t,t,t)T以及形 变基系数p的非线性最优化问题.可以利用通用的 R2 PiRz PiR2 S M·B. (8) 牛顿最速下降法或Levenberg-Marquardt二乘法来迭 代优化求解，通过少量迭代就可得到收敛解，从而获 PIRr … PkRr- 得摄像机的外部矩阵R和T以及相应三维形变基 式中：M为2F×3(m+1)的带缩放因子的投影矩 系数p,然后计算式(4)就能恢复人脸的三维形状 阵，B为3(m+1)×n的形变基矩阵. 从视频中进行三维人脸实时恢复的过程描述如下： 非刚体运动估计的核心思想就是设法求解出三 输入：输入视频T帧. 维形变基B以及三维物体所对应的姿态M.在无噪 初始化：摄像机内部参数A=0,旋转矩阵R= 音的理想情祝下，矩阵W的秩至多为3(m+1),因 0,平移矩阵T=0,三维形变基参数p=0. 此，利用奇异值分解(singular value decomposition) fort=1,2,…,T: 得到一个2F×3(m+1)矩阵M及3(m+1)×n矩 1)ASM跟踪人脸特征点s. 阵B.但是，此分解并不惟一，任一3(m+1)× 2)如果是第1帧，摄像机标定获得内部矩阵A, 3(m+1)的可逆矩阵G都可插入到M及第间，而 3)非线性优化求解旋转矩阵R、平移矩阵T和 两者乘积仍保持不变，即 形变基系数p: M=M.G,B=G1·B. (9) a)利用式(4)计算三维形状S,并利用式(4)将 注意到M为带缩放因子的旋转矩阵，要求解出矩阵 其投影到二维平面上，得到s'; G,可添加正交旋转约束： b)如果‖s-s'‖足够小，则非线性优化迭代算
·430 智能系统学报 第4卷 法收敛，否则转c); 中，图3(a)为2个不同视角下的三维平均形状， c)计算Jacobian矩阵J=[,7,p as'as'as' ,更新模 图3(b)、图3(c)和图3(d)为形变模型中所有20 个形变基中的前3个形变基.该形变模型较好地反 型参数风，Tp]=[风，工小号装》 映了人脸各种表情形状变化，如：图3(b)的嘴巴抿 合、图3(c)的嘴巴张大和图3(d)的眼睛闭合等. 4)当前旋转矩阵和平移矩阵下绘制三维人脸 形状S. 2实验结果与分析 (a）S (b)S. (c)S, d)S 本文方法处理流程如图1.首先通过ASM匹配 算法跟踪人脸特征点，得到二维网络形状；然后利用 图3形变模型的平均形状及形变基 非线性优化估计三维形变模型的参数使得三维与二 Fig.3 Average shape and deformation-based of deformable 维形状之间尽可能匹配，同时在优化过程中还获得 model 了三维人脸的姿态参数.为验证所提出方法的有效 性，开发了相应的软件系统并进行了大量实验16 为获得ASM模型，采用20个人的240张静态图像 来构建，每幅图像手工标定68个点.为进一步提高 算法的鲁棒性及效率，采用了3层金字塔的策略来 实现由粗到精的搜索，如图2所示， AAM 纹理映 馨 非线件优化 维形状与姿态恢复 4 {a）第7呐 (b)第i44帧 (c)第244吹 图4ASM跟踪及三维重建（姿态变化） 样本练机器学习 三雄形变摸型基 Fig.4 ASM tracking and 3D recovery (pose variety) 图1视频人脸的三维实时恢复流程 Fig.1 Diagram of real time 3D face recovery from monoc- ular videos (a)原始图像 (h)初始形携 (c）10次送代 (d)16次送代 (a)第49蝦 (b)第123帧 (c)第214帧 图2ASM匹配过程 图5ASM跟踪及三维重建（表情变化） Fig.2 ASM matching process Fig.5 ASM tracking and 3D recovery (expression variety) 为创建三维形变模型，首先利用含20人共 图4和图5分别给出了2段视频流中人脸姿态 1600帧的视频序列作为训练集，并利用ASM匹配 和形状变化实时跟踪的结果.其中：首行为视频的原 算法跟踪人脸特征点.图3给出了训练得到的形变 始帧图像；中间行是ASM匹配算法的跟踪结果，图 模型的平均形状及部分形变基的三维网络结构.其 中所要跟踪的人脸特征点都被画上了标记；末行图
第5期 孙正兴，等：从视频中恢复三维人脸的实时方法 ·431 为非线性优化后的三维恢复效果（为提高真实感， 运用表情比例图像方法在三维人脸上进行纹理映 射[16).图6则是多人多姿态的其他实验结果示例。 从图中可以看出：本文方法可适合于各种人脸（多 人)及多种姿态的变化，包括人脸的平面内晃动、上 a)人险晃动平前内旋转和平移 下旋转、左右摇动和各种夸张表情的变化等。 采用不同形变模型对图5所示的视频(340帧) 进行实验比较，以分析形变基数目k对跟踪效果的 影响，实验结果如图7所示.其中：横轴为时间轴 (单位为s),纵轴为三维反投影(3Dre-projection)与 实际二维形状(ground truth)间的均方根(root mean 转平面外 square,RMS)误差.显然，RMS误差最大的为k=0, 此时，没有使用任何形变基，人脸退化为刚体运动， 误差相对较大，尤其是人脸表情变化剧烈时（如第 123帧).如果引入形变基，则RMS误差在显著减 小，且随着形变基数目的增加呈下降趋势.在k= c)人险左石旋转（平面外 20时，每个点的平均误差大为1个像素. 在迭代过程中，将前一帧的跟踪结果作为后一 帧的初始化输人.在Intel Pentium IV、2.4 GHz CPU、 1GB内存的机器上，对320×240大小的图像进行 实验，ASM匹配阶段大约耗时16ms,三维匹配阶段 (d)人脸表情的变化 耗时20ms,整个系统的处理速度大约25帧/s,满足 了实时性要求。 图6三维人脸恢复效果实例 Fig.6 Illustration of 3D face recovery 15 -k=0 k=1 k=8 y R=20 10 3 5 50 100 150 200 250 300 350 s 图7形变基数目对三维反投影误差的影响 Fig.7 Influence on error using 3D re-projection with different numbers of deformation-based 3结束语 状，并采用非刚体形状和运动估计建立三维人脸形 变基；在线恢复阶段则通过非线性优化方法来估计 为满足视觉交互对人脸姿态及运动建模的要 三维形变模型的参数，进而实现视频人脸的三维姿 求，本文采用主动形状模型与非线性优化结合的方 态和形状的实时恢复.实验结果表明，本文所构建的 法将整个过程分成2个阶段：离线建模阶段利用主 三维形变基能有效地表示人脸种类的多样性及人脸 动形状模型提取视频样本集来获取人脸特征点的形 局部特征变化，适应多种人脸和多种姿态的变化，包
432· 智能系统学报 第4卷 括平面内晃动、上下旋转、左右摇动和各种夸张表情 geles,USA,1999::187-194 等，满足了从视频中自动恢复三维人脸模型的要求： [10]AHLBERC J.Model-based coding-Extraction,coding, 同时，本文所提出的方法具有良好的计算效率，可实 and evaluation of face model parameters[D].Linkoping 时跟踪和重现人脸各种姿态和形状变化，能满足人 Ciy,Sweden:Linkoping University,2002. 机交互的要求.需要指出的是，本文方法以支持视觉 [11].VOCLER C,L Zhiguo,KANAUJA A,et al.The best of both worlds:combining 3D deformable models with active 交互为背景，与更为完备的三维形变模型相比，所获 shape models[C]l//Proceedings of the Ith IEE Interna- 取的恢复精度是有限的，也就是说，以牺牲三维恢复 tional Conference on Computer Vision.Rio de Janeiro. 精度为代价来保障算法的实时性.因此，如何在确保 Brazil,2007:H 恢复实时性前提下进一步提高恢复模型的精度是有 [12]BREGLER C.HERTZMANN A.BIERMANN H.Recove- 待进一步深入研究的问题：此外，如何将本文方法与 ing non-rigid 3D shape from image streams[C]//Proceed- 表情识别和理解等相关技术结合起来并支持人机交 ings of IEEE Conference on Computer Vision and Pattern 互过程也是普适计算和自然人机交互技术面临的重 Recognition.Hilton Head,USA.2000::690-696. 要课题， [13]BRAND M.Morphable 3D models from video[C]//Pro- ceedings of IEEE Conference on Computer Vision and Pat- 参考文献： tern Recognition.Kauai.Hawaii,USA.2001:456-463. [14].XIAOJ.CHAI J.KANADE T.A closed-form solution to [1].PORTA M.Vision-based user interfaces:methods and ap- non-rigid shape and motion recovery[C]//Proceedings of plications[J].International Journal of Human-Computer the th European Conference on Computer Vision.Prague, Studies.2002.57::27-73. Czech Republic,2004:573-587 [2]WATERS K,TERZOPOULOS D.Modeling and animating [15]ZHU Jianke,HOI S C.LYU M R.The real-time non-rigid faces using scanned data[J]Journal of Visualizaton and shape recovery via active appearance models for augmented Computer Animation,1991,2(4):123-128. reality[C]//Proceedings of the 9th European Conference [3胡永利，尹宝才，程世铨，等.创建中国人三维人脸库关 on Computer Vision.Graz,Austria,2006:186-197. 键技术研究[1.计算机研究与发展，2005,42(4)：622 16]姚伟.人脸表情识别与生成的技术研究[D].南京： 628. 南京大学，2009 HU Yongli,YIN Baocai,CHENC Shiquan,et al.Research YAO Wei.Research on facial expression recognition and on key technology in construction of a Chinese 3D face data- synthesis[D].Nanjing:Nanjing University,2009 base[J]..Journal of Computer Research and Development. 作者简介： 2005,42(4):622-628 孙正兴，男，1964年生，教授、博士 [4]IMOESLUND T B,HILTON A,KRUGER V.A survey of 生导师.中国图像图形学会计算机动画 advances in vision-based human motion capture and analysis 与数字艺术专委会常务委员，中国计算 [I].Computer Vision and Image Understanding,2006. 机学会计算机辅助设计与图形学专委 104(2)1:90-126 会委员，中国人工智能学会人工心理与 :VACCHETTI L,LEPETIT V,FUA P.Stable real-time 3D 人工情感专委会委员，江苏省微型电脑 tracking using online and offline information [J].IEEE 应用协会副理事长兼多媒体技术专委会主任，江苏省计算机 Transactions on Pattern Analysis and Machine Intelgence, 学会计算机辅助设计与图形学专委会主任.国家自然科学 2004,26(10)1:1385-1391. 基金委创新研究群体(007年度)骨干成员.主要研究方 [6]|LIU Z.ZHANG Z,JACOBS C,et al.Rapid modeling of 向为多媒体计算、计算机视觉和环境智能.获省部级科技进 animated faces from video[J].The Journal of Visualization 步三等奖3次.已在国内外重要学术刊物上发表学术论文 and Computer Animation,2001,12(4):227-240. 90余篇，主编教材3部、译著1部 [7]COOTES TF.TAYLOR CJ.COOPER D H.et al.Active shape models-their training and application[J].Computer 姚伟，男，1984年生，硕士研究 Vision and Image Understanding,1995,61(1)):38-59. 生，主要研究方向为计算机视觉与智能 8COOTES T F,EDWARDS C,TAYLOR C J.Active ap- 人机交互， pearance models[J].IEEE Transactions on Pattern Analy- sis and Machine Intelligence,2001,23(6)':681-685. BLANZV,VETTER T.A morphable model for the synthe- sis of 3D-face[C]//Proceelings of ACM International Con- ference on Computer Graphics(SIGGRAPH 99).Los An-
16] 姚 伟.人脸表情识别与生成的技术研究[D] .南京: 南京大学,2009. geles,USA,1999: 187-194. 作者简介: [5] VACCHETTI L,LEPETIT V,FUA P. Stable real-time 3D tracking using online and offline information [J]. IEEE Transactions on Pattern Analysis and Machine Intelgence, 2004,26(10) : 1385-1391. [14] XIAOJ,CHAI J,KANADE T. A closed-form solution to non-rigid shape and motion recovery[ C] //Proceedings of the th European Conference on Computer Vision. Prague, Czech Republic,2004: 573-587. [9] BLANZV,VETTER T. A morphable model for the synthesis of 3D-face[ C] //Proceelings of ACM International Conference on Computer Graphics(SIGGRAPH 99). Los An- [3] 胡永利,尹宝才,程世铨,等.创建中国人三维人脸库关 键技术研究[J] .计算机研究与发展,2005,42(4) : 622- 628. [6] LIU Z,ZHANG Z,JACOBS C,et al. Rapid modeling of animated faces from video[J] . The Journal of Visualization and Computer Animation,2001,12(4) :227-240. 姚 伟,男,1984年生,硕士研究 生,主要研究方向为计算机视觉与智能 人机交互. [15]ZHU Jianke,HOI S C,LYU M R. The real-time non-rigid shape recovery via active appearance models for augmented reality[C]//Proceedings of the 9th European Conference on Computer Vision. Graz,Austria,2006: 186-197. [12] BREGLER C,HERTZMANN A,BIERMANN H.Recoveing non-rigid 3D shape from image streams[ C] //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head,USA,2000: 690-696. 孙正兴,男,1964年生,教授、博士 [1] PORTA M. Vision-based user interfaces: methods and applications[J] 生导师.中国图像图形学会计算机动画 与数字艺术专委会常务委员,中国计算 机学会计算机辅助设计与图形学专委 会委员,中国人工智能学会人工心理与 人工情感专委会委员,江苏省微型电脑 应用协会副理事长兼多媒体技术专委会主任,江苏省计算机 学会计算机辅助设计与图形学专委会主任.国家自然科学 基金委创新研究群体(2007年度) 骨干成员.主要研究方 向为多媒体计算、计算机视觉和环境智能.获省部级科技进 步三等奖3次.已在国内外重要学术刊物上发表学术论文 90余篇,主编教材3部、译著1部. . International Journal of Human-Computer Studies,2002,57: 27-73. [8] COOTES T F,EDWARDS C,TAYLOR C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(6) :681-685. [13] BRAND M. Morphable 3D models from video[C] //Proceedings of IEEE Conference on Computer Vision and Pat- 参考文献: tern Recognition. Kauai,Hawaii,USA,2001: 456-463. YAO Wei. Research on facial expression recognition and synthesis[D].Nanjing: Nanjing University,2009. 智 能 系 统 学 报 第4卷 [10] AHLBERC J. Model-based coding-Extraction,coding, and evaluation of face model parameters[D] . Linkoping Ciy,Sweden: Linkoping University,2002. [2] WATERS K,TERZOPOULOS D. Modeling and animating faces using scanned data[J].Journal of Visualizaton and Computer Animation,1991,2(4) :123-128. [4] MOESLUND T B,HILTON A,KRUGER V. A survey of advances in vision-based human motion capture and analysis [J] . Computer Vision and Image Understanding,2006, 104(2) : 90-126. [7] COOTES TF,TAYLOR CJ,COOPER D H,et al. Active shape models-their training and application[J]. Computer Vision and Image Understanding,1995,61(1) :38-59. HU Yongli,YIN Baocai,CHENC Shiquan,et al. Research on key technology in construction of a Chinese 3D face database[J] . Journal of Computer Research and Development, 2005,42(4) : 622-628. 432· 括平面内晃动、上下旋转、左右摇动和各种夸张表情 等,满足了从视频中自动恢复三维人脸模型的要求; 同时,本文所提出的方法具有良好的计算效率,可实 时跟踪和重现人脸各种姿态和形状变化,能满足人 机交互的要求.需要指出的是,本文方法以支持视觉 交互为背景,与更为完备的三维形变模型相比,所获 取的恢复精度是有限的,也就是说,以牺牲三维恢复 精度为代价来保障算法的实时性.因此,如何在确保 恢复实时性前提下进一步提高恢复模型的精度是有 待进一步深入研究的问题;此外,如何将本文方法与 表情识别和理解等相关技术结合起来并支持人机交 互过程也是普适计算和自然人机交互技术面临的重 要课题. [11] VOCLER C,L Zhiguo,KANAUJA A,et al. The best of both worlds: combining 3D deformable models with active shape models[ C] //Proceedings of the 1th IEE International Conference on Computer Vision. Rio de Janeiro, Brazil,2007: 1-7