第4卷第5期 智能系统学报 Vol.4 No.5 2009年10月 CAAI Transactions on Intelligent Systems 0ct.2009 d10.3969/j.issn.1673-4785.2009.05.007 从视频中恢复三维人脸的实时方法 孙正兴，姚伟 (南京大学计算机软件新技术国家重点实验室，江苏南京210093) 摘要：三维人脸恢复是视觉交互的一个难点问题，提出了一种从视频中实时恢复三维人脸的新方法.该方法利用 主动形状模型进行人脸特征点提取和跟踪，确保了三维形状恢复和特征跟踪的有效性和一致性：采用非刚体形状和 运动估计方法构建三维形变基，有效地适应人脸形状变化的多样性：采用非线性优化算法估算人脸姿态和三维形变 基参数，实现了三维人脸形状和姿态的实时恢复.实验结果表明，该方法不仅能从视频中实时恢复三维人脸模型，而 且可有效跟踪人脸各种姿态的变化 关键词：视觉交互：三维人脸：人脸姿态：主动形状模型：非刚体运动恢复：三维形变模型 中图分类号：TP391文献标识码：A文章编号：1673-4785(2009)05-0427-06 A real-time method for recovering 3D faces from monocular video SUN Zheng-xing,YA0 Wei (State Key Laboratory of Novel Software Technology,Nanjing University,Nanjing 210093,China) Abstract:A major challenge for vision-based user interfaces has been the construction of 3D face models in real- time.This paper proposes a novel method for recovering 3D faces from monocular videos.First,active shape model (ASM))was used to extract and trace face features in videos,guaranteeing the validity and consistency of model re- covery and feature racking.Next,a motion algorithm based on non-rigid structures was adapted to create 3D de- formable shape bases as sources for a variety of face shapes.Finally,a nonlinear optimization algorithm was intro- duced to estimate the parameters of the face pose to be applied to the deformable model so as to rapidly reconstruct a 3D image.Experimental results proved the effectiveness of the proposed method;it robustly recovers 3D shapes and poses from videos in real-ime. Keywords:vision-based interaction(VBD);3D face;face pose;active shape model(ASM));non-rigid structure from motion;3D deformable model 三维人脸建模是视觉交互中的难点课题之 法30，不仅需要人工标定相关特征点，且对人脸姿 一，已有三维人脸建模方法大多利用三维扫描数 态、表情和光照等条件变化敏感诸如主动形状模型 据进行23，这种方法所建立的人脸模型非常精细： ASM(active shape model))7和主动外观模型AAM 但三维扫描设备昂贵，且建模及后处理工作量大，难 (active apearance model))"等形变模型通过对同类 以满足人机交互对人脸运动及姿态等估计的实时性性 目标物体的统计学习获得形状变化的统计模型，可 要求.从视频中直接恢复三维人脸模型是一种快捷 有效提取和跟踪人脸特征.但如何保证三维人脸建 有效的方法，其核心思想是采用运动分析方法，通过 模的实时性和鲁棒性仍是其面临的一个重要问题 跟踪人脸运动将其运动信息转化为控制人脸模型的 Blanz等提出了一种基于三维形变模型(3D 运动参数”.但是，已有研究大多采用光流算 morphable model,.3DMM)的三维人脸建模方法， 它通过对人脸三维扫描数据的主成分分析(princi- 收稿日期：2009-07-23 pal component analysis,PCA)进行三维人脸的统计 基金项目：.国家高科技发展计划863)资助项目(2007A401Z334): 国家自然科学基金资助项目(69903006,60373065， 建模并采用合成分析(analysis by synthesis))技术对 60721002. 输入人脸图像的三维形状和纹理参数进行优化和估 通信作者孙：正兴.E-mai1:ezx@nju.edu.cn. 计.该方法能精确表现人脸形状变化的多样性，但其孙正兴,姚 伟 (南京大学计算机软件新技术国家重点实验室,江苏南京210093) Abstract: A major challenge for vision-based user interfaces has been the construction of 3D face models in real- 通信作者孙:正兴.E-mail:ezx@nju.edu.cn. time. This paper proposes a novel method for recovering 3D faces from monocular videos. First, active shape model (ASM) was used to extract and trace face features in videos,guaranteeing the validity and consistency of model re￾covery and feature racking. Next,a motion algorithm based on non-rigid structures was adapted to create 3D de￾formable shape bases as sources for a variety of face shapes. Finally,a nonlinear optimization algorithm was intro￾duced to estimate the parameters of the face pose to be applied to the deformable model so as to rapidly reconstruct a 3D image. Experimental results proved the effectiveness of the proposed method; it robustly recovers 3D shapes and poses from videos in real-ime. 摘 要: 三维人脸恢复是视觉交互的一个难点问题,提出了一种从视频中实时恢复三维人脸的新方法.该方法利用 主动形状模型进行人脸特征点提取和跟踪,确保了三维形状恢复和特征跟踪的有效性和一致性;采用非刚体形状和 运动估计方法构建三维形变基,有效地适应人脸形状变化的多样性;采用非线性优化算法估算人脸姿态和三维形变 基参数,实现了三维人脸形状和姿态的实时恢复.实验结果表明,该方法不仅能从视频中实时恢复三维人脸模型,而 且可有效跟踪人脸各种姿态的变化. 关键词:视觉交互;三维人脸;人脸姿态;主动形状模型;非刚体运动恢复;三维形变模型 中图分类号: TP391 文献标识码: A 文章编号: 1673-4785(2009) 05-0427-06 智 能 系 统 学 报 CAAI Transactions on Intelligent Systems doi: 10.3969/j.issn.1673-4785.2009.05.007 Vol.4 No.5 Oct.2009 法30,不仅需要人工标定相关特征点,且对人脸姿 态、表情和光照等条件变化敏感.诸如主动形状模型 ASM(active shape model) 7和主动外观模型 AAM (active apearance model) "等形变模型通过对同类 目标物体的统计学习获得形状变化的统计模型,可 有效提取和跟踪人脸特征.但如何保证三维人脸建 模的实时性和鲁棒性仍是其面临的一个重要问题. Blanz等提出了一种基于三维形变模型(3D morphable model,3DMM) 的三维人脸建模方法, 它通过对人脸三维扫描数据的主成分分析(princi￾pal component analysis,PCA) 进行三维人脸的统计 建模,并采用合成分析(analysis-by-synthesis) 技术对 输入人脸图像的三维形状和纹理参数进行优化和估 计.该方法能精确表现人脸形状变化的多样性,但其 第4卷第5期 2009年10月 A real-time method for recovering 3D faces from monocular video 三维人脸建模是视觉交互中的难点课题之 .已有三维人脸建模方法大多利用三维扫描数 据进行23,这种方法所建立的人脸模型非常精细; 但三维扫描设备昂贵,且建模及后处理工作量大,难 以满足人机交互对人脸运动及姿态等估计的实时性 要求.从视频中直接恢复三维人脸模型是一种快捷 有效的方法,其核心思想是采用运动分析方法,通过 跟踪人脸运动将其运动信息转化为控制人脸模型的 运动参数".但是,已有研究大多采用光流算 从视频中恢复三维人脸的实时方法 Keywords: vision-based interaction(VBI) ;3D face; face pose; active shape model(ASM) ;non-rigid structure from motion;3D deformable model SUN Zheng-xing,YA0 Wei (State Key Laboratory of Novel Software Technology,Nanjing University,Nanjing 210093,China) 收稿日期::2009-07-23 基金项目: 国家高科技发展计划(863)资助项目(2007AA01Z334) ; 国家自然科学基金资助项目(69903006,60373065， 60721002)