·430 智能系统学报 第4卷 法收敛，否则转c); 中，图3(a)为2个不同视角下的三维平均形状， c)计算Jacobian矩阵J=[,7,p as'as'as' ,更新模 图3(b)、图3(c)和图3(d)为形变模型中所有20 个形变基中的前3个形变基.该形变模型较好地反 型参数风，Tp]=[风，工小号装》 映了人脸各种表情形状变化，如：图3(b)的嘴巴抿 合、图3(c)的嘴巴张大和图3(d)的眼睛闭合等. 4)当前旋转矩阵和平移矩阵下绘制三维人脸 形状S. 2实验结果与分析 (a）S (b)S. (c)S, d)S 本文方法处理流程如图1.首先通过ASM匹配 算法跟踪人脸特征点，得到二维网络形状；然后利用 图3形变模型的平均形状及形变基 非线性优化估计三维形变模型的参数使得三维与二 Fig.3 Average shape and deformation-based of deformable 维形状之间尽可能匹配，同时在优化过程中还获得 model 了三维人脸的姿态参数.为验证所提出方法的有效 性，开发了相应的软件系统并进行了大量实验16 为获得ASM模型，采用20个人的240张静态图像 来构建，每幅图像手工标定68个点.为进一步提高 算法的鲁棒性及效率，采用了3层金字塔的策略来 实现由粗到精的搜索，如图2所示， AAM 纹理映 馨 非线件优化 维形状与姿态恢复 4 {a）第7呐 (b)第i44帧 (c)第244吹 图4ASM跟踪及三维重建（姿态变化） 样本练机器学习 三雄形变摸型基 Fig.4 ASM tracking and 3D recovery (pose variety) 图1视频人脸的三维实时恢复流程 Fig.1 Diagram of real time 3D face recovery from monoc- ular videos (a)原始图像 (h)初始形携 (c）10次送代 (d)16次送代 (a)第49蝦 (b)第123帧 (c)第214帧 图2ASM匹配过程 图5ASM跟踪及三维重建（表情变化） Fig.2 ASM matching process Fig.5 ASM tracking and 3D recovery (expression variety) 为创建三维形变模型，首先利用含20人共 图4和图5分别给出了2段视频流中人脸姿态 1600帧的视频序列作为训练集，并利用ASM匹配 和形状变化实时跟踪的结果.其中：首行为视频的原 算法跟踪人脸特征点.图3给出了训练得到的形变 始帧图像；中间行是ASM匹配算法的跟踪结果，图 模型的平均形状及部分形变基的三维网络结构.其 中所要跟踪的人脸特征点都被画上了标记；末行图