正在加载图片...
第4期 杨国亮等：基于改进MMⅫ的HMM训练算法及其在面部表情识别中的应用 .435 (1oop)=cp,c>1为一常数，loop为迭代步骤. cas Kanade法[8]可以计算出光流场(u,v) (③)对每个训练样本，分别计算前向概率、后向 2.1.2基于Hessian矩阵的前向一后向光流法 概率、过渡概率、相对输出概率和混合输出概率，并 Lucas Kanade光流法[假定邻域n内各像素 对训练样本集重新分配，得到A。· 点光流保持恒定，为有效消除邻域Ω内存在的严 (4)利用式(6)或式(8)对HMM参数重估并进 重违反光流约束方程或运动不连续点，本文引入 行归一化处理 Hessian矩阵判断邻域n内每点对于光流约束方程 (5)判断参数估计是否达到预定迭代步数或预 的“良态性”，以提高光流估计精度 定精度，若是，则结束；否则转(2) 式(12)分别对x,y求偏导得： 2 改进HMM算法在面部表情识别 [ (13) 中的应用 可以定义Hessian矩阵 目前，常用的面部表情识别方法主要可以分为 两类：基于静态表情图像的识别方法和基于动态表 情图像的识别方法，本文考虑动态表情图像识别 并且Hessian矩阵的条件数 方法， 2.1面部表情图像特征提取 cond(H= 本文对面部表情图像序列计算光流场，得到面 式中，max、omin分别为H的最大和最小特征值.，H 部表情变化的时间和空间信息，传统的光流计算法 反映了方程(l3)解的稳定性，如果Hessian矩阵的 主要是基于灰度守恒和光流场的平滑性假设，但这 条件数很大则方程(13)为病态方程，对应的Hessian 些假设在阴影、边界和遮挡性的地方不再成立，为此 矩阵秩很小，其解不稳定，计算的光流不可靠；如果 本文提出相应的改进算法， Hessian矩阵的条件数接近l,对应的Hessian矩阵 2.1.1前向后向光流方程 秩很大，方程(13)为良态，其解鲁棒性较好，由此可 考虑方程 以进一步定义邻域内各个像素点对应的权函 1I(x,y,t)-I(x+△x,y+△y,t+△t)=0(9) 数为： 可以得到： 0 W(X)= if det(H) 1/cond(H0 if det(H)≥t (14) I(x,y,t)=I(x十△x,y十△y,t十△t) (10) I(x,y,t十△t)=I(x-△x,y-△y,t) 2.2IMM-ANN混合分类器设计 对式(10)进行泰勒展开并忽略二阶及二阶以上的项 尽管HMM具有很强的时间信息处理能力，但 可以得到： 是HMM也有自身缺点：由于训练准则和算法的限 u+I知+I=0 制，使得它对模式的识别能力较差，虽然本文对改变 Iau十au十+=0 (11) 了HMM训练准则，使得HMM识别能力有所提高， 其中I(x,y,t)、(u,)分别表示图像某像素点(x, 但其识别能力相对于神经网络等分类器来说还是有 y)在t时刻的灰度值和光流 差别；其次，HMM的拓扑结构和观测向量概率密度 =3山，5-， 函数形式的先验选择往往和实际有出入·与HMM 相比，BP神经网络却具有很强的模式分类能力，且 =I山，时=I1+△ 对输入的统计特性不必做出先验假设 为了充分利用HMM和BP神经网络的优点， 5a=Ix3+△，ga=岁+△) 本文构建了基于IMMI的HMM和BP网络混合分 类器，把BP网络作为二次分类器，其训练过程 分别为图像序列各像素点灰度在水平、垂直及时间 如下： 方向上的偏导数 (1)利用改进光流算法计算面部表情图像序列 把式(11)重新合并成一个新的光流方程： 的光流场，为降低数据维数，本文对光流场利用主 Iu+1+=0 (12) 成分分析(PCA)进行数据压缩，得到面部表情的特 其中，=哑十(1-a)a,,=a+(1-)· 征向量序列 4,=哑十(1一a)1+4.根据式(12)采用Lu (2)对上述得到的特征向量序列，利用IMMIη（loop）＝c loopc＞1为一常数loop 为迭代步骤． （3） 对每个训练样本分别计算前向概率、后向 概率、过渡概率、相对输出概率和混合输出概率并 对训练样本集重新分配得到 Av． （4） 利用式（6）或式（8）对 HMM 参数重估并进 行归一化处理． （5） 判断参数估计是否达到预定迭代步数或预 定精度．若是则结束；否则转（2）． 2 改进 HMM 算法在面部表情识别 中的应用 目前常用的面部表情识别方法主要可以分为 两类：基于静态表情图像的识别方法和基于动态表 情图像的识别方法．本文考虑动态表情图像识别 方法． 2∙1 面部表情图像特征提取 本文对面部表情图像序列计算光流场得到面 部表情变化的时间和空间信息．传统的光流计算法 主要是基于灰度守恒和光流场的平滑性假设但这 些假设在阴影、边界和遮挡性的地方不再成立为此 本文提出相应的改进算法． 2∙1∙1 前向—后向光流方程 考虑方程 I（ xyt）—I（ x＋Δxy＋Δyt＋Δt）＝0 （9） 可以得到： I（ xyt）＝I（ x＋Δxy＋Δyt＋Δt） I（ xyt＋Δt）＝I（ x—Δxy—Δyt） （10） 对式（10）进行泰勒展开并忽略二阶及二阶以上的项 可以得到： I t xu＋I t yv＋I t t＝0 I t＋Δt x u＋I t＋Δt y v＋I t＋Δt t ＝0 （11） 其中 I（ xyt）、（ uv ）分别表示图像某像素点（ x y）在 t 时刻的灰度值和光流． I t x＝ ∂I（ xyt） ∂x I t y＝ ∂I（ xyt） ∂y I t t＝ ∂I（ xyt） ∂t I t＋Δt x ＝ ∂I（ xyt＋Δt） ∂x I t＋Δt y ＝ ∂I（ xyt＋Δt） ∂y I t＋Δt t ＝ ∂I（ xyt＋Δt） ∂t 分别为图像序列各像素点灰度在水平、垂直及时间 方向上的偏导数． 把式（11）重新合并成一个新的光流方程： I′xu＋I′yv＋I′t＝0 （12） 其中I′x ＝αI t x ＋（1—α） I t＋Δt x I′y ＝αI t y ＋（1—α）· I t＋Δt y I′t＝αI t t＋（1—α） I t＋Δt t ．根据式（12）采用 Lucas—Kanade 法［8］可以计算出光流场（ uv ）． 2∙1∙2 基于 Hessian 矩阵的前向—后向光流法 Lucas—Kanade 光流法［9］假定邻域 Ω内各像素 点光流保持恒定．为有效消除邻域 Ω内存在的严 重违反光流约束方程或运动不连续点本文引入 Hessian 矩阵判断邻域 Ω内每点对于光流约束方程 的“良态性”以提高光流估计精度． 式（12）分别对 xy 求偏导得： I′xx I′yx I′xy I′yy u v ＝— I′tx I′ty （13） 可以定义 Hessian 矩阵 H＝ I′xx I′yx I′xy I′yy 并且 Hessian 矩阵的条件数 cond（ H）＝ ｜σmax｜ ｜σmin｜ 式中σmax、σmin分别为 H 的最大和最小特征值．H 反映了方程（13）解的稳定性．如果 Hessian 矩阵的 条件数很大则方程（13）为病态方程对应的 Hessian 矩阵秩很小其解不稳定计算的光流不可靠；如果 Hessian 矩阵的条件数接近1对应的 Hessian 矩阵 秩很大方程（13）为良态其解鲁棒性较好．由此可 以进一步定义邻域 Ω 内各个像素点对应的权函 数为： W（ X）＝ 0 if det（ H）＜τ 1／cond（ H） if det（ H）≥τ （14） 2∙2 IMMI－ANN 混合分类器设计 尽管 HMM 具有很强的时间信息处理能力但 是 HMM 也有自身缺点：由于训练准则和算法的限 制使得它对模式的识别能力较差虽然本文对改变 了 HMM 训练准则使得 HMM 识别能力有所提高 但其识别能力相对于神经网络等分类器来说还是有 差别；其次HMM 的拓扑结构和观测向量概率密度 函数形式的先验选择往往和实际有出入．与 HMM 相比BP 神经网络却具有很强的模式分类能力且 对输入的统计特性不必做出先验假设． 为了充分利用 HMM 和 BP 神经网络的优点 本文构建了基于 IMMI 的 HMM 和 BP 网络混合分 类器把 BP 网络作为二次分类器其训练过程 如下： （1） 利用改进光流算法计算面部表情图像序列 的光流场．为降低数据维数本文对光流场利用主 成分分析（PCA）进行数据压缩得到面部表情的特 征向量序列． （2） 对上述得到的特征向量序列利用 IMMI 第4期 杨国亮等： 基于改进 MMI 的 HMM 训练算法及其在面部表情识别中的应用 ·435·