正在加载图片...
第4期 杨国亮等：基于改进MMⅫ的HMM训练算法及其在面部表情识别中的应用 .433 式(2)把每个模型对当前模型入的影响同等对待， 准则函数中由于把竞争模型概率输出作为惩罚项， 而实际上在不同训练样本作用下每个模型对当前模 从而使得基于IMMI的训练算法较之Baum一Velch 型入的参数估计的贡献是不同的，因此本文引入加 算法识别能力得到显著提高 权得到改进MMI准则函数： 1.2基于IMM的HMM参数估计算法 4=空w- 为了估计HMM参数，下面讨论有约束优化 问题： 空hP()时空r(m M(A)= )- (3) 其中0<e<1,P0 max (4) 对比式(2)和式(3)可知： ()参数”的引入可以有效控制不同样本作用 的束条，之=1之G=1 下每个模型对当前模型的影响程度，使得不同样本 为求解优化问题(4)，构造拉格朗日函数： 对模型参数训练的贡献不同， (2)当=1，=1时，式(2)和式(3)等同.改 变刀值，各个模型对某个模型入影响程度也发生 变化，其中P(O入)越大，则在该样本下模型入 空1-c (5) 对模型入的参数估计影响越大，门值越大，这种影 其中d程、为拉格朗日乘子，为模型入状态i转 响就进一步加强：反之亦然 (③)参数e引入则可以有效控制所有模型对当 移到状态j的概率、C为模型入时状态j广中第l个 前模型参数入估计的综合影响程度，特别地，当 高斯混合元的混合系数，和分别为模型入时 =0时，式(3)退化成最大似然准则，此时基于 状态j中第I个高斯混合密度函数N(o,,)对 式(3)的HMM模型参数估计算法等同于标准的 应的均值矢量和协方差矩阵（取对角型） Baum Welch算法， 2L=0.3 aL-0.3 (4)参数1和e的引入真正反映了“不同训练 0影0路=0 可以求得： 样本对模型参数估计的贡献不同”这一事实，同时在 (0呢，ij》- =1=1=1 (0呢，i,)- =1= 之(0呢，入)(0呢，i,) 含兰医，-之3兰候候0 =1= =11 c= 空香-22t4心 (6) = (0,j,)- 之2呢保 (o,.D,-o,-I-e （0呢，入)(0呢，i,0(或，-)（或：-）T 强= =1=】=1 (-吕2（呢）(%)式（2）把每个模型对当前模型 λv 的影响同等对待 而实际上在不同训练样本作用下每个模型对当前模 型 λv 的参数估计的贡献是不同的因此本文引入加 权得到改进 MMI 准则函数： M（Λ）＝ ∑ V v＝1 M（λvΛ）＝ ∑ V v＝1∑ K v k＝1 ln P（ O v k｜λv）—εln ∑ V u＝1 P（ O v k｜λu） η 1 η （3） 其中0＜ε＜1η＞0 对比式（2）和式（3）可知： （1） 参数 η的引入可以有效控制不同样本作用 下每个模型对当前模型的影响程度使得不同样本 对模型参数训练的贡献不同． （2） 当 η＝1ε＝1时式（2）和式（3）等同．改 变η值各个模型对某个模型 λv 影响程度也发生 变化其中 P（ O v k｜λu）越大则在该样本下模型 λu 对模型λv 的参数估计影响越大η值越大这种影 响就进一步加强；反之亦然． （3） 参数ε引入则可以有效控制所有模型对当 前模型参数λv 估计的综合影响程度．特别地当 ε＝0时式 （3） 退化成最大似然准则此时基于 式（3）的 HMM 模型参数估计算法等同于标准的 Baum—Welch 算法． （4） 参数 η和ε的引入真正反映了“不同训练 样本对模型参数估计的贡献不同”这一事实同时在 准则函数中由于把竞争模型概率输出作为惩罚项 从而使得基于 IMMI 的训练算法较之 Baum—Welch 算法识别能力得到显著提高． 1∙2 基于 IMMI 的 HMM参数估计算法 为了估计 HMM 参数下面讨论有约束优化 问题： M（Λ） ＝ ∑ V v＝1∑ K v k＝1 ln P（ O v k）－ εln ∑ V u＝1 P（ O v k|λu） η 1 η ＝ max 约束条件：∑ Nv j＝1 a v ij ＝1∑ Mv l＝1 C v jl ＝1 （4） 为求解优化问题（4）构造拉格朗日函数： L （Λde）＝ M（Λ）＋ ∑ V v＝1∑ Nv i＝1 d v i 1— ∑ Nv j＝1 a v ij ＋ ∑ V v＝1∑ Nv j＝1 e v j 1— ∑ Mv l＝1 C v jl （5） 其中 d v i 、e v i 为拉格朗日乘子a v ij为模型λv 状态 i 转 移到状态 j 的概率、C v jl为模型λv 时状态 j 中第 l 个 高斯混合元的混合系数μv jl和Σv jl分别为模型λv 时 状态 j 中第 l 个高斯混合密度函数 N（ oμv jlΣv jl）对 应的均值矢量和协方差矩阵（取对角型）． 令 ∂L ∂a v ij ＝0 ∂L ∂C v jl ＝0 ∂L ∂μv jl ＝0 ∂L ∂（Σv jl） —1＝0 可以求得： a v ij ＝ ∑ K v k＝1∑ T v k－1 t＝1 ξ v t （ O v kij）－ε∑ V p＝1∑ K p k＝1∑ T p k－1 t＝1 φ（ O p kλv ）ξ v t （ O p kij） ∑ K v k＝1∑ T v k－1 t＝1∑ Nv l＝1 ξ v t （ O v kil）－ε∑ V p＝1∑ K p k＝1∑ T p k－1 t＝1∑ Nv l＝1 φ（ O p kλv ）ξ v t （ O p kil） C v jl ＝ ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）－ε∑ V p＝1∑ K p k＝1∑ T p k t＝1 φ（ O p kλv ）γ v t （ O p kjl） ∑ K v k＝1∑ T v k t＝1 ∑ Mv m＝1 γ v t （ O v kjm）－ε∑ V p＝1∑ K p k＝1∑ T p k t＝1 ∑ Mv m＝1 φ（ O p kλv ）γ v t （ O p kjm） μ v jl ＝ ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl） o v kt －ε∑ V p＝1∑ K p k＝1∑ T p k t＝1 φ（ O p kλv ）γ v t （ O p kjl） o p kt ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）－ε∑ V p＝1∑ K p k＝1∑ T p k t＝1 φ（ O p kλv ）γ v t （ O p kjl） Σ v jl ＝ ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）（ o v kt － μ v jl）（ o v kt － μ v jl） T －ε∑ V p＝1∑ K p k＝1∑ T p k t＝1 φ（ O p kλv ）γ v t （ O p kjl）（ o p kt － μ v jl）（ o p kt － μ v jl） T ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）－ε∑ V p＝1∑ K p k＝1∑ T p k t＝1 φ（ O p kλv ）γ v t （ O p kjl） （6） 第4期 杨国亮等： 基于改进 MMI 的 HMM 训练算法及其在面部表情识别中的应用 ·433·