正在加载图片...
.434 北京科技大学学报 第29卷 其中， v类中第k个样本在模型为入，时，t时刻处于状态 (02,,0= (iD(i× 的前向和后向概率，：()和：()分别为给定第 P(O入) p类中第k个样本在模型为入时，t时刻处于状态i CN(o…,) 的前向和后向概率。 Cin N(o.) 式(6)即为改进的HMM参数重估算法， 重新考虑式(3)，当T∞时， (02,j,)= i)(i边× (M*A)= P(OI入) CN(o呢，，) 空空P%a)-P(o- g味原马) 为混合输出概率 当会nl)-当会nP(G)O (0%,i,j)=P(=i,+1=j0,入) 其中，A。={0lu=arg maxp(0|入)，0%∈0， (0呢，i,j)=P(s=i,+1=jl0呢，入) 不妨记A。={0i,02,,0处{则0∈A。,K。为 为过渡概率， A。中样本数. P(0,入)= P(O|入)” 对比式(3)和式(7)可以发现：对式(3)，所有 P(0l) HMM训练必须同时进行；对式(7)，各个HMM训 为相对输出概率.：(i)和：(i)分别为给定第 练可以单独进行，算法流程等同于Baum一Velch算 法，最大化式(7)可以得到： 程(0说，i,j)- (0成，i,j) 时= 0-22a40 k=1=1=1 k=1=1l=1 及0-2G, k=1=1 k=1=1 G= 名产(m)- 222 (8) 8(0i,j)成-e白白i%.y, 明= 发(0呢，j)-e 名启() 5(成-5-e2(呢，.0（成：-5（成-r k=1=1 至此，改进的HMM重估算法基本完成，下面 在参数重估过程中，为保证 台喝=1和 概括整个算法如下： 户G=1,必须对每次估计的参数进行归一化 (l)HMM参数初始化，采用经典Baum Welch 算法估计HMM参数，把估计结果作为本文IMMI 处理： 算法中HMM参数的初始值， (②)考虑到训练初期，训练样本在各个模型下 输出概率相差不是很明显，而在训练后期样本输出 式中号和C为重估值. 概率相差明显；因此，对参数”进行自适应变化，即其中 γv t （ O v kjl）＝ αvv kt（ j）βvv kt（ j） P（ O v k｜λv） × C v jlN（ o v ktμv jlΣv jl） ∑ Mv m＝1 C v jm N（ o v ktμv jmΣv jm） γv t （ O p kjl）＝ αv p kt（ j）βv p kt（ j） P（ O p k｜λv） × C v jlN（ o p ktμv jlΣv jl） ∑ Mv m＝1 C v jm N（ o p ktμv jmΣv jm） 为混合输出概率 ξv t （ O v kij）＝P（ st＝ ist＋1＝ j｜O v kλv） ξv t （ O p kij）＝P（ st＝ ist＋1＝ j｜O p kλv） 为过渡概率 φ（ O p kλv）＝ P（ O p k｜λv） η ∑ V u＝1 P（ O p k｜λu） η 为相对输出概率．αvv kt （ i）和 βvv kt （ i）分别为给定第 v 类中第 k 个样本在模型为λv 时t 时刻处于状态 的前向和后向概率αv p kt（ i）和 βv p kt（ i）分别为给定第 p 类中第 k 个样本在模型为λv 时t 时刻处于状态 i 的前向和后向概率． 式（6）即为改进的 HMM 参数重估算法． 重新考虑式（3）当 η→∞时 （ M ∗Λ）＝ ∑ V v＝1∑ Kv k＝1 ｛ln P（ O v k｜λv）—εlnmax u ［ P（ O v k｜λu）］｝＝ ∑ V v＝1∑ K v k＝1 ln P（ O v k｜λv）—ε∑ V v＝1∑ K v k＝1 ln P（ O v k｜λv） （7） 其中Av＝｛O n k｜v ＝arg max u P（ O n k｜λu）O n k ∈ O｝ 不妨记 Av ＝｛O v 1O v 2…O v Kv｝则 O v k ∈ AvKv 为 Av 中样本数． 对比式（3）和式（7）可以发现：对式（3）所有 HMM 训练必须同时进行；对式（7）各个 HMM 训 练可以单独进行算法流程等同于 Baum—Welch 算 法．最大化式（7）可以得到： a v ij ＝ ∑ K v k＝1∑ T v k－1 t＝1 ξ v t （ O v kij）－ε∑ K v k＝1∑ T v k－1 t＝1 ξ v t （ O v kij） ∑ K v k＝1∑ T v k－1 t＝1∑ Nv l＝1 ξ v t （ O v kil）－ε∑ K v k＝1∑ T v k－1 t＝1∑ Nv l＝1 ξ v t （ O v kil） C v jl ＝ ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）－ε∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl） ∑ K v k＝1∑ T v k t＝1 ∑ Mv m＝1 γ v t （ O v kjm）－ε∑ K v k＝1∑ T v k t＝1 ∑ Mv m＝1 γ v t （ O v kjm） μ v jl ＝ ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl） o v kt －ε∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl） o v kt ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）－ε∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl） Σ v jl ＝ ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）（ o v kt － μ v jl）（ o v kt － μ v jl） T －ε∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）（ o v kt － μ v jl）（ o v kt － μ v jl） T ∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl）－ε∑ K v k＝1∑ T v k t＝1 γ v t （ O v kjl） （8） 在参数重估过程中为保证 ∑ Nv j＝1 a v ij ＝1 和 ∑ Mv l＝1 C v jl＝1必须对每次估计的参数进行归一化 处理： a v ij＝ a v′ ij ∑ Nv j＝1 a v′ ij C v jl＝C v′ jl ∑ Mv l＝1 C v′ jl 式中 a v′ ij 和 C v′ jl 为重估值． 至此改进的 HMM 重估算法基本完成．下面 概括整个算法如下： （1） HMM 参数初始化．采用经典 Baum-Welch 算法估计 HMM 参数把估计结果作为本文 IMMI 算法中 HMM 参数的初始值． （2） 考虑到训练初期训练样本在各个模型下 输出概率相差不是很明显而在训练后期样本输出 概率相差明显；因此对参数 η进行自适应变化即 ·434· 北 京 科 技 大 学 学 报 第29卷