布密度∫(9,x,y),来求9关于g(9,y)的最大似然估计9.也就是求使logg(9,Y)达到 最大的9 由于g(9,y)在实际上并不好求, Dempster- Laird-Rbin利用了下述等式 f(9,x,y)=f(9,x|y)g(9,y) (15.1) 于是 log g(o, Y)=log f(, X, y)-logf(, XY) (15.1) 其右方是状态变量的对数似然密度与对数条件似然密度的差.对等式两边取关于Y的条件 期望得到 L(o)=log g(o, r)(=Eg(og g(o, r)r) g( Llogf(o, X, Y)IY-Es log [f(,X Q(q|9)-H(q|9). (15.2) 在观测资料是y的时候即Y=y的时候),Q(q|9)的表达式为 g(o|9)= log /(p, x,D)xr(0,xly)d 而H(|9)的表达式为 H(o19)= log/(o, x,yf(e, xly) =∫lgf1(X1)所(,x1yx 为了求L(9)的极大值点,我们将沿用第10章中对得到隐 Markov模型的模型参数估 计的 Baum-Welsh算法的思想.为此注意 L(q)-L(9)=[Q(q|9)-Q(9|9+[H(9|9)-H(q|9 (9,x|y) Q(o|9)-Q(9|9)+∫pog ≥[Q(q|9)-Q(9|9, (15.3) 其中用到第2项是相对熵的非负性.由(15.3)可知 只要Q(q|9)-Q(9|9≥0就有L(q)-L(9)≥0 420420 布密度 f (J, x, y) , 来求J 关于 g(J, y) 的最大似然估计 ^ J ． 也就是求使log g(J,Y) 达到 最大的 ^ J . 由于 g(J, y) 在实际上并不好求, Dempster– Laird- Rubin 利用了下述等式 f (J, x, y) = f (J, x | y) g(J, y) ， (15. 1) 于是 log g(j,Y) = log f (j, X,Y) - log f (j, X |Y) ， (15. 1)’ 其右方是状态变量的对数似然密度与对数条件似然密度的差. 对等式两边取关于Y 的条件 期望得到 L(j) log g(j,Y) D = （ E (log g(j,Y) | Y) = J ） E log f (j, X,Y) | Y E log f (j, X | Y)] = J（［ ］ ）- J ［ =Q(j |J) - H (j |J) D . (15. 2) 在观测资料是 y 的时候(即Y = y 的时候), Q(j |J) 的表达式为 Q(j |J) f x y f x y d x X Y log ( , , ) ( , | ) | j q ò = , 而 H (j |J) 的表达式为 H (j |J) = f x y f x y d x X Y log ( , , ) ( , | ) | j q ò f x y f x y d x X Y X Y log ( , | ) ( , | ) | | j q ò = . 为了求 L(J) 的极大值点, 我们将沿用第 10 章中对得到隐 Markov 模型的模型参数估 计的 Baum-Welsh 算法的思想. 为此注意 L(j) - L(J) = [Q(j |J) - Q(J |J)] + [H(J |J) - H (j |J)] f x Y dx f x Y f x Y Q Q X Y X Y X Y ] ( , | ) ( , | ) ( , | ) [ ( | ) ( | )] [log | | | J j J j J J J ò = - + ³ [Q(j |J) - Q(J |J)] , (15. 3) 其中用到第２项是相对熵的非负性. 由(15. 3)可知: 只要 Q(j |J) - Q(J | J) ³ 0 就有 L(j) - L(J) ³ 0