但是,对于似然函数P(Y=川A)=∑1ba1n…a1b,而言,这个最大值问题的计 算量过大,在实际中是不可能被采用的.为此,人们灵活地利用使似然函数尽量地大的思想 采取折衷的方案,构造一个递推算法,使之能相当合理地给出模型参数λ的粗略估计.其核心 思想是:并不要求备选估计λ使P(Y=yA)(关于)达到最大或局部极大,而只要求使 P(Y=y)相当大.从而计算变为实际可能 为此,我们定义一个描述模型“趋势”的量Q(λ|λ)代替似然函数P(Y=yλ),其 定义为 o( 12)=P(X=x, Y=yla)n P(X=x, I=yI2) 简记为 =∑P(x,y)hP(x,y|λ) (10.22) (这个量并不是相对熵,但是在形式上很类似).利用在0<x<1时的不等式hnx≤x-1 (证明:令∫(x)=(x-1)-hx,则f(1)=0且f"(x)=2>0.即f(x)为凸函数,从 而f(x)≥0)得到 Q1-0=∑P列元)xyx ≤∑P(x,y| P(x,y|2) 1)=P(Y=y|)-P(Y=y|) P(x,y元) 由此可见对于固定的λ,只要Q(1λ)>Q(λ|λ),就有P(Y=y)>P(Y=y|) 于是想把模型λ修改为更好的模型λn(即找λn*使P(Y=y|λn)>P(Y=y|λn)), 只需找n41使 Qn|n)=s甲Q(A|xn (10.23) 即只要把QX(λ|n)关于的最大值处取成入n,就有P(Y=y|n)>P(Y=yλ) 这样得到的模型序列{n}能保了P(=y1n)关于n是严格递增的虽然在这里还不能 在理论上证明P(=y|元)收敛到maxP=y|元),但是当n充分大时,元。也还能提供 在实际中较为满意的粗略近似 综上论述,我们把如上得到近似模型列λ的方法归结为两个步骤 1E步骤(求期望):计算 Q1A)=∑P(xy)hP(xy|) 2M步骤(求最大):求λn1使 Q(λn|λn)=sup;QA|λn) 275275 但是，对于似然函数 N N N N N i i y i i i i i y i i P Y y b a a b 1 1 1 1 2 1 1 , , ( | ) å - = = L L l m 而言， 这个最大值问题的计 算量过大，在实际中是不可能被采用的．为此，人们灵活地利用使似然函数尽量地大的思想， 采取折衷的方案，构造一个递推算法，使之能相当合理地给出模型参数l 的粗略估计．其核心 思想是： 并不要求备选估计l 使 P(Y = y | l) （关于 l ）达到最大或局部极大，而只要求使 P(Y = y | l) 相当大．从而计算变为实际可能． 为此，我们定义一个描述模型“趋势”的量 ( | ) * Q l l 代替似然函数 P(Y = y | l) ，其 定义为 ( | ) ( , | )ln ( , | ) * * Q l l P X x Y y l P X x Y y l x =å = = = = D ( , | )ln ( , | ) * = å x P x y l P x y l 简记为 (10. 22) (这个量并不是相对熵,但是在形式上很类似). 利用在 0 < x < 1时的不等式 ln x £ x -1 (证明: 令 f ( x) = ( x -1) - ln x , 则 f (1) = 0 且 0 1 "( ) 2 = > x f x . 即 f ( x) 为凸函数, 从 而 f ( x) ³ 0 ) 得到 - = å x P x y P x y Q Q P x y ( , | ) ( , | ) ( | ) ( | ) ( , | )ln * * l l l l l l l 1) ( | ) ( | ) ( , | ) ( , | ) ( , | )( * * l l l l l P Y y P Y y P x y P x y P x y x £ å - = = - = . 由此可见对于固定的l ，只要 ( | ) ( | ) * Q l l > Q l l ，就有 ( | ) ( | ) * P Y = y l > P Y = y l . 于是想把模型ln 修改为更好的模型ln+1 （即找 l n+1 使 ( | 1 ) ( | ) n P Y = y ln + > P Y = y l ）， 只需找 l n+1 使 l Q(ln+1 | ln ) = sup ( | ) n Q l l , (10. 23) 即只要把Q(l | ln ) 关于l 的最大值处取成 ln +1 , 就有 ( | 1) ( | )n P Y = y ln+ > P Y = y l ． 这样得到的模型序列{ } n l 能保了 ( | ) n P Y = y l 关于n 是严格递增的．虽然在这里还不能 在理论上证明 ( | ) n P Y = y l 收敛到max ( | l) l P Y = y ，但是当 n充分大时， n l 也还能提供 在实际中较为满意的粗略近似． 综上论述， 我们把如上得到近似模型列 n l 的方法归结为两个步骤： 1 E 步骤（求期望）：计算 ( | ) = * Q l l ( , | )ln ( , | ) * å x P x y l P x y l ； 2 M 步骤 （求最大）：求l n+1 使 l Q(l n+1 | l n ) = sup Q(l | ln )