三:典型n-gram语言模型的平滑 采用入=(~01223) P2(w1|w12w=)=3P3(vw2,w1)+P2(w1|w)+P1(v)+/v 归一化: >0.,∑4=城可以了(x1∑4m=3) 极大似然估计 固定P32P2p1和V,根据训练数据确定参数 再寻找一组{λ}使得交叉熵达到最小 使数据的概率达到最大): (11D∑abg2(P2(w|)典型n-gram语言模型的平滑 • 采用λ=(λ0 ,λ1 ,λ2 ,λ3 ): • 归一化： λi>0, 就可以了（ λ0=1- ）（n=3） • 极大似然估计 – 固定p3 ,p2 ,p1和|V|，根据训练数据确定参数 – 再寻找一组{λi}使得交叉熵达到最小 （使数据的概率达到最大）： ( | , ) ( | , ) ( | ) ( ) / | | 2 1 3 3 2 1 2 2 1 1 1 0 ' p wi wi− wi− =  p wi wi− wi− +  p wi wi− +  p wi +  V = = i n i 0..  1 i= n i 1..  = − 1..| | ' 2 (1/ | |) log ( ( | )) D i D p wi hi