彐避免零概率:数据平滑 p(w)≈p(w),但p(w)0 对一些p(w)>0,生成p(w)p(w) ∈ discounted (p()-p2(v)=D 分配D给所有概率为0的w:p(w)>p(w)=0 可能对于概率值较低的词也作调整 可能有些w:p(w)p(w) 务必确保∑。aQp()=1 有许多数据平滑的方法避免零概率：数据平滑 • p’(w) ≈p(w), 但p’(w)≠0 • 对一些p(w)>0,生成p’(w)<p(w) • 分配D给所有概率为0的w: p’(w)>p(w)=0 – 可能对于概率值较低的词也作调整 • 可能有些w: p’(w)=p(w) • 务必确保 • 有许多数据平滑的方法   − = w discounted ( p(w) p'(w)) D   = w p'(w) 1