零概率问题 原始的 Trigram模型估计 定会有很多概率为0的情况 因为参数空间太大, trigram:8T,而数据只有1G 哪些参数真的应该是0呢? ·理想情况是:最低频的 trigram也应该出现几次,以便把 它的概率和其它 trigram的概率区别开来 但是理想情况不会发生,到底需要多少数据,我们不知 道 我们必须去除概率为0的情况 包括:p(wh)=0,或者p(h)=0零概率问题 • 原始的Trigram模型估计 – 一定会有很多概率为0的情况 • 因为参数空间太大，trigram:8T，而数据只有1G – 哪些参数真的应该是0呢？ • 理想情况是：最低频的trigram也应该出现几次，以便把 它的概率和其它trigram的概率区别开来 • 但是理想情况不会发生，到底需要多少数据，我们不知 道 – 我们必须去除概率为0的情况 • 包括：p(w|h)=0，或者p(h)=0