N元语言模型 n-1阶马尔科夫近似称为n元语言模型(LM, Language Model) p(Wl dp(wilwin+l.,Wid), d=W n越大,需要估计的参数越多,假设词汇量为20,000 模型 需要的参数数量 0阶(一元 Unigram) 20,000 1阶(二元 bigram) 20.000*19999=400 million 2阶(三元 trigram) 20.0002*19999=8 trillion 3阶(四元 four-gram) 20.0003*19999=1.6*1017N元语言模型 • n-1阶马尔科夫近似称为n元语言模型(LM, Language Model) – p(W)=∏i=1…dp(wi |wi-n+1,…,wi-1 ), d=|W| • n越大，需要估计的参数越多，假设词汇量为20,000 模型 需要的参数数量 0阶(一元Unigram) 20,000 1阶(二元bigram) 20,000*19,999 = 400 million 2阶(三元trigram) 20,0002*19,999 = 8 trillion 3阶(四元four-gram) 20,0003*19,999 = 1.6*1017