R 深度学习词向量的语言模型(引言) °传统的NLP语言模型(以 N-gram为例) 如何计算一个句子的概率? 问题形式化定义 p(S)=p(w1,w2,W3,W4W5,…,Wn) p(W1)p(Ww2|W1)p(W3|W1,W2).p(Wn|W1,w2,…Wn-1) p(w1p(w2 w1p(w3 w2).p(wn/wn-1) 其他语言模型 指数语言模型 最大熵模型Maκinηt、最大熵马尔科夫模型MEMM、条件随机域 模型CRF(平滑→语法、语义的加入) 神经概率语言模型 Bengio2003、 Nikolov2013等 塔款大学⌒ 社会计算与信息检索研究中心深度学习词向量的语言模型(引言) • 传统的NLP语言模型(以N-gram为例) – 如何计算一个句子的概率？ – 问题形式化定义 • p(S)=p(w1,w2,w3,w4,w5,…,wn) • =p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1) • =p(w1)p(w2|w1)p(w3|w2)...p(wn|wn-1) • 其他语言模型 – 指数语言模型 • 最大熵模型MaxEnt、最大熵马尔科夫模型MEMM、条件随机域 模型CRF（平滑→语法、语义的加入） – 神经概率语言模型 • Bengio2003、Mikolov2013等