长度问题 vn;∑eanp(w)=1→ °∑n=1.eanp(w)>>1(→>∞) ·我们试图对所有的词序列建立模型 对于固定长度的任务,没有问题,n一旦固定,累 计和为1 比如 Tagging等 对于变长的任务,需要对比较短的句子进行折扣 般模型 对于长度为n的词序列 P(w=mp(w), ∑anp(w)= 从数据中估计λn长度问题 • n; wn p(w)=1  • n=1… wn p(w) >> 1 (→) • 我们试图对所有的词序列建立模型 – 对于固定长度的任务，没有问题，n一旦固定，累 计和为1 • 比如Tagging等 – 对于变长的任务，需要对比较短的句子进行折扣 • 一般模型 – 对于长度为n的词序列 • P’(w)=np(w), n=1… n=1 • n=1… wn p’(w)=1 • 从数据中估计n