信息检索与数据挖掘 2019/4175 有穷自动机→语言模型 ·一个语言模型(language model)是从某词汇表上抽取的字 符串到概率的一个映射函数。也就是说，对于字母表Σ上的 语言模型M有 ∑Ps)=1 ·最简单的语言模型仅包含一个节点，只有一个生成不同词 项的概率分布，因此有 ∑erP(t)=1 Model M the man likes the woman 0.2 the 0.1 a 0.2 0.01 0.02 0.2 0.01 0.01 man 0.01 woman 0.03 said multiply 0.02 likes 一个具体的字符串或文 档的概率往往非常小 P(s|D=0.00000008信息检索与数据挖掘 2019/4/7 5 有穷自动机语言模型 • 一个语言模型（language model）是从某词汇表上抽取的字 符串到概率的一个映射函数。也就是说，对于字母表Σ上的 语言模型M有 • 最简单的语言模型仅包含一个节点，只有一个生成不同词 项的概率分布，因此有 0.2 the 0.1 a 0.01 man 0.01 woman 0.03 said 0.02 likes … the man likes the woman 0.2 0.01 0.02 0.2 0.01 multiply Model M P(s | M) = 0.00000008 一个具体的字符串或文 档的概率往往非常小