隐马尔科夫模型和词性标注
隐马尔科夫模型和词性标注
大纲 隐马尔科夫模型 隐马尔科夫模型概述 任务1:计算观察序列的概率 任务2:计算能够解释观察序列的最大可能 的状态序列 任务3:根据观察序列寻找最佳参数模型 词性标注
大纲 • 隐马尔科夫模型 – 隐马尔科夫模型概述 – 任务1：计算观察序列的概率 – 任务2：计算能够解释观察序列的最大可能 的状态序列 – 任务3：根据观察序列寻找最佳参数模型 • 词性标注
隐马尔科夫模型概述
隐马尔科夫模型概述
马尔科夫链 二。状态序列X12X2X 常常是“时序”的 从X:1到X的转换只依赖于X1 1 X2 3 X4
马尔科夫链 • 状态序列: X1 , X2 , X3 , … – 常常是“时序”的 • 从Xt-1到Xt的转换只依赖于Xt-1 X1 X2 X3 X4
转移概率 Transition probabilities 假设一个状态X有N个可能的值 X=S1,X=S2…,Xt 转移概率的数量为:N2 -P(X=S|x1=s),1≤i,jN s转移概率可以表示为N×N的矩阵或者有 向图
转移概率 Transition Probabilities • 假设一个状态Xt有N个可能的值 – Xt=s1 , Xt=s2 ,….., Xt=sN. • 转移概率的数量为：N2 – P(Xt=si |Xt-1=sj ), 1≤ i, j ≤N • 转移概率可以表示为N×N的矩阵或者有 向图
MM · Bigram MM(阶MM B lgram case e 012 sum of out oing probs =1 0.30.4 88 0.4 oa)=01° p(toe)=.6×88×1=528 02
MM • Bigram MM(一阶MM)
MM Trigram MM二阶MM) e n e 0.6 0.12> 20,c 如ox(n,e 88 0.4 0.0 093 on p(toe)=6×88×07=.037 plone)-=
MM • Trigram MM(二阶MM)
有限状态自动机 状态:输入输出字母表中的符号 弧:状态的转移 仍然是WMM( Visible mm)
有限状态自动机 • 状态：输入输出字母表中的符号 • 弧：状态的转移 • 仍然是VMM (Visible MM)
HMM ·HMM,从状态产生输出 e 2 0.6 012 Q304Q88 0.4 3p43)=014 0.2 ptoe)=.6×88×1=.528
HMM • HMM，从状态产生输出
HMM ·HMM,不同状态可能产生相同输出 0.6 0.12 9.304 0.4 34)=0341p(o0)=.6×88×1+ 0.2 4×.1×1=.568
HMM • HMM，不同状态可能产生相同输出