信息检索与数据挖掘 2019/5/516 EM算法：迭代逼近最优解过程分析 p(X;θ)=∑zp(X,Z;)←从联合概率计算边缘概率 p0=∑9 p(,Z;0) ←q(Z)=p(Z1X;),构造的先验分布 q(Z) p(X,Z ;0) q(Z) -Jensen's inequality logp(X:0)≥∑92；6r1og (x,Z;0) q(2;0t) 1ogpX;)≥∑n(2Ix;0)1og (X,Z;0) (ZX;0) wx,6=∑ax:6ew的时 p(x,z;0)p(Zx;0) gw:≥∑a6的+∑t09 logp(XI0)≥c(q,0)+KL(q‖p)信息检索与数据挖掘 2019/5/5 16 𝑝 𝑋 ; 𝜃 = σ𝑍 𝑝 𝑋, 𝑍 ; 𝜃 ←从联合概率计算边缘概率 𝑝(𝑋 ; 𝜃) = ෍ 𝑍 𝑞 𝑍 𝑝 𝑋, 𝑍 ; 𝜃 𝑞(𝑍) , ← 𝑞 𝑍 = 𝑝(𝑍|𝑋 ; 𝜃෠𝑡 )，构造的先验分布 log 𝑝(𝑋 ; 𝜃) = log෍ 𝑍 𝑞 𝑍 𝑝 𝑋, 𝑍 ; 𝜃 𝑞(𝑍) ≥ ෍ 𝑍 𝑞 𝑍 log 𝑝 𝑋, 𝑍 ; 𝜃 𝑞 𝑍 ← 𝐽𝑒𝑛𝑠𝑒𝑛 ′ 𝑠 𝑖𝑛𝑒𝑞𝑢𝑎𝑙𝑖𝑡𝑦 log 𝑝(𝑋 ; 𝜃) ≥ ෍ 𝑍 𝑞 𝑍 ; 𝜃መ 𝑡 log 𝑝 𝑋, 𝑍 ; 𝜃መ 𝑡 𝑞 𝑍; 𝜃መ 𝑡 log 𝑝(𝑋 ; 𝜃) ≥ ෍ 𝑍 𝑝 𝑍|𝑋 ; 𝜃መ 𝑡 log 𝑝 𝑋, 𝑍 ; 𝜃መ 𝑡 𝑝 𝑍|𝑋 ; 𝜃መ 𝑡 log 𝑝(𝑋 ; 𝜃) ≥ ෍ 𝑍 𝑝 𝑍|𝑋 ; 𝜃መ 𝑡 log 𝑝 𝑋, 𝑍 ; 𝜃መ 𝑡 𝑝 𝑍|𝑋 ; 𝜃መ ∗ 𝑝 𝑍|𝑋 ; 𝜃መ ∗ 𝑝 𝑍|𝑋 ; 𝜃መ 𝑡 log 𝑝(𝑋 ; 𝜃) ≥ ෍ 𝑍 𝑝 𝑍|𝑋 ; 𝜃መ 𝑡 log 𝑝 𝑋, 𝑍 ; 𝜃መ 𝑡 𝑝 𝑍|𝑋 ; 𝜃መ ∗ + ෍ 𝑍 𝑝 𝑍|𝑋 ; 𝜃መ 𝑡 log 𝑝 𝑍|𝑋 ; 𝜃መ ∗ 𝑝 𝑍|𝑋 ; 𝜃መ 𝑡 → 𝒍𝒐𝒈𝒑 𝑿 𝜽 ≥ 𝓛 𝒒, 𝜽 + 𝑲𝑳(𝒒 ∥ 𝒑) EM算法：迭代逼近最优解过程分析