信息检索与数据挖掘 2019/5/512 EM算法示例：求两个硬币随机抛出后正反面的概率 完全信息下的MLE估计 x=(x,,,x),x,∈{0，l,…,10}第i次抛硬币试验中正面head)朝上的次数 z=(31,22,…,25),二，∈{A,B}第次抛硬币试验中被抛掷的硬币是A还是B a Maximum likelihood x=(5,9,8,4,7) Coin A Coin B =(B,A,A,B,A) HTTTHHTHTH 5H,5T 24 HHHHTHHHHH 9H,1T 0 24+6=0.80 HTHHHHHTHH 8H,2T 9 HTHTTTHHTT 4H,6T A=g+17=0.45 THHHTHHHTH 7H,3T 24H,6T 9H,11T 5 sets,10 tosses per set MLE:Find parameters =(,0g)that maximize logP(x,z;0) 找到使得1ogP(x,z,0)最大的参数0，logP(x,z,0)分号左边是随机变量，右边是模型参数 04= 硬币A正面朝上的次数，可。= 硬币B正面朝上的次数 硬币A抛的总次数 硬币B抛的总次数 C.B.Do and S.Batzoglou,"What is the expectation maximization algorithm?,"Nature Biotechnology,vol.26,p.897,08/01/online 2008.信息检索与数据挖掘 2019/5/5 12 EM算法示例：求两个硬币随机抛出后正反面的概率 完全信息下的MLE估计 C. B. Do and S. Batzoglou, "What is the expectation maximization algorithm?," Nature Biotechnology, vol. 26, p. 897, 08/01/online 2008. MLE：Find parameters 𝜃መ = (𝜃መ 𝐴 , 𝜃መ 𝐵 ) that maximize logP(x,z;θ). 找到使得logP(x,z;θ)最大的参数 θ，logP(x,z ; θ) 分号左边是随机变量，右边是模型参数 𝜃መ 𝐴 = 硬币𝐴正面朝上的次数 硬币𝐴抛的总次数 ，𝜃መ 𝐵 = 硬币B正面朝上的次数 硬币B抛的总次数 x = (x1, x2, …, x5), xi ∈ {0,1,…,10} 第i次抛硬币试验中正面(head)朝上的次数 z = (z1 , z2 ,…, z5 ), zi ∈ {A,B} 第i次抛硬币试验中被抛掷的硬币是A还是B x=(5,9,8,4,7) z=(B,A,A,B,A)