龚光鲁,钱敏平著应用随机过程教程一与在算法和智能计算中的应用 清华大学出版社,2003 第15章与数据建模有关的几个算法 1EM算法一隐状态变量分布中参数的最大似然估计 EM算法的基本想法 在数据资料不全时,由已有的资料Y估计缺失变量X,或在观测到的资料Y并不是状 态变量时,估计状态变量X时(或者估计其分布密度f(9,x)中的未知参数9),就与古典统 计很不相同,此时需要用观测到的资料Y,同时估计X与未知参数 这样的估计将面临如下困难:如果把在参数9下的期望记为E,那么,在估计状态 变量X时,估值当然应该用条件期望X=E(X|Y)(如果在Y=y及9的条件下,X的 Bas分布密度∫(x1,9)为已知,则也常用 Bayes估计x=x(x1,9)x).然而这 时就需要知道参数9的值;另一方面,为了知道9,又必须先知道X的估值X(作为状态 的已知样本值).这样,估计状态与估计未知参数之间是耦合的 在统计中通常对付这类困难的解耦方法是:假定一个已知,迭代地分别交替估计它们中 的另一个,直至稳定.此类算法通称为酬M算法,较为确切的表达是: (1)设置初值9 (2)(E-步骤)对n≥0,令X(m=E(X|Y)(或用 Bayes估计 f(x r, 9, dx ) (3)(M-步骤)(修正⑨的估计)取9n+1使之满足: log f(9m I, X )=Maxg log f(9, x) 其中E-步骤为取条件期望( Expectation),而M-步骤为取最大( Maximu 这种交替 迭代的方法,称为简单的EM方法 这个算法的构思很简单,但计算量过大,且一般很难看出是否稳定.为了克服这个缺 点, Dempster, Laird和 Rubin提出了直接递推估计9的想法(仍旧称为EM方法),这种 经过本质改进后的方法,至少在直观上看起来有稳定趋势 1.2 Rubin算法 假定(x,Y)具有联合分布密度f(9,x,y) Rubin算法的核心构思为:直接使用状态变量Y的分布密度g(9,y)代替(X,Y)的分 419419 龚光鲁, 钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2003 第 15 章 与数据建模有关的几个算法 1 EM 算法 – 隐状态变量分布中参数的最大似然估计 1. 1 EM 算法的基本想法 在数据资料不全时，由已有的资料Y 估计缺失变量 X ，或在观测到的资料Y 并不是状 态变量时,估计状态变量 X 时（或者估计其分布密度 f (J, x) 中的未知参数J ），就与古典统 计很不相同，此时需要用观测到的资料Y ，同时估计 X 与未知参数J . 这样的估计将面临如下困难: 如果把在参数J 下的期望记为 EJ , 那么, 在估计状态 变量 X 时，估值当然应该用条件期望 ( | ) ^ X = EJ X Y ( 如果在Y = y及J 的条件下, X 的 Bayes 分布密度 f (x | y,J) 为已知, 则也常用 Bayes 估计 ò X = x f (x | Y, )dx ^ J ). 然而这 时就需要知道参数J 的值; 另一方面，为了知道J ，又必须先知道 X 的估值 ^ X (作为状态 的已知样本值). 这样, 估计状态与估计未知参数之间是耦合的. 在统计中通常对付这类困难的解耦方法是: 假定一个已知，迭代地分别交替估计它们中 的另一个, 直至稳定．此类算法通称为 EM 算法, 较为确切的表达是: (1) 设置初值 J0； (2) (E-步骤) 对n ³ 0, 令 ( | ) ^ ( ) X E X Y n n = J (或用 Bayes 估计 ò X = x f x Y dx n n ( | , ) ^ ( ) J )； (3)（M -步骤）（修正J 的估计） 取Jn +1使之满足： log ( , ) log ( , ) ^ ( ) ^ ( ) 1 n n f Jn+ X = MaxJ f J X , 其中 E-步骤为取条件期望 ( Expectation ), 而 M-步骤为取最大（ Maximum ）. 这种交替 迭代的方法, 称为简单的 EM 方法. 这个算法的构思很简单, 但计算量过大, 且一般很难看出是否稳定. 为了克服这个缺 点, Dempster, Laird 和 Rubin 提出了直接递推估计J 的想法(仍旧称为 EM 方法), 这种 经过本质改进后的方法, 至少在直观上看起来有稳定趋势. 1. 2 Rubin 算法 假定(X,Y) 具有联合分布密度 f (J, x, y) Rubin 算法的核心构思为： 直接使用状态变量Y 的分布密度 g(J, y) 代替(X,Y) 的分