EM算法,常称为GEM算法 注]在应用EM方法时,为了避免M-步骤中求最大值的复杂计算,还可以采取其它的灵活的替代 方法.例如有 ECM算法〔 conditional max imum,cM),在多个参数的时候,例如9=(91,92)的情形,如下的交 替地求条件极值的最大化的方法,也常被用来代替M-步骤: (1)先取92满足 Q(9),92|9)=maxQ(91",92)9") (2)再取91满足 Q(9),92m)1(91",92")= maxi. o(9',92")1(9",92") 称之为ECM算法。一般地,ECM算法比M算法达到稳定的时间长 另有一种ECME算法(混合算法),它就是交替地使用FCM算法和M算法 2.在数据不完全时,用增补潜在数据,对参数的 Bayes分布作估计- Tanner-Wong的潜变量法 基本想法一估计后验分布 在数据资料不全(缺失数据),或观测到的资料Y并不是状态变量时,估计状态变量X的分布密度 f(9,x)中的未知参数9,与古典统计不同处是只能用观测到的资料Y,这时可以通过后验分布密度 p(9|Y)得到参数9的 Bayes估计.然而,后验分布p(9|Y)一般并不知道,就需要用观测到的资料y 对后验分布p(9|y)进行估计,这就是本段的目的 Tanner-Wong的想法是:在某些情形下,由观测数据Y可以通过条件分布取样的机制,来构造某 种”增补数据”(记为Z,称为潜变量, L atent Variable)的样本值.于是Z的这些样本值取自条件分布密 度P(=|y,9).P(=|y)称为预测分布.而在Y=y已知的条件下,潜变量的各个样本值彼此是条件 独立的 潜变量Z是观测不到的,如何选好它,最为重要.最简单的情形是:观测数据Y=Y1,2…,YN 为N个时刻的历史资料,其中Y1是一个m维向量,如果它的第1个分量是缺失的,而其它m-1维就 是状态变量.这时候潜变量就可取为那个缺失的一维变量 然而,一般情形远非如此简单.潜变量的选取是关系到能否有效地计算的关键, Tanner-wong选取 z的原则是,同时满足以下两个条件(注意在上面所提到最简单情形,下面的条件是满足的) 422422 EM 算法, 常称为 GEM 算法. [注] 在应用 EM 方法时, 为了避免M-步骤中求最大值的复杂计算, 还可以采取其它的灵活的替代 方法．例如有 ECM 算法(Conditional Maximum, CM), 在多个参数的时候，例如 ( , ) J = J1 J2 的情形，如下的交 替地求条件极值的最大化的方法，也常被用来代替 M-步骤： (1) 先取 ( 1) 2 n+ J 满足 = + (( , ' | ) ( 1) ( ) 2 ( ) 1 n n n Q J J J max (( , ' ) | ) ( ) 2 ( ) 2 ' 1 n n J Q J J J ; (2) 再取 ( 1) 1 n+ J 满足 (( , ) | ( , )) ( 1) 2 ( ) 1 ( 1) 2 ( 1) 1 n+ n+ n n + Q J J J J max (( ', )| ( , )) ( 1) 2 ( ) 1 ( 1) 1 ' 1 2 + + = n n n J Q J J J J ， 称之为 ECM 算法。一般地，ECM 算法比 EM 算法达到稳定的时间长. 另有一种 ECME 算法 (混合算法)，它就是交替地使用 ECM 算法和 EM 算法． * 2. 在数据不完全时，用增补潜在数据，对参数的 Bayes 分布作估计 – Tanner–Wong 的潜变量法 ２．１ 基本想法－估计后验分布 在数据资料不全（缺失数据）, 或观测到的资料 Y 并不是状态变量时, 估计状态变量 X 的分布密度 f (J, x) 中的未知参数J , 与古典统计不同处是只能用观测到的资料Y ，这时可以通过后验分布密度 p(J | Y) 得到参数J 的 Bayes 估计．然而，后验分布 p(J | Y) 一般并不知道，就需要用观测到的资料Y 对后验分布 p(J | Y) 进行估计，这就是本段的目的． Tanner – Wong 的想法是： 在某些情形下，由观测数据Y 可以通过条件分布取样的机制，来构造某 种＂增补数据＂ (记为 Z ，称为潜变量，Latent Variable)的样本值．于是 Z 的这些样本值取自条件分布密 度 p(z | y,J) ． p(z | y) 称为预测分布．而在Y = y 已知的条件下, 潜变量的各个样本值彼此是条件 独立的． 潜变量 Z 是观测不到的, 如何选好它, 最为重要． 最简单的情形是： 观测数据Y Y Y YN , , , = 1 2 L 为 N 个时刻的历史资料，其中Yi 是一个m 维向量， 如果它的第１个分量是缺失的，而其它m -1维就 是状态变量．这时候潜变量就可取为那个缺失的一维变量． 然而，一般情形远非如此简单． 潜变量的选取是关系到能否有效地计算的关键． Tanner-Wong选取 Z 的原则是，同时满足以下两个条件（注意在上面所提到最简单情形，下面的条件是满足的）：