正在加载图片...
D0I:10.13374/i.issnl00113.2007.04.014 第29卷第4期 北京科技大学学报 Vol.29 No.4 2007年4月 Journal of University of Science and Technology Beijing Apr.2007 基于改进MMⅦ的HMM训练算法及其在 面部表情识别中的应用 杨国亮12)王志良)刘冀伟)王国江) 陈锋军) 1)江西理工大学机电工程学院，赣州3410002)北京科技大学信息工程学院，北京100083 摘要提出一种改进的最大互信息(MMI)准则函数并把它应用于隐马尔可夫模型(HMM)的参数估计，重新推导了HMM 的迭代公式·该准则函数相对于原来准则函数定义更为合理，能有效利用训练样本集中的鉴别信息，使得训练数据得到充分 利用，提高了HMM的性能.把这种改进的HMM算法应用于面部表情识别，利用改进的光流算法提取面部表情特征向量序 列，并利用改进HMM算法和BP神经网络构建了面部表情混合分类器.实验结果表明了该方法能有效提高面部表情识别率， 有效解决HMM参数估计问题. 关键词最大互信息准则：隐马尔可夫模型：光流算法：面部表情识别 分类号TP391 隐马尔可夫模型(hidden Markov model,简称 1.1 IMM准则函数 HMM)是Baum等人在19世纪60年代提出-]，目 本文考虑的HMM均指左右结构连续的隐马尔 前在模式识别与图像处理等领域得到了广泛的应 可夫模型(CHMM) 用，由于HMM具有很强的动态时间序列建模能 设HMM表示为入={元，A,B{,其中π={元} 力，因此在处理时间序列问题上HMM得到广泛的 为初始状态概率，且m=1,元=0，i≠1，A=(a时) 关注.传统的HMM参数估计方法采用Baum一 为状态转移向量，且∑g=1,B=b,(o)为观 Wlh算法-)，它实际上是一种最大似然法 察向量的混合高斯概率密度函数，且b(0)= (ML)·此外，人们还提出了其他他训练算法，如最 大互信息法(maximum mutual information, ∑CN(o,,马)，∑C=1.A为HMM模型 MM)]、最小分类误差法(MCE)]、校正训练法 集，△={，2，，入，V为HMM个数，N和 (corrective training)[门、最大模型距离法(MMD)[8] M。分别为模型入的状态数和每个状态所包含的高 等，各种方法都具有其自身的优越性和缺点，文献 斯混合元个数，训练样本集为0={01,02，…， [3一4]提出的基于MMI训练算法将所有训练样本 0,01,02,…,02…,0,02,,0水{，其中 等同考虑，而实际上在整个训练过程中，不同训练样 O为模型入的第k个训练样本，K为模型入的训 本对HMM参数估计的贡献是不相同的，基于这种 情况，本文定义了一个更为合理的MMI准则函数， 练样本数，且有0呢=呢1，，2，…，0，，T张为观 称之为IMMl(improved maximum mutual informa~ 察序列的长度、最大互信息准则可以表示为： tion),推导了HMM参数重估公式，并结合改进的 M(△)=lnP(AO)= lnP(入|o)= 光流算法，把它应用于面部表情识别，实验结果表 明该方法比MMl和Baum一Velch法性能更好 P(入)P(O入) (1) 1基于改进MM的HMM参数估计 P()P(OEI入) 算法 假定P(入)=，即每个HMM等概率出现，则 收稿日期：2006-01-04修回日期：2006-04-25 式(1)可进一步写成： 基金项目：国家自然科学基金资助项目(Na.60573059) 作者简介：杨国亮(1973一)，男，讲师，博士研究生：王志良 M(A)= 白hP()-P(0I入y (1956一)，男，教授，博士生导师 (2)基于改进 MMI 的 HMM 训练算法及其在 面部表情识别中的应用 杨国亮12） 王志良2） 刘冀伟2） 王国江2） 陈锋军2） 1） 江西理工大学机电工程学院赣州341000 2） 北京科技大学信息工程学院北京100083 摘 要 提出一种改进的最大互信息（MMI）准则函数并把它应用于隐马尔可夫模型（HMM）的参数估计重新推导了 HMM 的迭代公式．该准则函数相对于原来准则函数定义更为合理能有效利用训练样本集中的鉴别信息使得训练数据得到充分 利用提高了 HMM 的性能．把这种改进的 HMM 算法应用于面部表情识别利用改进的光流算法提取面部表情特征向量序 列并利用改进 HMM 算法和 BP 神经网络构建了面部表情混合分类器．实验结果表明了该方法能有效提高面部表情识别率 有效解决 HMM 参数估计问题． 关键词 最大互信息准则；隐马尔可夫模型；光流算法；面部表情识别 分类号 TP391 收稿日期：20060104 修回日期：20060425 基金项目：国家自然科学基金资助项目（No．60573059） 作者 简 介：杨 国 亮 （1973—）男讲 师博 士 研 究 生；王 志 良 （1956—）男教授博士生导师 隐马尔可夫模型（hidden Markov model简称 HMM）是Baum 等人在19世纪60年代提出［1—2］目 前在模式识别与图像处理等领域得到了广泛的应 用．由于 HMM 具有很强的动态时间序列建模能 力因此在处理时间序列问题上 HMM 得到广泛的 关注．传统的 HMM 参数估计方法采用 Baum— Welch 算 法［1—2］它 实 际 上 是 一 种 最 大 似 然 法 （ML）．此外人们还提出了其他他训练算法如最 大 互 信 息 法 （ maximum mutual information MMI） ［3—5］、最小分类误差法（MCE） ［6］、校正训练法 （corrective training） ［7］、最大模型距离法（MMD） ［8］ 等各种方法都具有其自身的优越性和缺点．文献 ［3—4］提出的基于 MMI 训练算法将所有训练样本 等同考虑而实际上在整个训练过程中不同训练样 本对 HMM 参数估计的贡献是不相同的．基于这种 情况本文定义了一个更为合理的 MMI 准则函数 称之为 IMMI （improved maximum mutual information）推导了 HMM 参数重估公式并结合改进的 光流算法把它应用于面部表情识别．实验结果表 明该方法比 MMI 和 Baum—Welch 法性能更好． 1 基于改进 MMI 的 HMM 参数估计 算法 1∙1 IMMI 准则函数 本文考虑的 HMM 均指左右结构连续的隐马尔 可夫模型（CHMM）． 设 HMM 表示为 λ＝｛πAB｝其中 π＝｛πi｝ 为初始状态概率且 π1＝1πi＝0i≠1A＝（ aij） 为状态转移向量且 ∑ j aij ＝1B ＝｛bj （ o）｝为观 察向量的混合高斯概率密度函数且 bj （ o） ＝ ∑l CjlN（ oμjlΣjl）∑l Cjl＝1．Λ为 HMM 模型 集Λ＝｛λ1λ2…λV｝V 为 HMM 个数Nv 和 Mv 分别为模型λv 的状态数和每个状态所包含的高 斯混合元个数．训练样本集为 O ＝｛O 1 1O 1 2… O 1 K1O 2 1O 2 2…O 2 K2…O V 1O V 2…O V KV｝其中 O v k 为模型λv 的第k 个训练样本Kv 为模型λv 的训 练样本数且有 O v k＝｛o v k1o v k2…o v kT v k｝T v k 为观 察序列 O v k 的长度．最大互信息准则可以表示为： M（Λ）＝ln P（Λ｜O）＝ ∑ V v＝1∑ K v k＝1 ln P（λv｜O v k）＝ ∑ V v＝1∑ K v k＝1 ln P（λv） P（ O v k|λv） ∑ V u＝1 P（λu） P（ O v k|λu） （1） 假定 P （λv ）＝ 1 V 即每个 HMM 等概率出现则 式（1）可进一步写成： M（Λ）＝ ∑ V v＝1∑ K v k＝1 ln P（ O v k｜λv）—ln∑ V u＝1 P（ O v k｜λu） （2） 第29卷 第4期 2007年 4月 北 京 科 技 大 学 学 报 Journal of University of Science and Technology Beijing Vol．29No．4 Apr．2007 DOI:10．13374／j．issn1001－053x．2007．04．014