436 北京科技大学学报 第29卷 算法训练HMM 脸表情库(CMU PITTSBURGH AU一coded face ex- (③)把各个HMM输出概率组合成一个新的向 pression image database)进行面部表情识别实验，实 量，并把它作为BP网络的输入信号，训练BP网络 验中，随机抽取了14人的面部表情序列，其中10人 分类器 的面部表情作为训练样本，其余4人的面部表情作 3 实验结果 为测试样本.图1为CMU库中某个人愤怒表情序 列中第11、13帧图像及计算出的光流场 为验证上述算法的有效性，本文利用CMU人 图1愤怒表情图像序列(a,b)与光流场(c) Fig-1 Anger expression image sequence (a,b)and its optical flow field (c) 对光流场采用PCA降维得到面部表情特征向 为经典HMM训练算法，各种不同方法总体识别率 量序列，分别训练HMM和BP网络.本文采用三状 分别为：基于IMMI1/BP分类器识别率为83.5%， 态左右结构HMM,混合高斯元个数均为M=3,待 基于IMMI2/BP分类器的识别率为82.4%，在同等 识别的面部表情有六类，故BP网络输入输出节点 条件下基于改进前的最大互信息准则和BP网络的 数均为6，其隐节点数通过实验调整，测试结果如表 分类方法识别率为80.6%，而经典方法Baum一 1和表2所示.其中，IMMI1指基于式(3)的HMM Welch识别率仅为77.1%.由此可见，本文提出的 训练算法，IMMI2指基于式(7)的HMM训练算法， 方法优于传统的HMM训练算法， MMI指基于式(2)的HMM训练算法，Baum Welch 4结论 表1基于IMM1/BP方法面部表情识别结果 Table 1 Facial expression recognition results based on IMMI1/BP 本文提出了一种基于改进MMI的HMM训练 表情愤怒 厌恶 恐棋 高兴悲伤 惊奇 算法.该方法相对于传统Baum一Welch算法，具有 愤怒81.8%2.3% 0 0 15.9% 0 如下优点，(l)模型准确性：Baum一Velch本质上是 厌恶12.1%84.9% 0 0 0 3.0% 最大似然法，若要保证HMM训练的准确性，则需要 恐惧24.2%6.1%66.7% 0 0 3.0% 大量样本；IMMI算法充分利用了所有训练样本，因 高兴 0 30.3%69.7% 0 0 此在相同训练样本集下，采用IMMI准则训练 悲伤 0 0 0 1007% 0 HMM得到的模型更为精确.(2)识别能力：Baum一 2.3% 0 0 0 0 97.7% Welch训练HMM只利用本类样本，因此该方法只 惊奇 是注重对本类样本的建模能力，而忽略了对其他类 表2基于IMMI2/BP方法面部表情识别结果 样本的鉴别能力，如果出现与本类样本相似的其他 Table 2 Facial expression recognition results based on IMMI2/BP 类样本，则该HMM就很难对该样本做出准确分类； 表情愤怒厌恶恐惧高兴悲伤 惊奇 IMMI方法则不仅利用了本类样本，而且充分考虑 愤怒80.0% 0 0 0 20.0% 0 了竞争类样本，把竞争类样本作为惩罚项引入了准 厌恶6.1% 93.9% 0 0 0 0 则函数，从而可以大大提高识别能力，(3)训练的不 恐惧15.2% 9.1% 66.7%3.0% 0 6.0% 平衡性：对于Baum Welch方法，如果某类样本很少 高兴 0 0 36.4%63.6 0 0 或缺少，则与该类对应的HMM则训练不充分或无 悲伤 0 0 0 5.0% 95.0% 0 法训练，不能有效对该类样本建模；而IMMI法则 惊奇2.3% 0 2.3% 0 95.4% 可有效避免这类情况发生，而且如果某类样本缺少 时，还可以利用其竞争类的样本对该类HMM进行算法训练 HMM． （3） 把各个 HMM 输出概率组合成一个新的向 量‚并把它作为 BP 网络的输入信号‚训练 BP 网络 分类器． 3 实验结果 为验证上述算法的有效性‚本文利用 CMU 人 脸表情库（CMU—PITTSBURGH AU—coded face ex￾pression image database）进行面部表情识别实验．实 验中‚随机抽取了14人的面部表情序列‚其中10人 的面部表情作为训练样本‚其余4人的面部表情作 为测试样本．图1为 CMU 库中某个人愤怒表情序 列中第11、13帧图像及计算出的光流场． 图1 愤怒表情图像序列（a‚b）与光流场（c） Fig．1 Anger expression image sequence （a‚b） and its optical flow field （c） 对光流场采用 PCA 降维得到面部表情特征向 量序列‚分别训练 HMM 和 BP 网络．本文采用三状 态左右结构 HMM‚混合高斯元个数均为 M＝3‚待 识别的面部表情有六类‚故 BP 网络输入输出节点 数均为6‚其隐节点数通过实验调整．测试结果如表 1和表2所示．其中‚IMMI1指基于式（3）的 HMM 训练算法‚IMMI2指基于式（7）的 HMM 训练算法‚ MMI 指基于式（2）的 HMM 训练算法‚Baum—Welch 表1 基于 IMMI1／BP 方法面部表情识别结果 Table1 Facial expression recognition results based on IMMI1／BP 表情 愤怒 厌恶 恐惧 高兴 悲伤 惊奇 愤怒 81∙8％ 2∙3％ 0 0 15∙9％ 0 厌恶 12∙1％ 84∙9％ 0 0 0 3∙0％ 恐惧 24∙2％ 6∙1％ 66∙7％ 0 0 3∙0％ 高兴 0 0 30∙3％ 69∙7％ 0 0 悲伤 0 0 0 0 100％ 0 惊奇 2∙3％ 0 0 0 0 97∙7％ 表2 基于 IMMI2／BP 方法面部表情识别结果 Table2 Facial expression recognition results based on IMMI2／BP 表情 愤怒 厌恶 恐惧 高兴 悲伤 惊奇 愤怒 80∙0％ 0 0 0 20∙0％ 0 厌恶 6∙1％ 93∙9％ 0 0 0 0 恐惧 15∙2％ 9∙1％ 66∙7％ 3∙0％ 0 6∙0％ 高兴 0 0 36∙4％ 63∙6％ 0 0 悲伤 0 0 0 5∙0％ 95∙0％ 0 惊奇 2∙3％ 0 0 2∙3％ 0 95∙4％ 为经典 HMM 训练算法．各种不同方法总体识别率 分别为：基于 IMMI1／BP 分类器识别率为83∙5％‚ 基于 IMMI2／BP 分类器的识别率为82∙4％‚在同等 条件下基于改进前的最大互信息准则和 BP 网络的 分类方法识别率为 80∙6％‚而经典方法 Baum— Welch 识别率仅为77∙1％．由此可见‚本文提出的 方法优于传统的 HMM 训练算法． 4 结论 本文提出了一种基于改进 MMI 的 HMM 训练 算法．该方法相对于传统 Baum—Welch 算法‚具有 如下优点．（1）模型准确性：Baum—Welch 本质上是 最大似然法‚若要保证 HMM 训练的准确性‚则需要 大量样本；IMMI 算法充分利用了所有训练样本‚因 此在相同训练样本集下‚采用 IMMI 准则训练 HMM 得到的模型更为精确．（2）识别能力：Baum— Welch 训练 HMM 只利用本类样本‚因此该方法只 是注重对本类样本的建模能力‚而忽略了对其他类 样本的鉴别能力‚如果出现与本类样本相似的其他 类样本‚则该 HMM 就很难对该样本做出准确分类； IMMI 方法则不仅利用了本类样本‚而且充分考虑 了竞争类样本‚把竞争类样本作为惩罚项引入了准 则函数‚从而可以大大提高识别能力．（3）训练的不 平衡性：对于 Baum—Welch 方法‚如果某类样本很少 或缺少‚则与该类对应的 HMM 则训练不充分或无 法训练‚不能有效对该类样本建模；而 IMMI 法则 可有效避免这类情况发生‚而且如果某类样本缺少 时‚还可以利用其竞争类的样本对该类 HMM 进行 ·436· 北 京 科 技 大 学 学 报 第29卷