110 工程科学学报，第44卷，第1期 3实验结果 由于微表情数据样本数据量较小，因此对数 据集进行扩充，本文采取镜像模式对数据集进行 为了验证本文提出的微表情识别方法的性能 扩充，将数据集中的样本逐一进行图片水平镜像， 和准确率，采用CASME-Ⅱ数据集进行训练.首先 扩充数据集样本 按照本文的方法训练网络模型，验证该方法的有 3.3实验结果 效性，并研究时间序列长度即LSTM步长(Timestep) 实验利用5折交叉验证的策略，将数据集随机 以及LSTM的深度对模型效果的影响 分为5等份，每一次将其中4份作为实验的训练 3.1数据集选择 集，输入到模型中，另1份作为测试集，用来验证 采用CASME-Ⅱ数据集进行实验B四CASME- 分类的准确率.网络训练使用早期停止法，其中将 Ⅱ是由中科院心理傅小兰团队所建立的自然诱发 训练集按照4：1的比例随机划分为训练集和验证 的微表情数据库，包含来自26个平均年龄为22岁 集.使用自适应矩估计(Adam)优化器，其中学习 的亚洲参与者的255个微表情采样，视频片段帧 率设置为为10-3，衰减为10-5，网络训练为40个周 数不等.该数据集在适当的照明条件以及严格的 期，批尺寸为16 实验环境下采集得到，图像的分辨率为640像 选取其中一组训练结果，当训练趋于稳定时， 素×480像素.该数据库样本标有起始帧和结束帧 自动停止当前训练，最后得到训练过程中训练集 和与之对应的微表情标签，提供了高兴、厌恶、压 与验证集准确率变化情况，如图7所示. 抑、惊讶、害怕、伤心及其他情绪分类(Happiness,. surprise,disgust,fear,sadness,repression,others), 80 据库中捕捉到的微观表情相对纯粹而清晰，没有 诸如头部动作和不相关的面部动作的噪音.本文 至60 数据集划分为5类，如表1所示 50 麦1划分情祝 0 Table 1 Dataset classification 一Acc:65% Classify CASME-II Samples 0 5 0 152025303540 Epoch Happiness Happiness(32) 32 图7训练曲线 Surprise Surprise(28) 28 Fig.7 Training curve Disgust Disgust(63) 63 5组训练结果如表2所示，得到5折交叉验证 Repression Repression(27) 27 平均准确率为65.7%.最后的分类结果如图8所 Others(99) 示，从图中可知，预测结果在“其他”附近分布比较 Others Sadness(4) 105 多，这是由于CASME-Ⅱ中将一些无法确定的表情 Fear(2) 归类到“其他”，并且此部分数据量相比其他类别 3.2 数据集预处理 较大，同时实验中将“悲伤”和“害怕”划分到该类 为了减小不同个体和不同微表情之间的差 表情中，所以错误的预测结果大多集中在“其他” 异，首先要对数据集中的微表情序列预处理以进 部分.如果不考虑“其他”类，对其他4类表情分类 行面部对齐，裁剪得到面部表情区域，并将图像帧 会具有更高的准确率 的分辨率统一调整为224像素×224像素，以便输 表2训练结果 入空间维度与VGGFace网络模型的匹配.由于数 Table 2 Training results % 据集中的微表情序列帧数不统一，针对微表情序 Testl Test2 Test3 Test4 Test5 列通过时间插值模型插值(Temporal interpolation 64.9 66.2 65.2 65.8 66.4 model,TIM))的方法，将数据集样本每一个图像 序列插值为20帧，得到固定长度为20的帧序列， 3.4 数据分析 并将20帧的序列拆分为两个10帧的时间序列，随 几种微表情识别算法LBP-TOPB、时空完全 后把10帧的样本拼接并保存为训练数据，通过对 局部量化模型(Spatiotemporal completed local quanti- ·段视频的处理获取到两组数据 zation patterns,.STCLQP)351、CNN+LSTM、HOOF+3    实验结果 为了验证本文提出的微表情识别方法的性能 和准确率，采用 CASME-Ⅱ数据集进行训练. 首先 按照本文的方法训练网络模型，验证该方法的有 效性，并研究时间序列长度即 LSTM 步长 (Timestep) 以及 LSTM 的深度对模型效果的影响. 3.1    数据集选择 采用 CASME-Ⅱ数据集进行实验[32] . CASME- Ⅱ是由中科院心理傅小兰团队所建立的自然诱发 的微表情数据库，包含来自 26 个平均年龄为 22 岁 的亚洲参与者的 255 个微表情采样，视频片段帧 数不等. 该数据集在适当的照明条件以及严格的 实验环境下采集得到 ，图像的分辨率 为 640 像 素×480 像素. 该数据库样本标有起始帧和结束帧 和与之对应的微表情标签，提供了高兴、厌恶、压 抑、惊讶、害怕、伤心及其他情绪分类 (Happiness， surprise， disgust， fear， sadness， repression， others)，数 据库中捕捉到的微观表情相对纯粹而清晰，没有 诸如头部动作和不相关的面部动作的噪音. 本文 数据集划分为 5 类，如表 1 所示. 表 1 划分情况 Table 1   Dataset classification Classify CASME-Ⅱ Samples Happiness Happiness (32) 32 Surprise Surprise (28) 28 Disgust Disgust (63) 63 Repression Repression (27) 27 Others Others (99) Sadness (4) 105 Fear (2) 3.2    数据集预处理 为了减小不同个体和不同微表情之间的差 异，首先要对数据集中的微表情序列预处理以进 行面部对齐，裁剪得到面部表情区域，并将图像帧 的分辨率统一调整为 224 像素×224 像素，以便输 入空间维度与 VGGFace 网络模型的匹配. 由于数 据集中的微表情序列帧数不统一，针对微表情序 列通过时间插值模型插值 (Temporal interpolation model，TIM)[33] 的方法，将数据集样本每一个图像 序列插值为 20 帧，得到固定长度为 20 的帧序列， 并将 20 帧的序列拆分为两个 10 帧的时间序列，随 后把 10 帧的样本拼接并保存为训练数据，通过对 一段视频的处理获取到两组数据. 由于微表情数据样本数据量较小，因此对数 据集进行扩充，本文采取镜像模式对数据集进行 扩充，将数据集中的样本逐一进行图片水平镜像， 扩充数据集样本. 3.3    实验结果 10−3 10−5 实验利用 5 折交叉验证的策略，将数据集随机 分为 5 等份，每一次将其中 4 份作为实验的训练 集，输入到模型中，另 1 份作为测试集，用来验证 分类的准确率. 网络训练使用早期停止法，其中将 训练集按照 4∶1 的比例随机划分为训练集和验证 集. 使用自适应矩估计 (Adam) 优化器，其中学习 率设置为为 ，衰减为 ，网络训练为 40 个周 期，批尺寸为 16 选取其中一组训练结果，当训练趋于稳定时， 自动停止当前训练，最后得到训练过程中训练集 与验证集准确率变化情况，如图 7 所示. 0 5 10 15 20 25 30 35 40 Epoch 30 40 50 60 70 80 Train Val Acc: 65% Accuracy/ % 图 7    训练曲线 Fig.7    Training curve 5 组训练结果如表 2 所示，得到 5 折交叉验证 平均准确率为 65.7%. 最后的分类结果如图 8 所 示，从图中可知，预测结果在“其他”附近分布比较 多，这是由于 CASME-Ⅱ中将一些无法确定的表情 归类到“其他”，并且此部分数据量相比其他类别 较大，同时实验中将“悲伤”和“害怕”划分到该类 表情中，所以错误的预测结果大多集中在“其他” 部分. 如果不考虑“其他”类，对其他 4 类表情分类 会具有更高的准确率. 表 2 训练结果 Table 2   Training results % Test1 Test2 Test3 Test4 Test5 64.9 66.2 65.2 65.8 66.4 3.4    数据分析 几种微表情识别算法 LBP-TOP[34]、时空完全 局部量化模型 (Spatiotemporal completed local quanti￾zation patterns，STCLQP)[35]、CNN+LSTM[21]、HOOF+ · 110 · 工程科学学报，第 44 卷，第 1 期