李学翰等：基于S-LRCN的微表情识别算法 109· LSTM的输人是使用预训练模型从所有序列 权重提取面部特征，并对VGGFace的预训练权重 帧中提取的空间特征，本文采用单层的双向 进行微调，以使模型更有效地适应微表情表达加 LSTM结构，其中包含一个512个节点的隐藏层， 快收敛，网络输入为大小224×224×3的人脸表情 在LSTM隐藏层和全连接层之间使用Dropout层 图像，输出为全局平均池化层之后的全连接层得 以一定概率随机屏蔽神经元，减少神经元间的共 到的2048长度特征向量x: 适关系，增强网络节点的鲁棒性 x=[,m2,…,mnJ,n=2048 (9) 2.3S-LRCN用于微表情识别 式(9)中，m:∈R”,将提取器最后输出的特征向量 基于以上改进的方法，对于给定的微表情序 x进行L2归一化得到： 列，本文实现微表情识别的步骤如下： : 元= (10) (1)载入微表情视频文件，建立序列集 V∑=1m,2 VXTx X=(X,x2,X,…,X),以及其对应的标签集 Y=(Y,2,3,…,Y),表示集合中第个微表情 将最后得到的特征保存到数据集X= 序列即X=(,,,…,),表示第个微表情序 {X,X2,X,…XW,建立特征集，这时X表示集合中 列中的第张图片，n;表示第个微表情序列的长 第个提取到的特征序列即=(，写，…，) 度，表示集合中的第个标签 即针对一个序列生成的T×2048的向量，x表示第 (2)载入微表情视频文件，首先对序列长度归 个特征序列的第个特征.将产生的特征向量传递 化，即输入LSTM网络的时间步长设定一个固 到随后的循环网络中 定值T,得到X=（,…,)依次对序列归一 (4)由于微表情图像序列具有的动态时域 化的视频序列图片进行人脸检测提取人脸部分， 特征，各帧之间包含时域相关性，在完成对微表 将截取的有效图片尺寸归一化，进而得到处理后 情单帧图片的空间特征提取之后，利用双向 的数据集X=(X,X2,X3,…,XW),此步骤使输入视 LSTM网络前项序列和反向序列五传播过程进 频序列适合于输入到CNN网络 行训练，获得表情时序特征空间，表情视频序列 由于采集的微表情序列含有大量噪声和冗余 的每帧人脸图像的表情特征为，∈R”,设定表情 信息，因此需要去除图像中的无关区域并消除数 变化时序t∈T,T为表情帧长度，则表情特征时序 据噪声，对数据集中的微表情序列进行人脸对齐 矩阵为： 和人脸剪裁.使用Haar人脸检测器Bo检测人脸， Z=[…] (11) 利用主动外观模型(Active appearance model,.AAM) 建立顺序输入，固定输出的预测时间分布 算法将每个微表情采样序列的中性表情状态下 [X1,x2,…,xT]→y: 人脸的特征点提取出来，根据特征点坐标裁剪出 y=F(W.Z) (12) 人脸轮廓，将图像归一化为224×224×3，避免尺寸 式中，F为激活函数，W为双向LSTM的判决参数 差异影响结果 模型，y是多分类的预测结果 (3)利用迁移学习和VGGFace模型的预训练 实现步骤如图6所示 Process Input Visual GAP equence Output teatures earning Face detection GGFace Face Frames clipping VGGFace Alignment ROI VGGFace LSTM 224×224×3 T×2048 困6实现方法 Fig.6 Implementation methodLSTM 的输入是使用预训练模型从所有序列 帧 中 提 取 的 空 间 特 征 ， 本 文 采 用 单 层 的 双 向 LSTM 结构，其中包含一个 512 个节点的隐藏层， 在 LSTM 隐藏层和全连接层之间使用 Dropout 层 以一定概率随机屏蔽神经元，减少神经元间的共 适关系，增强网络节点的鲁棒性. 2.3    S-LRCN 用于微表情识别 基于以上改进的方法，对于给定的微表情序 列，本文实现微表情识别的步骤如下： X = ( X 1 ,X 2 ,X 3 ,··· ,X N ) Y = ( Y 1 ,Y 2 ,Y 3 ,··· ,Y N ) X i i X i = ( x i 1 , x i 2 , x i 3 ,··· , x i ni ) x i j i j ni i Y i i （ 1） 载 入 微 表 情 视 频 文 件 ， 建 立 序 列 集 ， 以 及 其 对 应 的 标 签 集 ， 表示集合中第 个微表情 序列即 ， 表示第 个微表情序 列中的第 张图片， 表示第 个微表情序列的长 度， 表示集合中的第 个标签. T X i = ( x i 1 , x i 2 , x i 3 ,··· , x i T ) X = ( X 1 ,X 2 ,X 3 ,···,X N ) （2）载入微表情视频文件，首先对序列长度归 一化，即输入 LSTM 网络的时间步长设定一个固 定值 ，得到 . 依次对序列归一 化的视频序列图片进行人脸检测提取人脸部分， 将截取的有效图片尺寸归一化，进而得到处理后 的数据集 ，此步骤使输入视 频序列适合于输入到 CNN 网络. 224×224×3 由于采集的微表情序列含有大量噪声和冗余 信息，因此需要去除图像中的无关区域并消除数 据噪声，对数据集中的微表情序列进行人脸对齐 和人脸剪裁. 使用 Haar 人脸检测器[30] 检测人脸， 利用主动外观模型 (Active appearance model, AAM) 算法[31] 将每个微表情采样序列的中性表情状态下 人脸的特征点提取出来，根据特征点坐标裁剪出 人脸轮廓，将图像归一化为 ，避免尺寸 差异影响结果. （3）利用迁移学习和 VGGFace 模型的预训练 224×224×3 x 权重提取面部特征，并对 VGGFace 的预训练权重 进行微调，以使模型更有效地适应微表情表达加 快收敛，网络输入为大小 的人脸表情 图像，输出为全局平均池化层之后的全连接层得 到的 2048 长度特征向量 : x = [m1,m2,···,mn],n = 2048 （9） mi ∈ R n x x¯ 式（9）中， ，将提取器最后输出的特征向量 进行 L2 归一化得到 : x¯ = mi √∑n i=1 mi 2 = mi √ x Tx （10） X = { X 1 ,X 2 ,X 3 ,···,X N } X i i X i = ( x i 1 , x i 2 , x i 3 ,··· , x i T ) T ×2048 x i t i t 将 最 后 得 到 的 特 征 保 存 到 数 据 集 ，建立特征集，这时 表示集合中 第 个提取到的特征序列即 ， 即针对一个序列生成的 的向量， 表示第 个特征序列的第 个特征. 将产生的特征向量传递 到随后的循环网络中. −→h ←−h xt ∈ R n t ∈ T T （ 4）由于微表情图像序列具有的动态时域 特征，各帧之间包含时域相关性，在完成对微表 情单帧图片的空间特征提取之后 ，利用双 向 LSTM 网络前项序列 和反向序列 传播过程进 行训练，获得表情时序特征空间，表情视频序列 的每帧人脸图像的表情特征为 ，设定表情 变化时序 ， 为表情帧长度，则表情特征时序 矩阵为： Z = [ xt ··· xt ] （11） [x1, x2,··· , xT ] → y 建立顺序输入 ，固定输出的预测时间分布 ： y = F (W, Z) （12） F W y 式中， 为激活函数， 为双向 LSTM 的判决参数 模型， 是多分类的预测结果. 实现步骤如图 6 所示.Softmax … … … frame frame Frames VGGFace VGGFace VGGFace LSTM LSTM LSTM Input Visual features Sequence learning Output predication Process Face detection Face clipping Alignment ROI GAPFinetuning 224×224×3 T×2048 图 6    实现方法 Fig.6    Implementation method 李学翰等： 基于 S-LRCN 的微表情识别算法 · 109 ·