基于光流方向信息熵统计的微表情捕捉

工程科学学报，第39卷，第11期：1727-1734,2017年11月 Chinese Journal of Engineering,Vol.39,No.11:1727-1734,November 2017 DOI:10.13374/j.issn2095-9389.2017.11.016 http //journals.ustb.edu.cn 基于光流方向信息熵统计的微表情捕捉 李丹”，解仑)区，卢婷”，韩晶”，胡波”，王志良”，任福继》 1)北京科技大学计算机与通信工程学院，北京1000832)合肥工业大学计算机与信息学院，合肥230009 ☒通信作者，Email:xielun@ustb.edu.cn 摘要以光流法为依据，提出了一种基于光流方向信息熵(entropy of oriented optical flow,EOF)统计的方法捕捉微表情关键 帧.首先，采用改进的Hom-Schunck光流法提取视频流中相邻两帧图像的微表情运动特征；其次，采用阈值分析法筛选出投 影速度模值较大的光流向量：之后，采用图像信总熵统计光流变化角度，进而得到视频序列的方向信息熵向量，通过对熵向量 的分析，实现微表情关键帧捕捉：最后，本实验采用芬兰奥卢大学的SMIC微表情数据库和中国科学院心理研究所傅小兰的 CASME微表情数据库作为实验样本，通过与传统的帧差法比较，证明了本文提出的算法优于帧差法，能够较好地表现出微表 情变化趋势，为微表情识别提供基础。 关键词微表情：HS光流：方向信息熵：帧差法：关键帧捕捉 分类号TP751.1 Capture of microexpressions based on the entropy of oriented optical flow ⅡDan》,XELn',LU Ting',，HAN Jing',HlBo”,WANG Zhi-liang',REN Fuj 1)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)School of Computer and Information,Hefei University of Technology,Hefei 230009,China Corresponding author,E-mail:xielun@ustb.edu.cn ABSTRACT This paper proposes an algorithm that is effective in detecting the key frame of microexpression based on the entropy of oriented optical flow.Initially,this paper used an improved Homn-Schunck optical flow to extract the motion features of adjacent frames.Then,the threshold algorithm was used to filter the optical flow vectors with high-projective modulus.To capture the key frame of microexpression,the paper used information entropy to count the direction of optical flow vectors and analyzed the changing of microexpressions using an entropy vector of video sequences.Finally,the algorithm in this paper was verified with microexpression database SMIC (Oulu University)and CASME (the Director of the Institute of Psychology at the Chinese Academy of Sciences,Fu Xiaolan).Compared with traditional frame differences,experiments show that the algorithm is good not only in expressing the trend of the microexpression but also in providing the basis for microexpression recognition. KEY WORDS microexpression;Horn-Schunck optical flow:oriented optical flow:frame difference;key-frame capture 表情作为一种表达自身情感状态的面部行为，在1/5s0.早在1969年，Ekman和Friesen在抑郁症患者 生物特征识别领域得到了广泛的关注：随着研究的不的访谈中发现了微表情的存在，奠定了微表情研究的 断深入，人们发现了一种被普遍忽略的面部行为一 基础四.之后，Porter和ten Brinke首次公开发表了对 微表情。微表情作为一种不易被察觉的表情，常常在 微表情表达的实证研究报告，报告中指出，通过测试被 个体试图压制自我时表达出真实的情感状态，它的出 试者对图片库做出的真实或者虚假的表情反应，从而 现是无意识的、不能自控的，持续时间仅仅为1/25s到 质疑微表情的有效性田.近年来，微表情研究受到了 收稿日期：2016-12-15 基金项目：国家自然科学基金资助项目(61672093,61432004)：国家重点研发计划重点专项课题资助项目(2016YFB1001404)

工程科学学报，第 39 卷，第 11 期: 1727--1734，2017 年 11 月 Chinese Journal of Engineering，Vol． 39，No． 11: 1727--1734，November 2017 DOI: 10． 13374 /j． issn2095--9389． 2017． 11． 016 http: / /journals． ustb． edu． cn 基于光流方向信息熵统计的微表情捕捉 李 丹1) ，解 仑1) ，卢 婷1) ，韩 晶1) ，胡 波1) ，王志良1) ，任福继2) 1) 北京科技大学计算机与通信工程学院，北京 100083 2) 合肥工业大学计算机与信息学院，合肥 230009  通信作者，E-mail: xielun@ ustb． edu． cn 摘 要 以光流法为依据，提出了一种基于光流方向信息熵( entropy of oriented optical flow，EOF) 统计的方法捕捉微表情关键 帧． 首先，采用改进的 Horn--Schunck 光流法提取视频流中相邻两帧图像的微表情运动特征; 其次，采用阈值分析法筛选出投 影速度模值较大的光流向量; 之后，采用图像信息熵统计光流变化角度，进而得到视频序列的方向信息熵向量，通过对熵向量 的分析，实现微表情关键帧捕捉; 最后，本实验采用芬兰奥卢大学的 SMIC 微表情数据库和中国科学院心理研究所傅小兰的 CASME 微表情数据库作为实验样本，通过与传统的帧差法比较，证明了本文提出的算法优于帧差法，能够较好地表现出微表 情变化趋势，为微表情识别提供基础． 关键词 微表情; H--S 光流; 方向信息熵; 帧差法; 关键帧捕捉 分类号 TP751. 1 Capture of microexpressions based on the entropy of oriented optical flow LI Dan1) ，XIE Lun1)  ，LU Ting1) ，HAN Jing1) ，HU Bo1) ，WANG Zhi-liang1) ，ＲEN Fu-ji2) 1) School of Computer and Communication Engineering，University of Science and Technology Beijing，Beijing 100083，China 2) School of Computer and Information，Hefei University of Technology，Hefei 230009，China  Corresponding author，E-mail: xielun@ ustb． edu． cn ABSTＲACT This paper proposes an algorithm that is effective in detecting the key frame of microexpression based on the entropy of oriented optical flow． Initially，this paper used an improved Horn--Schunck optical flow to extract the motion features of adjacent frames． Then，the threshold algorithm was used to filter the optical flow vectors with high-projective modulus． To capture the key frame of microexpression，the paper used information entropy to count the direction of optical flow vectors and analyzed the changing of microexpressions using an entropy vector of video sequences． Finally，the algorithm in this paper was verified with microexpression database SMIC ( Oulu University) and CASME ( the Director of the Institute of Psychology at the Chinese Academy of Sciences，Fu Xiaolan) ． Compared with traditional frame differences，experiments show that the algorithm is good not only in expressing the trend of the microexpression but also in providing the basis for microexpression recognition． KEY WOＲDS microexpression; Horn--Schunck optical flow; oriented optical flow; frame difference; key-frame capture 收稿日期: 2016--12--15 基金项目: 国家自然科学基金资助项目( 61672093，61432004) ; 国家重点研发计划重点专项课题资助项目( 2016YFB1001404) 表情作为一种表达自身情感状态的面部行为，在 生物特征识别领域得到了广泛的关注． 随着研究的不 断深入，人们发现了一种被普遍忽略的面部行为——— 微表情． 微表情作为一种不易被察觉的表情，常常在 个体试图压制自我时表达出真实的情感状态，它的出 现是无意识的、不能自控的，持续时间仅仅为 1 /25 s 到 1 /5 s［1］． 早在 1969 年，Ekman 和 Friesen 在抑郁症患者 的访谈中发现了微表情的存在，奠定了微表情研究的 基础［2］． 之后，Porter 和 ten Brinke 首次公开发表了对 微表情表达的实证研究报告，报告中指出，通过测试被 试者对图片库做出的真实或者虚假的表情反应，从而 质疑微表情的有效性［3］． 近年来，微表情研究受到了

·1728 工程科学学报，第39卷，第11期 国内外研究人员的广泛关注，例如芬兰奥卢大学的赵 化关键帧 国英团队利用光流向量的时空一体化检测微表情特 2 征0：日本筑波大学的Polikovsky团队采用3D梯度直 光流法及图像信息熵统计法 方图直观的描述人脸面部运动，检测微表情特征，并论 2.1改进的光流法 证了相邻帧之间的变化趋势及其对微表情研究的影 光流表征了三维空间中运动物体表面的点在成像 响：日本早稻田大学的Yao等基于FACS和面部特 平面上投影的瞬时速度，它依据相邻两帧之间像素点 征点追踪学习检测(tracking learning detection)获得微 在时间域上的变化，找到上一帧与当前帧的对应关系， 表情特征网，均取得了较好的结果.国内对微表情研 进而得到相邻两帧之间像素点的运动信息回 究起步较晚，中国科学院傅小兰教授团队于2010年开 光流的计算方法可以分为三类：基于特征匹配的 始研究微表情，之后自主研发了基于静态特征的微表 方法、基于频域的方法和基于梯度的方法.对于较 情识别系统.除此之外，张量子空间判别法圆、基于 大目标的运动，基于特征匹配的方法具有较高的鲁棒 局部二值模式的正交平面算子网等均被相关团队用来 性，但是该方法计算的光流稀疏，难以进行特征提取. 提取微表情特征，效果显著 基于频域的方法虽然能够得到较高精度的初始光流， 微表情的分析主要分为三个步骤：捕捉、特征提取 但是计算较为复杂并且难以评价其可靠性.基于梯度 以及分类.因此，准确的微表情捕捉是提取表情特征、 的方法依据时空梯度函数计算每一个像素点的光流矢 实现表情分类并进一步探究人类真实情感状态的基 量，此方法计算较为简单且效果显著.因此，本文采用 础.本文首先采用光流法提取视频中相邻两帧图像之 基于梯度的方法获取连续视频帧中微表情的光流 间的微表情运动特征：其次结合阈值分析法过滤光流 特征. 在二维坐标系中投影模值较小的运动向量；之后，依据 光流法的计算过程中有三个假设条件四： 分析结果，采用方向信息熵统计的方法分析光流向量 I.假设相邻两帧图像之间灰度恒定： 的角度变化信息；最后，通过与帧间差法的对比，表明 Ⅱ.假设相邻两帧图像的时间间隔趋于零，运动物 了本实验算法能够更好的捕捉微表情发生过程，具有 体改变量微小： 较好的实用性. Ⅲ.假设在相同区域内，像素点运动相同 因此，在光照变化较为恒定，且无较大噪声干扰的 1基于帧差法的微表情捕捉 情况下，视频图像序列中！时刻的灰度图像I(x,y,t) 对于高速视频流中相邻的两帧图像，可假设相邻 在+△t时间内的变化量可由式(3)表示： 位置的像素灰度值保持不变，当运动区域发生变化，相 I(x+△x,y+△y,t+△l)=I(x,y,t). (3) 应位置的灰度也会随之变化，因此，可采用相邻两帧图 式中，△x、△y、△：为xy、l上的改变量.将式(3)左边 像之间像素灰度值的差分检测运动目标 采用泰勒展开式展开得： 设F为包含有W帧的微表情视频序列F=,∫， I(x+△x,y+△y,t+△)= …fm},f为视频序列中第k帧图像，其中k=1,2,…, 1(xy,)+△x+A (4) W.通过第k帧图像与第k-1帧图像的灰度差，计算 4* 41+. 相邻两帧图像之间的欧氏距离d-,公式如下： 将式(4)代入式(3)中并忽略高阶项可得： di -f-)2 (5) (1 ++=0 ax 式中，M×N为图像分辨率. 当△x、△y、△：趋近于零时可近似为dx、dy、dl,因 设定一个阈值T,如果与f的欧氏距离超过阈 此，将它们代入上式可得到式(6)： 值T,则认为有目标运动，即为关键帧：若小于阈值 ls+业+=0. (6) T,则认为目标静止为非关键帧，即： ax dt ay dt at 设光流矢量q=(,)T,其中u表示像素点光流 「dk-i≥T,k=2,3,…,W,f一关键帧： (2) 矢量在x方向上的分量的模值，表示像素点光流矢 d1<T,k=2,3,…,W,一非关键帧 采用帧间差分法捕捉微表情，首先对每一帧图 量在y方向上的分量的模值，另u=华=出=副 d山ws 像做灰度处理，得到帧集合F=,,…,「}.之 后，将相邻两帧图像之间所有像素点逐一做差，从而 ,代入上式(6)可得化简结果如下： 得到视频流中两两图像帧之间的欧氏距离集合D= Iu+Iv+1=0. (7) {d,d2,…,d。-1}.设集合D中所有元素的均值为阈 式中，I,I,,可通过图像中相邻像素点的灰度值进行 值T,对D中的数值进行正向排序，最终得到表情变 估算，如下式(8)所示：

工程科学学报，第 39 卷，第 11 期 国内外研究人员的广泛关注，例如芬兰奥卢大学的赵 国英团队利用光流向量的时空一体化检测微表情特 征［4］; 日本筑波大学的 Polikovsky 团队采用 3D 梯度直 方图直观的描述人脸面部运动，检测微表情特征，并论 证了相邻帧之间的变化趋势及其对微表情研究的影 响［5］; 日本早稻田大学的 Yao 等基于 FACS 和面部特 征点追踪学习检测( tracking learning detection) 获得微 表情特征［6］，均取得了较好的结果． 国内对微表情研 究起步较晚，中国科学院傅小兰教授团队于 2010 年开 始研究微表情，之后自主研发了基于静态特征的微表 情识别系统［7］． 除此之外，张量子空间判别法［8］、基于 局部二值模式的正交平面算子［9］等均被相关团队用来 提取微表情特征，效果显著． 微表情的分析主要分为三个步骤: 捕捉、特征提取 以及分类． 因此，准确的微表情捕捉是提取表情特征、 实现表情分类并进一步探究人类真实情感状态的基 础． 本文首先采用光流法提取视频中相邻两帧图像之 间的微表情运动特征; 其次结合阈值分析法过滤光流 在二维坐标系中投影模值较小的运动向量; 之后，依据 分析结果，采用方向信息熵统计的方法分析光流向量 的角度变化信息; 最后，通过与帧间差法的对比，表明 了本实验算法能够更好的捕捉微表情发生过程，具有 较好的实用性． 1 基于帧差法的微表情捕捉 对于高速视频流中相邻的两帧图像，可假设相邻 位置的像素灰度值保持不变，当运动区域发生变化，相 应位置的灰度也会随之变化，因此，可采用相邻两帧图 像之间像素灰度值的差分检测运动目标． 设 F 为包含有 W 帧的微表情视频序列 F = { f1，f2， …，fW } ，fk 为视频序列中第 k 帧图像，其中 k = 1，2，…， W． 通过第 k 帧图像与第 k － 1 帧图像的灰度差，计算 相邻两帧图像之间的欧氏距离 dk － 1，公式如下: dk － 1 = ∑ M ×N k = 1 ( fk － fk －1 ) 槡 2 ． ( 1) 式中，M × N 为图像分辨率． 设定一个阈值 T，如果 fk 与 fk － 1的欧氏距离超过阈 值 T，则认为有目标运动，fk 即为关键帧; 若小于阈值 T，则认为目标静止，fk 为非关键帧，即: dk － 1≥T，k = 2，3，…，W，fk—关键帧; dk － 1 ＜ T，k = 2，3，…，W，f { k—非关键帧． ( 2) 采用帧间差分法捕捉微表情，首先 对 每 一 帧 图 像做灰 度 处 理，得 到 帧 集 合 F = { f1，f2，…，fW } ． 之 后，将相邻两帧图像之间所有像素点逐一做差，从而 得到视频流中两两图像帧之间的欧氏距离集合 D = { d1，d2，…，dW － 1 } ． 设集合 D 中所有元素的均值为阈 值 T，对 D 中的数值进行正向排序，最终得到表情变 化关键帧． 2 光流法及图像信息熵统计法 2. 1 改进的光流法 光流表征了三维空间中运动物体表面的点在成像 平面上投影的瞬时速度，它依据相邻两帧之间像素点 在时间域上的变化，找到上一帧与当前帧的对应关系， 进而得到相邻两帧之间像素点的运动信息［10］． 光流的计算方法可以分为三类: 基于特征匹配的 方法、基于频域的方法和基于梯度的方法［11］． 对于较 大目标的运动，基于特征匹配的方法具有较高的鲁棒 性，但是该方法计算的光流稀疏，难以进行特征提取． 基于频域的方法虽然能够得到较高精度的初始光流， 但是计算较为复杂并且难以评价其可靠性． 基于梯度 的方法依据时空梯度函数计算每一个像素点的光流矢 量，此方法计算较为简单且效果显著． 因此，本文采用 基于梯度的方法获取连续视频帧中微表情的光流 特征． 光流法的计算过程中有三个假设条件［12］: Ⅰ． 假设相邻两帧图像之间灰度恒定; Ⅱ． 假设相邻两帧图像的时间间隔趋于零，运动物 体改变量微小; Ⅲ． 假设在相同区域内，像素点运动相同． 因此，在光照变化较为恒定，且无较大噪声干扰的 情况下，视频图像序列中 t 时刻的灰度图像 I( x，y，t) 在 t + Δt 时间内的变化量可由式( 3) 表示: I( x + Δx，y + Δy，t + Δt) = I( x，y，t) ． ( 3) 式中，Δx、Δy 、Δt 为 x、y、t 上的改变量 . 将式( 3) 左边 采用泰勒展开式展开得: I( x + Δx，y + Δy，t + Δt) = I( x，y，t) + I x Δx + I y Δy + I t Δt + … ( 4) 将式( 4) 代入式( 3) 中并忽略高阶项可得: I x Δx + I y Δy + I t Δt = 0． ( 5) 当 Δx、Δy、Δt 趋近于零时可近似为 dx、dy、dt，因 此，将它们代入上式可得到式( 6) : I x dx dt + I y dy dt + I t = 0． ( 6) 设光流矢量 q = ( u，v) T ，其中 u 表示像素点光流 矢量在 x 方向上的分量的模值，v 表示像素点光流矢 量在 y 方向上的分量的模值，另 u = dx dt 、v = dy dt 、Ix = I x 、 Iy = I y 、t = I t ，代入上式( 6) 可得化简结果如下: Ixu + Iy v + It = 0． ( 7) 式中，Ix、Iy、It 可通过图像中相邻像素点的灰度值进行 估算，如下式( 8) 所示: · 8271 ·

李丹等：基于光流方向信息熵统计的微表情捕捉 ·1729· (lw-L）+(Lilt-1y）+(w1-1i）+(lyl1-1i） (8) 以上分析可知，每个光流矢量均包含横向和纵向分量， 3基于光流方向信息熵统计的微表情关键 然而仅由公式(7)无法确定解集，这就造成了孔径问 题.因此，本小结引入H-S全局平滑约束方程计 帧捕捉 算光流失量.假设图像中像素点的光流分量的梯度变 由以上分析可知，光流可以表征相邻两帧视频序 化非常微小，即等式(9)： 列之间各个像素点的速度方向及大小.在微表情发生 过程中，一般经历面部肌肉收紧一保持一释放三个阶 (9) 段，故而表情的变化导致了光流矢量指向各个方向. 对于表情变化较小的帧，速度方向比较单一，而表情变 化较大的帧，速度方向信息丰富，以左嘴角为例，光流 式中，V、V,分别表示光流矢量分量的梯度变化量. 实验结果如图1所示 通过求解式(9)的最小值估计图像在x、y方向上的速 度u、,从而提高了算法的收敛性 当处理多帧图像序列时，采用高斯迭代法计算光 流矢量，如下式(10)： Iu+1,0+l, X2+P+P (10) 式中，初始光流向量为零向量，为迭代次数，入为权重 系数，噪声越强，权重系数越大.本小结选用广=20， 入=25作为计算参数估计光流矢量. 图1左嘴角的光流实验结果 Fig.I Experimental results of optical flow at the left corner of mouth 2.2图像信息熵统计 信息熵是表征信息量大小的量度，一个事件不确 基于此，本文选取光流方向特征分析微表情变化 定性越大，信息量越多，其熵就越大设离散型随机变 趋势，并结合方向信息熵统计的方法捕捉微表情关键 量x的集合X={x,x2,…,x,…},那离散型随机变量 帧，即光流方向信息熵(entropy of oriented optical flow, X的信息熵定义为： EOF)统计. )=-(log (11) 对于一个W帧的视频图像序列，分辨率为M×N, 首先对视频图像的每一帧进行灰度处理，之后通过改 其中，b为常量.对于一个连续的视频，在计算机中的 进的光流法得到连续视频图像序列之间各像素点的光 存储方式是在时间上被离散化的，那么图像所传递的 流矢量q=(u,)T,并采用式(14)将其转化为极坐标 信息量可以用图像的信息熵来表示.对于一个有1级 (r,0)形式 灰度的图像来说，假设第i级灰度出现的概率为P:,那 么当P:接近于1时，信息的不确定度就很小，相反当P: fu=rcos 0, r=√m+, (14) 接近于0时，图像传送的不确定度就越大.根据信息 v=rsin 6. 6=arctan- 论原理，设定某个像素级所带的信息量为： 其次，选取合适的阈值过滤投影模值较小的光流矢 I(i)=log (1/p)=-log (p:). (12) 量，即图2中处于阴影部分以内的值.本实验运动方 那么，这幅图像所带的平均信息熵（信息熵）为： 向角度0∈0°，360°]，将360°均分为n等分，分别为 第1个角度区间至第n个角度区间，那么每一份的角 H=Σpg1p)=-名ng.(IB) 度范图为(0.360(+D）其中i=01,2 特殊的p:=0时，P:log(1/p:)=0. n-1,如图2所示. 由文献5]可知，信息嫡可被认为是反应图像信 息量大小的量度，熵值越大说明图像中含有的信息越 设为运动方向处在(0,0：+1)之间 多，更能够反映出图像的主要特征.相应的，熵值越 的像素点的数目，那么每一个角度范围所带有的信息 小，包含的信息内容越少，越难反映出图像特征 量为1，定义如式(15)：

李 丹等: 基于光流方向信息熵统计的微表情捕捉 Ix Iy I        z = 1 4 ( Ix + 1，y，t － Ix，y，t ) + ( Ix + 1，y + 1，t － Ix，y + 1，t ) + ( Ix + 1，y，t + 1 － Ix，y，t + 1 ) + ( Ix + 1，y + 1，t + 1 － Ix，y + 1，t + 1 ) ( Ix，y + 1，t － Ix，y，t ) + ( Ix + 1，y + 1，t － Ix + 1，y，t ) + ( Ix，y + 1，t + 1 － Ix，y，t + 1 ) + ( Ix + 1，y + 1，t + 1 － Ix + 1，y，t + 1 ) ( Ix，y，t + 1 － Ix，y，t ) + ( Ix + 1，y，t + 1 － Ix + 1，y，t ) + ( Ix，y + 1，t + 1 － Ix，y + 1，t ) + ( Ix + 1，y + 1，t + 1 － Ix + 1，y + 1，t        )  ． ( 8) 以上分析可知，每个光流矢量均包含横向和纵向分量， 然而仅由公式( 7) 无法确定解集，这就造成了孔径问 题［13--14］． 因此，本小结引入 H--S 全局平滑约束方程计 算光流失量． 假设图像中像素点的光流分量的梯度变 化非常微小，即等式( 9) : | Δ u | 2 ( = u  ) x 2 ( + u  ) y 2 = 0， | Δ v| 2 ( = v  ) x 2 ( + v  ) y 2 { = 0． ( 9) 式中， Δ u、 Δ v 分别表示光流矢量分量的梯度变化量． 通过求解式( 9) 的最小值估计图像在 x、y 方向上的速 度 u、v，从而提高了算法的收敛性． 当处理多帧图像序列时，采用高斯迭代法计算光 流矢量，如下式( 10) : u( j + 1) v [ ( j + 1) ] = u( j) v [ ( j) ] － Ixu( j) + Iy v ( j) + It λ2 + I 2 x + I 2 y Ix [ I ] y ． ( 10) 式中，初始光流向量为零向量，j 为迭代次数，λ 为权重 系数，噪声越强，权重系数越大． 本小结选用 j = 20， λ = 25作为计算参数估计光流矢量． 2. 2 图像信息熵统计 信息熵是表征信息量大小的量度，一个事件不确 定性越大，信息量越多，其熵就越大． 设离散型随机变 量 xi 的集合 X = { x1，x2，…，xi，…} ，那离散型随机变量 X 的信息熵定义为: H( X) = － ∑xi ∈X p( xi ) logp( xi ) b ． ( 11) 其中，b 为常量． 对于一个连续的视频，在计算机中的 存储方式是在时间上被离散化的，那么图像所传递的 信息量可以用图像的信息熵来表示． 对于一个有 l 级 灰度的图像来说，假设第 i 级灰度出现的概率为 pi，那 么当 pi 接近于 1 时，信息的不确定度就很小，相反当 pi 接近于 0 时，图像传送的不确定度就越大． 根据信息 论原理，设定某个像素级所带的信息量为: I( i) = log ( 1 / pi ) = － log ( pi ) ． ( 12) 那么，这幅图像所带的平均信息熵( 信息熵) 为: H = ∑ l i = 1 pi log ( 1 / pi ) = － ∑ l i = 1 pi log ( pi ) ． ( 13) 特殊的 pi = 0 时，pi log ( 1 / pi ) = 0． 由文献［15］可知，信息熵可被认为是反应图像信 息量大小的量度，熵值越大说明图像中含有的信息越 多，更能够反映出图像的主要特征． 相应的，熵值越 小，包含的信息内容越少，越难反映出图像特征． 3 基于光流方向信息熵统计的微表情关键 帧捕捉 由以上分析可知，光流可以表征相邻两帧视频序 列之间各个像素点的速度方向及大小． 在微表情发生 过程中，一般经历面部肌肉收紧--保持--释放三个阶 段，故而表情的变化导致了光流矢量指向各个方向． 对于表情变化较小的帧，速度方向比较单一，而表情变 化较大的帧，速度方向信息丰富，以左嘴角为例，光流 实验结果如图 1 所示． 图 1 左嘴角的光流实验结果 Fig． 1 Experimental results of optical flow at the left corner of mouth 基于此，本文选取光流方向特征分析微表情变化 趋势，并结合方向信息熵统计的方法捕捉微表情关键 帧，即光流方向信息熵( entropy of oriented optical flow， EOF) 统计． 对于一个 W 帧的视频图像序列，分辨率为 M × N， 首先对视频图像的每一帧进行灰度处理，之后通过改 进的光流法得到连续视频图像序列之间各像素点的光 流矢量 q = ( u，v) T ，并采用式( 14) 将其转化为极坐标 ( r，θ) 形式． u = rcos θ， {v = rsin θ → ． r = u2 槡 + v 2 ， θ = arctan v u { ． ( 14) 其次，选取合适的阈值过滤投影模值 r 较小的光流矢 量，即图 2 中处于阴影部分以内的 r 值． 本实验运动方 向角度 θ∈［0°，360°］，将 360°均分为 n 等分，分别为 第 1 个角度区间至第 n 个角度区间，那么每一份的角 度范围为 ( 360° n i， 360° n ( i + 1 ) ) ，其中 i = 0，1，2，…， n － 1，如图 2 所示． 设 mi 为运动方向处在 ( 360° n i， 360° n ( i + 1 ) ) 之间 的像素点的数目，那么每一个角度范围所带有的信息 量为 Ii，定义如式( 15) : · 9271 ·

·1730 工程科学学报，第39卷，第11期 数据库均将微表情分为积极(positive)、消极(nega- 3 ive)、惊讶(surprise)三类，这三类中各类视频数据分 别为70、51、43段，样本序列如图3所示.该视频帧 0,0e+ 序列是采用25帧每秒的摄像头采集的消极状态下的 团： 连续微表情图像.除此之外，该数据库还包括了100 帧每秒的摄像头采集的表情样本.CASME数据库包 + 含35个受试者(13个女性，22个男性)的195段微表 情视频，要求受试者抑制自己的表情，微表情的整个过 n-1 程由一个60帧每秒的摄像机拍摄，并对微表情样本进 n-3 n-2 行了AUs编码，包括开始(onset)、顶点(apex)、和释放 offset). 图2光流方向信息划分示意图 本实验的算法流程图如图4所示.可知，本实验 Fig.2 Sketch map of optical-flow-direction information 首先读入连续的两帧图像，对其灰度处理之后，采用 H一S光流法提取每一帧图像序列的光流特征.对于运 m: I;=log(1/p:),P:MxN (15) 动强度较小的区域，r和日的变化较小甚至不发生变 将每一个角度范围的信息量加权求和得到图像整 化，因此为了增强算法的实时性，本实验采用阈值分析 体的方向信息熵，则第k帧的方向信息熵H定义如式 法筛选出「值较大的像素点，把它们作为方向信息熵 (16): 统计实验的备用点.经大量实验发现当r阈值)= 0.03时，能得到变化较为明显的光流矢量，从而减少 =以=( (16) 了方向信息熵统计的复杂度 通过检测每一帧视频图像的整体方向信息熵的大 由于微表情变化只是发生在面部局部区域，大量 小，得到视频序列的方向信息熵向量H=H,H,,H, 的像素点在微表情发生过程中并没有发生运动，也就 …,H],其中W为视频图像序列帧数，由于方向信息 是说在光流场中速度方向角度为零，如图5所示，因此 熵是依据像素点运动变化获得的，所以首帧没有方向 本实验从样本数据中剔除这些角度变化为零的点.特 信息熵 殊的，本实验把u>0、=0的点（即只在X轴发生变 随着微表情的变化从一个平稳的状态逐渐达到一 化)归为第一个角度区间. 个峰值状态，光流矢量角度逐渐增大，相邻两帧图像的 本实验选取W=10,7=0.03对光流矢量进行方 方向信息熵逐渐增大：当表情处于保持状态时，相邻两 向信息熵统计，选取SMIC一NIR数据库第SI4组数据 帧图像之间像素点几乎没有发生变化，方向信息熵值 的消极、积极、惊讶三种状态帧序列为例进行仿真分 逐渐下降：当表情从最大状态逐渐恢复到平稳状态过 析，结果如图6~图8所示. 程中，相邻两帧之间的光流向量的角度逐渐增大，方向 由图6可知，从第2帧到第3帧之间，微表情处 信息熵逐渐增大.分析方向信息熵帧序列H=[H2, 于逐渐收紧阶段，只是发生了较小幅度的变化，随着 H,H,…,H]可知，当H中存在拐点或极值点时，相 表情变化逐渐增大，相邻两帧图像之间方向信息熵 邻极值点之间的表情帧为微表情关键帧. 随之增加，在第3帧和第4帧之间出现表情角度变化 达到最大值，表明了第3帧与第4帧之间开始发生较 4实验结果与分析 大的表情变化，之后面部角度变化幅度逐渐降低，在 为了验证光流方向信息熵统计捕捉微表情关键帧 第7帧的方向信息嫡达到最小值，随着表情状态的 的算法有效性，结合芬兰奥卢大学的SMIC微表情数 逐渐恢复，角度变化程度又逐渐增大，方向信息熵统 据库和中国科学院心理研究所傅小兰的CASME微表 计值逐渐增大，也就是说微表情在7帧之间出现强 情数据库，本实验在Matlab平台下进行仿真，其中 度最大 SMC数据库包含16个受试者的164段微表情视频， 对于积极样本数据，仿真结果如图7所示.从图 图3消极微表情图像序列 Fig.3 Negative microexpression-image sequence

工程科学学报，第 39 卷，第 11 期 图 2 光流方向信息划分示意图 Fig． 2 Sketch map of optical-flow-direction information Ii = log( 1 / pi ) ，pi = mi M × N ． ( 15) 将每一个角度范围的信息量加权求和得到图像整 体的方向信息熵，则第 k 帧的方向信息熵 Hk 定义如式 ( 16) : Hk = ∑ n i = 1 piIi = ∑ n i = 1 mi M × N ( log M × N m ) i ． ( 16) 通过检测每一帧视频图像的整体方向信息熵的大 小，得到视频序列的方向信息熵向量 H =［H2，H3，H4， …，HW］，其中 W 为视频图像序列帧数，由于方向信息 熵是依据像素点运动变化获得的，所以首帧没有方向 信息熵． 随着微表情的变化从一个平稳的状态逐渐达到一 个峰值状态，光流矢量角度逐渐增大，相邻两帧图像的 方向信息熵逐渐增大; 当表情处于保持状态时，相邻两 帧图像之间像素点几乎没有发生变化，方向信息熵值 逐渐下降; 当表情从最大状态逐渐恢复到平稳状态过 程中，相邻两帧之间的光流向量的角度逐渐增大，方向 信息熵逐渐增大． 分析方向信息熵帧序列 H =［H2， H3，H4，…，HW］可知，当 H 中存在拐点或极值点时，相 邻极值点之间的表情帧为微表情关键帧． 图 3 消极微表情图像序列 Fig． 3 Negative microexpression-image sequence 4 实验结果与分析 为了验证光流方向信息熵统计捕捉微表情关键帧 的算法有效性，结合芬兰奥卢大学的 SMIC 微表情数 据库和中国科学院心理研究所傅小兰的 CASME 微表 情数 据 库，本 实 验 在 Matlab 平 台 下 进 行 仿 真，其 中 SMIC 数据库包含 16 个受试者的 164 段微表情视频， 数据库 均 将 微 表 情 分 为 积 极( positive) 、消 极( nega￾tive) 、惊讶( surprise) 三类，这三类中各类视频数据分 别为 70、51、43 段，样本序列如图 3 所示［16］． 该视频帧 序列是采用 25 帧每秒的摄像头采集的消极状态下的 连续微表情图像． 除此之外，该数据库还包括了 100 帧每秒的摄像头采集的表情样本． CASME 数据库包 含 35 个受试者( 13 个女性，22 个男性) 的 195 段微表 情视频，要求受试者抑制自己的表情，微表情的整个过 程由一个 60 帧每秒的摄像机拍摄，并对微表情样本进 行了 AUs 编码，包括开始( onset) 、顶点( apex) 、和释放 ( offset) ． 本实验的算法流程图如图 4 所示． 可知，本实验 首先读入连续的两帧图像，对其灰度处理之后，采用 H--S 光流法提取每一帧图像序列的光流特征． 对于运 动强度较小的区域，r 和 θ 的变化较小甚至不发生变 化，因此为了增强算法的实时性，本实验采用阈值分析 法筛选出 r 值较大的像素点，把它们作为方向信息熵 统计实验的备用点． 经大量实验发现当 r 阈值 η = 0. 03 时，能得到变化较为明显的光流矢量，从而减少 了方向信息熵统计的复杂度． 由于微表情变化只是发生在面部局部区域，大量 的像素点在微表情发生过程中并没有发生运动，也就 是说在光流场中速度方向角度为零，如图 5 所示，因此 本实验从样本数据中剔除这些角度变化为零的点． 特 殊的，本实验把 u ＞ 0、v = 0 的点( 即只在 X 轴发生变 化) 归为第一个角度区间． 本实验选取 W = 10，η = 0. 03 对光流矢量进行方 向信息熵统计，选取 SMIC--NIＲ 数据库第 S14 组数据 的消极、积极、惊讶三种状态帧序列为例进行仿真分 析，结果如图 6 ～ 图 8 所示． 由图 6 可知，从第 2 帧到第 3 帧之间，微表情处 于逐渐收紧阶段，只是发生了较小幅度的变化，随着 表情变化逐渐增大，相邻两帧图像之间方向信息熵 随之增加，在第 3 帧和第 4 帧之间出现表情角度变化 达到最大值，表明了第 3 帧与第 4 帧之间开始发生较 大的表情变化，之后面部角度变化幅度逐渐降低，在 第 7 帧的方向信息熵达到最小值，随着表情状态的 逐渐恢复，角度变化程度又逐渐增大，方向信息熵统 计值逐渐增大，也就是说微表情在 7 帧之间出现强 度最大． 对于积极样本数据，仿真结果如图 7 所示． 从图 · 0371 ·

李丹等：基于光流方向信息熵统计的微表情捕捉 ·1731· 开始 读入视颇序列 F=f,f…, 存储嫡值同时 否 是否处理完 存储嫡值向量 k=k+1 、所有顿 H=(H.H,Hol 将第顿转化为 将第+1顿转化 灰度图像 为灰度图像 分析熵值向量 图像方向信息熵统计 H-S光流计算 获得微表情关键帧 计算各扇区信总量 光流矢量图 将360° 结束 过滤光流向量模值 等分为n个扇区 小于0.03的干扰向量 图4实验算法流程图 Fig.4 Flow chart of experimental algorithm 2.43 4000 3000 2.40收缩人 保持 恢复 2000 原 2.37 W-10,=0.03 1000 234 07561890 2.31 角度区间 2345678910 领序列号 2.25 图5光流矢量角度统计图 6 Fig.5 Statistical chart of oriented optical flow 帧序号 图7选取SMIC-NIR数据库积极微表情帧EOF 2.50 Fig.7 EOF of positive microexpression frame with SMIC-NIR data base 2.47收缩 保持 恢复 段逐渐恢复，E0F发生突变：第8~10帧微表情结束， 2.44 W=10.7=0.03 而E0F随之平稳.由以上分析可知，微表情处于6~7 2.41 帧时强度最大 由图8可知，微表情收缩阶段发生在第2~5帧， 2.38 在第6帧时，微表情发生较大变化，E0F值突然增大， 2352 随之微表情处于保持状态.该实验数据并没有恢复状 56 7 89 10 帧序号 态，仅出现微表情变化幅度较大的帧为第6帧 图6选取SMIC-NIR数据库消极微表情帧EOF 对SMIC-NIR表情库中所有样本进行测试，统计 Fig.6 EOF of negative microexpression frame with SMIC-NIR data 结果如表1. base 表1SMIC-NR数据库实验结果 中可知，在第2帧到3帧期间，微表情处于收缩阶段， Table 1 Experimental results of SMIC-NIR data base 角度逐渐增大，EOF值增大：第3帧到第7帧期间，微 样本序列片段序列帧数正确数漏检数正识率/% 表情发生微小波动，那么光流矢量角度发生微小波动， 消极 子 261 223 88.00 对应EOF值逐渐降低并保持微小波动，也就是说微表 积极 品 252 20 4 83.33 情处于保持状态；在第7~8帧之间，微表情从保持阶 惊讶 22 170 14 8 63.63

李 丹等: 基于光流方向信息熵统计的微表情捕捉 图 4 实验算法流程图 Fig． 4 Flow chart of experimental algorithm 图 5 光流矢量角度统计图 Fig． 5 Statistical chart of oriented optical flow 图 6 选取 SMIC--NIＲ 数据库消极微表情帧 EOF Fig． 6 EOF of negative microexpression frame with SMIC--NIＲ data base 中可知，在第 2 帧到 3 帧期间，微表情处于收缩阶段， 角度逐渐增大，EOF 值增大; 第 3 帧到第 7 帧期间，微 表情发生微小波动，那么光流矢量角度发生微小波动， 对应 EOF 值逐渐降低并保持微小波动，也就是说微表 情处于保持状态; 在第 7 ～ 8 帧之间，微表情从保持阶 图 7 选取 SMIC--NIＲ 数据库积极微表情帧 EOF Fig． 7 EOF of positive microexpression frame with SMIC--NIＲ data base 段逐渐恢复，EOF 发生突变; 第 8 ～ 10 帧微表情结束， 而 EOF 随之平稳． 由以上分析可知，微表情处于 6 ～ 7 帧时强度最大． 由图 8 可知，微表情收缩阶段发生在第 2 ～ 5 帧， 在第 6 帧时，微表情发生较大变化，EOF 值突然增大， 随之微表情处于保持状态． 该实验数据并没有恢复状 态，仅出现微表情变化幅度较大的帧为第 6 帧． 对 SMIC--NIＲ 表情库中所有样本进行测试，统计 结果如表 1． 表 1 SMIC--NIＲ 数据库实验结果 Table 1 Experimental results of SMIC--NIＲ data base 样本 序列片段 序列帧数 正确数 漏检数 正识率/% 消极 25 261 22 3 88. 00 积极 24 252 20 4 83. 33 惊讶 22 170 14 8 63. 63 · 1371 ·

·1732 工程科学学报，第39卷，第11期 2.55 2.52f 2.29外收缩 收缩 保持 恢复 2.49 保持 过2.46 2.26 2.40 W=10,=0.03 2.37 52.34 W=10,7=0.03 2.31 22 6 89 10 2.28 帧序号 2.25 3 5 67 89 10 图10选取CASME数据库积极微表情帧EOF 4 帧序号 Fig.10 EOF of positive microexpression frame with CASME data base 图8选取SMIC-NIR数据库惊讶微表情帧EOF Fig.8 EOF of surprise microexpression frame with SMIC-NIR data 应的EOF发生微小波动，此时微表情处于保持阶段. base 在第6帧至第7帧期间，微表情从保持阶段逐渐恢复， 由表1可知，该算法对于消极样本数据的正识率 EOF发生突变从第7帧开始，微表情结束，EOF趋于 较高，其中正确数为22个，漏检数为3个，正识率达到 平稳. 了88.00%：24段积极样本数据中有20段为检测正确 数据，4段为漏检数据，正识率为83.33%：惊讶样本数 2.32 收缩 保持 恢复 据的正识率为63.63%，比消极样本数据和积极样本 数据分别低了24.37%和19.7%. 针对CASME数据库，本实验分别对消极、积极、 惊讶三种状态帧序列样本进行仿真分析，结果如图9、 2.29 图10、及图11所示. 2.58 W=10.7=0.03 收缩 保持 恢复 2.262 56 10 顺序号 2.55 图11选取CASME数据库惊讶微表情帧EOF Fig.11 EOF of surprise microexpression frame with CASME data base W=10.1=0.03 对于惊讶表情，如图11所示.微表情收缩阶段发 252 56 7 8 10 生在第2帧至第4帧期间.第4帧至第6帧，E0F发生 顿序号 非常明显的变化，微表情变化比较明显.第6帧至第7 图9选取CASME数据库消极微表情帧EOF 帧期间，EOF变化比较微小，此时是微表情的保持阶 Fig.9 EOF of negative microexpression frame with CASME data 段.从第7帧开始，EOF发生比较大的变化，说明此时 base 微表情由保持阶段逐渐恢复.从第9帧至第10帧， 由图9可知，在第2帧至第4帧之间，微表情处于 EOF趋于平稳，微表情结束. 收缩阶段，角度逐渐增大，EOF增大；在第4帧至第8 对CASME表情库中所有样本进行测试，统计结 帧期间，微表情发生微小波动，对应的EOF变化幅度 果如表2. 较小，说明此时微表情处于保持阶段.在第6帧和第7 表2 CASME数据库实验结果 帧时，EOF变化值最小，此时的微表情强度最大.在第 Table 2 Experimental results of CASME data base 8至第9帧期间，EOF突然增加，微表情从保持阶段逐 渐恢复. 样本 序列片段序列帧数正确数漏检数正识率/% 由图10可知，对于积极样本数据.在第2至3帧 消极 20 407 17 3 85.00 期间，微表情处于收缩阶段，角度逐渐增大，EOF值增 积极 9 263 6 3 66.67 大.在第4帧至第5帧期间，微表情发生微小波动，对 惊讶 20 396 15 75.00

工程科学学报，第 39 卷，第 11 期 图 8 选取 SMIC--NIＲ 数据库惊讶微表情帧 EOF Fig． 8 EOF of surprise microexpression frame with SMIC--NIＲ data base 由表 1 可知，该算法对于消极样本数据的正识率 较高，其中正确数为 22 个，漏检数为 3 个，正识率达到 了 88. 00% ; 24 段积极样本数据中有 20 段为检测正确 数据，4 段为漏检数据，正识率为 83. 33% ; 惊讶样本数 据的正识率为 63. 63% ，比消极样本数据和积极样本 数据分别低了 24. 37% 和 19. 7% ． 针对 CASME 数据库，本实验分别对消极、积极、 惊讶三种状态帧序列样本进行仿真分析，结果如图 9、 图 10、及图 11 所示． 图 9 选取 CASME 数据库消极微表情帧 EOF Fig． 9 EOF of negative microexpression frame with CASME data base 由图 9 可知，在第 2 帧至第 4 帧之间，微表情处于 收缩阶段，角度逐渐增大，EOF 增大; 在第 4 帧至第 8 帧期间，微表情发生微小波动，对应的 EOF 变化幅度 较小，说明此时微表情处于保持阶段． 在第 6 帧和第 7 帧时，EOF 变化值最小，此时的微表情强度最大． 在第 8 至第 9 帧期间，EOF 突然增加，微表情从保持阶段逐 渐恢复． 由图 10 可知，对于积极样本数据． 在第 2 至 3 帧 期间，微表情处于收缩阶段，角度逐渐增大，EOF 值增 大． 在第 4 帧至第 5 帧期间，微表情发生微小波动，对 图 10 选取 CASME 数据库积极微表情帧 EOF Fig． 10 EOF of positive microexpression frame with CASME data base 应的 EOF 发生微小波动，此时微表情处于保持阶段． 在第 6 帧至第 7 帧期间，微表情从保持阶段逐渐恢复， EOF 发生突变． 从第 7 帧开始，微表情结束，EOF 趋于 平稳． 图 11 选取 CASME 数据库惊讶微表情帧 EOF Fig． 11 EOF of surprise microexpression frame with CASME data base 对于惊讶表情，如图 11 所示． 微表情收缩阶段发 生在第 2 帧至第 4 帧期间． 第 4 帧至第 6 帧，EOF 发生 非常明显的变化，微表情变化比较明显． 第 6 帧至第 7 帧期间，EOF 变化比较微小，此时是微表情的保持阶 段． 从第 7 帧开始，EOF 发生比较大的变化，说明此时 微表情由保持阶段逐渐恢复． 从第 9 帧至第 10 帧， EOF 趋于平稳，微表情结束． 对 CASME 表情库中所有样本进行测试，统计结 果如表 2． 表 2 CASME 数据库实验结果 Table 2 Experimental results of CASME data base 样本 序列片段 序列帧数 正确数 漏检数 正识率/% 消极 20 407 17 3 85. 00 积极 9 263 6 3 66. 67 惊讶 20 396 15 5 75. 00 · 2371 ·

李丹等：基于光流方向信息熵统计的微表情捕捉 1733· 由表2可知，该算法对于消极样本数据的正识率 表3SMC-HS数据库实验结果 较高，其中正确数为17个，漏检数为3个，正识率达到 Table 3 Experimental results of SMIC-HS data base 了85.00%；相对于消极样本，惊讶样本的识别率相对 序列 序列 数据库 正确数漏检数 正识率/ 算法 较低为75.00%，其中9段序列片段中，6段正确序列， 片段 帧数 3段漏检序列：积极样本的正式率为66.67%，比消极 HS 本实验 59 958 40 19 67.80 样本和惊讶样本序列低了18.33%和10.00%. HS 帧差法59 958 36 23 61.02 为了进一步验证算法的有效性，本小结采用帧间 差分法与EOF算法进行对比，并基于SIMC-NIR-NEG 正识率高出12.67%：在SMIC-HS数据库中，帧差法的 数据库样本将实验结果数据归一化进行比较，仿真结 正识率为61.02%，本实验的正识率为67.80%，相比 帧差法的正识率高出6.78%.因此，通过表2和表3 果如图12所示 分析可知，相比于帧差法，本实验算法能够更好的表现 1.0 0.9 一◆一帧差法 出微表情的变化规律. 0.8 +一本实验 微表情的关键帧捕捉是微表情识别过程的第一 0.7 步，正确地捕捉到微表情为下一步的微表情特征提取 以及分类奠定了基础.在本文中，可以通过基于光流 0.5 0.4 方向信息熵统计的方法成功地捕捉到微表情的关键 帧，之后可以对捕捉到的关键帧做相应的图像处理，进 而提取出当前图片的纹理特征，再将得到对的特征用 0.1 于表情分类.常用的微表情特征提取方法有基于运动 特征的提取与基于形变特征的提取.其中基于运动特 顿序号 征提取方法包括光流法、运动模型法和特征点跟踪法 基于形变特征提取的方法包括Gabor小波、主成分分 析法和点分布模型等.常用的特征分类方法有K临近 图12对比实验中消极微表情序列的EO Fig.12 EOF of negative microexpression sequence in contrast experi- 分类法、支持向量机和稀疏表示分类法等.在微表情 ments 识别过程中，捕捉是非常重要的一步，只有正确地找微 表情所在关键帧，下一步的表情识别才会得到比较理 由图12可知，传统的帧差法在4至6帧之间变化 想的结果.本文所提算法分别在SMIC数据库和 较为平缓，而在同样的图像区间内，本实验的方法曲线 CASME数据库中均能得到比较理想的结果，为下一步 可以准确的描述微表情变化趋势，以及方向信息熵随 微表情的识别奠定了坚实的基础. 时间变化的程度.从图中可以看到，对帧差法的均值 分析结果漏掉了表情幅度较大的第7帧图像.由以上 5结论 对比发现，本文提出的光流方向信息熵捕捉微表情的 (1)基于像素运动的多样性，本文采用光流方向 方法，不仅可以确定微表情变化趋势，而且还能捕捉微 信息熵捕捉微表情，为进一步识别微表情奠定基础. 表情发生的关键帧. 经由以上实验可知，在相同采集速率的视频中，本文提 除此之外，本文选取SMIC微表情数据库中的NIR 出的算法能够更好的捕捉微表情. 库（采集速率为25帧每秒）和HS库（采集速率为100 (2)实际应用中，不可避免的受到不均匀光照等 帧每秒)为实验样本进行仿真验证，结果如表2和表3 其他噪声的影响，从而导致对微表情过程的误判，并且 所示. 在试验中发现，对于采集速率较高的视频图像来说，本 表2SMIC-NR数据库实验结果 实验方法并不能获得较高的识别率，这也是本实验的 Table 2 Experimental results of SMIC-NIR data base 不足及改进方向 序列 序列 正识率/ 数据库 算法 片段帧数 正确数漏检数 % 参考文献 NIR 本实验 71683 57 14 80.28 [Liang J,Yan W J.Wu Q,et al.Recent advances and future NIR帧差法 71 683 48 23 67.61 trends in microexpression research.Bull National Nat Sci Found China,2013(2):75 在SMIC一NIR数据库中，帧差法的正识率为 (梁静，颜文靖，吴奇，等.微表情研究的进展与展望.中国 67.61%,本实验的正识率为80.28%，相比帧差法的 科学基金，2013(2)：75)

李 丹等: 基于光流方向信息熵统计的微表情捕捉 由表 2 可知，该算法对于消极样本数据的正识率 较高，其中正确数为 17 个，漏检数为 3 个，正识率达到 了 85. 00% ; 相对于消极样本，惊讶样本的识别率相对 较低为 75. 00% ，其中 9 段序列片段中，6 段正确序列， 3 段漏检序列; 积极样本的正式率为 66. 67% ，比消极 样本和惊讶样本序列低了 18. 33% 和 10. 00% ． 为了进一步验证算法的有效性，本小结采用帧间 差分法与 EOF 算法进行对比，并基于 SIMC--NIＲ--NEG 数据库样本将实验结果数据归一化进行比较，仿真结 果如图 12 所示． 图 12 对比实验中消极微表情序列的 EOF Fig． 12 EOF of negative microexpression sequence in contrast experi￾ments 由图 12 可知，传统的帧差法在 4 至 6 帧之间变化 较为平缓，而在同样的图像区间内，本实验的方法曲线 可以准确的描述微表情变化趋势，以及方向信息熵随 时间变化的程度． 从图中可以看到，对帧差法的均值 分析结果漏掉了表情幅度较大的第 7 帧图像． 由以上 对比发现，本文提出的光流方向信息熵捕捉微表情的 方法，不仅可以确定微表情变化趋势，而且还能捕捉微 表情发生的关键帧． 除此之外，本文选取 SMIC 微表情数据库中的 NIＲ 库( 采集速率为 25 帧每秒) 和 HS 库( 采集速率为 100 帧每秒) 为实验样本进行仿真验证，结果如表 2 和表 3 所示． 表 2 SMIC--NIＲ 数据库实验结果 Table 2 Experimental results of SMIC--NIＲ data base 数据库 算法 序列 片段 序列 帧数 正确数 漏检数 正识率/ % NIＲ 本实验 71 683 57 14 80. 28 NIＲ 帧差法 71 683 48 23 67. 61 在 SMIC--NIＲ 数 据 库 中，帧差法的正识率为 67. 61% ，本实验的正识率为80. 28% ，相比帧差法的 表 3 SMIC--HS 数据库实验结果 Table 3 Experimental results of SMIC--HS data base 数据库 算法 序列 片段 序列 帧数 正确数 漏检数 正识率/ % HS 本实验 59 958 40 19 67. 80 HS 帧差法 59 958 36 23 61. 02 正识率高出12. 67% ; 在 SMIC--HS 数据库中，帧差法的 正识率为 61. 02% ，本实验的正识率为 67. 80% ，相比 帧差法的正识率高出 6. 78% ． 因此，通过表 2 和表 3 分析可知，相比于帧差法，本实验算法能够更好的表现 出微表情的变化规律． 微表情的关键帧捕捉是微表情识别过程的第一 步，正确地捕捉到微表情为下一步的微表情特征提取 以及分类奠定了基础． 在本文中，可以通过基于光流 方向信息熵统计的方法成功地捕捉到微表情的关键 帧，之后可以对捕捉到的关键帧做相应的图像处理，进 而提取出当前图片的纹理特征，再将得到对的特征用 于表情分类． 常用的微表情特征提取方法有基于运动 特征的提取与基于形变特征的提取． 其中基于运动特 征提取方法包括光流法、运动模型法和特征点跟踪法． 基于形变特征提取的方法包括 Gabor 小波、主成分分 析法和点分布模型等． 常用的特征分类方法有 K 临近 分类法、支持向量机和稀疏表示分类法等． 在微表情 识别过程中，捕捉是非常重要的一步，只有正确地找微 表情所在关键帧，下一步的表情识别才会得到比较理 想的 结 果． 本 文 所 提 算 法 分 别 在 SMIC 数 据 库 和 CASME 数据库中均能得到比较理想的结果，为下一步 微表情的识别奠定了坚实的基础． 5 结论 ( 1) 基于像素运动的多样性，本文采用光流方向 信息熵捕捉微表情，为进一步识别微表情奠定基础． 经由以上实验可知，在相同采集速率的视频中，本文提 出的算法能够更好的捕捉微表情． ( 2) 实际应用中，不可避免的受到不均匀光照等 其他噪声的影响，从而导致对微表情过程的误判，并且 在试验中发现，对于采集速率较高的视频图像来说，本 实验方法并不能获得较高的识别率，这也是本实验的 不足及改进方向． 参 考 文 献 ［1］ Liang J，Yan W J，Wu Q，et al． Ｒecent advances and future trends in microexpression research． Bull National Nat Sci Found China，2013( 2) : 75 ( 梁静，颜文靖，吴奇，等． 微表情研究的进展与展望． 中国 科学基金，2013( 2) : 75) · 3371 ·

·1734· 工程科学学报，第39卷，第11期 2]Ekman P,Friesen W V.Nonverbal leakage and clues to ral Networks.Beijing,2014:3473 deception.Psychiatry-interpersonal Biol Processes,1969.32(1): [10]Zhu S H,Hu J J,Shi Z.Local abnormal behavior detection 88 based on optical flow and spatio-emporal gradient.Multimedia B]Porter S,Ten Brinke L.Reading between the lies:Identifying Tools A4wl,2016,75(15):9445 concealed and falsified emotions in universal facial expressions. [11]Siddiqi M H,Ali R,Khan A M,et al.Facial expression recog- Psychological Sci,2008,19(5):508 nition using active contour-based face detection,facial move- [4]Patel D,Zhao G Y,Pictikainen M.Spatiotemporal integration of ment-based feature extraction,and non-inear feature selection. optical flow vectorsfor microexpression detection/International Multimedia Syst,2015,21(6):541 Conference on Adranced Coneepts for Intelligent Vision Systems.Ca- [12]Pfister T,Li X B,Zhao C Y,et al.Differentiating spontaneous tania,2015:369 from posed facial expressions within a generic facial expression [5]Polikovsky S,Kameda Y,Ohta Y.Facial micro-expressions rec- recognition framework /2011 IEEE International Conference on ognition using high speed camera and 3D-gradients descriptor// Computer Vision Workshops.Barcelona,2011:868 Proceedings of 3rd International Conference on Imaging for Crime [13]Liu X,Cheung Y M,Tang YY.Lip event detection using orien- Detection and Prevention.London,2009:16 ted histograms of regional optical flow and low rank affinity pur- [6]Yao S Q,He N,Zhang H Q,et al.Micro-expression recognition suit.Comput Vision Image Understanding,2016,148:153 by feature points tracking /10th International Conference on [14]Zhang J W,Zhi R F.Comparative analysis of optical flow algo- Communications.Bucharest,2014:1 rithms.Mod Electron Tech,2013,36(13)39 7]Wu Q.Shen X B,Fu X L.Miero-expression and its applications. (张佳减，支瑞峰.光流算法比较分析研究.现代电子技术， Adv Psychological Sci,2010,18 (9)1359 2013,36(13):39) (吴奇，申寻兵，傅小兰。微表情研究及其应用。心理科学进 [15]Liu K H,Liu T J,Liu HH,et al.Facial makeup detection via 展，2010,18(9)：1359) selected gradient orientation of entropy information//2015 IEEE [8]Wu Q,Shen X B.Fu X L.The machine knows what you are hid- International Conference on Image Processing.Quebec City, ing:an automatic micro-expression recognition system//Affectire 2015:4067 Computing and Intelligent Interaction.Memphis,2011:152 [16]Pfister T,Li X B,Zhao G Y,et al.Recognizing spontaneous fa- 9]Guo Y J,Tian Y T,Gao X,et al.Micro-expression recognition cial micro-expressions /2011 IEEE International Conference on based on local binary patterns from three orthogonal planes and International Conference on Computer Vision.Barcelona,2011: nearest neighbor method//International Joint Conference on Neu- 1449

工程科学学报，第 39 卷，第 11 期 ［2］ Ekman P， Friesen W V． Nonverbal leakage and clues to deception． Psychiatry-interpersonal Biol Processes，1969，32( 1) : 88 ［3］ Porter S，Ten Brinke L． Ｒeading between the lies: Identifying concealed and falsified emotions in universal facial expressions． Psychological Sci，2008，19( 5) : 508 ［4］ Patel D，Zhao G Y，Pietikinen M． Spatiotemporal integration of optical flow vectors for microexpression detection / / International Conference on Advanced Concepts for Intelligent Vision Systems． Ca￾tania，2015: 369 ［5］ Polikovsky S，Kameda Y，Ohta Y． Facial micro-expressions rec￾ognition using high speed camera and 3D-gradients descriptor / / Proceedings of 3rd International Conference on Imaging for Crime Detection and Prevention． London，2009: 16 ［6］ Yao S Q，He N，Zhang H Q，et al． Micro-expression recognition by feature points tracking / / 10th International Conference on Communications． Bucharest，2014: 1 ［7］ Wu Q，Shen X B，Fu X L． Micro-expression and its applications． Adv Psychological Sci，2010，18( 9) : 1359 ( 吴奇，申寻兵，傅小兰． 微表情研究及其应用． 心理科学进 展，2010，18( 9) : 1359) ［8］ Wu Q，Shen X B，Fu X L． The machine knows what you are hid￾ing: an automatic micro-expression recognition system / / Affective Computing and Intelligent Interaction． Memphis，2011: 152 ［9］ Guo Y J，Tian Y T，Gao X，et al． Micro-expression recognition based on local binary patterns from three orthogonal planes and nearest neighbor method / / International Joint Conference on Neu￾ral Networks． Beijing，2014: 3473 ［10］ Zhu S H，Hu J J，Shi Z． Local abnormal behavior detection based on optical flow and spatio-temporal gradient． Multimedia Tools Appl，2016，75( 15) : 9445 ［11］ Siddiqi M H，Ali Ｒ，Khan A M，et al． Facial expression recog￾nition using active contour-based face detection，facial move￾ment-based feature extraction，and non-linear feature selection． Multimedia Syst，2015，21( 6) : 541 ［12］ Pfister T，Li X B，Zhao G Y，et al． Differentiating spontaneous from posed facial expressions within a generic facial expression recognition framework / / 2011 IEEE International Conference on Computer Vision Workshops． Barcelona，2011: 868 ［13］ Liu X，Cheung Y M，Tang Y Y． Lip event detection using orien￾ted histograms of regional optical flow and low rank affinity pur￾suit． Comput Vision Image Understanding，2016，148: 153 ［14］ Zhang J W，Zhi Ｒ F． Comparative analysis of optical flow algo￾rithms． Mod Electron Tech，2013，36( 13) : 39 ( 张佳威，支瑞峰． 光流算法比较分析研究． 现代电子技术， 2013，36( 13) : 39) ［15］ Liu K H，Liu T J，Liu H H，et al． Facial makeup detection via selected gradient orientation of entropy information / / 2015 IEEE International Conference on Image Processing． Quebec City， 2015: 4067 ［16］ Pfister T，Li X B，Zhao G Y，et al． Ｒecognizing spontaneous fa￾cial micro-expressions / / 2011 IEEE International Conference on International Conference on Computer Vision． Barcelona，2011: 1449 · 4371 ·