112 工程科学学报，第44卷，第1期 基于本文的方法对学习者学习状态进行评价， Accuracy/% 采用CASME-Ⅱ对微表情分类识别，CASME-Ⅱ使 0.6 Distraction 0.6 0.13 027 用具有情感价值的视频短片来诱发情感表达，参 0.5 与者要求在屏幕前观看视频短片，过程中避免身 0.4 体运动，并且在观看短片时保持中立的面部表情 Focus 0.14 0.54 032 试图抑制自己的表情.由于该数据集在实验室环 0.3 境下采集，不易受外界因素干扰，且视频序列变化 0.2 微小并不适用于实际的教学场景，所以建立面向 Tired 0.04 0.31 0.65 0.1 教学评价的小型数据集用于对学习者学习状态的 Distraction Focus Tired 初步评判 Predicted 建立模拟教学场景采集人员表情变化，具体 图11实验结果 方法如下： Fig.11 Experimental result 1)选择30~45min的课程视频片段诱发学习 对该方法改进提出一种S-LRCN的方法，该方法更 者表情状态，参与者须观看完整课程视频，并录制 适合用于微表情这种小规模数据集中.采用迁移 采集视频； 学习的方法，通过预训练的VGGFace模型提取表 2)参与者观看过程中按一般的上课状态，头 情帧的特征集合以减少数据量过小在训练深度网 部、肢体动作不做要求； 络中过拟合的风险；将特征集合输入双向LSTM 3)取得的原始数据由参与者去除不相关内容， 网络以考虑微表情变化持续时间短，具有时间相 筛选表情样本并分类，表情持续片段为“平静-高 关性的特点.实现表明，该方法具有较高的准确 峰-平静”的变化区间： 性.但是已标记微表情数据量不够，各类数据分配 4)筛选的样本由其他参与者对分类结果二次 不均匀以及微表情表现强度普遍较弱仍然是导致 验证，建立标签 识别率低的主要原因，在以后的研究中还需要进 数据集通过模拟教学场景对参与人员表情变 一步完善数据集，以促进微表情识别的进展 化采集，参与人员共6位，包含215个视频序列，序 此外，将表情识别用于学习场景是构建新型 列长度为60~90帧，面部表情标签包括分心、专 课堂的一种趋势，基于信息学、心理学和教育学的 注和疲惫(Distraction、focus、tired),如图I0所示. 相关研究基础，可以通过表情分析研究学习者学 习状态.本文建立了一个包含3个类别的小型数 据库，来对教学场景下的表情分类.今后的工作还 要进一步丰富数据，基于动态表情序列分析学习 者情感，建立心理特征模型，研究学习过程中学习 状态与情感变化的对应关系 Distraction Focus Tired 参考文献 图10数据分类 Fig.10 Data classification [1]Mehrabian A.Nomverbal Communication.New York:Routledge, 2017 针对建立的教学评价数据集，采用本文微表 [2]Ekman P.Facial expression and emotion.Am Psychol,1993, 中微表情识别方法对学习者学习状态分析，通过 48(4):384 相同的方法建立网络模型，处理图片序列并划分 [3]Ekman P,Friesen W V.Nonverbal leakage and clues to deception 数据集，采用五折交叉验证的方法，验证分类结果 Psychiatr,1969,32(1):88 的有效性，取平均值后识别结果如图11所示 [4] Yan W J,Wang S J,Liu Y J,et al.For micro-expression recognition:Database and suggestions.Neurocomputing,2014, 4结论 136(136):82 [5]Wang S Y.CNN-RNN Based Micro-Expression Recognition 针对目前微表情识别研究中普遍存在的问题 [Dissertation].Harbin:Harbin Engineering University,2018 展开研究，通过深度学习来实现对微表情序列的 (王思宇.基于CNN-RNN的微表情识别[学位论文].哈尔滨：哈 识别分类.基于LRCN在行为识别中优异的性能， 尔滨工程大学，2018)基于本文的方法对学习者学习状态进行评价， 采用 CASME-Ⅱ对微表情分类识别，CASME-Ⅱ使 用具有情感价值的视频短片来诱发情感表达，参 与者要求在屏幕前观看视频短片，过程中避免身 体运动，并且在观看短片时保持中立的面部表情 试图抑制自己的表情. 由于该数据集在实验室环 境下采集，不易受外界因素干扰，且视频序列变化 微小并不适用于实际的教学场景，所以建立面向 教学评价的小型数据集用于对学习者学习状态的 初步评判. 建立模拟教学场景采集人员表情变化，具体 方法如下： 1）选择 30～45 min 的课程视频片段诱发学习 者表情状态，参与者须观看完整课程视频，并录制 采集视频； 2）参与者观看过程中按一般的上课状态，头 部、肢体动作不做要求； 3）取得的原始数据由参与者去除不相关内容， 筛选表情样本并分类，表情持续片段为“平静−高 峰−平静”的变化区间； 4）筛选的样本由其他参与者对分类结果二次 验证，建立标签. 数据集通过模拟教学场景对参与人员表情变 化采集，参与人员共 6 位，包含 215 个视频序列，序 列长度为 60～90 帧，面部表情标签包括分心、专 注和疲惫 (Distraction、focus、tired)，如图 10 所示. Distraction Focus Tired 图 10    数据分类 Fig.10    Data classification 针对建立的教学评价数据集，采用本文微表 中微表情识别方法对学习者学习状态分析，通过 相同的方法建立网络模型，处理图片序列并划分 数据集，采用五折交叉验证的方法，验证分类结果 的有效性，取平均值后识别结果如图 11 所示. 4    结论 针对目前微表情识别研究中普遍存在的问题 展开研究，通过深度学习来实现对微表情序列的 识别分类. 基于 LRCN 在行为识别中优异的性能， 对该方法改进提出一种 S-LRCN 的方法，该方法更 适合用于微表情这种小规模数据集中. 采用迁移 学习的方法，通过预训练的 VGGFace 模型提取表 情帧的特征集合以减少数据量过小在训练深度网 络中过拟合的风险；将特征集合输入双向 LSTM 网络以考虑微表情变化持续时间短，具有时间相 关性的特点. 实现表明，该方法具有较高的准确 性. 但是已标记微表情数据量不够，各类数据分配 不均匀以及微表情表现强度普遍较弱仍然是导致 识别率低的主要原因，在以后的研究中还需要进 一步完善数据集，以促进微表情识别的进展. 此外，将表情识别用于学习场景是构建新型 课堂的一种趋势，基于信息学、心理学和教育学的 相关研究基础，可以通过表情分析研究学习者学 习状态. 本文建立了一个包含 3 个类别的小型数 据库，来对教学场景下的表情分类. 今后的工作还 要进一步丰富数据，基于动态表情序列分析学习 者情感，建立心理特征模型，研究学习过程中学习 状态与情感变化的对应关系. 参    考    文    献 Mehrabian A. Nonverbal Communication. New York: Routledge, 2017 [1] Ekman  P.  Facial  expression  and  emotion. Am Psychol,  1993, 48（4）: 384 [2] Ekman P, Friesen W V. Nonverbal leakage and clues to deception. Psychiatry, 1969, 32（1）: 88 [3] Yan  W  J,  Wang  S  J,  Liu  Y  J,  et  al.  For  micro-expression recognition:  Database  and  suggestions. Neurocomputing,  2014, 136（136）: 82 [4] Wang  S  Y. CNN-RNN Based Micro-Expression Recognition [Dissertation]. Harbin: Harbin Engineering University, 2018 （ 王思宇. 基于CNN-RNN的微表情识别[学位论文]. 哈尔滨: 哈 尔滨工程大学, 2018） [5] Accuracy/% 0.6 0.5 0.4 0.3 0.2 0.1 Distraction Focus Predicted True Tired Distraction Focus Tired 图 11    实验结果 Fig.11    Experimental result · 112 · 工程科学学报，第 44 卷，第 1 期