第4期 潘家辉，等：多模态情绪识别研究综述 ·635· 指情绪具有强烈程度和微弱程度的区别。目前使 负半轴表示平缓的情绪，正半轴表示强烈的情 用最多的是1980年Russell2!8提出的效价-唤醒二 绪。在三维情绪模型方面，当前认可度比较高的 维情绪模型。该模型将情绪划分为两个维度，分 是Mehrabian2提出的高兴-唤醒-优势三维模 别为效价维度和唤醒维度。效价维度的负半轴表 型，该模型定义情绪具有愉悦度、唤醒度和优势 示消极情绪，正半轴表示积极情绪。唤醒维度的 度3个维度。 行为表现模态 神经生理模态 , O Pe 肢体动作 哈表情 语音信号 眼球运动 神经生理电信号呼吸心率信号 运动量 纹理特征 韵律特征 瞳孔直径 时域特征、 频带心率 肢体收缩 统计特征、 谱特征、 视线特征 频域特征 指数、 变换特征、 事件时间 时频域特征 变异性 声学特征 空间域特征 分析 运动速率 Haar矩形 特征 AAAAA 4.44 视听嗅觉等情绪刺激 分类器 情绪模型 图1情绪识别研究流程 Fig.1 Research process of emotion recognition 表1情绪描述模型 Table 1 Emotional description model 模型类别 情绪描述 提出者 基本内容 基本 悲伤、恐惧、高兴、厌恶、惊讶、愤怒 离散情绪 EkmanRs] 复合 Plutchik 复杂情绪由基本情绪的组合形成 一维 Johnston27 快乐一悲伤的正负两极 二维 Russel2 效价-唤醒 维度情绪 三维 Mehrabian 高兴-唤醒-优势 四维 Izard 愉快度-紧张度-激动度-确信度 Ortony-Clore-Collins Ortony Bo 事件结果-仿生动作-对象感观的情感层次关系 其他模型 隐马尔可夫情感 PicardBn 感兴趣-高兴-悲伤的环形情感状态转移模型 分布式 Kesteren2] 将特定的情感事件转换为相应的情绪状态 除此之外，许多心理学家和情绪研究学者 建立了分布式情感模型。 根据各自不同的分析角度，提出了不同于上述两 种模型的情绪描述模型。如Ortony等o在1988 3情绪诱发方式 年提出了Ortony-Clore-.Collins(OCC)模型， Picard在20o0年提出了隐马尔可夫模型(hidden 在进行情绪识别研究时，首要考虑的是如何 Markov model,,HMM)。同年，Kesteren等IB以情 才能有效地诱发被试者的情绪状态。目前的研究 绪时间类型为分类标准，并针对外界刺激事件而 中，情绪的诱发方式主要有两种，分别是主体诱指情绪具有强烈程度和微弱程度的区别。目前使 用最多的是 1980 年 Russell[28] 提出的效价−唤醒二 维情绪模型。该模型将情绪划分为两个维度，分 别为效价维度和唤醒维度。效价维度的负半轴表 示消极情绪，正半轴表示积极情绪。唤醒维度的 负半轴表示平缓的情绪，正半轴表示强烈的情 绪。在三维情绪模型方面，当前认可度比较高的 是 Mehrabian[29] 提出的高兴−唤醒−优势三维模 型，该模型定义情绪具有愉悦度、唤醒度和优势 度 3 个维度。 频带心率 变异性 分析 神经生理模态 眼球运动 神经生理电信号 呼吸心率信号 时域特征、 频域特征、 时频域特征、 空间域特征 肢体动作 脸部表情 语音信号 行为表现模态 纹理特征、 统计特征、 变换特征、 Haar矩形 韵律特征、 谱特征、 声学特征 运动量、 肢体收缩 指数、 运动速率 瞳孔直径、 视线特征、 事件时间 特征 ... ... 情绪模型 视听嗅觉等情绪刺激 分类器 图 1 情绪识别研究流程 Fig. 1 Research process of emotion recognition 表 1 情绪描述模型 Table 1 Emotional description model 模型类别 情绪描述 提出者 基本内容 离散情绪 基本 Ekman[25] 悲伤、恐惧、高兴、厌恶、惊讶、愤怒 复合 Plutchik[33] 复杂情绪由基本情绪的组合形成 维度情绪 一维 Johnston[27] 快乐−悲伤的正负两极 二维 Russell[28] 效价−唤醒 三维 Mehrabian[29] 高兴−唤醒−优势 四维 Izard[34] 愉快度−紧张度−激动度−确信度 其他模型 Ortony-Clore-Collins Ortony[30] 事件结果−仿生动作−对象感观的情感层次关系 隐马尔可夫情感 Picard[31] 感兴趣−高兴−悲伤的环形情感状态转移模型 分布式 Kesteren[32] 将特定的情感事件转换为相应的情绪状态 除此之外，许多心理学家和情绪研究学者 根据各自不同的分析角度，提出了不同于上述两 种模型的情绪描述模型。如 Ortony 等 [30] 在 1988 年提出了 Ortony-Clore-Collins(OCC) 模型， Picard[31] 在 2000 年提出了隐马尔可夫模型 (hidden Markov model, HMM)。同年，Kesteren 等 [32] 以情 绪时间类型为分类标准，并针对外界刺激事件而 建立了分布式情感模型。 3 情绪诱发方式 在进行情绪识别研究时，首要考虑的是如何 才能有效地诱发被试者的情绪状态。目前的研究 中，情绪的诱发方式主要有两种，分别是主体诱 第 4 期 潘家辉，等：多模态情绪识别研究综述 ·635·