工程科学学报,第37卷,第11期:1528-1534,2015年11月 Chinese Journal of Engineering,Vol.37,No.11:1528-1534,November 2015 D0l:10.13374/j.issn2095-9389.2015.11.020:http://journals..ustb.edu.cn 基于情感状态转移模型的外界刺激影响分析 徐上谋,解仑四,韩晶,刘欣,王志良 北京科技大学计算机与通信工程学院,北京100083 ☒通信作者,E-mail:xielun@ustb.cdu.cn 摘要为了研究外界刺激时间对人情感状态转移的影响,首先采用Gss情感调节过程和有限状态机描述情感状态转移过 程.然后根据外界刺激持续时间的不同,引入了情感增强因子.本文将外界刺激时间与状态转移矩阵进行关联,从而确定不 同的刺激时间对情感状态转移的影响.最后对提出的算法进行仿真分析.结果表明,随着外界刺激时间的增加,外界刺激对 情感状态转移的影响会越来越大,但是增大的速率会逐渐减慢.该算法可以有效描述外界刺激持续时间与状态转移矩阵的 关系. 关键词外界刺激:刺激时间:情感调节:有限状态机:智能机器人 分类号TP751.1 Impact analysis of external stimuli based on the emotional state transfer model XU Shang-mou,XIE Lun,HAN Jing,LIU Xin,WANG Zhi-iang School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing,100083 China Corresponding author,E-mail:xielun@ustb.edu.cn ABSTRACT In order to study the effect of exteral stimulus duration on the emotional state transition of people,firstly,the Gross emotional regulation process and the finite state machine are used to describe the emotional state transition process.Then the emotional enhancement factor is introduced according to different stimulus durations.The external stimulus duration is associated with the state transition matrix to determine its effect on the emotional state transition.Finally,simulation analysis was done for the proposed algorithm.The results show that the impact of exteral stimulation on the emotional state transition will be bigger with the increase of stimulus duration,but the rate of increase slows down gradually.The algorithm can effectively describe the relationship between the stimulus duration and emotional state transition matrix. KEY WORDS external stimuli:stimulus duration;emotional regulation:finite state machine:intelligent robot 人们生活中一个巨大的挑战就是能否成功调节自 研究人员提出了一些情感计算模型,Becker-Asano 己的情绪。当有一些重要的事情发生时,情绪就会发 和Wachsmuth回通过PAD(pleasure-arousal-domi-- 生改变.情绪既可以被个体内心影响也可以被外部环 nance)情感状态空间的方法在虚拟人类时计算其主要 境影响,并且与个体的情感、个性和动机有关.情绪调 情感和次要情感.Kshirsagar和Nadia四根据情感、情 节(emotion regulation)是指“个体对具有什么样的情 绪和个性提出多层次人格模型,并将其应用到虚拟人 绪、情绪什么时候发生、如何进行情绪体验与表达施加 的表情合成中.Bosse等O实现了将反馈调节的方法 影响的过程”.在大量实验的基础上,Goss将情绪调 应用于情感计算.Leon等.通过无参数累积和的方 节总结为两个重要过程:认知重评和表达抑制▣. 法(CUSUM)实时地识别情感从中性到非中性或者从 收稿日期:2014-09-21 基金项目:国家自然科学基金面上资助项目(61170115):国家自然科学基金重点资助项目(61432004):国家科技支撑计划课题资助项目 (2014BAF08B04):镇江市“331计划”第七批引进人才资助项目:北京市融合网络与泛在业务工程技术研究中心专项资助项目
工程科学学报,第 37 卷,第 11 期: 1528--1534,2015 年 11 月 Chinese Journal of Engineering,Vol. 37,No. 11: 1528--1534,November 2015 DOI: 10. 13374 /j. issn2095--9389. 2015. 11. 020; http: / /journals. ustb. edu. cn 基于情感状态转移模型的外界刺激影响分析 徐上谋,解 仑,韩 晶,刘 欣,王志良 北京科技大学计算机与通信工程学院,北京 100083 通信作者,E-mail: xielun@ ustb. edu. cn 摘 要 为了研究外界刺激时间对人情感状态转移的影响,首先采用 Gross 情感调节过程和有限状态机描述情感状态转移过 程. 然后根据外界刺激持续时间的不同,引入了情感增强因子. 本文将外界刺激时间与状态转移矩阵进行关联,从而确定不 同的刺激时间对情感状态转移的影响. 最后对提出的算法进行仿真分析. 结果表明,随着外界刺激时间的增加,外界刺激对 情感状态转移的影响会越来越大,但是增大的速率会逐渐减慢. 该算法可以有效描述外界刺激持续时间与状态转移矩阵的 关系. 关键词 外界刺激; 刺激时间; 情感调节; 有限状态机; 智能机器人 分类号 TP751. 1 Impact analysis of external stimuli based on the emotional state transfer model XU Shang-mou,XIE Lun ,HAN Jing,LIU Xin,WANG Zhi-liang School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing,100083 China Corresponding author,E-mail: xielun@ ustb. edu. cn ABSTRACT In order to study the effect of external stimulus duration on the emotional state transition of people,firstly,the Gross emotional regulation process and the finite state machine are used to describe the emotional state transition process. Then the emotional enhancement factor is introduced according to different stimulus durations. The external stimulus duration is associated with the state transition matrix to determine its effect on the emotional state transition. Finally,simulation analysis was done for the proposed algorithm. The results show that the impact of external stimulation on the emotional state transition will be bigger with the increase of stimulus duration,but the rate of increase slows down gradually. The algorithm can effectively describe the relationship between the stimulus duration and emotional state transition matrix. KEY WORDS external stimuli; stimulus duration; emotional regulation; finite state machine; intelligent robot 收稿日期: 2014--09--21 基金项目: 国家自然科学基金面上资助项目( 61170115) ; 国家自然科学基金重点资助项目( 61432004) ; 国家科技支撑计划课题资助项目 ( 2014BAF08B04) ; 镇江市“331 计划”第七批引进人才资助项目; 北京市融合网络与泛在业务工程技术研究中心专项资助项目. 人们生活中一个巨大的挑战就是能否成功调节自 己的情绪. 当有一些重要的事情发生时,情绪就会发 生改变. 情绪既可以被个体内心影响也可以被外部环 境影响,并且与个体的情感、个性和动机有关. 情绪调 节( emotion regulation) 是指“个体对具有什么样的情 绪、情绪什么时候发生、如何进行情绪体验与表达施加 影响的过程”. 在大量实验的基础上,Gross 将情绪调 节总结为两个重要过程: 认知重评和表达抑制[1]. 研究人员提出了一些情感计算模型,Becker-Asano 和 Wachsmuth[2] 通 过 PAD ( pleasure-arousal-dominance) 情感状态空间的方法在虚拟人类时计算其主要 情感和次要情感. Kshirsagar 和 Nadia[3]根据情感、情 绪和个性提出多层次人格模型,并将其应用到虚拟人 的表情合成中. Bosse 等[4]实现了将反馈调节的方法 应用于情感计算. Leon 等[5]. 通过无参数累积和的方 法( CUSUM) 实时地识别情感从中性到非中性或者从
徐上谋等:基于情感状态转移模型的外界刺激影响分析 ·1529* 非中性到中性的变化.Liu和Xie用隐马尔科夫模型 少的消极情绪,同时会有更多的积极情绪产生,并且能 (HMM)和情感状态空间让机器人模拟人调节自身的 将情绪表达出来.所以,善于认知重评的人会产生更 情感. 积极地情绪体验. 在情感计算中虽然取得了很大的成功,并且这些模 外界刺激时间的不同也影响着个体的情感状态转 型可以解决很多相关的问题,但没有考虑到外界刺激时 移,随着外界刺激时间的不断增加,个体对通过认知重 间对情感状态转移的影响.本文首先简单介绍Goss情 评对情感状态转移的影响也在不断增大 感调节过程,并且分析个性因子在情感产生和情感表达 2基于有限状态机的情感调节策略 中的影响,然后在文献]的基础上探索外界刺激持续 时间对情感状态转移的影响,根据刺激时间的不同结合 有限状态机是具有离散输入和输出系统的一种数 个性因子确定状态转移矩阵,如图1所示 学模型,而情绪与外界刺激之间的对应关系也是离散 外界刺激 的,并且情感状态的转移也是在有限的情感状态空间 时间长度 中从一种特定的状态到另一状态的转变@.因此,本 外界刺激 个性因子 文利用有限状态机矩阵形式的映射方程对情感状态转 初始时刻情 情感状态 移过程进行描述.引入I、S和6的有限状态机三元组 下一时刻 感状态 转移(矩阵 情感状态 表示,即M-(1,S,8),相应的矩阵模型表示为: 图1情感状态转移过程 g=A(x).xa×gx1 (1) Fig.1 Fig.I Emotional state transition process 输入的外界刺激向量i=(x1,x2,…,x)∈X,其中X 是输入外界刺激i,2,…,i的有限非空集合,输入状态集 Gross情感调节过程 I的布尔量表示,即X={i,2,…,i,};A(x).xn为受外界刺 如图2所示,Goss情绪调节过程模型分为五个阶 激影响下的状态转移矩阵:x!为!时刻个体的情绪状态 段,这五个阶段分别是情景选择(situation selection)、 向量,Q1为t+1时刻个体的情绪状态向量,Q={Q,Q2, 情景修正(situation modification)、注意分配(attentional ,Q}为状态集S的布尔量表示0 deployment)、认知改变(cognitive change)和反应调整 个体的情绪状态空间为Q={Q,Q2,…,Q},共 (response modulation) 有n种情绪状态,并且个体的情绪在该集合中进行转 化.由于外界因素对个体情绪状态的影响,定义当外 先行关注情感调节 情绿选择 界刺激为时,情绪的状态转移矩阵为A: 反应关注情感调节 01 情景修正 重评 抑制 A= 02 (2) 生意分配 认知改变 反位调整 图2 Gross情感调节模型 该矩阵对任意的刺激输入4,有 Fig.2 Gross emotion regulation model 名1四 在情绪产生的过程中个体进行情绪调节的策略很 3 多,最重要的调节策略为两种:认知重评(cognitive re- 情感状态转移 appraisal)和表达抑制(expression suppression).认知重 按文献[7]所述,将个体的情绪状态空间Q= 评是在情感产生之前的自我调节过程,表达抑制是在 {Q,Q2,…,Q}划分为0={Q,Q2,…,Q。,Qn+1,…, 情绪已经产生的前提下抑制自己而不让情绪表达出来 Q+,Q+a+1,Q.其中n1+n2+几3=nQ 的一个过程经过大量的实验证明网:一个善于表达 ~Q为正面表情,共n1种:Q。1~Q.为中性表情, 抑制的人会产生与平常人相同的情绪体验,但会表达 共n种:Q1~Q为负面表情,共乃种。相应 出更少的消极情绪:一个善于认知重评的人会产生更 的情绪状态转移概率矩阵为 an a .dim di()d1(di() a1n,+*) d21 a2(a+a2a+ A= a2+:+a小 (3) a ”amaaa+anataa,t da(e,+n:tn)
徐上谋等: 基于情感状态转移模型的外界刺激影响分析 非中性到中性的变化. Liu 和 Xie[6]用隐马尔科夫模型 ( HMM) 和情感状态空间让机器人模拟人调节自身的 情感. 在情感计算中虽然取得了很大的成功,并且这些模 型可以解决很多相关的问题,但没有考虑到外界刺激时 间对情感状态转移的影响. 本文首先简单介绍 Gross 情 感调节过程,并且分析个性因子在情感产生和情感表达 中的影响,然后在文献[7]的基础上探索外界刺激持续 时间对情感状态转移的影响,根据刺激时间的不同结合 个性因子确定状态转移矩阵,如图 1 所示. 图 1 情感状态转移过程 Fig. 1 Fig. 1 Emotional state transition process 1 Gross 情感调节过程 如图 2 所示,Gross 情绪调节过程模型分为五个阶 段,这五个阶段分别是情景选择( situation selection) 、 情景修正( situation modification) 、注意分配( attentional deployment ) 、认知改变( cognitive change) 和反应调整 ( response modulation) [8]. 图 2 Gross 情感调节模型 Fig. 2 Gross emotion regulation model 在情绪产生的过程中个体进行情绪调节的策略很 多,最重要的调节策略为两种: 认知重评( cognitive reappraisal) 和表达抑制( expression suppression) . 认知重 评是在情感产生之前的自我调节过程,表达抑制是在 情绪已经产生的前提下抑制自己而不让情绪表达出来 的一个过程. 经过大量的实验证明[9]: 一个善于表达 抑制的人会产生与平常人相同的情绪体验,但会表达 出更少的消极情绪; 一个善于认知重评的人会产生更 少的消极情绪,同时会有更多的积极情绪产生,并且能 将情绪表达出来. 所以,善于认知重评的人会产生更 积极地情绪体验. 外界刺激时间的不同也影响着个体的情感状态转 移,随着外界刺激时间的不断增加,个体对通过认知重 评对情感状态转移的影响也在不断增大. 2 基于有限状态机的情感调节策略 有限状态机是具有离散输入和输出系统的一种数 学模型,而情绪与外界刺激之间的对应关系也是离散 的,并且情感状态的转移也是在有限的情感状态空间 中从一种特定的状态到另一状态的转变[10]. 因此,本 文利用有限状态机矩阵形式的映射方程对情感状态转 移过程进行描述. 引入 I、S 和 δ 的有限状态机三元组 表示,即 M - ( I,S,δ) ,相应的矩阵模型表示为: Qt + 1 n × 1 = A( x) n × n × Qt n × 1 . ( 1) 输入的外界刺激向量 i = ( x1,x2,…,xl ) ∈X,其中 X 是输入外界刺激 i1,i2,…,il 的有限非空集合,输入状态集 I 的布尔量表示,即 X = { i1,i2,…,il} ; A( x) n × n为受外界刺 激影响下的状态转移矩阵; Qt n × 1为 t 时刻个体的情绪状态 向量,Qt + 1 n × 1为 t + 1 时刻个体的情绪状态向量,Q = { Q1,Q2, …,Qn } 为状态集 S 的布尔量表示[11]. 个体的情绪状态空间为 Q = { Q1,Q2,…,Qn } ,共 有 n 种情绪状态,并且个体的情绪在该集合中进行转 化. 由于外界因素对个体情绪状态的影响,定义当外 界刺激为 ik 时,情绪的状态转移矩阵为 A: A = a11 a12 … a1n a21 a22 … a2n an1 an2 … a nn . ( 2) 该矩阵对任意的刺激输入 ik,有 ∑ n k = 1 ajk = 1[12]. 3 情感状态转移 按文献[7]所 述,将个体的情绪状态空间 Q = { Q1,Q2,…,Qn } 划分为 Q = { Q1,Q2,…,Qn1 ,Qn1 + 1,…, Qn1 + n2 ,Qn1 + n2 + 1,…,Qn1 + n2 + n3 } . 其中 n1 + n2 + n3 = n; Q1 ~ Qn1为正面表情,共 n1 种; Qn1 + 1 ~ Qn1 + n2 为中性表情, 共 n2 种; Qn1 + n2 + 1 ~ Qn1 + n2 + n3 为负面表情,共 n3 种. 相应 的情绪状态转移概率矩阵为 A = a11 a12 … a1n1 a1( n1 + 1) … a1( n1 + n2) a1( n1 + n2 + 1) … a1( n1 + n2 + n3) a21 a22 … a2n1 a2( n1 + 1) … a2( n1 + n2) a2( n1 + n2 + 1) … a2( n1 + n2 + n3) an1 an2 … ann1 an( n1 + 1) … an( n1 + n2) an( n1 + n2 + 1) … an( n1 + n2 + n3 ) . ( 3) · 9251 ·
·1530. 工程科学学报,第37卷,第11期 a.为个体的情绪从状态Q转移到状态Q.的概率. 第3节中做过介绍:!为外界刺激的持续时间.所以 引入了7=2 arctan,T∈0,1),认知重评参数 平(,)与t和T有关,且平,∈(0,1).当r确定时 T 平(,)主要由t决定. a∈(-10,+10),α越大代表个体对情绪事件的理解 如图4所示,蓝色和黑色曲线分别代表α=6和 方式越积极,相反α越小代表个体对当前情绪事件的 =-1时个体接受正向刺激平的变化趋势.可以看 理解越消极. 出,平,随着时间的增加在不断增大,且增大的速度在 4情感调节中的增强函数 不断减小,最后趋近于平稳.由于个体重评能力的不 同,即α越大个体的重评能力越强,当α=6时明显比 由于情感调节是一个动态的过程,情绪状态会随 α=-1变化速率快,且变化范围更大,与实验结果相 环境,性格和满意度的不同而改变,在外界刺激的过程 符.如图5所示,在个体受到负向刺激时,个体重评能 中,随着刺激时间的增加,个体对刺激不断进行重评. 力越差越容易受负向刺激影响,从而平,的变化越快, 如图3所示,给受试者播放一段视频,视频展示了一个 同样也符合实验结果 截肢的过程,从而让受试者产生厌恶的情绪。首先向 0.9 受试者介绍视频所讲述的内容,然后为他们播放视频. 0.8 在此实验中,播放视频的过程是对受试者进行直接外 0.7 界刺激,即为图3中所示的120~180s时间段.可以 0.6 -=6 得出,当受试者刚受到刺激时重评能力最强,随着刺激 =-1 0.5 时间的不断增加重评能力会越来越弱 0.4 -12m 视频播放完毕 0.3 -10 初始状态 介绍视输 桥放视频 内容 一认知重评 0.2 =观 0.1 -6 “表达抑制 -4 时间/min 图4正向刺激时情感增强函数的变化 Fig.4 Change of the emotional enhancement function under the pos- itive stimulus 121416181101121141161181201221241 时间 0.9 图3认知重评和表达抑制对个体情感的影响0 0.8 Fig.3 Cognitive reappraisal and expression suppression effects on individual emotion 0.7 0.6 一-5 接受外界刺激的过程中个体在不断进行重评,在 -=2 0.5 同种刺激下,个体情感状态的变化随重评时间的不断 0.4 增加而累积,但增加的速度会不断减慢,最后趋于一个 稳定的状态.本文用情感增强函数来拟合这个过程, 0.3 设为业 0.2 平,由外界刺激刺激时间、个性因子所决定.当有 0.1 正向刺激时, 2 3 =2-1+)×[+-小: 时间min 图5负向刺激时情感增强函数的变化图 (4) Fig.5 Change of the emotional enhancement function under the neg- 当受到负向刺激时, ative stimulus g2dD1-)x×[+-小 5 实现方法 (5) 式中:。为外界刺激开始时间,为了更好的分析和比 状态转移矩阵可以用下面的方法计算. 较,本文将其设为零:r为认知重评因子,T∈0,1),在 当有正向刺激时
工程科学学报,第 37 卷,第 11 期 ajk为个体的情绪从状态 Qj 转移到状态 Qk 的概率. 引入了 τ = 2 π arctan α,τ∈[0,1) ,认知重评参数 α∈( - 10,+ 10) ,α 越大代表个体对情绪事件的理解 方式越积极,相反 α 越小代表个体对当前情绪事件的 理解越消极. 4 情感调节中的增强函数 由于情感调节是一个动态的过程,情绪状态会随 环境,性格和满意度的不同而改变,在外界刺激的过程 中,随着刺激时间的增加,个体对刺激不断进行重评. 如图 3 所示,给受试者播放一段视频,视频展示了一个 截肢的过程,从而让受试者产生厌恶的情绪. 首先向 受试者介绍视频所讲述的内容,然后为他们播放视频. 在此实验中,播放视频的过程是对受试者进行直接外 界刺激,即为图 3 中所示的 120 ~ 180 s 时间段. 可以 得出,当受试者刚受到刺激时重评能力最强,随着刺激 时间的不断增加重评能力会越来越弱. 图 3 认知重评和表达抑制对个体情感的影响[1] Fig. 3 Cognitive reappraisal and expression suppression effects on individual emotion[1] 接受外界刺激的过程中个体在不断进行重评,在 同种刺激下,个体情感状态的变化随重评时间的不断 增加而累积,但增加的速度会不断减慢,最后趋于一个 稳定的状态. 本文用情感增强函数来拟合这个过程, 设为 Ψt . Ψt 由外界刺激刺激时间、个性因子所决定. 当有 正向刺激时, Ψt = 1 2( e - 1) ( 1 + τ) [ ( × 1 + 1 t - t ) 0 t - t0 ] - 1 ; ( 4) 当受到负向刺激时, Ψt = 1 2( e - 1) ( 1 - τ) [ ( × 1 + 1 t - t ) 0 t - t0 ] - 1 . ( 5) 式中: t0 为外界刺激开始时间,为了更好的分析和比 较,本文将其设为零; τ 为认知重评因子,τ∈[0,1) ,在 第 3 节中做过介绍; t 为外界刺激的持续时间. 所以 Ψt ( t,τ) 与 t 和 τ 有关,且 Ψt ∈( 0,1) . 当 τ 确定时 Ψt ( t,τ) 主要由 t 决定. 如图 4 所示,蓝色和黑色曲线分别代表 α = 6 和 α = - 1时个体接受正向刺激 Ψt 的变化趋势. 可以看 出,Ψt 随着时间的增加在不断增大,且增大的速度在 不断减小,最后趋近于平稳. 由于个体重评能力的不 同,即 α 越大个体的重评能力越强,当 α = 6 时明显比 α = - 1 变化速率快,且变化范围更大,与实验结果相 符. 如图 5 所示,在个体受到负向刺激时,个体重评能 力越差越容易受负向刺激影响,从而 Ψt 的变化越快, 同样也符合实验结果. 图 4 正向刺激时情感增强函数的变化 Fig. 4 Change of the emotional enhancement function under the positive stimulus 图 5 负向刺激时情感增强函数的变化图 Fig. 5 Change of the emotional enhancement function under the negative stimulus 5 实现方法 状态转移矩阵可以用下面的方法计算. 当有正向刺激时, · 0351 ·
徐上谋等:基于情感状态转移模型的外界刺激影响分析 ·1531· g2D1+×[+)-小 a+,× a ke ,m]; ag= (6) a-×a, k∈[n1+n2+1,n1+n2+n] 当有负向刺激时, g=2d1-x[(+2-小 a-Ψ,×a' ke1,n1]: 2×a-业×4,ken+1,m+m]: a是+业,×。 a (7) a+业× k∈[n1+n+1,n1+n2+n3]. 其中,当认知重评因子α确定时,为在引入时间参数 (9) 后个体的情绪状态从状态Q,转移到状态Q的概率. 可验证当有正向刺激时, 由此可知,本文定义的情绪转换概率矩阵满足情 绪状态转移概率矩阵的约束条件. 6仿真结果 根据Ekman的情感划分理论,提出六种基本的情 感,即生气(anger)、厌恶(disgust)、害怕(fear)、开心 (happiness)、伤心(sadness)和惊讶(surprise).为了 (a-业,× 更好的进行仿真实验,本文在基本情感状态空间中加 入中性情绪平静(calm).所以,此时的情感空间为 0={Q,Q2,Q3,Q,Q3,Q6,Q,}.其中Q代表开心,为 +×三- 正向情绪:Q2和Q,分别代表惊讶和平静,为中性情 绪:QQQ。和Q,分别代表伤心生气、害怕和讨厌, 为负向情绪.本文用Matlab仿真分析,并根据t和a 并且可验证当有负向刺激时, 的不同观察该参数对模型中情绪状态转移概率的影 响.仿真结果如图6~图9所示,从Q状态转移到相 ∑i=店(a-业×a)+2 应状态的概率分别为aa02“ga4a师a和an,并且 宫。1 图6表示个体接受正向刺激,个体的=6,且初 始情感状态的情感转移概率为a,>aa>as>ag> a>a>a2可以判断个体的初始状态是厌恶,随着 外界刺激时间的增加,个体的中性情绪和正向情绪的 概率不断增加,负向情绪的概率不断减小,并且随着时 ∑a-业,× 间的增加,概率的变化速率在不断减慢.图7和图8 +×月:-× 唯一不同的是α由6变为-1.从仿真图可以得出图7 的概率变化趋势与图6相同,但变化速率和变化程度
徐上谋等: 基于情感状态转移模型的外界刺激影响分析 Ψt = 1 2( e - 1) ( 1 + τ) [ ( × 1 + 1 t - t ) 0 t - t0 ] - 1 , a'ij = ajk + Ψt × ajk ∑ n1 k = 1 ajk × ∑ n1+n2 k = n1+1 ajk, k ∈[1,n1]; ajk + Ψt × ajk ∑ n1+n2 k = n1+1 ajk × ∑ n1+n2+n3 k = n1+n2+1 ajk - Ψt × ajk, k ∈[n1 + 1,n1 + n2]; ajk - Ψt × ajk, k ∈[n1 + n2 + 1,n1 + n2 + n3] . ( 6) 当有负向刺激时, Ψt = 1 2( e - 1) ( 1 - τ) [ ( × 1 + 1 t - t ) 0 t - t0 ] - 1 , a'ij = ajk - Ψt × ajk, k ∈[1,n1]; ajk + Ψt × ajk ∑ n1+n2 k = n1+1 ajk × ∑ n1 k = 1 ajk - Ψt × ajk, k ∈[n1 + 1,n1 + n2]; ajk + Ψt × ajk ∑ n1+n2+n3 k = n1+n2+1 ajk × ∑ n1+n2 k = n1+1 ajk, k ∈[n1 + n2 + 1,n1 + n2 + n3] . ( 7) 其中,当认知重评因子 α 确定时,a'jk为在引入时间参数 后个体的情绪状态从状态 Qj 转移到状态 Qk 的概率. 可验证当有正向刺激时, ∑ a'jk = ∑ n1 k = ( 1 ajk + Ψt × ajk ∑ n1 k = 1 ajk × ∑ n1+n2 k = n1+1 ajk ) + ∑ n1+n2 k = n1+ ( 1 ajk + Ψt × ajk ∑ n1+n2 k = n1+1 ajk × ∑ n1+n2+n3 k = n1+n2+1 ajk - Ψt × ajk ) + ∑ n1+n2+n3 k = n1+n2+1 ( ajk - Ψt × ajk ) = ∑ n1 k = 1 ajk + ∑ n1+n2 k = n1+1 ajk + ∑ n1+n2+n3 k = n1+n2+1 ajk + Ψt × ∑ n1+n2 k = n1+1 ajk + Ψt × ∑ n1+n2+n3 k = n1+n2+1 ajk - Ψt × ∑ n1+n2 k = n1+1 ajk - Ψt × ∑ n1+n2+n3 k = n1+n2+1 ajk = ∑ n k = 1 ajk = 1; ( 8) 并且可验证当有负向刺激时, ∑ a'jk = ∑ n1 k = 1 ( ajk - Ψt × ajk ) + ∑ n1+n2 k = n1+ ( 1 ajk + Ψt × ajk ∑ n1+n2 k = n1+1 ajk × ∑ n1 k = 1 ajk - Ψt × ajk ) + ∑ n1+n2+n3 k = n1+n2+ ( 1 ajk + Ψt × ajk ∑ n1+n2+n3 k = n1+n2+1 ajk × ∑ n1+n2 k = n1+1 ajk ) = ∑ n1 k = 1 ajk + ∑ n1+n2 k = n1+1 ajk + ∑ n1+n2+n3 k = n1+n2+1 ajk - Ψt × ∑ n1 k = 1 ajk + Ψt × ∑ n1 k = 1 ajk - Ψt × ∑ n1+n2 k = n1+1 ajk + Ψt × ∑ n1+n2 k = n1+1 ajk = ∑ n k = 1 ajk = 1. ( 9) 由此可知,本文定义的情绪转换概率矩阵满足情 绪状态转移概率矩阵的约束条件. 6 仿真结果 根据 Ekman 的情感划分理论,提出六种基本的情 感,即生气( anger) 、厌恶( disgust) 、害怕( fear) 、开心 ( happiness) 、伤心( sadness) 和惊讶( surprise) [13]. 为了 更好的进行仿真实验,本文在基本情感状态空间中加 入中性情 绪 平 静( calm) . 所 以,此 时 的 情 感 空 间 为 Q = { Q1,Q2,Q3,Q4,Q5,Q6,Q7 } . 其中 Q1 代表开心,为 正向情绪; Q2 和 Q3 分别代表惊讶和平静,为中性情 绪; Q4、Q5、Q6 和 Q7 分别代表伤心、生气、害怕和讨厌, 为负向情绪. 本文用 Matlab 仿真分析,并根据 t 和 α 的不同观察该参数对模型中情绪状态转移概率的影 响. 仿真结果如图 6 ~ 图 9 所示,从 Qj 状态转移到相 应状态的概率分别为 aj1、aj2、aj3、aj4、aj5、aj6和 aj7,并且 ∑ k = 7 k = 1 ajk = 1. 图 6 表示个体接受正向刺激,个体的 α = 6,且初 始情感状态的情感转移概率为 aj7 > aj4 > aj5 > aj3 > aj1 > aj6 > aj2 . 可以判断个体的初始状态是厌恶,随着 外界刺激时间的增加,个体的中性情绪和正向情绪的 概率不断增加,负向情绪的概率不断减小,并且随着时 间的增加,概率的变化速率在不断减慢. 图 7 和图 8 唯一不同的是 α 由 6 变为 - 1. 从仿真图可以得出图 7 的概率变化趋势与图 6 相同,但变化速率和变化程度 · 1351 ·
·1532· 工程科学学报,第37卷,第11期 有所减小.图8表示个体接受负向刺激,个体的 0.35 开心 生气 a=-6,且初始情感状态的情感转移概率为a2>a3= 0.30 一害怕 一讨厌 a1>a师>a>an>a4.可以看出个体的初始状态为惊 平静 伤心 讶,随着外界刺激时间的增长,个体负向情绪的概率在 0.25 不断增加,正向情绪和中性情绪的概率不断减小.与 0.20 接受正向刺激时类似,随着时间的增加概率的变化速 0.15 率在不断的减慢.图9与图8的不同是α:由-6变为 了1,图9的变化趋势与图8相同,但变化速率和变化 0.10 程度都有所减小.从仿真图可以看出,无论是正向刺 0.05 激还是负向刺激,参数的变化都可以有效表达出外界 刺激时间对个体情绪产生的影响 2 时间/min 0.45 0.40 图8负向刺激,《=-6 开心 一惊讶 Fig.8 Negative stimulus,a=-6 0.35 一平静 0.22 0.30 一伤心 一生气 0.20 0.25 一害怕 一讨厌 0.18 0.20 0.15 0.15 0.12 0.10 0.12 0.05 开心 生气 0.10 ,惊讶 一害怕 平静 一讨 时间/min 0.08 一伤心 图6正向刺激,=6 0.06 Fig.6 Positive stimulus,a=6 0.04 2 3 时间min 0.30 一开心一生( 图9负向刺激,a=1 0.25 Fig.9 Negative stimulus,a=1 一伤心 0.20 厌恶的十十十十十十一喜欢的 图10语义差分方法评估项的一个例子 0.15 Fig.10 Fig.10 An example of assessment items by using the se- mantic differential method 0.10 分方法的形容词. 表1用于语意差分评估的形容词对 0.050 2 3 Table 1 Adjectives used in SD assessment 时间min 负向情绪形容词 正向情绪形容词 图7正向刺激,a=-1 Fig.7 Positive stimulus,a=-1 孤单的 陪伴的 冷酷的 温暖的 7实验验证 平淡的 丰富的 黑暗的 明亮的 用语意差分(semantic differential,SD)方法统计 评估受试者在交互前后的感情状态变化阳.在一对 郁闷的 开心的 反义形容词中根据情感强度的不同,把它们分成了七 消极的 积极地 个等级,例如“厌恶的~喜欢的”,如图10所示. 伤心地 高兴地 实验用8组形容词对.表1是本实验用于语意差 生气的 满足的
工程科学学报,第 37 卷,第 11 期 有所 减 小. 图 8 表 示 个 体 接 受 负 向 刺 激,个 体 的 α = - 6,且初始情感状态的情感转移概率为 aj2 > aj3 = aj1 > aj5 > aj6 > aj7 > aj4 . 可以看出个体的初始状态为惊 讶,随着外界刺激时间的增长,个体负向情绪的概率在 不断增加,正向情绪和中性情绪的概率不断减小. 与 接受正向刺激时类似,随着时间的增加概率的变化速 率在不断的减慢. 图 9 与图 8 的不同是 α 由 - 6 变为 了 1,图 9 的变化趋势与图 8 相同,但变化速率和变化 程度都有所减小. 从仿真图可以看出,无论是正向刺 激还是负向刺激,参数的变化都可以有效表达出外界 刺激时间对个体情绪产生的影响. 图 6 正向刺激,α = 6 Fig. 6 Positive stimulus,α = 6 图 7 正向刺激,α = - 1 Fig. 7 Positive stimulus,α = - 1 7 实验验证 用语意差分( semantic differential,SD) 方法统计 评估受试者在交互前后的感情状态变化[14]. 在一对 反义形容词中根据情感强度的不同,把它们分成了七 个等级,例如“厌恶的 ~ 喜欢的”,如图 10 所示. 实验用 8 组形容词对. 表 1 是本实验用于语意差 图 8 负向刺激,α = - 6 Fig. 8 Negative stimulus,α = - 6 图 9 负向刺激,α = 1 Fig. 9 Negative stimulus,α = 1 图 10 语义差分方法评估项的一个例子 Fig. 10 Fig. 10 An example of assessment items by using the semantic differential method 分方法的形容词. 表 1 用于语意差分评估的形容词对 Table 1 Adjectives used in SD assessment 负向情绪形容词 正向情绪形容词 孤单的 陪伴的 冷酷的 温暖的 平淡的 丰富的 黑暗的 明亮的 郁闷的 开心的 消极的 积极地 伤心地 高兴地 生气的 满足的 · 2351 ·
徐上谋等:基于情感状态转移模型的外界刺激影响分析 ·1533· 本文邀请了50名受试者在智能家居环境中与智 互者的不同情绪状态来选择交互模式,给交互者以正 能机器人进行交互.该机器人具有情感调节的功能, 向刺激,受试者情感会不断向积极方向转移.首先让 通过动作与面部嘴灯、眼灯和耳灯之间亮灭的相互配 受试者分别与智能机器人交互不同的时间,然后用语 合完成各种情感的表达(如图11所示),同时可以智 意差分方法进行分析评估. 能地控制家电,播放音乐等.如图12所示,根据交 开心 伤心 生气惊讶 害怕 讨厌 平静 图11智能家居机器人情感表达 Fig.11 Emotion expression of intelligent household robots ■负向情绪得分 ■正向情绪得分 10 10 20 时间/min 30 图13正向情绪得分和负向情绪得分统计 Fig.13 Scoring statistics of positive emotions and negative emotions 图12受试者与机器人的互动 Fig.12 Interaction between people and robots 激开始时,受试者对外界刺激的重评能力最强,情感状 实验所评估的是受试者与机器人交互不同的时间 态会迅速向正向情感转移,随着时间的增加转移的速 后情感状态的变化情况.受试者分别与智能机器人交 率在不断减小,最后维持在一个稳定的状态.实验结 互10、20、30min.在分析时,评估是通过打分的形式来 果的变化趋势与本文所建立的模型和仿真结果相符, 实现的.-3分为最消极,3分为最积极,当为中性时 有效验证了算法的正确性.该理论模型为分析复杂外 界刺激对情感状态转移的影响提供了一定的研究基础 本文设立中性分数为0. 和参考价值 对每个受试者,本文分别在交互之前,交互10、20 和30min时根据自己的情感状态对这些形容词组进行 8结论 打分.对受试者所得正分的总和与负分总和的绝对值 本文基于Goss情感调节理论,利用有限状态机 进行统计,并除以人数来到平均值.经过分析,有37 描述情感状态转移过程.另外,以Goss认知重评为理 名受试者的数据是有效的. 论基础提出情感调节增强因子,从而有效分析了外界 由图13可知,在与机器人交互前,受试者正分和 刺激持续时间对情感状态转移的影响.当个体受到不 负分的和接近于0,所以可以判断该受试者基本处于 同情感方向(正向情感或负向情感)的外界刺激时,其 中性情绪状态.当受试者与机器人开始交互后,负向 情感状态转移随时间变化的情况在Matlab中进行仿 情绪得分会逐渐减少,正向情绪得分在迅速增加,可知 真分析,表明该理论模型可以有效描述外界刺激时间 受试者在由负向情绪逐渐向正向情绪转变 与状态转移矩阵的关系.之后,在智能家居环境下进 对受试者的平均得分统计如图14.可以看出:刺 行了受试者与智能机器人交互实验,并用语意差分方
徐上谋等: 基于情感状态转移模型的外界刺激影响分析 本文邀请了 50 名受试者在智能家居环境中与智 能机器人进行交互. 该机器人具有情感调节的功能, 通过动作与面部嘴灯、眼灯和耳灯之间亮灭的相互配 合完成各种情感的表达( 如图 11 所示) ,同时可以智 能地控制家电,播放音乐等[15]. 如图 12 所示,根据交 互者的不同情绪状态来选择交互模式,给交互者以正 向刺激,受试者情感会不断向积极方向转移. 首先让 受试者分别与智能机器人交互不同的时间,然后用语 意差分方法进行分析评估. 图 11 智能家居机器人情感表达 Fig. 11 Emotion expression of intelligent household robots 图 12 受试者与机器人的互动 Fig. 12 Interaction between people and robots 实验所评估的是受试者与机器人交互不同的时间 后情感状态的变化情况. 受试者分别与智能机器人交 互 10、20、30 min. 在分析时,评估是通过打分的形式来 实现的. - 3 分为最消极,3 分为最积极,当为中性时 本文设立中性分数为 0. 对每个受试者,本文分别在交互之前,交互 10、20 和 30 min 时根据自己的情感状态对这些形容词组进行 打分. 对受试者所得正分的总和与负分总和的绝对值 进行统计,并除以人数来到平均值. 经过分析,有 37 名受试者的数据是有效的. 由图 13 可知,在与机器人交互前,受试者正分和 负分的和接近于 0,所以可以判断该受试者基本处于 中性情绪状态. 当受试者与机器人开始交互后,负向 情绪得分会逐渐减少,正向情绪得分在迅速增加,可知 受试者在由负向情绪逐渐向正向情绪转变. 对受试者的平均得分统计如图 14. 可以看出: 刺 图 13 正向情绪得分和负向情绪得分统计 Fig. 13 Scoring statistics of positive emotions and negative emotions 激开始时,受试者对外界刺激的重评能力最强,情感状 态会迅速向正向情感转移,随着时间的增加转移的速 率在不断减小,最后维持在一个稳定的状态. 实验结 果的变化趋势与本文所建立的模型和仿真结果相符, 有效验证了算法的正确性. 该理论模型为分析复杂外 界刺激对情感状态转移的影响提供了一定的研究基础 和参考价值. 8 结论 本文基于 Gross 情感调节理论,利用有限状态机 描述情感状态转移过程. 另外,以 Gross 认知重评为理 论基础提出情感调节增强因子,从而有效分析了外界 刺激持续时间对情感状态转移的影响. 当个体受到不 同情感方向( 正向情感或负向情感) 的外界刺激时,其 情感状态转移随时间变化的情况在 Matlab 中进行仿 真分析,表明该理论模型可以有效描述外界刺激时间 与状态转移矩阵的关系. 之后,在智能家居环境下进 行了受试者与智能机器人交互实验,并用语意差分方 · 3351 ·
·1534· 工程科学学报,第37卷,第11期 12r [5]Leon E,Montalban I,Schlatter S,et al.Computer-mediated emo- 10 tional regulation:detection of emotional changes using non-para- metric cumulative sum //2010 Annual International Conference of 8 the IEEE Engineering in Medicine and Biology Society.Buenos Ai- res City,2010:1109 4 [6]Liu X,Xie L.Complex Emotional Regulation Process in Active Field State Space /Intelligent autonomous systems 12.Jeju Is- land,2012:423 ☑ Peng XL,Xie L,Liu X,et al.Emotional state transition model based on stimulus and personality characteristics.China Commun, 0 10 20 30 时间/min 2013,10(6):146 [8]Gross J J.Antecedent-and response-focused emotion regulation: 图14得分统计 divergent consequences for experience,expression,and physiolo- Fig.14 Score statistics gy.J Pers Soc Psychol,1998.74(1):224 法进行统计分析,实验结果验证了该理论的有效性. 9]Mohajerin B,Dolatshahi B,Shahbaz A P,et al.Differences be- 特别地,本文提出的情感增加函数是基于持续的单一外 tween expressive suppression and cognitive reappraisal in opioids 界刺激得到的,对于分析某一时间内复杂变化的外界刺 and stimulant dependent patients.Int J High Risk Behav Addiction,2013,2(1):8 激对情感状态转移的影响奠定了理论基础,在基于机器 00] Meng Q M,Wu W G.Artificial emotional model based on finite 人的情感计算模型的分析方面取得了阶段性的成果 state machine.J Cent South Unig Technol,2008,15(5):694 个体的情感状态变化与外界及自身等多方面的因 [11]Shi X F,Wang Z L,Zhang Q.Artificial emotion model based on 素有关,本文中提出的情感状态转移模型仅考虑了外 the matrix model of finite state machine.Comput Eng,2010,36 界刺激持续时间对状态转移矩阵的影响,缺少对外界 (18):24 (史雪飞,王志良,张琼.基于有限状态机矩阵模型的人工 环境、外界刺激强度等多种因素的考虑,在今后的研究 待绪模型.计算机工程,2010,36(18):24) 中需要进一步的深入分析 12] Zhu Z Y,Zhu Q S.Matrix model method based on the finite au- tomaton.Comput Sci,2001,28(4):46 参考文献 (朱征宇,朱庆生.有限自动机研究的矩阵模型方法.计算 Gross JJ.Emotion regulation:affective,cognitive,and social 机科学,2001,28(4):46) consequences.Psychophysiology,2002,39(3):281 03] Ekman P.Universals and Cultural Differences in Facial Expres- 2]Becker-Asano C.Wachsmuth I.Affective computing with primary sions of Emotion.Lincoln:University of Nebraska Press,1971 and secondary emotions in a virtual human.Auton Agents Multi- [14]Yamazaki T.Communicative robot interface for the ageing society Agent Syst,2010,20(1):32 //2012 12th International Conference on Control,Automation, B]Kshirsagar S,Nadia M T.A Multilayer Personality Model /Pro- Robotics Vision (ICARCV),Guangzhou,2012:668 ceedings of the 2nd International Symposium on Smart Graphics. [15]Gross H,Schrocter C,Mueller S,et al.Further progress towards New York,2002:107 a home robot companion for people with mild cognitive impair- [4]Bosse T,Pontier M,Treur J.A computational model based on Gross' ment /2012 IEEE International Conference on Systems,Man, emotion regulation theory.Cogn Syst Res,2010,11(3):211 and Cybernetics (SMC).Seoul,2012:637
工程科学学报,第 37 卷,第 11 期 图 14 得分统计 Fig. 14 Score statistics 法进行统计分析,实验结果验证了该理论的有效性. 特别地,本文提出的情感增加函数是基于持续的单一外 界刺激得到的,对于分析某一时间内复杂变化的外界刺 激对情感状态转移的影响奠定了理论基础,在基于机器 人的情感计算模型的分析方面取得了阶段性的成果. 个体的情感状态变化与外界及自身等多方面的因 素有关,本文中提出的情感状态转移模型仅考虑了外 界刺激持续时间对状态转移矩阵的影响,缺少对外界 环境、外界刺激强度等多种因素的考虑,在今后的研究 中需要进一步的深入分析. 参 考 文 献 [1] Gross J J. Emotion regulation: affective,cognitive,and social consequences. Psychophysiology,2002,39( 3) : 281 [2] Becker-Asano C,Wachsmuth I. Affective computing with primary and secondary emotions in a virtual human. Auton Agents MultiAgent Syst,2010,20( 1) : 32 [3] Kshirsagar S,Nadia M T. A Multilayer Personality Model / / Proceedings of the 2nd International Symposium on Smart Graphics. New York,2002: 107 [4] Bosse T,Pontier M,Treur J. A computational model based on Gross' emotion regulation theory. Cogn Syst Res,2010,11( 3) : 211 [5] Leon E,Montalban I,Schlatter S,et al. Computer-mediated emotional regulation: detection of emotional changes using non-parametric cumulative sum / / 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Buenos Aires City,2010: 1109 [6] Liu X,Xie L. Complex Emotional Regulation Process in Active Field State Space / / Intelligent autonomous systems 12. Jeju Island,2012: 423 [7] Peng X L,Xie L,Liu X,et al. Emotional state transition model based on stimulus and personality characteristics. China Commun, 2013,10( 6) : 146 [8] Gross J J. Antecedent- and response-focused emotion regulation: divergent consequences for experience,expression,and physiology. J Pers Soc Psychol,1998,74( 1) : 224 [9] Mohajerin B,Dolatshahi B,Shahbaz A P,et al. Differences between expressive suppression and cognitive reappraisal in opioids and stimulant dependent patients. Int J High Risk Behav Addiction,2013,2( 1) : 8 [10] Meng Q M,Wu W G. Artificial emotional model based on finite state machine. J Cent South Univ Technol,2008,15( 5) : 694 [11] Shi X F,Wang Z L,Zhang Q. Artificial emotion model based on the matrix model of finite state machine. Comput Eng,2010,36 ( 18) : 24 ( 史雪飞,王志良,张琼. 基于有限状态机矩阵模型的人工 情绪模型. 计算机工程,2010,36( 18) : 24) [12] Zhu Z Y,Zhu Q S. Matrix model method based on the finite automaton. Comput Sci,2001,28( 4) : 46 ( 朱征宇,朱庆生. 有限自动机研究的矩阵模型方法. 计算 机科学,2001,28( 4) : 46) [13] Ekman P. Universals and Cultural Differences in Facial Expressions of Emotion. Lincoln: University of Nebraska Press,1971 [14] Yamazaki T. Communicative robot interface for the ageing society / / 2012 12th International Conference on Control,Automation, Robotics & Vision ( ICARCV) ,Guangzhou,2012: 668 [15] Gross H,Schroeter C,Mueller S,et al. Further progress towards a home robot companion for people with mild cognitive impairment / / 2012 IEEE International Conference on Systems,Man, and Cybernetics ( SMC) . Seoul,2012: 637 · 4351 ·