第5卷第6期 智能系统学报 Vol.5 No.6 2010年12月 CAAI Transactions on Intelligent Systems Dec.2010 doi:10.3969/i.issn1673-4785.2010.06.013 隐马尔可夫情感模型的复合情绪生成 王巍，王志良，谷学静，郑思仪 (北京科技大学信息工程学院，北京100083) 摘要：情感模型的建立，是产生人工情感的一种途径，也是和谐人机交互的基础.针对现有的隐马尔可夫情感模型 仅能产生基本情绪的问题，提出了一种改进的模型，使其能够产生复合情绪.首先，放宽已有理论的假设条件，使得 某种刺激可以引发多种基本情绪，并且2种基本情绪状态的强度可以同时增大，提高了模型的普适性；其次在引人 辅助矩阵和可变阈值后，实现了情感模型的复合情绪生成.通过仿真试验，验证了该模型的有效性。 关键词：情感计算；人工心理；人工情感；隐马尔科夫情感模型 中图分类号：TP31;TP391文献标志码：A文章编号：16734785(2010)06054506 Complex emotion generating of an emotion model based on HMM WANG Wei,WANG Zhi-liang,GU Xue-jing,ZHENG Si-yi (School of Information Engineering,University of Science and Technology Beijing,Beijing 100083,China) Abstract:Emotion model building provides a way to generate artificial emotion.In addition,it is the foundation of natural human-robot interaction.In order to solve the problem of the existing hidden Markov model (HMM)only generating basic emotion,an improved model was proposed.It is capable of generating complex emotion.First,the hypothesis terms of the HMM emotion theory were softened,which made one stimuli trigger multiple emotions lead- ing to a simultaneous increase in the intensity of two basic emotions,which universally enhanced the model.Sec- ond,an assistance matrix and variable threshold were introduced in order to implement complex emotion compu- ting.Through experimentation,the effect of the model was verified. Keywords:emotion computing;artificial psychology;artificial emotion;HMM emotional model 在情绪心理学理论的基础之上，定义描述情感 型o)、基于马尔可夫链和HMM的情感模型]、基 的数学空间，在此空间里，采用数学理论方法，构造 于随机事件处理的情感模型2]、基于自组织理论的 适于机器实现的情感计算理论方法，使之能够模拟 人工心理模型等.此外，很多表情机器人也具有情感 人类的情感产生、变化、转移，并符合人类情感变化 模型，如德国Kaiserslautern大学的ROMAN等[3-s] 的规律，满足人类情感的需求.情感系统包括情绪获 根据心理学的研究，情绪分为基本情绪和复合 取、情感产生、情感表达3个内容，其中情感的产生 情绪.对于基本情绪的种类，不同的学者有不同的分 需要情感建模理论. 类方法，如近代研究中常把快乐、愤怒、悲哀和恐惧 对于情感建模来说，目前国内外已有很多，如早 列为情绪的基本形式，又称之为原始情绪.伊扎德的 期提出的最完整的OCC情绪模型2)、面部机器人 情绪理论发表于1972年，称基本情绪，包括兴趣、愉 Kismet的情感模型36、Botelho提出的Salt&Pepper 快、惊奇、悲伤、厌恶、愤怒、羞愧、恐惧和轻蔑.Ek 模型)、以及WE4R机器人使用的情感模型 man在《情绪的解析》中分章节叙述了人类共有的 等.国内的有基于欧式空间的人工情感数学模 几种基本情绪：悲伤、痛苦、愤怒、惊讶、恐惧、厌恶、 蔑视和偷悦.复合情绪由基本情绪的不同组合派生 收稿日期：2009-12-24. 而成.如由愤怒、厌恶和轻蔑组合起来的复合情绪可 基金项目：国家“863”计划资助项目(2007AA04Z218);国家自然科 学基金资助项目(60903067) 表示为敌意：由恐惧、内疚、痛苦和愤怒组合起来的 通信作者：王巍.E-mail:wangwei8311@163.com, 复合情绪可表示为焦虑等[168]
546 智能系统学报 第5卷 通过研究文献[11]提出的基于HMM的情感模 本情绪总数与刺激类型总数是相等的，B阵为一方 型，发现其仅能产生基本情绪，而无法生成复合情 阵，这样某种刺激就会确定性地只引发某一种基本 绪，因此，本文对此模型进行改进，同时适用于基本 情绪.由于情绪分为基本情绪和复合情绪，若基于隐 和复合情绪的产生，以增加模型的普适性。 马尔可夫的情绪状态刺激转移模型仅能够产生特定 1隐马尔可夫情感模型 的基本情绪，仍不够完善.如何使其能够产生复合的 情绪，是一个有待解决的问题， 文献[11]在介绍弗洛伊德、荣格等心理学家创 首先，引入辅助矩阵Fwxw, 建的动力心理学的基础上，把动力心理学的心理能 「f(1) f2(1) .fw(1)1 量的概念引入到情感建模的研究中，提出情感能量 f(2) f(2) fw(2) 的概念并建立了情感状态的概率空间.为简化问题， 建立便于机器实现的情感度量与计算模型，制造出 具有初步基本的人类情感或能近似模拟人类的基本 Lf(N)f(N) ·fw(N) 情感，能产生和谐与生动有趣的人机交互环境的情 式中：行向量.(1≤j≤)对应第j种基本情绪类 感机器，做了如下一些基本的假设和限定， 型的刺激.通过这个行向量的各个分量的值可确定 假设1情感机器只具有人类的几种基本情绪 刺激的类型， 状态 ∑fG)=1,1≤i≤N (1) 假设2即在外界刺激的作用下，情感机器的 任意2种情绪状态之间是可以互相转移的. [s,ifi=j 令f)= lσ，fi≠j 且5≥0,7= ,r>1,换元带 假设3某种刺激确定性地只引发某一种基本 情绪，即刺激V:只引发情绪.各种刺激用V:表示， ,?>1,进而得到 刺激集合为 人式(1)，得到=(N-1+) la=1/(N-1+r) V={V1,V2,…,Vw}={1,2,…,M. 辅助矩阵F 式中：Vm=m(m=1,2,…,M). 为了使基于隐马尔可夫的情绪状态刺激转移模型 假设4各种基本情绪状态是互相排斥的.即 能够产生复合情绪，就要减少上述理论的假设条件这 刺激m=i应使情绪状态i的强度增加，而其他情绪 种条件或约束的放宽，增加了情感模型的普适性 状态j≠i,j=1,2,…,N)的强度减少 复合情绪是由基本情绪的不同组合派生出来 假设5情绪状态的变化包括2个过程：情绪 的，一种复合情绪类型的刺激可以引发若干种基本 状态自发转移和情绪状态刺激转移。 情绪，显然上述的假设3不尽合理；同样，由复合情 假设6情绪状态自发转移的趋势是：总是向 绪引发的几种基本情绪强度值也是可以同时同方向 着平静状态转移. 变化的，因此，假设4也不够合理.因此，应删除这2 在情感状态的概率空间的基础上，使用五元组 个假设， 入=(N,M,P,A,B)描述基于隐马尔可夫的情绪状 在剩余的4个假设条件下，根据辅助矩阵来计算 态刺激转移模型.其中：N表示基本情绪总数，i=1, HMM情绪状态刺激转移模型中的刺激矩阵. 2,·,N表示基本情绪序号，情绪状态可用下面的状 B阵定义为 态集合表示。 TB. 「b(1) b2(1) bw(1) S={S,S2,…,Sw}={1,2,…,Nf 式中：S=i(i=1,2,…,N).M是刺激类型总数，P B2. b1(2) b2(2) bw(2) 是初始心情状态概率分布，A为情绪状态刺激转移 矩阵，B为刺激矩阵， Lb(M)b2(M) bx(M) 1)当刺激类型为基本情绪类型时，此时M=N, 2复合情绪的产生 B=F,此种情况就是文献[11]所讨论的； 2.1HMM情感模型的推广 2)当刺激类型为复合情绪类型时，例如复合情 基于假设3，文献[11]得到M=N的结论，即基 绪i是由基本情绪i、广、k组成的，则
第6期 王巍，等：隐马尔可夫情感模型的复合情绪生成 ·547· BN=[B.B.B。…B]w-2w= 依此类推， [F.f2.… B1=B.×B2×AT= m1 m月 B.·…·B×TX…XA, m≠k N-I N-1 (f.+E.+至)…户m]-2xw 计算y=[7名…氵]. B阵第i行对应的行向量B.,即为复合情绪类 式中： 型对应的刺激向量。 a1·B 因为26(m）=含新0)=1(1≤i≤M,所以B =× N N-1 阵依然满足HMM模型的使用要求，进而可以通过 PB.·…·B.×ATx…xA 五元组入=(N,M,P,A,B),计算情绪刺激转移过 P.B.×(B…·B×4x…×A)T 程中的情感状态值. N-1 W-1 2.2变阈值处理溢界问题 -42·B2 h= 通过去除假设3和4，在引人辅助矩阵F后，原 a2×B N-I 有的MM情感模型得到了推广，能够产生由基本 单.A.×AA.×AB×A×…xA 情绪组合成的复合情绪，增加了模型的适用环境. (P2.×AA)×(8A.×x×A)T 但是在实际使用时，却存在情绪状态值的溢界问 N-1 题.例如，某种复合情绪i是由基本情绪i组成的， 依此类推， 当刺激事件持续刺激复合情绪时，相应的基本情绪、 am·a严 j的值都将增大，理论上它们都增大到0.5并会保持 &m×食m N-1 不变，实际上若此时出现了小的扰动，使它们偏离了 p.B.×A8.×…×AB 0.5,根据HMM模型的计算，大于0.5的情绪将会被 产·B.×AB.×…×A8.×[111] 持续激发，逐渐增大到1.0并保持不变，而另一个小 式中：smx为最大刺激强度， 于0.5的情绪，将会被持续抑制，逐渐趋于0. 不难发现，若情感状态向量P中某2个基本情感状 基于情绪状态刺激转移过程的HMM模型，情 态值相同，在被激发后的下一时刻，这2个维度的值也应 感强度值是通过前向后向算法来计算的。 相同，因此，溢界问题应来自于其程序实现 设前向变量为a=[aa…m], 计算机在处理大量的浮点数运算时，由于计算的 式中： 精度问题，看似相等的2个浮点数可能并不相等.通 a1=p·B, 过分析程序，发现溢界问题来源于此.在计算P‘时， 2=d1×A.·B=P·B.×A·B, 应该相等的情绪状态维度会在浮点数的末位几个数 a3=a2×AB.=P·B.× 字上出现微小差别，若刺激不断出现，上述的基于 A·B.×A·B HM模型的情绪状态刺激转移过程会不断进行，这 依此类推， 种微小差别就不断地被放大，直至出现溢界问题. c,nr=d-lXA·B.= 这里通过引入一个可变的阈值ε来解决溢界问 p.B×A·B.×…×A.B 题.若某一种复合情绪类型的刺激激发的基本情绪 越多，则ε应该越小. 定义后向变量为B=[T朗…]. e =c (/num). 其中， 式中：num是复合情绪类型的刺激激发的基本情绪 B,m=[111], 数量.可变的ε在某一种复合情绪类型的刺激下，被 B,m-1=P·Baa×AT= 赋为一个选定的值来控制“情绪状态近似度”， B:.xAT. 当N=3,溢界问题及其解决如图1所示. B,-2=B.·B1×AT= B.·B.×AT×AT
·548 智能系统学报 第5卷 (初始值)的设定、情绪（心境）的计算和输出几个基 1.0 一基本情绪1 本环节，软件设计结构如图2所示， 基木情绪2 0.8 基木情绪3 CEmotional Continual Model App 0.6 CEmotional Continual 0.4 Model Dlg 0.2 0 CEmotion Self 10 203040506070 CMood Self Transfer tis Transfer (a)溢界 CEmotion Trigge CMood Trigger Transfer Transfer 0.5 0.4 图2软件设计结构 0.305052023033404550 Fig.2 Software architecture 0.5 本文所述的方法，主要是对情绪的刺激转移过 0.4 程模型进行了改进，使之能够产生复合情绪，扩大了 0.305101520,253035404550 其适用范围.因此在验证时，可以暂时不考虑心境变 tis 0.4 化的计算过程，故屏蔽CMoodSelfTransfer和 0.2 CMoodTriggerTransfer2个类.计算情绪强度部分的 5101520253035404550 流程图如图3所示。 tis 开始 (b)滋界消除 图1溢界问题及其解决 Fig.1 Out of range and solution 是否受到激发 在图1(a)中，当t=24时出现溢界问题.由于 Y 计算的精度问题，情绪状态维度1与2的值在浮点 当前情感设置刺 激转移初始情感 数的末位几个数字上出现了微小差别，进而在后续 的计算中，这种差别被持续地放大，使得基本情绪1 输入外界刺激事件 类型与强度 与2的状态值不再相等而出错.当加入了可变阈值 ε后，溢界问题被解决，如图1(b)所示，基本情绪1 情绪白发转移过程计算 情绪刺流播转移过程计算 与2的状态值保持相等。 当N=6时，通过仿真试验发现，出现溢界问题 输出情绪值 输出情绪值 Emotion Emotion 的概率较小，这应该是由于每一个情绪状态维度值 相对于N=3时都小很多，浮点数计算时末位较小 终止 的差别被舍去，情绪状态值都保持在合理的范围内， 因而出现溢界问题较少，但也应加入可变阈值ε，保 图3情绪强度部分的流程图 证算法的稳定， Fig.3 Flow chart of emotion calculating 设自发转移初始情绪状态向量、自发转移极限 3仿真试验 情感向量和刺激转移极限情感向量均为[1/W1/N 为了验证上述算法的效果，运用课题组开发的 …1/W],r=1.06.基本情绪包括悲伤、愤怒、恐惧、 情感软件平台，此人工情感软件，包括情绪状态自发 厌恶、蔑视和愉悦6种，即N=6.下面将以嫉妒和敌 转移、情绪状态刺激转移、心境状态自发转移和心境 意2种复合情绪分别出现后，情绪状态的变化过程 状态刺激转移4部分.每一部分都包括运行参数 来说明上述改进模型的有效性
第6期 王巍，等：隐马尔可夫情感模型的复合情绪生成 ·549· 在t=7时刻出现嫉妒类型的刺激，一直保持到 持以及撤销后情绪的变化过程 t=25时刻，撤销嫉妒类型的刺激，情绪的变化过程 4 如图4所示 结束语 0.4 0.2 本文在已有隐马尔可夫情感模型的基础上，通 0.2 0.1 过减少假设条件并引入辅助矩阵，使原有模型能够 201 40 60 0 20 40 60 产生复合情绪，增加了情感模型的普适性.同时，可 0.4 0.2 变阈值为模型的计算机实现提供了基础，解决了情 0.2 感状态计算时的溢界问题.进一步研究工作重点是 0 2040 60 20■ 40 6①0 改进基于HMM的情感建模算法，为在人机交互过 0.4 0.2 0.2 程中更好地实现拟人化的计算机情感合成与输出做 0.1 理论上的铺垫 20 60 0 40 20 40 60 参考文献： 图4嫉妒情绪的变化过程 [1]王志良.人工心理学一关于更接近人脑工作模式的科 Fig.4 Changing process of envy emotion 由于嫉妒是愤怒、悲伤与恐惧这3种情绪的复 学[J].北京科技大学学报，2000,22(5)：478483. 合，因此，在t=7时刻这3个维度的基本情绪得到 WANG Zhiliang.Artificial psychology-Science of more at- tainable working mode to human brain[J].Journal of Uni- 激发，其他的3个维度受到抑制；随后，嫉妒类型的 versity of Science and Technology Beijing,2000,22 (5): 复合情绪刺激并未消失，各个基本情绪状态值继续 478483. 增大或减小直至饱和；在t=25时刻撤销刺激，各个 [2]ORTONY A,CLORE G L,COLLINS A.The cognitive 维度的基本情绪逐渐恢复平静 structure of emotions[M].Cambridge,UK:Cambridge U- 设在t=7时刻出现敌意类型的刺激，一直保持 niversity Press,1988:123-127. 到t=25时刻，撤销敌意类型的刺激，情绪的变化过 [3]BREAZEAL C,SCASSELLATI B.A context-dependent at- 程如图5所示. tention system for a social robot[C]//Proceedings of the 0.2r 0.4 Sixteenth Interational Joint Conference on Artificial Intelli- 0.1 0.2 gence (IJCAI99).Stockholm,Sweden,1999:1146-1151. 的 0 [4]BREAZEAL C,SCASSELATI B.Robots that imitate hu- 20 4060 20 40 60 0.2 0.4 mans[J].Trends in Cognitive Sciences,2002(6):481- 0.1 0.2 487. 0 [5]BREAZEAL C,EDSINGER A,FITZPATRICK P,et al. 201 40 60 20 40 0.2r 0.4 Active vision systems for sociable robots[J].IEEE Trans- 0. 30.2 actions on Systems,Man,and Cybernetics,2000,31(5): 0 443453. 20 4060 204060 [6]BREAZEL C.Emotion and sociable humanoid robots[J]. Uis t/s Interational Joumal of Human-Computer Studies,2003,59 图5敌意情绪的变化过程 (1/2):119-155. Fig.5 Changing process of hostility emotion 由愤怒、厌恶和轻蔑组合起来的复合情绪可叫 [7]BOTELHO L M,COELHO H.Machinery for artificial Emo- tions[J].Cybernetics and Systems,2001,32 (5):465- 做敌意.同样，t=7时刻这3个维度的基本情绪得到 506. 激发，其他的3个维度受到抑制；随后，此复合情绪 [8]Head Robot Team/Takanishi Laboratory.Emotion expres- 刺激并未消失，各个基本情绪状态值继续增大或减 sion humanoid robot WE-4RII EB/OL].2009-12-25 ] 小直至饱和；在t=25时刻撤销刺激，各个维度的基 http://www.takanishi.mech.waseda.ac.jp/top/research 本情绪逐渐恢复平静 we/we-4rll/index.htm. 可以看出，通过对HMM情感模型的改进，使其 [9]HIROYASU M,KAZUKO I,DAISUKE I,et al.Introdue- 能够较好地模拟一个复合情绪类型的刺激出现、保 tion of the need model for humanoid robots to generate active
.550. 智能系统学报 第5卷 behavior[C]//Proceedings of the IEEE/RSJ Int.1 Confer- [15]BERNS K T.Design concept of a human-like robot head ence on Intelligent Robots and Systems.[S.1.]2003: [C]//Proceedings of IEEE-RAS/RSJ International Con 1400-1406. ference on Humanoid Robots.[S.1.]2005:32-37. [10]王宏，颉斌，解仑，基于人工心理理论的情感模型建立 [16]浙江大学医学院.情绪、情感和意志[EB/OL].[2009- 及其数值仿真[J].计算机应用，2004,24(S1):368 12-25 ]http://www.cmm.zju.edu.cn/student/main/ 370. love/abc/200704/22090912.htm. WANG Hong,JIE Bin,XIE Lun.Emotion modeling and [17]情绪与情感过程—情绪理论[EB/0L].[2009-12 simulation applied on artificial psychology theory[J]. 25 ]http://www.examda.com/hushi/xinli/20090416/ Computer Application,2004,24(S1):368-370. 091904550.html. [11]滕少冬.应用于个人机器人的人工情感模型研究[D]. [18]王志良.人工心理[M].北京：机械工业出版社， 北京：北京科技大学，2006. 2007:101-130 TENG Shaodong.Research on artificial psychology model 作者简介： applied in personal robot[D].Beijing:University of Sci- 王巍，男，1983年生，博士研究 ence and Technology Beijing,2006. 生，主要研究方向为情感计算与人工情 [12]王飞，王志良，赵积春.基于随机事件处理的情感建模 感、人工智能、机器人、优化理论。 研究[J].微计算机信息，2005,21(3)：101-102. WANG Fei,WANG Zhiliang,ZHAO Jichun.Affection mathematics model based on the processing of stochastic e- vents[J].Control Automation,2005,21 (3):101- 102, 王志良，男，1956年生，教授，博士 [13]HIRHT J,SCHMITZ N,BERNS K.Emotional architec- 生导师.中国人工智能学会常务理事、 ture for the humanoid robot head roman[C]//Proceedings 人工心理与人工情感专业委员会主任， of IEEE International Conference on Robotics and Automa- 主要研究方向为人工心理及情感计算、 tion (ICRA).Roma,Italy,2007:2150-2155. 3C融合技术、智能机器人学、和谐人机 [14]HIRTH J,BRAUN T,BERNS K.Emotion based control 交互，主持或参加国家高技术研究项目 architecture for robotics applications[C]//Proceedings of 3项、国家自然科学基金项目2项、国家科技攻关项目5项、 30th Annual German Conference on Artificial Intelligence. 省部级课题20余项，发表学术论文180余篇，其中被SC1、 [S.1.],2007:464-467. 检索60余篇