第4卷第4期 智能系统学报 Vol.4 No.4 2009年8月 CAAI Transactions on Intelligent Systems Ag.2009 doi:10.3969/i.issn.1673-4785.2009.04.012 基于进化策略的生理信号情感识别 郝敏，刘光远，温万惠 (西南大学电子信息工程学院，重庆400715) 摘要：针对生理信号的情感识别问题，采用进化策略方法对生理信号进行特征选择，利用智能优化算法的计算复杂 度低和收敛速度快等特点，并结合使用近邻法进行分类，有效地解决了生理信号特征组合优化问题，筛选出一定的特征 子集来表示相应的人类情感状态.实验仿真表明，该方法可以得到有效的特征组合来进行生理信号的情感状态识别. 关键词：进化策略；情感识别；生理信号；特征选择 中图分类号：TP391.6文献标识码：A文章编号：16734785(2009)04035205 Recognition of emotion in physiological signals using evolutionary strategies HAO Min,LIU Guang-yuan,WEN Wan-hui (School of Electronic and Information Engineering,Southwest University,Chongqing 400715,China) Abstract:A novel method was developed to perform feature selection in order to recognize emotion in physiological signals.By combining the near neighbor classifier and the intelligent optimization algorithm,combinatorial optimi- zation problems in physiological signals can be effectively solved and a series of important features can be selected that represent a humans emotional status.Simulations showed that it effectively uses features so extracted from ex- perimental data for recognition of emotional states. Keywords:evolution strategies;emotion recognition;physiological signals;feature selection 计算机情感识别正逐步成为人机交互领域研究 触，因而能采集到比较理想的符合真实环境的生理 的热点和发展方向，越来越受到研究者的重视，是今 数据.美国MT媒体实验室情感计算研究小组的 后人机情感交流必不可少的环节，也是当今计算机 Picard教授及其合作者率先从生理信号中提取特征 科学界研究的热点.情感识别研究主要包括情感特 来进行情感状态识别方面的研究，相继的其他国家 征分析、肢体情感识别、面部情感识别和语音情感识 与学者也在这一方面给予了极大的重视21，并开始 别等.由于目前所研究的诸如面部识别、语音识别等 了积极的研究. 有时候无法真正反映人类的真实情感状态，因而也 Picard3)通过分析肌电、皮肤电反应、呼吸作用 就无法从生理实质上反映人类的情感状态.而通过 和血容量搏动4种生理信号，提取24种统计特征 分析生理信号，就可以识别出内在的情感和情绪变 后，采用SFFS34和Fisher31方法进行特征选择，对 化.基于这个思想，采用生理信号山作为研究对象 4种情感的识别率达到70%以上.相应地，统计特征 来分析情感识别.生理信号通过特殊的测量仪器测 增加到40个，其识别率达到了80%以上.而文献 量，并且是以一种舒服的、非侵入式与身体良好接 [3,5]也比较了不同的特征选择方法与分类器相结 合应用于情感状态识别的结果， 收稿日期：200806-30. 基金项目：国家自然科学基金资助项目(60873143)；西南大学国家重 上述方法普遍存在着计算复杂度较高的问题，而 点学科基础心理学科研基金资助项目(NKSFO70O3);重庆 且当搜索空间很大时，很难保证得到最优解，计算复 市科委自然基金资助项目(2006BB2328). 通信作者：郝敏.E-mail:woshihaomin@126.com. 杂度也呈指数级增长.而计算智能优化算法6用于特
第4期 郝敏，等：基于进化策略的生理信号情感识别 ·353· 征选择不仅计算复杂度低而且速度快效果好.因此， 组、算术平均重组、加权平均重组、全局算术平均重 本文提出了基于进化策略(evolution strategies)7们的 组和全局加权平均重组这几种形式.文中采用加权 情感生理信号特征选择方法，并用近邻法进行分类， 重组方式，其具体形式如式(1)所述. 从而获得有效的特征组合.实验仿真表明，基于进化 1.1.3变异算子 策略的情感生理信号特征选择方法可以得到有效的 在进化策略中，变异操作是产生新个体的主要 特征组合来进行生理信号的情感状态识别 方法.个体V=(X,σ)经过变异运算后，得到一个新 的个体V'=(X,),则新个体的组成元素为 1进化策略 0=exp[T·N(0,1)+r', 1.1进化策略(ES)基本原理 N(0,1)],i=1,2,…,n, 进化策略(evolutionary strategies,ES)由德国柏 X:=X+N(0,G),i=1,2,…,n 林工业大学的I.Rechenberg等人于1964年提出，是 式中：N(0,σ)表示均值为0，方差为σ的正态分布 一类模仿自然进化原理以求解参数优化问题的算 随机变量8]；x和'是算子集参数，分别表示变异运 法.在求解流体动力学柔性弯曲管的形状优化问题 算时的整体步长和个体步长8们，T=1//2n,x'=1/ 时，用传统的方法很难优化设计中描述物体形状的 √2√n 参数，从而利用生物变异的思想来随机地改变参数 1.1.4选择算子 值并获得了较好的效果.随后，他们便对这种方法进 行了深人的研究和发展，形成了进化计算的另一个 在进化策略中，选择操作是按确定的方式进行 的，目前所使用的选择操作主要有两大类： 分支—进化策略 (u+入)-ES模式和(w,入)-ES模式.(u,入)-ES选择 1.1.1个体表示方法 模式是从入个父代个体中选择出u(1≤u≤A)个适 在进化策略中，组成进化群体的每一个体都由 应度高的个体，将它们保留到子代群体中. 2部分组成，其中一部分可以取连续向量X∈R”,另 (u+入)-ES选择模式将u个父代个体和其所产生 一部分是一个小扰动量.这个扰动量是由步长σ∈ R(正态分布的标准方差)和回转角a∈Ra-)) 的入个子代个体组成山+入个个体并集，从中选取u 个适应度高的个体，将它们保留到子代群体中.文中 (正态分布的协方差)所组成，可以用来调整对个体 采用(u+入)-ES选择模式，并且令入=7u. 进行变异操作时变量的大小和方向.群体中的每一 1.2进化策略算法改进 个体V可表示为 V=(X,,a),VERtn(n+i)2. 1.2.1变异算子改进 在进化策略中，变异算子作为主要算子起着相当 一般情况下可以不考虑回转角，则有 大的作用，直接影响着进化策略的收敛速度.文中主 V=(X,o),V∈R2n 要从变异这一方面进行改进，在原来高斯变异算子8 文中个体编码方式采用实数制，个体串的每一 的基础上引入一种新的变异算子一柯西变异算 位对应相应次序的特征，在特征筛选时对其进行空 子[91，即基于柯西分布产生随机数的变异算子。 间映射成二进制形式，用“1”来表示对应特征项的 定义1柯西(Cauchy)分布 选用。 一维柯西密度函数集中在原点附近，其定义为 1.1.2交叉重组算子 假设V。=(X。,oa),V。=（X6,o%)为群体中随 f)=1。t π2+，-∞0为比例参数，相应的分布函数定义为 组操作后产生一个新的子代个体V”=(X',),交 叉重组操作若采用加权重组方式，则新个体为 Fs)=方+man(》, V'=V。+0(V。-Va). (1) 密度函数(x)类似于高斯密度函数，其差异主 式中：0为[0,1]范围内的均匀分布的随机数 要表现在：柯西分布在垂直方向略小于高斯分布，而 此外，重组还有无重组、直接重组、全局直接重 柯西分布在水平方向上越接近水平轴，变得越缓慢
.354 智能系统学报 第4卷 因此柯西分布可以看作是无限的.柯西变异算子、高 通过这个变换后得到的个体的新特征向量为[W·X]. 斯变异算子与平均变异算子的不同之处在于：柯西 其中系数的选取可以是二进制编码，也可以是 变异算子适合全局搜索，高斯变异算子更适合局部 实数编码 搜索，而平均变异算子的优势在于可以在更大的 文中在进化前期采用二进制编码大幅度降维，然 迭代过程中跳出局部最优，保证全局收敛， 后到后期时运用实数编码对某些特征进行具体放大. 文中在运用变异算子时，采用以下变异策略： 1)对每代种群中的较优个体进行高斯变异； 2特征选择试验结果与分析 2)对每代种群中的较差个体进行柯西变异； 文中所使用的数据均来自德国奥森堡大学多媒 3)而对每代种群的中间个体进行平均变异. 体与信号处理实验室2]，数据是单个被试者在听不 1.2.2降维策略改进 同情感类型歌曲时测量的，以激发被试者在4种情 随着计算机技术的发展，如何从众多冗余的信 感状态(JOY、ANGERr、SADNESS、PLEASURE)下的 息数据中提取出有效的信息量成为当前研究热点. 4种生理信号(EMG、SC、ECG、RSP),测试周期为25 再则大量的数据含有噪声，这些会大大地降低数据 天，共100个样本，提取出193种统计特征来描述生 分类的精度，而且通常情况下数据都是高维的.传统 理信号的变化.其中，皮电信号(SC)提取了21个特 的诸如Fisher和K-L方法无法处理这些冗余且参杂 征，呼吸信号(RSP)提取了67个特征，肌电信号 着噪声的数据。 (EMG)提取了21个特征，心电信号(ECG)提取了 因此，文中除了在选取适应度函数时综合考虑 84个特征. 识别率与特征维数之外，还引进了另一种有效的降 在实验时，选取KNN的邻近个数为3个，补始 维策略，首先引人特征量系数这个概念 种群为20，最大迭代次数为1000次，重组概率Pr= 假设样本个体的特征编码为X, 0.8,变异采取单点变异，该算法已用VC++实现， X=[x1,x2,…,xn]. 并编译通过. 因此，为了很好地体现出每个特征参数与进化过程 表1~3是用基于柯西分布的改进进化策略方法 的敏感程度，定义一个特征量系数. (IES)和蚁群优化算法a](ant colony optimization, W=[w,w2,…,wn]. AC0)进行实验仿真50次后的对比统计分析结果。 表1识别4种情感状态 Table 1 Recognition of 4 emotions 最优子集特征数 最好识别率/% 平均识别率/% 生理信号原始特征数 IES ACO IES ACO IES ACO SC 3 6 50 49 49.6 46.3 RSP 67 3 10 73 70 72.9 66.9 EMG 21 P 76 73.1 72.9 ECG & 2 16 10 63 68.5 62.3 ALL* 193 5 22 85 82 81.3 80.7 注：ALL米：SC、RSP、EMG、ECG 由表1可以看出在识别4种情感状态时，ES 体现，识别率和特征子集个数较AC0都有了很大的 在特征解空间很小时与AC0相比，其最好识别率和 提升，可以利用较少的特征维数来识别出4种情感 平均识别率没有明显的提高，但是却更能较好地优 状态，达到较好的效果.其中最好识别率可以达到 化特征子集，选择出更能代表情感状态的子集出来； 85%,SC、RSP、EMG、ECG、ALL选择到的最优子集 而在特征解空间足够大时，其优越性得到了明显的 特征数分别为2、3、6、2、5
第4期 郝敏，等：基于进化策略的生理信号情感识别 355 表2识别单一情感 Table 2 Recognition of single emotion 最优子集特征数 最好识别率/% 平均识别率/% 生理状态生理信号原始特征数 IES ACO IES ACO IES ACO JOY SC 21 3 88 88 87.01 86.70 RSP 67 2 13 86 83 86.00 79.50 EMG 21 90 90 90.00 89.30 ECG 84 3 的 94 92 93.52 91.40 ALL# 193 22 94 92 93.98 90.30 ANGER SC 21 5 82 82 82.00 80.90 RSP 67 2 9 100 100 100.00 99.80 EMG 21 3 3 91 91 91.00 89.50 ECG 84 2 17 82 80 82.00 78.70 ALL 193 20 100 90 100.00 85.20 SADNESS % 21 4 6 83 中 81.50 80.50 RSP 67 5 9 90 西 88.20 85.80 EMG 21 5 91 91 89.48 89.00 ECG 84 2 16 92 90 90.74 87.60 ALL* 193 2 22 92 87 91.53 84.60 PLEASURE SC 21 3 4 79 77 77.80 76.70 RSP 67 3 10 85 80 84.40 78.60 EMG 21 5 4 89 8 87.21 86.70 ECG 84 4 12 87 9 84.93 78.70 ALL* 193 4 21 88 82 85.62 78.30 注：ALL*:SC、RSP、EMG、ECG 由表2可以看出，在识别单一情感状态时，ES 例如：JOY状态下SC、RSP、EMG、ECG、ALL选择到 可以保证收敛到AC0情况下的全局最优解，其得到 的最优子集特征数分别为3、2、2、3、2.同AC0相比 的最好识别率比AC0有了很明显的提高，且特征选 而言，ES在选择特征数降维方面效果要明显得多， 择出来的特征子集也得到了很好的优化这点可以 可以达到比较理想的去噪效果，也宜于跳出局部极 从表2中得到明显的说明，也说明ES在寻优能力 点，易于搜索到全局最优，得到较好的识别效果。 上更胜一筹.另外从表2所给的数据统计分析可知， 表3识别情感唤起度和效价 ES算法在识别单一情感状态时，其平均识别率比 Table 3 Recognition of arousal and valence % ACO要高出很多，也从另一方面验证了ES收敛效 最好识别率最差识别率 平均识别率 果好，寻优能力强.而且E$的平均识别率都达到了 唤起度 100 96 97.2 80%以上，其中J0Y的最好识别率达到94%，AN- 效价 91 85 89.7 GER的最好识别率达到100%，SADNESS和 由表3可以看出唤起度比效价容易识别，其中 PLEASURE的最好识别率也分别达到了92%和 唤起度的最好识别率可以达到100%，效价的最好 89%,并且其各自选择的最优子集特征数也较理想， 识别率达到了91%
·356 智能系统学报 第4卷 [9]YAO X,LIU Y.Fast evolutionary programming[C]//Pro- 3结束语 ceedings of the Fifth International Conference on Evolution- 文中介绍了将进化策略用于识别生理信号情感 ary Computation.Cambridge,USA:The MIT Press,1996: 的方法，对原始特征值进行进化选择，得到有效特征 441-450. [10]SHAFFER J D,MORISHIMA A.An adaptive crossover 组合，并用近邻法评价其分类效果，实验表明4种生 distribution mechanism for genetic algorithms[C]//Pro- 理信号识别情感状态均达到了较好的效果，也表明 ceedings of the Second International Conference on Genetic 进化策略用于情感识别是可行的.鉴于进化策略捕 Algorithm (ICGA2).Hillsdale,USA:Lawrence Erlbaum 捉全局最优解能力的不足，下一步的工作将考虑与 Associates,1987:36-40. 其他计算智能算法或各种优化策略结合来提高算法 [11]GEHLHAAR D K,FOGEL D B.Two new mutation opera- 的鲁棒性，通过分析和比较与传统方法的优越性，以 tors for enhanced search optimization in evolutionary pro- 期达到更好的效果。 gramming[C]//The Proceedings of SPIE San Jose,USA, 1997:260-269. 参考文献： [12 http://mm-werkstatt.informatik.uni-augsburg.de/project_ [1]PICARD R W,VYZAS E,HEALEY J.Affective wearable details.php?id =33. [C]//Proceedings of the First Interational Symposium on [13]ALBERTO C,MANIEZZO D.Distributed optimization by Wearable Computers.Cambridge,USA,1997:123-128. ant colonies[C]//Proc of the First European Conf on Arti- [2]HAAG A,GORONZY S,SCHAICH P,WILLAMS J.Emo- ficial Life.Paris:Elsevier Publishing,1991:134-142. tion recognition using bio-sensors:first step towards an auto- 作者简介： matic system[C]//Affective Dialogue System,Tutorial and 郝敏，男，1983年生，硕士研究 Research Workshop.Kloster Irsee,Germany,2004:36-48. 生，主要研究方向为智能信息处理与情 [3]PICARD R W,VYZAS E,HEALEY J.Toward machine e- 感计算.发表学术论文3篇，其中被I motional intelligence:analysis of affective physiological state 收录2篇。 [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(10):1175-1191. [4]PUDIL P,NOVOVICJOVA,KITTLER J.Floating search methods in feature selection[C]//Pattern Recognition Let- 刘光远，男，教授，博士，重庆市人 ters.New York,USA,1994:1119-1125. 工智能学会常务理事、重庆市教授级咨 [5]WAGNER J,KIM J,ANDRE E.From physiological signals 询专家、西南大学信号与信息处理研究 to emotions:implementing and comparing selected methods 所所长.主要研究方向为神经网络、计 for feature extraction and classification[C]//IEEE Interna- 算智能、情感计算等.主持并参与国家 tional Conference on Multimedia Expo ICME 2005). 与省部级项目十余项，在国内外发表学 Amsterdam,The Netherlands,2005:940-943. 术论文60余篇，其中近30篇被SCI、EI [6]邢文训，谢金星.现代优化计算方法[M].北京：清华大 和ISTP收录. 学出版社，2005：5168. 温万惑，女，1981年生，博士研究 [7]DARRELL W.An overview of evolutionary algorithms: 生，讲师，主要研究方向为计算智能、情 practical issues and common pitfalls[J].Information and 感计算.参与国家与省部级项目3项， Software Technology,2001,43(14):817-831. 在国内外发表学术论文10余篇，其中2 [8]SCHWEFEL H P.Numerical optimization of computer mod- 篇被SCI、EI收录. els[M].New York:John Wiley Sons,1981:235-237