第15卷第1期 智能系统学报 Vol.15 No.1 2020年1月 CAAI Transactions on Intelligent Systems Jan.2020 D0:10.11992/tis.201904065 语音情感识别研究综述 高庆吉，赵志华，徐达，邢志伟 (中国民航大学电子信息与自动化学院，天津300300) 摘要：针对语音情感识别研究体系进行综述。这一体系包括情感描述模型、情感语音数据库、特征提取与降 维、情感分类与回归算法4个方面的内容。本文总结离散情感模型、维度情感模型和两模型间单向映射的情感 描述方法：归纳出情感语音数据库选择的依据：细化了语音情感特征分类并列出了常用特征提取工具：最后对 特征提取和情感分类与回归的常用算法特点进行凝练并总结深度学习研究进展，并提出情感语音识别领域需 要解决的新问题、预测了发展趋势。 关键词：深度学习；情感语音数据库；情感描述模型；语音情感特征；特征提取；特征降维；情感分类；情感回归 中图分类号：TP391 文献标志码：A 文章编号：1673-4785(2020)01-0001-13 中文引用格式：高庆吉，赵志华，徐达，等.语音情感识别研究综述.智能系统学报，2020,15(1)：1-13 英文引用格式：GAO Qingji,ZHAO Zhihua,,XUDa,ctal.Review on speech emotion recognition researchJ.CAAI transactions on intelligent systems,2020,15(1):1-13. Review on speech emotion recognition research GAO Qingji,ZHAO Zhihua,XU Da,XING Zhiwei (College of Electronic Information and Automation,Civil Aviation University of China,Tianjin 300300,China) Abstract:In this paper,the research system of speech emotion recognition is summarized.The system includes four as- pects:emotion description models,emotion speech database,feature extraction and dimensionality reduction,sentiment classification and regression algorithms.Firstly,we sum up the emotional description method of discrete emotion model, dimensional emotion model and one-way mapping between two models,then conclude the basis of emotional speech database selection,and then refine the classification of speech emotion features and list common tools for extracting the characteristics,and finally,extract the features of common algorithms,such as feature extraction,emotion classification and regression,and make a conclusion of the progress made in deep-learning research.In addition,we also propose some problems that need to be solved in this field and predict development trend. Keywords:deep learning;sentiment speech databases;sentiment description models;acoustic sentiment features;fea- ture extraction;feature reduction;sentiment classification;sentiment regression 语音情感计算包括语音情感识别、表达和合 动翻译结果来帮助各方发言者顺畅交流M等。 成等内容，近年受到广泛关注。其中，语音情感 近年来，研究者们就语音情感识别做了大量 识别应用广泛，具有不可替代的作用。如结合驾 研究。韩文静等图从情感描述模型、情感语音数 驶员的语音川、表情：别和行为信息检测其精神 据库、特征提取和识别算法4个角度总结了2014 状态，提醒驾驶员控制情绪、安全驾驶：依据可穿 年为止的语音情感识别的研究进展，并重点分析 戴设备采集病人的语音信号实时检测其异常情感 SVM、GMM等传统机器学习算法对离散情感的 状态s1,提高治疗效率；结合语音情感信息和自 分类效果。随着深度学习技术逐步完善，在海量 收稿日期：2019-04-27. 复杂数据建模上有很大优势，多用于解决数据分 基金项目：国家自然科学基金委员会-中国民航局民航联合研 类。同时，部分研究者将其应用于语音特征的提 究基金项目(U1533203). 通信作者：赵志华.E-mail:657902648@qq.com 取，取得了一定的成果。2018年，刘振焘等介DOI: 10.11992/tis.201904065 语音情感识别研究综述 高庆吉，赵志华，徐达，邢志伟 （中国民航大学 电子信息与自动化学院，天津 300300） 摘 要：针对语音情感识别研究体系进行综述。这一体系包括情感描述模型、情感语音数据库、特征提取与降 维、情感分类与回归算法 4 个方面的内容。本文总结离散情感模型、维度情感模型和两模型间单向映射的情感 描述方法；归纳出情感语音数据库选择的依据；细化了语音情感特征分类并列出了常用特征提取工具；最后对 特征提取和情感分类与回归的常用算法特点进行凝练并总结深度学习研究进展，并提出情感语音识别领域需 要解决的新问题、预测了发展趋势。 关键词：深度学习；情感语音数据库；情感描述模型；语音情感特征；特征提取；特征降维；情感分类；情感回归 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)01−0001−13 中文引用格式：高庆吉, 赵志华, 徐达, 等. 语音情感识别研究综述 [J]. 智能系统学报, 2020, 15(1): 1–13. 英文引用格式：GAO Qingji, ZHAO Zhihua, XU Da, et al. Review on speech emotion recognition research[J]. CAAI transactions on intelligent systems, 2020, 15(1): 1–13. Review on speech emotion recognition research GAO Qingji，ZHAO Zhihua，XU Da，XING Zhiwei (College of Electronic Information and Automation, Civil Aviation University of China, Tianjin 300300, China) Abstract: In this paper, the research system of speech emotion recognition is summarized. The system includes four as￾pects: emotion description models, emotion speech database, feature extraction and dimensionality reduction, sentiment classification and regression algorithms. Firstly, we sum up the emotional description method of discrete emotion model, dimensional emotion model and one-way mapping between two models, then conclude the basis of emotional speech database selection, and then refine the classification of speech emotion features and list common tools for extracting the characteristics, and finally, extract the features of common algorithms, such as feature extraction, emotion classification and regression, and make a conclusion of the progress made in deep-learning research. In addition, we also propose some problems that need to be solved in this field and predict development trend. Keywords: deep learning; sentiment speech databases; sentiment description models; acoustic sentiment features; fea￾ture extraction; feature reduction; sentiment classification; sentiment regression 语音情感计算包括语音情感识别、表达和合 成等内容，近年受到广泛关注。其中，语音情感 识别应用广泛，具有不可替代的作用。如结合驾 驶员的语音[1] 、表情[2-3] 和行为[4] 信息检测其精神 状态，提醒驾驶员控制情绪、安全驾驶；依据可穿 戴设备采集病人的语音信号实时检测其异常情感 状态[5-6] ，提高治疗效率；结合语音情感信息和自 动翻译结果来帮助各方发言者顺畅交流[7] 等。 近年来，研究者们就语音情感识别做了大量 研究。韩文静等[8] 从情感描述模型、情感语音数 据库、特征提取和识别算法 4 个角度总结了 2014 年为止的语音情感识别的研究进展，并重点分析 SVM、GMM 等传统机器学习算法对离散情感的 分类效果。随着深度学习技术逐步完善，在海量 复杂数据建模上有很大优势，多用于解决数据分 类。同时，部分研究者将其应用于语音特征的提 取，取得了一定的成果。2018 年，刘振焘等[9] 介 收稿日期：2019−04−27. 基金项目：国家自然科学基金委员会−中国民航局民航联合研 究基金项目 (U1533203). 通信作者：赵志华. E-mail：657902648@qq.com. 第 15 卷第 1 期 智 能 系 统 学 报 Vol.15 No.1 2020 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2020