第11卷第4期 智能系统学报 Vol.11 No.4 2016年8月 CAAI Transactions on Intelligent Systems Aug.2016 D0I:10.11992/is.201606007 网络出版地址：http://www.cnki.net/kcms/detail,/23.1538.TP.20160808.0830.020.html 基于词加权LDA算法的无监督情感分类 郝洁，谢珺，苏婧琼，续欣莹，韩晓霞 (太原理工大学信息工程学院，山西晋中030600) 摘要：主题情感混合模型可以有效地提取语料的主题信息和情感倾向。本文针对现有主题/情感分析方法主题间 区分度较低的问题提出了一种词加权LDA算法(weighted latent dirichlet allocation algorithm,WLDA),该算法可以实 现无监督的主题提取和情感分析。通过计算语料中词汇与情感种子词的距离，在吉布斯采样中对不同词汇赋予不 同权重，利用每个主题下的关键词判断主题的情感倾向，进而得到每篇文档的情感分布。这种方法增强了具有情感 倾向的词汇在采样过程中的影响，从而改善了主题间的区分性。实验表明，与JST(Joint Sentiment/Topic model)模型 相比，WLDA不仅在采样中迭代速度快，也能够更好地实现主题提取和情感分类。 关键词：情感分类：主题情感混合模型：主题模型：LDA:加权算法 中图分类号：TP391文献标志码：A文章编号：1673-4785(2016)04-0539-07 中文引用格式：郝洁，谢裙，苏婧琼，等.基于词加权LDA算法的无监督情感分类[J].智能系统学报，2016,11(4)：539-545. 英文引用格式：HAO Jie,XIEJun,SU Jingqiong,etal.An unsupervised approach for sentiment classification based on weighted latent dirichlet allocation[J].CAAI Transactions on Intelligent Systems,2016,11(4):539-545. An unsupervised approach for sentiment classification based on weighted latent dirichlet allocation HAO Jie,XIE Jun,SU Jingqiong,XU Xinying,HAN Xiaoxia Information Engineering College,Taiyuan University of Technology,Jinzhong 030600,China) Abstract:The topic and sentiment unification model can efficiently detect topics and emotions for a given corpus. Faced with the low discriminability of topics in sentiment/topic analysis methods,this paper proposes a novel meth- od,the weighted latent dirichlet allocation algorithm (WLDA),which can acquire sentiments and topics without supervision.The model assigns weights to terms during Gibbs sampling by calculating the distance between seed words and terms,then counts the weights of key words to estimate the sentiment orientation of each topic and obtain the emotional distribution throughout documents.This method enhances the impact of words that convey emotional attitudes and obtains more discriminative topics as a consequence.The experiments show that WLDA,compared with the joint sentiment/topic model (JST),not only has a higher iteration sampling speed,but also gives better results for topic extraction and sentiment classification. Keywords:sentiment classification;topic and sentiment unification model;topic model;LDA;weighting algo- rithm 互联网不仅是获取信息的重要途径，也是广大 等自媒体的流行，网络购物的盛行和网购评价体系 网民表达观点和看法的平台。随着博客、微博、微信 的不断完善，对事件的观，点、对物品的评价等具有情 感倾向的文本飞速增长。这些信息对于政府部门的 收稿日期：2016-06-02.网络出版日期：2016-08-08. 基金项目：山西省回国留学人员科研项目(2015-045,2013-033)：山西省 舆情监控、企业的经营决策和个人的购买决定都起 留学回国人员科技活动择优资助项目(2013)：山西省自然科着至关重要的作用。然而，这些评价信息数量巨大、 学基金项目(2014011018-2). 通信作者：谢埔.E-mail:xiejun(@tyut.edu.cm 变化迅速，仅依赖人工收集整理不仅成本高，也难以
第 １１ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．４ ２０１６ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｕｇ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０６００７ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０８０８．０８３０．０２０．ｈｔｍｌ 基于词加权 ＬＤＡ 算法的无监督情感分类 郝洁，谢珺，苏婧琼，续欣莹，韩晓霞 （太原理工大学 信息工程学院，山西 晋中 ０３０６００） 摘 要：主题情感混合模型可以有效地提取语料的主题信息和情感倾向。 本文针对现有主题／ 情感分析方法主题间 区分度较低的问题提出了一种词加权 ＬＤＡ 算法（ｗｅｉｇｈｔｅｄ ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ，ＷＬＤＡ），该算法可以实 现无监督的主题提取和情感分析。 通过计算语料中词汇与情感种子词的距离，在吉布斯采样中对不同词汇赋予不 同权重，利用每个主题下的关键词判断主题的情感倾向，进而得到每篇文档的情感分布。 这种方法增强了具有情感 倾向的词汇在采样过程中的影响，从而改善了主题间的区分性。 实验表明，与 ＪＳＴ（ Ｊｏｉｎｔ Ｓｅｎｔｉｍｅｎｔ ／ Ｔｏｐｉｃ ｍｏｄｅｌ）模型 相比，ＷＬＤＡ 不仅在采样中迭代速度快，也能够更好地实现主题提取和情感分类。 关键词：情感分类；主题情感混合模型；主题模型；ＬＤＡ；加权算法 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１６）０４－０５３９－０７ 中文引用格式：郝洁，谢珺，苏婧琼，等． 基于词加权 ＬＤＡ 算法的无监督情感分类［Ｊ］． 智能系统学报， ２０１６， １１（４）： ５３９－５４５． 英文引用格式：ＨＡＯ Ｊｉｅ， ＸＩＥ Ｊｕｎ， ＳＵ Ｊｉｎｇｑｉｏｎｇ， ｅｔ ａｌ． Ａｎ ｕｎｓｕｐｅｒｖｉｓｅｄ ａｐｐｒｏａｃｈ ｆｏｒ ｓｅｎｔｉｍｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｗｅｉｇｈｔｅｄ ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１６， １１（４）： ５３９－５４５． Ａｎ ｕｎｓｕｐｅｒｖｉｓｅｄ ａｐｐｒｏａｃｈ ｆｏｒ ｓｅｎｔｉｍｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｗｅｉｇｈｔｅｄ ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎ ＨＡＯ Ｊｉｅ， ＸＩＥ Ｊｕｎ， ＳＵ Ｊｉｎｇｑｉｏｎｇ， ＸＵ Ｘｉｎｙｉｎｇ， ＨＡＮ Ｘｉａｏｘｉａ （Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｌｌｅｇｅ， Ｔａｉｙｕａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｊｉｎｚｈｏｎｇ ０３０６００， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｔｏｐｉｃ ａｎｄ ｓｅｎｔｉｍｅｎｔ ｕｎｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ｃａｎ ｅｆｆｉｃｉｅｎｔｌｙ ｄｅｔｅｃｔ ｔｏｐｉｃｓ ａｎｄ ｅｍｏｔｉｏｎｓ ｆｏｒ ａ ｇｉｖｅｎ ｃｏｒｐｕｓ． Ｆａｃｅｄ ｗｉｔｈ ｔｈｅ ｌｏｗ ｄｉｓｃｒｉｍｉｎａｂｉｌｉｔｙ ｏｆ ｔｏｐｉｃｓ ｉｎ ｓｅｎｔｉｍｅｎｔ ／ ｔｏｐｉｃ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄｓ， ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｎｏｖｅｌ ｍｅｔｈ⁃ ｏｄ， ｔｈｅ ｗｅｉｇｈｔｅｄ ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ （ＷＬＤＡ）， ｗｈｉｃｈ ｃａｎ ａｃｑｕｉｒｅ ｓｅｎｔｉｍｅｎｔｓ ａｎｄ ｔｏｐｉｃｓ ｗｉｔｈｏｕｔ ｓｕｐｅｒｖｉｓｉｏｎ． Ｔｈｅ ｍｏｄｅｌ ａｓｓｉｇｎｓ ｗｅｉｇｈｔｓ ｔｏ ｔｅｒｍｓ ｄｕｒｉｎｇ Ｇｉｂｂｓ ｓａｍｐｌｉｎｇ ｂｙ ｃａｌｃｕｌａｔｉｎｇ ｔｈｅ ｄｉｓｔａｎｃｅ ｂｅｔｗｅｅｎ ｓｅｅｄ ｗｏｒｄｓ ａｎｄ ｔｅｒｍｓ， ｔｈｅｎ ｃｏｕｎｔｓ ｔｈｅ ｗｅｉｇｈｔｓ ｏｆ ｋｅｙ ｗｏｒｄｓ ｔｏ ｅｓｔｉｍａｔｅ ｔｈｅ ｓｅｎｔｉｍｅｎｔ ｏｒｉｅｎｔａｔｉｏｎ ｏｆ ｅａｃｈ ｔｏｐｉｃ ａｎｄ ｏｂｔａｉｎ ｔｈｅ ｅｍｏｔｉｏｎａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｔｈｒｏｕｇｈｏｕｔ ｄｏｃｕｍｅｎｔｓ． Ｔｈｉｓ ｍｅｔｈｏｄ ｅｎｈａｎｃｅｓ ｔｈｅ ｉｍｐａｃｔ ｏｆ ｗｏｒｄｓ ｔｈａｔ ｃｏｎｖｅｙ ｅｍｏｔｉｏｎａｌ ａｔｔｉｔｕｄｅｓ ａｎｄ ｏｂｔａｉｎｓ ｍｏｒｅ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｔｏｐｉｃｓ ａｓ ａ ｃｏｎｓｅｑｕｅｎｃｅ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗ ｔｈａｔ ＷＬＤＡ， ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｊｏｉｎｔ ｓｅｎｔｉｍｅｎｔ ／ ｔｏｐｉｃ ｍｏｄｅｌ （ＪＳＴ）， ｎｏｔ ｏｎｌｙ ｈａｓ ａ ｈｉｇｈｅｒ ｉｔｅｒａｔｉｏｎ ｓａｍｐｌｉｎｇ ｓｐｅｅｄ， ｂｕｔ ａｌｓｏ ｇｉｖｅｓ ｂｅｔｔｅｒ ｒｅｓｕｌｔｓ ｆｏｒ ｔｏｐｉｃ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｓｅｎｔｉｍｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ： ｓｅｎｔｉｍｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ｔｏｐｉｃ ａｎｄ ｓｅｎｔｉｍｅｎｔ ｕｎｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ； ｔｏｐｉｃ ｍｏｄｅｌ； ＬＤＡ； ｗｅｉｇｈｔｉｎｇ ａｌｇｏ⁃ ｒｉｔｈｍ 收稿日期：２０１６－０６－０２． 网络出版日期：２０１６－０８－０８． 基金项目：山西省回国留学人员科研项目（２０１５⁃０４５，２０１３⁃０３３）；山西省 留学回国人员科技活动择优资助项目（２０１３）；山西省自然科 学基金项目（２０１４０１１０１８⁃２）． 通信作者：谢珺． Ｅ⁃ｍａｉｌ：ｘｉｅｊｕｎ＠ ｔｙｕｔ．ｅｄｕ．ｃｎ． 互联网不仅是获取信息的重要途径，也是广大 网民表达观点和看法的平台。 随着博客、微博、微信 等自媒体的流行，网络购物的盛行和网购评价体系 的不断完善，对事件的观点、对物品的评价等具有情 感倾向的文本飞速增长。 这些信息对于政府部门的 舆情监控、企业的经营决策和个人的购买决定都起 着至关重要的作用。 然而，这些评价信息数量巨大、 变化迅速，仅依赖人工收集整理不仅成本高，也难以
.540 智能系统学报 第11卷 满足时效性要求。因此文本情感分析受到了学术界 域得到了广泛应用。其图模型见图1。 与工业界越来越多的关注1-2】。 情感分类是文本情感分析的重要组成部分。它是 指根据文本所表达的含义和情感信息将文本划分为褒 扬或贬义两种或几种类型，是对文本作倾向性、观点和 态度的划分。目前，大多数情感分类方法都是监督模 型或半监督模型，但标记好的语料常常难以获取，给情 感分类造成困难。基于主题模型的情感分类，不仅具 有无监督的优势，也具有较强的可移植性)。 Lin等)提出了LSM模型(latent sentiment 图1LDA图模型o model),该模型将情感作为主题的特例，认为文档中 Fig.1 Graphical model of LDA] 词汇的分布与情感有关，从而实现了文档的无监督 图1中，各个符号的含义见表1。 情感分类，但无法识别出更细粒度的情感信息。 表1LDA符号含义对照表 Titov等[s)提出的MG-LDA模型(multi-.grain model) Table 1 Symbols and its meanings in LDA 能够以较细的粒度提取主题，该算法是一个有监督 符号 含义 学习模型，需要对样本类别进行人工标注。TAM 狄利克雷分布，0的超参数 topic-aspect model)TSM(topic sentiment mix- ⊙ 狄利克雷分布，的超参数 ture)[)能够无监督地抽取文档的主题和情感信息。 0 “文档-主题”的多项式分布 但这两种算法假定主题和情感的分布相互独立，忽 6 “主题-词汇”的多项式分布 略了二者的联系，也给解释主题和情感的关系造成 词的主题分配 困难。ASUM模型(aspect and sentiment unification 词 model)考虑了主题和情感的相关性，建立了“句 K 主题数目 子一主题一词”的3层模型，有效提取了情感和主 M 文档数目 题信息，但这种方法将每个句子视为一个文档，丢失 了上下文信息[)。JST模型(joint sentiment/opic N 一篇文档的词数 model)是一种可以无监督地提取文档主题和情感信 根据LDA模型，文档的产生过程见算法1。 息的4层贝叶斯网络，但该算法的复杂度较高，结果 算法1【o]LDA文档产生过程。 不够稳定)。欧阳继红等在ST模型的基础上，提 输入&B、K; 出了多粒度的主题情感混合模型MG-R-JST和MG 输出文档。 JST,该方法同时考虑到文档和局部两个粒度的情感 对每个主题k∈[1，K],采样词分布Pk~ 主题分布，稳定性好，但面临复杂度较高的问题9)。 Dir(B) 本文在LDA模型的基础上，提出了应用于主 对每篇文档me[1,M] 题/情感分析的词加权LDA算法(weighted latent 采样一个主题分布0。~Dir(a) dirichlet allocation,WLDA),通过计算语料中词汇与 对文档m中的每个词w 情感种子词的距离，在吉布斯采样中对各词区分对 根据Bm采样一个主题z~Mult(0m) 待，利用每个主题下的关键词判断主题的情感倾向， 根据主题z采样一个词w~Mut(9) 进而得到每篇文档的情感分布。实验表明，WLDA 其中，隐含变量0和可按式(1)和式(2)估计： 可提取细粒度情感，并且具有迭代速度快、分类精度 n()+a (1) 高的优点。 三(a+a) 1LDA模型 n0+B, (2) LDA(latent dirichlet allocation)[oj是一种3层 (n9+B) 贝叶斯模型，它描述了文档、主题、词汇间的关系。 1=1 式中：n表示文本m中主题为k的词汇数目，n LDA模型自2003年提出以来，已经有了诸多的改 表示词t中主题为k的词汇数目。V表示不计重复的 进和变形算法，并在文本分类、信息检索2]等领 词汇总数
满足时效性要求。 因此文本情感分析受到了学术界 与工业界越来越多的关注［１－２］ 。 情感分类是文本情感分析的重要组成部分。 它是 指根据文本所表达的含义和情感信息将文本划分为褒 扬或贬义两种或几种类型，是对文本作倾向性、观点和 态度的划分。 目前，大多数情感分类方法都是监督模 型或半监督模型，但标记好的语料常常难以获取，给情 感分类造成困难。 基于主题模型的情感分类，不仅具 有无监督的优势，也具有较强的可移植性［３］ 。 Ｌｉｎ 等［４］ 提 出 了 ＬＳＭ 模 型 （ ｌａｔｅｎｔ ｓｅｎｔｉｍｅｎｔ ｍｏｄｅｌ），该模型将情感作为主题的特例，认为文档中 词汇的分布与情感有关，从而实现了文档的无监督 情感分类， 但无法识别出更细粒度的情感信息。 Ｔｉｔｏｖ 等［５］提出的 ＭＧ⁃ＬＤＡ 模型（ｍｕｌｔｉ⁃ｇｒａｉｎ ｍｏｄｅｌ） 能够以较细的粒度提取主题，该算法是一个有监督 学习模型，需要对样本类别进行人工标注。 ＴＡＭ （ｔｏｐｉｃ⁃ａｓｐｅｃｔ ｍｏｄｅｌ） ［６］ 和 ＴＳＭ（ ｔｏｐｉｃ ｓｅｎｔｉｍｅｎｔ ｍｉｘ⁃ ｔｕｒｅ） ［７］能够无监督地抽取文档的主题和情感信息。 但这两种算法假定主题和情感的分布相互独立，忽 略了二者的联系，也给解释主题和情感的关系造成 困难。 ＡＳＵＭ 模型（ ａｓｐｅｃｔ ａｎｄ ｓｅｎｔｉｍｅｎｔ ｕｎｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ）考虑了主题和情感的相关性， 建立了 “ 句 子—主题—词” 的 ３ 层模型，有效提取了情感和主 题信息，但这种方法将每个句子视为一个文档，丢失 了上下文信息［８］ 。 ＪＳＴ 模型 （ ｊｏｉｎｔ ｓｅｎｔｉｍｅｎｔ ／ ｔｏｐｉｃ ｍｏｄｅｌ）是一种可以无监督地提取文档主题和情感信 息的 ４ 层贝叶斯网络，但该算法的复杂度较高，结果 不够稳定［３］ 。 欧阳继红等在 ＪＳＴ 模型的基础上，提 出了多粒度的主题情感混合模型 ＭＧ⁃Ｒ⁃ＪＳＴ 和 ＭＧ⁃ ＪＳＴ，该方法同时考虑到文档和局部两个粒度的情感 主题分布，稳定性好，但面临复杂度较高的问题［９］ 。 本文在 ＬＤＡ 模型的基础上，提出了应用于主 题／ 情感分析的词加权 ＬＤＡ 算法 （ ｗｅｉｇｈｔｅｄ ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎ，ＷＬＤＡ），通过计算语料中词汇与 情感种子词的距离，在吉布斯采样中对各词区分对 待，利用每个主题下的关键词判断主题的情感倾向， 进而得到每篇文档的情感分布。 实验表明，ＷＬＤＡ 可提取细粒度情感，并且具有迭代速度快、分类精度 高的优点。 １ ＬＤＡ 模型 ＬＤＡ（ ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏｃａｔｉｏｎ） ［１０］ 是一种 ３ 层 贝叶斯模型，它描述了文档、主题、词汇间的关系。 ＬＤＡ 模型自 ２００３ 年提出以来，已经有了诸多的改 进和变形算法，并在文本分类［１１］ 、信息检索［１２］ 等领 域得到了广泛应用。 其图模型见图 １。 图 １ ＬＤＡ 图模型［１０］ Ｆｉｇ．１ Ｇｒａｐｈｉｃａｌ ｍｏｄｅｌ ｏｆ ＬＤＡ ［１０］ 图 １ 中，各个符号的含义见表 １。 表 １ ＬＤＡ 符号含义对照表 Ｔａｂｌｅ １ Ｓｙｍｂｏｌｓ ａｎｄ ｉｔｓ ｍｅａｎｉｎｇｓ ｉｎ ＬＤＡ 符号 含义 α 狄利克雷分布，θ 的超参数 β 狄利克雷分布，φ 的超参数 θ “文档－主题”的多项式分布 φ “主题－词汇”的多项式分布 ｚ 词的主题分配 ｗ 词 Ｋ 主题数目 Ｍ 文档数目 Ｎ 一篇文档的词数 根据 ＬＤＡ 模型，文档的产生过程见算法 １。 算法 １ ［１０］ ＬＤＡ 文档产生过程。 输入 α、β、Ｋ ； 输出 文档。 对每个主题 ｋ ∈ ［１，Ｋ］ ，采样词分布 φｋ ～ Ｄｉｒ（β） 对每篇文档 ｍ ∈ ［１，Ｍ］ 采样一个主题分布 θｍ ～ Ｄｉｒ（α） 对文档 ｍ 中的每个词 ｗ 根据 θ ｍ 采样一个主题 ｚ ～ Ｍｕｌｔ（θｍ ） 根据主题 ｚ 采样一个词 ｗ ～ Ｍｕｌｔ（φｚ） 其中，隐含变量 θ 和 φ 可按式（１）和式（２）估计： θｍ，ｋ ＝ ｎ （ｋ） ｍ ＋ αｋ ∑ Ｋ ｋ ＝ １ （ｎ （ｋ） ｍ ＋ αｋ） （１） φｋ，ｔ ＝ ｎ （ｔ） ｋ ＋ βｔ ∑ Ｖ ｔ ＝ １ （ｎ （ｔ） ｋ ＋ βｔ） （２） 式中： ｎ （ｋ） ｍ 表示文本 ｍ 中主题为 ｋ 的词汇数目， ｎ （ｔ） ｋ 表示词 ｔ 中主题为 ｋ 的词汇数目。 Ｖ 表示不计重复的 词汇总数。 ·５４０· 智 能 系 统 学 报 第 １１ 卷
第4期 郝洁，等：基于词加权DA算法的无监督情感分类 ·541 2 本文算法 为正面情感种子词个数，neg为语料中包含的负面 情感种子词集合，b为负面情感种子词个数。 LDA模型假设每个词都是同等重要的。然而， 受文献[16]启发，在得到词汇权重后，本文按 无论是从信息论或是语言学来看，该假设都并不完 照式(5)对每个词的主题进行吉布斯采样，式中，W 美。文献[13]指出高频停用词对LDA模型的主题 为词汇总数，n表示文本m中，词i被分配给主题 推理有很大影响。然而，对于文本情感分类任务，在 k的数目，一i表示采样过程中不计当前词影响： 去除通常的停用词后，仍有大量与领域相关但对情 p(z=kIzi,wi,weight)= 感分类作用较小的词，具有褒贬倾向的词汇淹没其 ( 中，而使得LDA模型主题间区分度较小，分类精度 ∑Iweight()l·n+a)· 不高。以酒店评价语料为例，大量文档中都出现有 (I weight(t)I·n:+B,)· “酒店”、“房间”、“前台”等词，这些词是情感分类 (含201像)-1 时的广义“停用词”，若不加以处理，将随机散布在 各个主题的关键词当中。 (∑(1 weight((t)1·ng:+B,)-1(5) 由于这些词与领域相关，无法通过构建统一的 整个模型的“文档一主题”分布0和“主题一词 词表去除该类词汇，给主题的提取和情感倾向的划 汇”分布可分别按照式(6)和式(7)计算： 分造成困难。本文针对情感语料的词汇分布特点， 根据每个词与情感种子词的点互信息(point mutual ∑Iweight(j)I·ng+a information,PMI)【14),赋予词汇不同权重，并将权值 0m,k= (6) 信息融入吉布斯采样过程，利用每个主题下的关键 ,I weight(j)I·n+ae) 词判断主题的情感倾向，从而实现文档的情感分类。 I weight(t)l·ne+B, 整个算法的步骤如图2所示。 PL.= (7) ∑(I weight(t)l·ne+B,) = 文档集 分词 去停用词 预处理 与LDA模型类似，此处选取每个主题下p值最 大的S个词作为该主题的关键词。定义主题k的情 感倾向E(k): 文档情感 主题情感 吉布斯 词汇权 WLDA 倾向计算 倾向计算 采样 重计算 E(k)=∑weight(i)ee (8) i=1 “文档-情感”矩阵π表征了文档的情感分布， 图2WLDA算法步骤 Fig.2 Road map of WLDA algorithm 其规模为M×2,由正面情感分布π和负面情感分 点互信息可根据两个离散随机变量的共现概率 布π组成。其定义见式(9)和式(10)： 度量其相关性。对于两个变量x和y,其点互信息： 9,E(i)>0 (9) i=1 PMI(x,y)=log- p(x,y) (3) (x)·p(y) ∑9，E(i)<0 (10) i=1 显然，两个变量共现的概率越大，其PMI值越 式中：日：为每一篇文档分配给主题i的概率，T和 大。以此为理论基础，文献[15]根据某一词汇与正 r分别是文档为正面或负面的概率值，刻画了每 面情感种子词和负面情感种子词的PM值度量该 篇文档的情感分布情况。在后面的实验中，认为文 词的情感倾向。考虑到种子词在语料中的出现可能 档d的情感倾向： 不均衡，本文对原公式稍加改动，根据语料中出现的 E(d)=argmax(Ta） (11) 正向和负向种子词个数添加归一化因子。对于词 完整的WLDA算法如下： w,其权重定义为 算法2基于LDA的情感分类算法。 weight(w)=- p(w,pos(i)) 输入待分类文档，情感种子词： a i=1 p(o)·p(pos(i)) 输出情感分类结果。 1了1og p(w,neg(j)) ForW∈W (4) b台p(o）·p(negU)) 按式(4)计算weight(w) 式中：pos为语料中包含的正面情感种子词集合，a Repeat
２ 本文算法 ＬＤＡ 模型假设每个词都是同等重要的。 然而， 无论是从信息论或是语言学来看，该假设都并不完 美。 文献［１３］指出高频停用词对 ＬＤＡ 模型的主题 推理有很大影响。 然而，对于文本情感分类任务，在 去除通常的停用词后，仍有大量与领域相关但对情 感分类作用较小的词，具有褒贬倾向的词汇淹没其 中，而使得 ＬＤＡ 模型主题间区分度较小，分类精度 不高。 以酒店评价语料为例，大量文档中都出现有 “酒店”、“房间”、“前台” 等词，这些词是情感分类 时的广义“停用词”，若不加以处理，将随机散布在 各个主题的关键词当中。 由于这些词与领域相关，无法通过构建统一的 词表去除该类词汇，给主题的提取和情感倾向的划 分造成困难。 本文针对情感语料的词汇分布特点， 根据每个词与情感种子词的点互信息（ ｐｏｉｎｔ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ，ＰＭＩ） ［ １４ ］ ，赋予词汇不同权重，并将权值 信息融入吉布斯采样过程，利用每个主题下的关键 词判断主题的情感倾向，从而实现文档的情感分类。 整个算法的步骤如图 ２ 所示。 图 ２ ＷＬＤＡ 算法步骤 Ｆｉｇ．２ Ｒｏａｄ ｍａｐ ｏｆ ＷＬＤＡ ａｌｇｏｒｉｔｈｍ 点互信息可根据两个离散随机变量的共现概率 度量其相关性。 对于两个变量 ｘ 和 ｙ ，其点互信息： ＰＭＩ（ｘ，ｙ） ＝ ｌｏｇ ｐ（ｘ，ｙ） ｐ（ｘ）·ｐ（ｙ） （３） 显然，两个变量共现的概率越大，其 ＰＭＩ 值越 大。 以此为理论基础，文献［１５］根据某一词汇与正 面情感种子词和负面情感种子词的 ＰＭＩ 值度量该 词的情感倾向。 考虑到种子词在语料中的出现可能 不均衡，本文对原公式稍加改动，根据语料中出现的 正向和负向种子词个数添加归一化因子。 对于词 ｗ ，其权重定义为 ｗｅｉｇｈｔ（ｗ） ＝ １ ａ ∑ ａ ｉ ＝ １ ｌｏｇ ｐ（ｗ，ｐｏｓ（ｉ）） ｐ（ｗ）·ｐ（ｐｏｓ（ｉ）） － １ ｂ ∑ ｂ ｊ ＝ １ ｌｏｇ ｐ（ｗ，ｎｅｇ（ｊ）） ｐ（ｗ）·ｐ（ｎｅｇ（ｊ）） （４） 式中： ｐｏｓ 为语料中包含的正面情感种子词集合， ａ 为正面情感种子词个数， ｎｅｇ 为语料中包含的负面 情感种子词集合， ｂ 为负面情感种子词个数。 受文献［１６］ 启发，在得到词汇权重后，本文按 照式（５）对每个词的主题进行吉布斯采样，式中， Ｗ 为词汇总数， ｎ （ｋ） ｍｊ 表示文本 ｍ 中，词 ｉ 被分配给主题 ｋ 的数目， ¬ ｉ 表示采样过程中不计当前词影响： ｐ（ｚｉ ＝ ｋ ｜ ｚ¬ ｉ，ｗ¬ ｉ，ｗｅｉｇｈｔ） ＝ （∑ Ｗ ｊ ＝ １ ｜ ｗｅｉｇｈｔ（ｊ） ｜·ｎ （ｋ） ｍｊ，¬ ｉ ＋ αｋ）· （｜ ｗｅｉｇｈｔ（ｔ） ｜·ｎ （ｔ） ｋ，¬ ｉ ＋ βｔ）· （ ∑ Ｋ ｋ ＝ １ （∑ Ｗ ｊ ＝ １ ｜ ｗｅｉｇｈｔ（ｊ）｜·ｎ （ｋ） ｍｊ，¬ ｉ ＋αｋ ） ） － １· （∑ Ｖ ｔ ＝ １ （｜ ｗｅｉｇｈｔ（ｔ） ｜·ｎ （ｔ） ｋ，¬ ｉ ＋ βｔ）） － １ （５） 整个模型的“文档—主题”分布 θ 和“主题—词 汇”分布 φ 可分别按照式（６）和式（７）计算： θｍ，ｋ ＝ ∑ Ｗ ｊ ＝ １ ｜ ｗｅｉｇｈｔ（ｊ） ｜·ｎ （ｋ） ｍｊ ＋ αｋ ∑ Ｋ ｋ ＝ １ （∑ Ｗ ｊ ＝ １ ｜ ｗｅｉｇｈｔ（ｊ） ｜·ｎ （ｋ） ｍｊ ＋ αｋ） （６） φｋ，ｔ ＝ ｜ ｗｅｉｇｈｔ（ｔ） ｜·ｎ （ｔ） ｋ ＋ βｔ ∑ Ｖ ｔ ＝ １ （｜ ｗｅｉｇｈｔ（ｔ） ｜·ｎ （ｔ） ｋ ＋ βｔ） （７） 与 ＬＤＡ 模型类似，此处选取每个主题下 φ 值最 大的 Ｓ 个词作为该主题的关键词。 定义主题 ｋ 的情 感倾向 Ｅ（ｋ） ： Ｅ（ｋ） ＝ ∑ Ｓ ｉ ＝ １ ｗｅｉｇｈｔ（ｉ）φｋｉ （８） “文档－情感”矩阵 π 表征了文档的情感分布， 其规模为 Ｍ × ２，由正面情感分布 πｐｏｓ 和负面情感分 布 πｎｅｇ 组成。 其定义见式（９）和式（１０）： πｐｏｓ ＝ ∑ Ｋ ｉ ＝ １ θｉ，Ｅ（ｉ） ＞ ０ （９） πｎｅｇ ＝ ∑ Ｋ ｉ ＝ １ θｉ，Ｅ（ｉ） ＜ ０ （１０） 式中： θｉ 为每一篇文档分配给主题 ｉ 的概率， πｐｏｓ 和 πｎｅｇ 分别是文档为正面或负面的概率值，刻画了每 篇文档的情感分布情况。 在后面的实验中，认为文 档 ｄ 的情感倾向： Ｅ（ｄ） ＝ ａｒｇｍａｘ（πｄ ） （１１） 完整的 ＷＬＤＡ 算法如下： 算法 ２ 基于 ＷＬＤＡ 的情感分类算法。 输入 待分类文档，情感种子词； 输出 情感分类结果。 Ｆｏｒ ｗ ∈ Ｗ 按式（４）计算 ｗｅｉｇｈｔ（ ｗ） Ｒｅｐｅａｔ 第 ４ 期 郝洁，等：基于词加权 ＬＤＡ 算法的无监督情感分类 ·５４１·
542 智能系统学报 第11卷 Form∈M (210, 在已知情感种子词中 weight(w)= Forn∈N 0.5 其他 按式(5)采样每个词的主题 (12) Until收敛or达到最大迭代次数 当一个词的权重大于1时，表明其作用在采样 分别按照式(6)和式(7)计算0、P 中将会被增强：小于1时，其重要性降低。若将全部 Fork∈K 权重置为1，则为一般的吉布斯采样。 Fors∈S 方法1和方法3均能将“舒适”、“实惠”等词赋 按式(8)计算主题k的情感倾向E(k) 以较大权重，将部分没有情感色彩的词如“服务 If E(k)>0 员”、“酒店”等赋以较小权重，但对于未收录的情感 T1=T1+0 词汇如“很脏”、“破”等，方法3表现不佳。方法2 If E(k)Tm.2 均是PM加权方式。 文档情感为正面 3.3WLDA和LSM模型对比 Else 在主题模型中，通常以各个主题下的关键词来 文档情感为负面 表征该主题的含义。表3为采用语料1时WLDA 3实验结果与分析 与LSM模型的关键词对比。 表3WLDA和LSM关键词 3.1实验设置 Table 3 Keywords of WLDA and LSM 语料1为中科院谭松波等收集整理的酒店评论 模型 正面 负面 语料，从中随机选取带有正向和负向情感倾向标注 的评论各500篇：语料2为从互联网爬取的酒店评 不错方便热情 差携程不知道 论11197篇，包含正向文本5891篇和负向文本 免费酒店满意 不能房间根本 5306篇。WLDA和JST模型的正面和负面情感种 总体房间舒服 打电话酒店电话 WLDA 干净挺下次 太前台只能 子词来自知网的《中文情感分析用词语集》。实验 舒适特色周到 告诉不好不要 前，首先对语料进行了分词、去停用词等预处理。 安静推荐很快 洗澡退房失望 WLDA参数取经验值a=50/K,B=0.01,S= 感动交通 服务员投诉 100。实验以LSM和JST两种经典算法作为对比， LSM模型中，选取ax=50/K,B=0.01:JST模型参数 酒店房间不错 酒店房间前台 设置与文献[6]保持一致。3种算法的迭代次数均 感觉服务入住 入住携程服务员 为1000次。 早餐方便免费 服务晚上客人 3.2加权方式对比 LSM 小吃设施 发现差电话 表2列举了部分词汇在3种加权方式下的权重值。 价格干净环境 退房打电话不能 表2各加权方式下部分词汇权重对比 大餐厅下次 房不知道点这家 Table 2 Term weights in different weighting algorithms 服务员晚上 宾馆 词汇 PMI IDF 二值化 在WLDA中，超过一半的关键词都具有明显的 舒适 3.31 0.63 2 情感倾向，如“不错”、“方便”、“失望”等，使读者更 实惠 2.92 0.55 2 容易区分主题的情感倾向：而在LSM模型中，正如 很脏 2.16 0.71 0.5 上文所提到的，体现情感的词汇出现较少，而“酒 破 3.16 0.70 0.5 店”、“房间”、“人住”等不能表达明确情感色彩的词 服务员 0.10 0.43 0.5 散布在正面和负面两类情感的关键词中。 酒店 0.36 0.19 0.5 表4展示了WLDA和LSM模型对文档的情感 方法1PMI已在上文详述，方法2IDF权重计算 分类精度。在关键词部分，虽然LSM中涉及的具有 方法来自文献[16]，方法3的二值化见式(12)： 情感倾向的词汇较少，仍可辨别两类关键词的正负
Ｆｏｒ ｍ ∈ Ｍ Ｆｏｒ ｎ ∈ Ｎ 按式（５）采样每个词的主题 Ｕｎｔｉｌ 收敛 ｏｒ 达到最大迭代次数 分别按照式（６）和式（７）计算 θ、φ Ｆｏｒ ｋ ∈ Ｋ Ｆｏｒ ｓ ∈ Ｓ 按式（８）计算主题 ｋ 的情感倾向 Ｅ（ｋ） Ｉｆ Ｅ（ｋ） ＞０ π１ ＝ π１ ＋ θｋ Ｉｆ Ｅ（ｋ） ＜０ π２ ＝ π２ ＋ θｋ Ｆｏｒ ｍ ∈ Ｍ Ｉｆ πｍ，１ ＞ πｍ，２ 文档情感为正面 Ｅｌｓｅ 文档情感为负面 ３ 实验结果与分析 ３．１ 实验设置 语料 １ 为中科院谭松波等收集整理的酒店评论 语料，从中随机选取带有正向和负向情感倾向标注 的评论各 ５００ 篇；语料 ２ 为从互联网爬取的酒店评 论 １１ １９７ 篇，包含正向文本 ５ ８９１ 篇和负向文本 ５ ３０６篇。 ＷＬＤＡ 和 ＪＳＴ 模型的正面和负面情感种 子词来自知网的《中文情感分析用词语集》。 实验 前，首先对语料进行了分词、去停用词等预处理。 ＷＬＤＡ 参数取经验值 α ＝ ５０ ／ Ｋ ， β ＝ ０．０１， Ｓ ＝ １００。 实验以 ＬＳＭ 和 ＪＳＴ 两种经典算法作为对比， ＬＳＭ 模型中，选取 α ＝ ５０ ／ Ｋ ， β ＝ ０．０１；ＪＳＴ 模型参数 设置与文献［６］保持一致。 ３ 种算法的迭代次数均 为 １ ０００ 次。 ３．２ 加权方式对比 表２ 列举了部分词汇在３ 种加权方式下的权重值。 表 ２ 各加权方式下部分词汇权重对比 Ｔａｂｌｅ ２ Ｔｅｒｍ ｗｅｉｇｈｔｓ ｉｎ ｄｉｆｆｅｒｅｎｔ ｗｅｉｇｈｔｉｎｇ ａｌｇｏｒｉｔｈｍｓ 词汇 ＰＭＩ ＩＤＦ 二值化 舒适 ３．３１ ０．６３ ２ 实惠 ２．９２ ０．５５ ２ 很脏 ２．１６ ０．７１ ０．５ 破 ３．１６ ０．７０ ０．５ 服务员 ０．１０ ０．４３ ０．５ 酒店 ０．３６ ０．１９ ０．５ 方法 １ ＰＭＩ 已在上文详述，方法 ２ＩＤＦ 权重计算 方法来自文献［１６］，方法 ３ 的二值化见式（１２）： ｗｅｉｇｈｔ（ｗ） ＝ ２ｗ， 在已知情感种子词中 {０．５， 其他 （１２） 当一个词的权重大于 １ 时，表明其作用在采样 中将会被增强；小于 １ 时，其重要性降低。 若将全部 权重置为 １，则为一般的吉布斯采样。 方法 １ 和方法 ３ 均能将“舒适”、“实惠”等词赋 以较大权重，将部分没有情感色彩的词如“ 服务 员”、“酒店”等赋以较小权重，但对于未收录的情感 词汇如“很脏”、“破” 等，方法 ３ 表现不佳。 方法 ２ 将提高出现次数较少的罕见词的权重，而同时降低 高频情感词和高频非情感词的权重。 综上，３ 种方 法中 ＰＭＩ 加权最适用于本文，故以下实验中采用的 均是 ＰＭＩ 加权方式。 ３．３ ＷＬＤＡ 和 ＬＳＭ 模型对比 在主题模型中，通常以各个主题下的关键词来 表征该主题的含义。 表 ３ 为采用语料 １ 时 ＷＬＤＡ 与 ＬＳＭ 模型的关键词对比。 表 ３ ＷＬＤＡ 和 ＬＳＭ 关键词 Ｔａｂｌｅ ３ Ｋｅｙｗｏｒｄｓ ｏｆ ＷＬＤＡ ａｎｄ ＬＳＭ 模型 正面 负面 ＷＬＤＡ 不错 方便 热情 免费 酒店 满意 总体 房间 舒服 干净 挺 下次 舒适 特色 周到 安静 推荐 很快 感动 交通 差 携程 不知道 不能 房间 根本 打电话 酒店 电话 太 前台 只能 告诉 不好 不要 洗澡 退房 失望 服务员 投诉 ＬＳＭ 酒店 房间 不错 感觉 服务 入住 早餐 方便 免费 小 吃 设施 价格 干净 环境 大 餐厅 下次 服务员 晚上 酒店 房间 前台 入住 携程 服务员 服务 晚上 客人 发现 差 电话 退房 打电话 不能 房 不知道 点 这家 宾馆 在 ＷＬＤＡ 中，超过一半的关键词都具有明显的 情感倾向，如“不错”、“方便”、“失望”等，使读者更 容易区分主题的情感倾向；而在 ＬＳＭ 模型中，正如 上文所提到的，体现情感的词汇出现较少，而“酒 店”、“房间”、“入住”等不能表达明确情感色彩的词 散布在正面和负面两类情感的关键词中。 表 ４ 展示了 ＷＬＤＡ 和 ＬＳＭ 模型对文档的情感 分类精度。 在关键词部分，虽然 ＬＳＭ 中涉及的具有 情感倾向的词汇较少，仍可辨别两类关键词的正负 ·５４２· 智 能 系 统 学 报 第 １１ 卷
第4期 郝洁，等：基于词加权DA算法的无监督情感分类 .543. 情感倾向。但具体到刻画各个文档的情感，其精度 1.0 远低于WLDA,可见这类广义停用词对模型性能的 影响。 0.8 表4WIDA和LSM模型情感分类精度 Table 4 Sentiment classification accuracy of WLDA 0.6 一语料1WLDA and LSM % 语料2WLDA 8一语料1JST 日一语料2JST 模型 正面 负面 总 .4 0 20 4060 80 100 WLDA 86.8 92.6 89.7 主题数目 LSM 80.4 70.0 75.2 图3WLDA和JST模型分类精度对比 此处以LSM为对比，说明了词汇加权对吉布斯 Fig.3 Sentiment classification accuracy of WLDA and JST 采样结果的影响，但由于LSM模型只能将文档划分 对于语料1和语料2，WLDA不仅在情感分类 为正面、负面两类或正面、负面、中性三类，无法提取 上均有良好表现，受主题数目选取的影响也比JST 更细粒度的主题和情感信息，后文的实验均采用 模型更小。 WLDA与JST两个模型的对比。 3.5WLDA和JST模型的关键词对比 3.4WLDA和JST模型的情感分类精度对比 在语料1中，当K=6时，两种算法的分类精度 图3为WLDA和JST模型选取不同主题数目 达到最高。表5列举了K=6时，WLDA和JST模型 时，在语料1和语料2下的情感分类精度。 得到的关键词，并归纳了关键词的主要内容。 表5WLDA和JST关键词 Table 5 Keywords of WLDA and JST 编号 情感倾向 主题归纳 WLDA 主题归纳 JST 不错免费满意舒适周到 酒店房间房不错人住 舒服特色享受总体 携程大床服务感觉 褒义 房间舒适 房间舒适 温馨房间酒店宽敞 免费豪华价格行政 推荐安静 大堂设施 热情感动酒店不错 房间 酒店服务入住服务员 帮小姐打电话服务员 褒义 服务热情 服务 行李房间客人大堂帮吃 安排工作人员员工花园 餐饮 免费热情朋友安排早餐 下次很快感谢 不错方便总体酒店 酒店不错房间感觉 房间 褒义 交通方便 干净香港房间交通满意 方便入住小干净环境吃 餐饮 步行太安静位置齐全免费 早餐价格设施晚上服务 房间酒店早餐服务员 洗澡差水根本太毛巾 晚上空调感觉不好差 贬义 卫生设施差 地毯只能床单门最差 房间设施差 卫生间宾馆装修不能 如家不如酒店卫生间 太不知道 携程电话告诉不能 酒店前台房间入住携程 贬义 投诉交涉 前台打电话不知道酒店 投诉交涉 服务员电话客人服务退房 投诉退房收经理根本结帐 打电话告诉发现经理 差空调房间不好太失望 房间 酒店房间携程服务 贬义 房间设施差 不知道吵实在不能根本 服务 价格感觉前台朋友小这家 很差声音只好打电话 交通 入住机场四星补充出租车 可以看到，WLDA得到的关键词多为单一方面 中，部分主题由多个方面的评价组成，如主题2，在 评价，一致性较强，易于人的理解。而在ST模型 15个关键词中，同时涉及到房间、服务、餐饮三方面
情感倾向。 但具体到刻画各个文档的情感，其精度 远低于 ＷＬＤＡ，可见这类广义停用词对模型性能的 影响。 表 ４ ＷＬＤＡ 和 ＬＳＭ 模型情感分类精度 Ｔａｂｌｅ ４ Ｓｅｎｔｉｍｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ＷＬＤＡ ａｎｄ ＬＳＭ ％ 模型 正面 负面 总 ＷＬＤＡ ８６．８ ９２．６ ８９．７ ＬＳＭ ８０．４ ７０．０ ７５．２ 此处以 ＬＳＭ 为对比，说明了词汇加权对吉布斯 采样结果的影响，但由于 ＬＳＭ 模型只能将文档划分 为正面、负面两类或正面、负面、中性三类，无法提取 更细粒度的主题和情感信息，后文的实验均采用 ＷＬＤＡ 与 ＪＳＴ 两个模型的对比。 ３．４ ＷＬＤＡ 和 ＪＳＴ 模型的情感分类精度对比 图 ３ 为 ＷＬＤＡ 和 ＪＳＴ 模型选取不同主题数目 时，在语料 １ 和语料 ２ 下的情感分类精度。 图 ３ ＷＬＤＡ 和 ＪＳＴ 模型分类精度对比 Ｆｉｇ．３ Ｓｅｎｔｉｍｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ＷＬＤＡ ａｎｄ ＪＳＴ 对于语料 １ 和语料 ２，ＷＬＤＡ 不仅在情感分类 上均有良好表现，受主题数目选取的影响也比 ＪＳＴ 模型更小。 ３．５ ＷＬＤＡ 和 ＪＳＴ 模型的关键词对比 在语料 １ 中，当 Ｋ ＝ ６ 时，两种算法的分类精度 达到最高。 表 ５ 列举了 Ｋ ＝ ６ 时，ＷＬＤＡ 和 ＪＳＴ 模型 得到的关键词，并归纳了关键词的主要内容。 表 ５ ＷＬＤＡ 和 ＪＳＴ 关键词 Ｔａｂｌｅ ５ Ｋｅｙｗｏｒｄｓ ｏｆ ＷＬＤＡ ａｎｄ ＪＳＴ 编号 情感倾向 主题归纳 ＷＬＤＡ 主题归纳 ＪＳＴ １ 褒义 房间舒适 不错 免费 满意 舒适 周到 舒服 特色 享受 总体 温馨 房间 酒店 宽敞 推荐 安静 房间舒适 酒店 房间 房 不错 入住 携程 大床 服务 感觉 免费 豪华 价格 行政 大堂 设施 ２ 褒义 服务热情 热情 感动 酒店 不错 帮 小姐 打电话 服务员 安排 工作人员 员工 花园 下次 很快 感谢 房间 服务 餐饮 酒店 服务 入住 服务员 行李 房间 客人 大堂 帮 吃 免费 热情 朋友 安排 早餐 ３ 褒义 交通方便 不错 方便 总体 酒店 干净 香港 房间 交通 满意 步行太 安静 位置 齐全 免费 房间 餐饮 酒店 不错 房间 感觉 方便 入住 小 干净 环境 吃 早餐 价格 设施 晚上 服务 ４ 贬义 卫生设施差 洗澡 差 水 根本 太 毛巾 地毯 只能 床单 门 最差 如家 不如 酒店 卫生间 房间设施差 房间 酒店 早餐 服务员 晚上 空调 感觉 不好 差 卫生间 宾馆 装修 不能 太 不知道 ５ 贬义 投诉交涉 携程 电话 告诉 不能 前台 打电话 不知道 酒店 投诉 退房 收 经理 根本 结帐 投诉交涉 酒店 前台 房间 入住 携程 服务员 电话 客人 服务 退房 打电话 告诉 发现 经理 ６ 贬义 房间设施差 差 空调 房间 不好 太 失望 不知道 吵 实在 不能 根本 很差 声音 只好 打电话 房间 服务 交通 酒店 房间 携程 服务 价格 感觉 前台 朋友 小 这家 入住 机场 四星 补充 出租车 可以看到，ＷＬＤＡ 得到的关键词多为单一方面 评价，一致性较强，易于人的理解。 而在 ＪＳＴ 模型 中，部分主题由多个方面的评价组成，如主题 ２，在 １５ 个关键词中，同时涉及到房间、服务、餐饮三方面 第 ４ 期 郝洁，等：基于词加权 ＬＤＡ 算法的无监督情感分类 ·５４３·
.544. 智能系统学报 第11卷 内容：主题6同时涉及房间、服务、交通三方面内容。 ×10 除此之外，WLDA的关键词中涵盖的情感词汇更丰 富，主题的情感倾向也更加突出。与ST模型相比， 6 WLDA得到的各个主题的关键词语义和情感都更加 明晰。 3.6WLDA和JST模型的主题KL距离对比 3 上文通过关键词的列举直观展示了WLDA的 性能，本部分将借助主题与背景主题的平均KL距 JST 离定量描述主题的区分性。其核心思想是一个合理 -WLDA D 的主题总倾向于在部分文档集中出现，主题在所有 ×10 0.20.40.6 0.81.0 文档中出现的概率越平均，说明该主题越可能为垃 迭代次数 圾/非重要主题。极端情况，当某个主题在所有 图4WLDA和JST模型运行时间对比 文档中出现的概率都相同，该主题对文档的区分能 Fig.4 Time consumption comparison of WLDA and JST 力为零。主题与背景主题的平均KL距离KLb定 由于本文算法需要首先计算词汇权重，故吉布 义如下： 斯采样前的处理时间比JST模型长，但单次迭代速 ∑aPu(9.leb) 度比JST更快。当吉布斯采样的次数较小时，JST模 KL b= (11) K 型消耗时间更短，然而，随着采样次数的增加，WL 式中：0b:为0的背景主题，其规模与0相同，为 DA的时间优势愈发明显。另外，对于同一语料库， 取不同K值或其他参数发生改变时无需重复计算词 M×1,Hi∈M,0_bs= ∑9./M。 i=1 汇权重，故在多次试验中，其平均运行时间将比图3 表6WLDA和ST模型中主题与背景主题的平均KL距离 所展示的更短。 Table 6 Kullback-Leibler divergence of WLDA and JST 4结束语 主题数目 WLDA JST 4 201.7 75.2 本文提出了一种用于情感分类的词加权LDA 6 170.7 85.9 算法，通过度量词汇与情感种子词的点互信息，在吉 9 149.8 76.5 布斯采样中为不同词汇赋予不同权重，并利用每个 o 131.4 72.0 主题下的关键词判断主题的情感倾向，从而实现文 12 119.2 62.7 档的情感分类。实验表明，WLDA不仅具有无监督、 14 105.9 58.5 可提取细粒度情感的优点，而且分类精度较高，在采 16 93.9 52.3 样中迭代速度较快。由于WLDA采用的是“词袋” 模型，忽略了词与词之间的联系，可能会出现局部情 18 89.8 49.8 感判断错误，因此，如何将词序信息融入WLDA是 20 80.5 46.7 下一步的工作重点。 40 46.5 26.6 60 31.1 17.8 参考文献： 80 22.5 12.3 [1]AGARWAL B,PORIA S,MITTAL N,et al.Concept-level 100 16.9 10.1 sentiment analysis with dependency-based semantic parsing: 表6展示了WLDA和JST模型主题与背景主题 a novel approach[J].Cognitive computation,2015,7(4): 487-499. 的平均KL距离，其值越大，说明主题与背景主题的距 离越远，主题的可区分性越强。可以看到，在各个主 [2]CAMBRIA E.Affective computing and sentiment analysis 题数目下，WLDA的主题区分能力均优于JST模型。 [J].IEEE intelligent systems,2016,31(2):102-107. 3.7WLDA和JST模型的时间消耗对比 [3]LIN Chenghua,HE Yulan.Joint sentiment/topic model for sentiment analysis[C]//Proceedings of the 18th ACM Con- 以语料1为例，图4对比了K=6时WLDA和 ference on Information and Knowledge Management.Hong JST模型不同迭代次数所需的时间。 Kong,China:ACM,2009:375-384
内容；主题 ６ 同时涉及房间、服务、交通三方面内容。 除此之外，ＷＬＤＡ 的关键词中涵盖的情感词汇更丰 富，主题的情感倾向也更加突出。 与 ＪＳＴ 模型相比， ＷＬＤＡ 得到的各个主题的关键词语义和情感都更加 明晰。 ３．６ ＷＬＤＡ 和 ＪＳＴ 模型的主题 ＫＬ 距离对比 上文通过关键词的列举直观展示了 ＷＬＤＡ 的 性能，本部分将借助主题与背景主题的平均 ＫＬ 距 离定量描述主题的区分性。 其核心思想是一个合理 的主题总倾向于在部分文档集中出现，主题在所有 文档中出现的概率越平均，说明该主题越可能为垃 圾／ 非重要主题［１７］ 。 极端情况，当某个主题在所有 文档中出现的概率都相同，该主题对文档的区分能 力为零。 主题与背景主题的平均 ＫＬ 距离 ＫＬ＿ｂ 定 义如下： ＫＬ＿ｂ ＝ ∑ Ｋ ｋ ＝ １ ＤＫＬ（θｋ ｜ ｜ θ＿ｂｋ） Ｋ （１１） 式中： θ＿ｂｋ 为 θｋ 的背景主题，其规模与 θｋ 相同，为 Ｍ ×１， ∀ｉ ∈ Ｍ ， θ＿ｂｋｉ ＝ ∑ Ｍ ｉ ＝ １ θｉｋ ／ Ｍ 。 表 ６ ＷＬＤＡ 和 ＪＳＴ 模型中主题与背景主题的平均 ＫＬ 距离 Ｔａｂｌｅ ６ Ｋｕｌｌｂａｃｋ⁃Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ ｏｆ ＷＬＤＡ ａｎｄ ＪＳＴ 主题数目 ＷＬＤＡ ＪＳＴ ４ ２０１．７ ７５．２ ６ １７０．７ ８５．９ ８ １４９．８ ７６．５ １０ １３１．４ ７２．０ １２ １１９．２ ６２．７ １４ １０５．９ ５８．５ １６ ９３．９ ５２．３ １８ ８９．８ ４９．８ ２０ ８０．５ ４６．７ ４０ ４６．５ ２６．６ ６０ ３１．１ １７．８ ８０ ２２．５ １２．３ １００ １６．９ １０．１ 表 ６ 展示了 ＷＬＤＡ 和 ＪＳＴ 模型主题与背景主题 的平均 ＫＬ 距离，其值越大，说明主题与背景主题的距 离越远，主题的可区分性越强。 可以看到，在各个主 题数目下，ＷＬＤＡ 的主题区分能力均优于 ＪＳＴ 模型。 ３．７ ＷＬＤＡ 和 ＪＳＴ 模型的时间消耗对比 以语料 １ 为例，图 ４ 对比了 Ｋ ＝ ６ 时 ＷＬＤＡ 和 ＪＳＴ 模型不同迭代次数所需的时间。 图 ４ ＷＬＤＡ 和 ＪＳＴ 模型运行时间对比 Ｆｉｇ．４ Ｔｉｍｅ ｃｏｎｓｕｍｐｔｉｏｎ ｃｏｍｐａｒｉｓｏｎ ｏｆ ＷＬＤＡ ａｎｄ ＪＳＴ 由于本文算法需要首先计算词汇权重，故吉布 斯采样前的处理时间比 ＪＳＴ 模型长，但单次迭代速 度比 ＪＳＴ 更快。 当吉布斯采样的次数较小时，ＪＳＴ 模 型消耗时间更短，然而，随着采样次数的增加，ＷＬ⁃ ＤＡ 的时间优势愈发明显。 另外，对于同一语料库， 取不同 Ｋ 值或其他参数发生改变时无需重复计算词 汇权重，故在多次试验中，其平均运行时间将比图 ３ 所展示的更短。 ４ 结束语 本文提出了一种用于情感分类的词加权 ＬＤＡ 算法，通过度量词汇与情感种子词的点互信息，在吉 布斯采样中为不同词汇赋予不同权重，并利用每个 主题下的关键词判断主题的情感倾向，从而实现文 档的情感分类。 实验表明，ＷＬＤＡ 不仅具有无监督、 可提取细粒度情感的优点，而且分类精度较高，在采 样中迭代速度较快。 由于 ＷＬＤＡ 采用的是“词袋” 模型，忽略了词与词之间的联系，可能会出现局部情 感判断错误，因此，如何将词序信息融入 ＷＬＤＡ 是 下一步的工作重点。 参考文献： ［１］ＡＧＡＲＷＡＬ Ｂ， ＰＯＲＩＡ Ｓ， ＭＩＴＴＡＬ Ｎ， ｅｔ ａｌ． Ｃｏｎｃｅｐｔ⁃ｌｅｖｅｌ ｓｅｎｔｉｍｅｎｔ ａｎａｌｙｓｉｓ ｗｉｔｈ ｄｅｐｅｎｄｅｎｃｙ⁃ｂａｓｅｄ ｓｅｍａｎｔｉｃ ｐａｒｓｉｎｇ： ａ ｎｏｖｅｌ ａｐｐｒｏａｃｈ［Ｊ］． Ｃｏｇｎｉｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎ， ２０１５， ７（４）： ４８７－４９９． ［２］ ＣＡＭＢＲＩＡ Ｅ． Ａｆｆｅｃｔｉｖｅ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｓｅｎｔｉｍｅｎｔ ａｎａｌｙｓｉｓ ［Ｊ］． ＩＥＥＥ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６， ３１（２）： １０２－１０７． ［３］ ＬＩＮ Ｃｈｅｎｇｈｕａ， ＨＥ Ｙｕｌａｎ． Ｊｏｉｎｔ ｓｅｎｔｉｍｅｎｔ ／ ｔｏｐｉｃ ｍｏｄｅｌ ｆｏｒ ｓｅｎｔｉｍｅｎｔ ａｎａｌｙｓｉｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １８ｔｈ ＡＣＭ Ｃｏｎ⁃ ｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ． Ｈｏｎｇ Ｋｏｎｇ， Ｃｈｉｎａ： ＡＣＭ， ２００９： ３７５－３８４． ·５４４· 智 能 系 统 学 报 第 １１ 卷
第4期 郝洁，等：基于词加权DA算法的无监督情感分类 ·545. [4]LIN Chenghua,HE Yulan,EVERSON R.A comparative [13]WALLACH H M.Topic modeling:beyond bag-of-words study of Bayesian models for unsupervised sentiment detec- [C]//Proceedings of the 23rd International Conference on tion [C]//Proceedings of the Fourteenth Conference on Machine Learning.New York,USA:ACM,2006:977- Computational Natural Language Learning.Stroudsburg, 984. PA,USA:ACM,2011:144-152. [14]CHURCH K W,HANKS P.Word association norms,mu- [5]TITOV I,MCDONALD R.A joint model of text and aspect tual information,and lexicography[].Computational lin- ratings for sentiment summarization[C]//Proceedings of An- guistics,1990,16(1):22-29. nual Meeting of the Computational Linguistics.Columbus, [15]TURNEY P D,LITTMAN M L.Measuring praise and criti- USA:Association for Computational Linguistics,2008:308 cism:inference of semantic orientation from association -316. [J].ACM transactions on information systems,2003,21 [6]PAUL M,GIRJU R.A two-dimensional topic-aspect model (4):315-346. for discovering multi-faceted topics[C]//Proceedings of the [16]张小平.主题模型及其在中医临床诊疗中的应用研究 Twenty-Fourth AAAl Conference on Artificial Intelligence. [D].北京：北京交通大学，2011：57-58. Atlanta,USA:AAAI,2010:545-550. ZHANG Xiaoping.Study on topic model and its application [7]MEI Qiaozhu,LING Xu,WONDRA M,et al.Topic senti- to TCM clinical diagnosis and treatment[D].Beijing:Bei- ment mixture:modeling facets and opinions in weblogs jing Jiaotong University,2011:57-58. [C]//Proceedings of the 16th International Conference on [17]ALSUMAIT L,BARBARa D,GENTLE J,et al.Topic sig- World Wide Web.North Carolina,USA:ACM,2010:171- nificance ranking of LDA generative models[C]//Proceed- 180. ings of the European Conference on Machine Learning and [8]JO Y,OH A H.Aspect and sentiment unification model for Knowledge Discovery in Databases.Bled,Slovenia:ACM, online review analysis[C]//Proceedings of the Fourth ACM 2009:67-82. International Conference on Web Search and Data Mining. 作者简介： Hong Kong,China:ACM,2011:815-824. 郝洁，女，1992年生，硕士研究生， [9]欧阳继红，刘燕辉，李熙铭，等.基于LDA的多粒度主 主要研究方向为自然语言处理、粗糙 题情感混合模型[J].电子学报，2015,43(9)：1875- 集。 1880. OUYANG Jihong,LIU Yanhui,LI Ximing,et al.Multi- grain sentiment/topic model based on LDA[J].Acta elec- tronica sinica,2015,43(9):1875-1880. 谢珺.女，1979年生，副教授，主要 [10]BLEI D M,NG A Y,JORDAN M I.Latent dirichlet allo- 研究方向为粒计算、粗糙集、数据挖掘、 cation[J].The journal of machine learning research, 智能信息处理。 2003,3:993-1022. [11]RUBIN T N,CHAMBERS A,SMYTH P,et al.Statistical topic models for multi-label document classification[]. Machine learning,2012,88(1/2):157-208. 苏婧琼，女，1991年生，硕士研究 [12]ANDRZEJEWSKI D,BUTTLER D.Latent topic feedback 生，主要研究方向为自然语言处理、粒 for information retrieval[C]//Proceedings of the 17th ACM 计算。 SIGKDD International Conference on Knowledge Discovery and Data Mining.San Diego,USA:ACM,2011:600- 608
［４］ ＬＩＮ Ｃｈｅｎｇｈｕａ， ＨＥ Ｙｕｌａｎ， ＥＶＥＲＳＯＮ Ｒ． Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ ｏｆ Ｂａｙｅｓｉａｎ ｍｏｄｅｌｓ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ｓｅｎｔｉｍｅｎｔ ｄｅｔｅｃ⁃ ｔｉｏｎ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｕｒｔｅｅｎｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｌｅａｒｎｉｎｇ． Ｓｔｒｏｕｄｓｂｕｒｇ， ＰＡ， ＵＳＡ： ＡＣＭ， ２０１１： １４４－１５２． ［５］ＴＩＴＯＶ Ｉ， ＭＣＤＯＮＡＬＤ Ｒ． Ａ ｊｏｉｎｔ ｍｏｄｅｌ ｏｆ ｔｅｘｔ ａｎｄ ａｓｐｅｃｔ ｒａｔｉｎｇｓ ｆｏｒ ｓｅｎｔｉｍｅｎｔ ｓｕｍｍａｒｉｚａｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ａｎ⁃ ｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｃｏｌｕｍｂｕｓ， ＵＳＡ： Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ， ２００８： ３０８ －３１６． ［６］ＰＡＵＬ Ｍ， ＧＩＲＪＵ Ｒ． Ａ ｔｗｏ⁃ｄｉｍｅｎｓｉｏｎａｌ ｔｏｐｉｃ⁃ａｓｐｅｃｔ ｍｏｄｅｌ ｆｏｒ ｄｉｓｃｏｖｅｒｉｎｇ ｍｕｌｔｉ⁃ｆａｃｅｔｅｄ ｔｏｐｉｃｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｗｅｎｔｙ⁃Ｆｏｕｒｔｈ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． Ａｔｌａｎｔａ， ＵＳＡ： ＡＡＡＩ， ２０１０： ５４５－５５０． ［７］ＭＥＩ Ｑｉａｏｚｈｕ， ＬＩＮＧ Ｘｕ， ＷＯＮＤＲＡ Ｍ， ｅｔ ａｌ． Ｔｏｐｉｃ ｓｅｎｔｉ⁃ ｍｅｎｔ ｍｉｘｔｕｒｅ： ｍｏｄｅｌｉｎｇ ｆａｃｅｔｓ ａｎｄ ｏｐｉｎｉｏｎｓ ｉｎ ｗｅｂｌｏｇｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ． Ｎｏｒｔｈ Ｃａｒｏｌｉｎａ， ＵＳＡ： ＡＣＭ， ２０１０： １７１－ １８０． ［８］ＪＯ Ｙ， ＯＨ Ａ Ｈ． Ａｓｐｅｃｔ ａｎｄ ｓｅｎｔｉｍｅｎｔ ｕｎｉｆｉｃａｔｉｏｎ ｍｏｄｅｌ ｆｏｒ ｏｎｌｉｎｅ ｒｅｖｉｅｗ ａｎａｌｙｓｉｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｕｒｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｗｅｂ Ｓｅａｒｃｈ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ． Ｈｏｎｇ Ｋｏｎｇ， Ｃｈｉｎａ： ＡＣＭ， ２０１１： ８１５－８２４． ［９］欧阳继红， 刘燕辉， 李熙铭， 等． 基于 ＬＤＡ 的多粒度主 题情感混合模型［ Ｊ］． 电子学报， ２０１５， ４３（ ９）： １８７５ － １８８０． ＯＵＹＡＮＧ Ｊｉｈｏｎｇ， ＬＩＵ Ｙａｎｈｕｉ， ＬＩ Ｘｉｍｉｎｇ， ｅｔ ａｌ． Ｍｕｌｔｉ⁃ ｇｒａｉｎ ｓｅｎｔｉｍｅｎｔ ／ ｔｏｐｉｃ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ＬＤＡ［ Ｊ］． Ａｃｔａ ｅｌｅｃ⁃ ｔｒｏｎｉｃａ ｓｉｎｉｃａ， ２０１５， ４３（９）： １８７５－１８８０． ［１０］ＢＬＥＩ Ｄ Ｍ， ＮＧ Ａ Ｙ， ＪＯＲＤＡＮ Ｍ Ｉ． Ｌａｔｅｎｔ ｄｉｒｉｃｈｌｅｔ ａｌｌｏ⁃ ｃａｔｉｏｎ ［ Ｊ ］． Ｔｈｅ ｊｏｕｒｎａｌ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｒｅｓｅａｒｃｈ， ２００３， ３： ９９３－１０２２． ［１１］ＲＵＢＩＮ Ｔ Ｎ， ＣＨＡＭＢＥＲＳ Ａ， ＳＭＹＴＨ Ｐ， ｅｔ ａｌ． Ｓｔａｔｉｓｔｉｃａｌ ｔｏｐｉｃ ｍｏｄｅｌｓ ｆｏｒ ｍｕｌｔｉ⁃ｌａｂｅｌ ｄｏｃｕｍｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ［ Ｊ ］． Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ， ２０１２， ８８（１ ／ ２）： １５７－２０８． ［１２］ ＡＮＤＲＺＥＪＥＷＳＫＩ Ｄ， ＢＵＴＴＬＥＲ Ｄ． Ｌａｔｅｎｔ ｔｏｐｉｃ ｆｅｅｄｂａｃｋ ｆｏｒ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｔｒｉｅｖａｌ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ． Ｓａｎ Ｄｉｅｇｏ， ＵＳＡ： ＡＣＭ， ２０１１： ６００ － ６０８． ［１３］ ＷＡＬＬＡＣＨ Ｈ Ｍ． Ｔｏｐｉｃ ｍｏｄｅｌｉｎｇ： ｂｅｙｏｎｄ ｂａｇ⁃ｏｆ⁃ｗｏｒｄｓ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＵＳＡ： ＡＣＭ， ２００６： ９７７－ ９８４． ［１４］ＣＨＵＲＣＨ Ｋ Ｗ， ＨＡＮＫＳ Ｐ． Ｗｏｒｄ ａｓｓｏｃｉａｔｉｏｎ ｎｏｒｍｓ， ｍｕ⁃ ｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ， ａｎｄ ｌｅｘｉｃｏｇｒａｐｈｙ［ Ｊ］． Ｃｏｍｐｕｔａｔｉｏｎａｌ ｌｉｎ⁃ ｇｕｉｓｔｉｃｓ， １９９０， １６（１）： ２２－２９． ［１５］ＴＵＲＮＥＹ Ｐ Ｄ， ＬＩＴＴＭＡＮ Ｍ Ｌ． Ｍｅａｓｕｒｉｎｇ ｐｒａｉｓｅ ａｎｄ ｃｒｉｔｉ⁃ ｃｉｓｍ： ｉｎｆｅｒｅｎｃｅ ｏｆ ｓｅｍａｎｔｉｃ ｏｒｉｅｎｔａｔｉｏｎ ｆｒｏｍ ａｓｓｏｃｉａｔｉｏｎ ［Ｊ］． ＡＣＭ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍｓ， ２００３， ２１ （４）： ３１５－３４６． ［１６］张小平． 主题模型及其在中医临床诊疗中的应用研究 ［Ｄ］． 北京： 北京交通大学， ２０１１： ５７－５８． ＺＨＡＮＧ Ｘｉａｏｐｉｎｇ． Ｓｔｕｄｙ ｏｎ ｔｏｐｉｃ ｍｏｄｅｌ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ＴＣＭ ｃｌｉｎｉｃａｌ ｄｉａｇｎｏｓｉｓ ａｎｄ ｔｒｅａｔｍｅｎｔ［Ｄ］． Ｂｅｉｊｉｎｇ： Ｂｅｉ⁃ ｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２０１１： ５７－５８． ［１７］ＡＬＳＵＭＡＩＴ Ｌ， ＢＡＲＢＡＲá Ｄ， ＧＥＮＴＬＥ Ｊ， ｅｔ ａｌ． Ｔｏｐｉｃ ｓｉｇ⁃ ｎｉｆｉｃａｎｃｅ ｒａｎｋｉｎｇ ｏｆ ＬＤＡ ｇｅｎｅｒａｔｉｖｅ ｍｏｄｅｌｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄ⁃ ｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅｓ． Ｂｌｅｄ， Ｓｌｏｖｅｎｉａ： ＡＣＭ， ２００９： ６７－８２． 作者简介： 郝洁，女，１９９２ 年生，硕士研究生， 主要研究方向为自然语言处理、粗糙 集。 谢珺，女，１９７９ 年生，副教授，主要 研究方向为粒计算、粗糙集、数据挖掘、 智能信息处理。 苏婧琼，女，１９９１ 年生，硕士研究 生，主要研究方向为自然语言处理、粒 计算。 第 ４ 期 郝洁，等：基于词加权 ＬＤＡ 算法的无监督情感分类 ·５４５·