机器学习：基于概念簇的多主题提取算法.pdf_大学文库

第10卷第2期智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201405066 网络出版地址：http://www.enki..net/kcms/detail/23.1538.TP.20150302.1106.006.html 基于概念簇的多主题提取算法马甲林12，张永军12，王志坚 (1.河海大学计算机与信息学院，江苏南京211100：2.淮阴工学院计算机工程学院，江苏淮安223003) 摘要：现实世界存在着大量的多主题文本，多主题在信息检索、图书情报等领域有着广泛的应用。传统主题提取算法大多是针对文本整体提取一个主题，且存在缺乏语义信息、向量高维和稀疏等缺陷。以《知网》为知识库，构建概念向量表示文本，根据概念的语义及上下文背景对同义词进行归并、对多义词进行排歧，并利用概念间语义关系实现语义相似度计算：在此基础上提出基于概念簇的多主题提取算法MEABCC,该算法通过对概念进行聚类，得到多个主题簇：在使用K-means算法进行概念聚类时，通过“预设种子”方法对其进行改进，以弥补传统K-means算法对初始中心的敏感性所引起的时空开销不稳定、结果波动较大的缺陷。实验结果表明，该算法具有较好的准确率、召回率和F,值。关键词：语义；稀疏；上下文背景；知识库；概念簇；多主题提取；K-means;MEABCC 中图分类号：TP18文献标志码：A文章编号：1673-4785(2015)02-0261-06 中文引用格式：马甲林，张永军，王志坚.基于概念簇的多主题提取算法[J].智能系统学报，2015,10(2)：261-266. 英文引用格式：MA Jialin,ZHANG Yongjun,WANG Zhijian..Muli-topic extraction algorithm based on concept clusters[J].CAAI Transactions on Intelligent Systems,2015,10(2):261-266. Multi-topic extraction algorithm based on concept clusters MA Jialin'2,ZHANG Yongjun'2,WANG Zhijian' (1.College of Computer and Information,Hohai University,Nanjing 211100,China;2.School of Computer Engineering,Huaiyin In- stitute of Technology,Huaian 223003,China) Abstract:There are a large number of multi-topic documents existing in the real world,and the extraction of multi- topic is widely used in the fields of information retrieval,library science and intelligence.In the traditional theme extraction algorithm,in most cases a theme is extracted for the whole text,which lacks of semantic information and has high-dimensional vector and sparse defects.Setting concept vectors to represent text based on the repository of cnki.net,merging synonyms and discriminating polysemy according to the semantic of concepts and context,there- by achieving the computation of semantic similarity in light of the semantic relation among concepts.The multi-topic extraction algorithm based on the concept of clusters (MEABCC)is proposed.The MEABCC acquires multiple top- ics by clustering concepts.The conceptual clustering made by K-means algorithm is improved through the method of presetting "default seed",which makes up the undulating time and space overlay and the unstable results.This happen to be caused by sensitivity to initial centers of traditional K-means algorithm.The experiments showed that MEABCC has good accuracy,recall and F values. Keywords:semantic;sparsity;context;knowledge base;concept clusters;multi-topic extraction;K-means;ME- ABCC 收稿日期：2014-06-01.网络出版日期：2014-03-02 现实世界存在着大量的多主题文本，据统计基金项目：国家自然科学青年科学基金资助项目(11201168). 通信作者：马甲林.E-mail:majialin(@126.com. 36.85%文章包含多个主题，Sekine和Nobata主持的

第１０卷第２期智能系统学报Ｖｏｌ．１０ №．２２０１５年４月ＣＡＡＩＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓＡｐｒ．２０１５ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０５０６６网络出版地址：ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／２３．１５３８．ＴＰ．２０１５０３０２．１１０６．００６．ｈｔｍｌ基于概念簇的多主题提取算法马甲林１，２，张永军１，２，王志坚１（１．河海大学计算机与信息学院，江苏南京２１１１００；２．淮阴工学院计算机工程学院，江苏淮安２２３００３）摘要：现实世界存在着大量的多主题文本，多主题在信息检索、图书情报等领域有着广泛的应用。传统主题提取算法大多是针对文本整体提取一个主题，且存在缺乏语义信息、向量高维和稀疏等缺陷。以《知网》为知识库，构建概念向量表示文本，根据概念的语义及上下文背景对同义词进行归并、对多义词进行排歧，并利用概念间语义关系实现语义相似度计算；在此基础上提出基于概念簇的多主题提取算法ＭＥＡＢＣＣ，该算法通过对概念进行聚类，得到多个主题簇；在使用Ｋ⁃ｍｅａｎｓ算法进行概念聚类时，通过“预设种子”方法对其进行改进，以弥补传统Ｋ⁃ｍｅａｎｓ算法对初始中心的敏感性所引起的时空开销不稳定、结果波动较大的缺陷。实验结果表明，该算法具有较好的准确率、召回率和Ｆ１值。关键词：语义；稀疏；上下文背景；知识库；概念簇；多主题提取；Ｋ⁃ｍｅａｎｓ；ＭＥＡＢＣＣ中图分类号：ＴＰ１８文献标志码：Ａ文章编号：１６７３⁃４７８５（２０１５）０２⁃０２６１⁃０６中文引用格式：马甲林，张永军，王志坚．基于概念簇的多主题提取算法［Ｊ］．智能系统学报，２０１５，１０（２）：２６１⁃２６６．英文引用格式：ＭＡＪｉａｌｉｎ，ＺＨＡＮＧＹｏｎｇｊｕｎ，ＷＡＮＧＺｈｉｊｉａｎ．Ｍｕｌｔｉ⁃ｔｏｐｉｃｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｃｏｎｃｅｐｔｃｌｕｓｔｅｒｓ［Ｊ］．ＣＡＡＩＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓ，２０１５，１０（２）：２６１⁃２６６．Ｍｕｌｔｉ⁃ｔｏｐｉｃｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｃｏｎｃｅｐｔｃｌｕｓｔｅｒｓＭＡＪｉａｌｉｎ１，２，ＺＨＡＮＧＹｏｎｇｊｕｎ１，２，ＷＡＮＧＺｈｉｊｉａｎ１（１．ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎ，ＨｏｈａｉＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１１１００，Ｃｈｉｎａ；２．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＨｕａｉｙｉｎＩｎ⁃ ｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈｕａｉａｎ２２３００３，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｅｒｅａｒｅａｌａｒｇｅｎｕｍｂｅｒｏｆｍｕｌｔｉ⁃ｔｏｐｉｃｄｏｃｕｍｅｎｔｓｅｘｉｓｔｉｎｇｉｎｔｈｅｒｅａｌｗｏｒｌｄ，ａｎｄｔｈｅｅｘｔｒａｃｔｉｏｎｏｆｍｕｌｔｉ⁃ ｔｏｐｉｃｉｓｗｉｄｅｌｙｕｓｅｄｉｎｔｈｅｆｉｅｌｄｓｏｆｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ，ｌｉｂｒａｒｙｓｃｉｅｎｃｅａｎｄｉｎｔｅｌｌｉｇｅｎｃｅ．Ｉｎｔｈｅｔｒａｄｉｔｉｏｎａｌｔｈｅｍｅｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍ，ｉｎｍｏｓｔｃａｓｅｓａｔｈｅｍｅｉｓｅｘｔｒａｃｔｅｄｆｏｒｔｈｅｗｈｏｌｅｔｅｘｔ，ｗｈｉｃｈｌａｃｋｓｏｆｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎａｎｄｈａｓｈｉｇｈ⁃ｄｉｍｅｎｓｉｏｎａｌｖｅｃｔｏｒａｎｄｓｐａｒｓｅｄｅｆｅｃｔｓ．Ｓｅｔｔｉｎｇｃｏｎｃｅｐｔｖｅｃｔｏｒｓｔｏｒｅｐｒｅｓｅｎｔｔｅｘｔｂａｓｅｄｏｎｔｈｅｒｅｐｏｓｉｔｏｒｙｏｆｃｎｋｉ．ｎｅｔ，ｍｅｒｇｉｎｇｓｙｎｏｎｙｍｓａｎｄｄｉｓｃｒｉｍｉｎａｔｉｎｇｐｏｌｙｓｅｍｙａｃｃｏｒｄｉｎｇｔｏｔｈｅｓｅｍａｎｔｉｃｏｆｃｏｎｃｅｐｔｓａｎｄｃｏｎｔｅｘｔ，ｔｈｅｒｅ⁃ ｂｙａｃｈｉｅｖｉｎｇｔｈｅｃｏｍｐｕｔａｔｉｏｎｏｆｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｉｎｌｉｇｈｔｏｆｔｈｅｓｅｍａｎｔｉｃｒｅｌａｔｉｏｎａｍｏｎｇｃｏｎｃｅｐｔｓ．Ｔｈｅｍｕｌｔｉ⁃ｔｏｐｉｃｅｘｔｒａｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｃｏｎｃｅｐｔｏｆｃｌｕｓｔｅｒｓ（ＭＥＡＢＣＣ）ｉｓｐｒｏｐｏｓｅｄ．ＴｈｅＭＥＡＢＣＣａｃｑｕｉｒｅｓｍｕｌｔｉｐｌｅｔｏｐ⁃ ｉｃｓｂｙｃｌｕｓｔｅｒｉｎｇｃｏｎｃｅｐｔｓ．ＴｈｅｃｏｎｃｅｐｔｕａｌｃｌｕｓｔｅｒｉｎｇｍａｄｅｂｙＫ⁃ｍｅａｎｓａｌｇｏｒｉｔｈｍｉｓｉｍｐｒｏｖｅｄｔｈｒｏｕｇｈｔｈｅｍｅｔｈｏｄｏｆｐｒｅｓｅｔｔｉｎｇ＂ｄｅｆａｕｌｔｓｅｅｄ＂，ｗｈｉｃｈｍａｋｅｓｕｐｔｈｅｕｎｄｕｌａｔｉｎｇｔｉｍｅａｎｄｓｐａｃｅｏｖｅｒｌａｙａｎｄｔｈｅｕｎｓｔａｂｌｅｒｅｓｕｌｔｓ．ＴｈｉｓｈａｐｐｅｎｔｏｂｅｃａｕｓｅｄｂｙｓｅｎｓｉｔｉｖｉｔｙｔｏｉｎｉｔｉａｌｃｅｎｔｅｒｓｏｆｔｒａｄｉｔｉｏｎａｌＫ⁃ｍｅａｎｓａｌｇｏｒｉｔｈｍ．ＴｈｅｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｅｄｔｈａｔＭＥＡＢＣＣｈａｓｇｏｏｄａｃｃｕｒａｃｙ，ｒｅｃａｌｌａｎｄＦ１ｖａｌｕｅｓ．Ｋｅｙｗｏｒｄｓ：ｓｅｍａｎｔｉｃ；ｓｐａｒｓｉｔｙ；ｃｏｎｔｅｘｔ；ｋｎｏｗｌｅｄｇｅｂａｓｅ；ｃｏｎｃｅｐｔｃｌｕｓｔｅｒｓ；ｍｕｌｔｉ⁃ｔｏｐｉｃｅｘｔｒａｃｔｉｏｎ；Ｋ⁃ｍｅａｎｓ；ＭＥ⁃ ＡＢＣＣ收稿日期：２０１４⁃０６⁃０１．网络出版日期：２０１４⁃０３⁃０２．基金项目：国家自然科学青年科学基金资助项目（１１２０１１６８）．通信作者：马甲林．Ｅ⁃ｍａｉｌ：ｍａｊｉａｌｉｎ＠１２６．ｃｏｍ．现实世界存在着大量的多主题文本，据统计３６．８５％文章包含多个主题，Ｓｅｋｉｎｅ和Ｎｏｂａｔａ主持的

·262· 智能系统学报第10卷一项研究表明，日本新闻文章中的44.62%在谈论多的基本义原为：DEF={Human l人，*Fondof I喜欢，# 个话题。从文本中提取反映不同观点的多个子主 WhileAway I休闲}，所表达的意思是：“爱好者”是个题，在信息检索、图书情报和信息安全等领域有着非人，这个人喜欢某个东西，本词语是和休闲相关[刀常广泛的应用[2]。大多数传统主题提取方法是针它们之间存在语义相关性。在《知网》中，如果某个对一篇文章从整体考虑提取一个主题，未能区分出词只有一个意思，那么这个词对应唯一的概念，而多文内混杂的多个子主题，文献[3]认为子主题体现义词往往对应多个概念，为了找到某个多义词在文在主观句子的语义中，提出CRF模型从主观句子的中的具体含义，作如下定义：极性角度提取子主题，该方法以形容词、副词词性判定义1对于任意中文词汇，在《知网》中描断句子语义的贬褒极性，未涉及其他语义信息：文献述其对应概念的DEF的基本义原集为{c,c2,, [4]使用滑动窗口的方法可以从网络评论文本提取 cn},(m>=1)则称co与{c1,c2,…,cn}属于同一局部子主题，适用于网络评论文本：另外，常用的个语义类。 LDA(latent Dirichlet allocation)模型提出于2O03年，语义类不仅与概念对应，而且与描述概念的该模型虽然目前使用广泛，但LDA是一个完全基于 DEF对应，语义类揭示了词语之间的语义联系，描统计的方法，在向量空间模型(VSM)下存在向量高述某个DEF的基本义原在语义上是相关的，某个语维和稀疏、忽略词汇语义及上下文背景等问题，同时义类和文章语境相符时，文中很可能出现该语义类提取过程受到同义词和多义词的干扰，因而在质量包含的词汇，利用这一语言现象可以消除词汇歧义。和效率上表现欠佳1。如图1：多义词“水分”，在语义类包含{“植物”、“土本研究利用《知网》知识库，采用概念向量模型壤”、“阳光”、“生长”}中“水分”的含义是指“物体 (CVM)取代传统VSM模型表示文本，同时在CVM 内含有的水”，而在语义类包含{“经济”、“数据”、模型下同义词将被自动归并，再根据上下文语义相 “增长”、“报告”}中“水分”的含义是指“夹杂不真关性对多义词进行排歧处理：其次通过计算概念的实成分” 语义相似度取代传统相似度计算，在此基础上提出语义类1 语义类2 基于概，念簇的多主题提取算法(MEABCC),该算法采用无监督学习的方法，通过改进经典K-means算法对文本概念进行聚类后得到多个子主题簇，其中，植物经济使用“预设种子”方法改进来K-means算法，以弥补土壤水数据传统K-means算法K个初始中心选择的随机性所引阳光分报告起的时空开销不稳定、结果波动较大的缺陷。生长增长 1 概念向量模型图1“水分”语义类示意图文本处理的首要问题是文本表示，本研究以中 Fig.1 The semantic class schematic diagram of 'moisture' 科院计算机语言信息工程研究中心董振东主持创立由于汉语的复杂性，同一篇文章中一词多义和的《知网》为知识库，建立基于概念的向量模型来表同义词的情况非常多，单纯的机械词频统计方法无示文本。法处理涉及词汇语义的问题，这是影响文本主题提 1.1同义词和多义词处理取质量的一个重要因素。为了解决多义词排歧和同《知网》是一个以汉语和英语词汇所代表的概义词归并问题，本研究利用《知网》，同义词在概念念为描述对象，以揭示概念与概念之间以及概念所映射阶段被归并到同一概念上；多义词对应多个概具有的属性之间的关系为基本内容的常识知识库。念，根据语义类成员词和上下文背景的语义相关性在《知网》中，词汇语义描述被定义为概念。每一个来为多义词选择适合该文语境的语义类。定位多义词可以表达为几个概念，概念是由一种知识表示语词在文中最佳语义类的思路是：如果某个语义类所言(DEF)来描述，这种用来描述概念的“词汇”又叫属成员词汇在本篇文中出现权值之和越大，说明该义原，相比词汇的规模，义原的数量很少。《知网》语义类比其他语义类更符合文章主题，则该语义类定义了1500多个义原，分为3类：基本义原、语法是该多义词的在此文中最合适的语义类。词汇w, 义原和关系义原，DEF中基本义原反映了概念的主在文章中所含的信息量H(u,)计算公式为)] 要语义，例如：词汇“爱好者”，在《知网》中用DEF H(:)=-TF(e:,ST)×log[p(w:)](1)

一项研究表明，日本新闻文章中的４４．６２％在谈论多个话题。从文本中提取反映不同观点的多个子主题，在信息检索、图书情报和信息安全等领域有着非常广泛的应用［１⁃２］。大多数传统主题提取方法是针对一篇文章从整体考虑提取一个主题，未能区分出文内混杂的多个子主题，文献［３］认为子主题体现在主观句子的语义中，提出ＣＲＦ模型从主观句子的极性角度提取子主题，该方法以形容词、副词词性判断句子语义的贬褒极性，未涉及其他语义信息；文献［４］使用滑动窗口的方法可以从网络评论文本提取局部子主题，适用于网络评论文本；另外，常用的ＬＤＡ（ｌａｔｅｎｔＤｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ）模型提出于２００３年，该模型虽然目前使用广泛，但ＬＤＡ是一个完全基于统计的方法，在向量空间模型（ＶＳＭ）下存在向量高维和稀疏、忽略词汇语义及上下文背景等问题，同时提取过程受到同义词和多义词的干扰，因而在质量和效率上表现欠佳［３⁃５］。本研究利用《知网》知识库，采用概念向量模型（ＣＶＭ）取代传统ＶＳＭ模型表示文本，同时在ＣＶＭ模型下同义词将被自动归并，再根据上下文语义相关性对多义词进行排歧处理；其次通过计算概念的语义相似度取代传统相似度计算，在此基础上提出基于概念簇的多主题提取算法（ＭＥＡＢＣＣ），该算法采用无监督学习的方法，通过改进经典Ｋ⁃ｍｅａｎｓ算法对文本概念进行聚类后得到多个子主题簇，其中，使用“预设种子”方法改进来Ｋ⁃ｍｅａｎｓ算法，以弥补传统Ｋ⁃ｍｅａｎｓ算法Ｋ个初始中心选择的随机性所引起的时空开销不稳定、结果波动较大的缺陷。１概念向量模型文本处理的首要问题是文本表示，本研究以中科院计算机语言信息工程研究中心董振东主持创立的《知网》为知识库，建立基于概念的向量模型来表示文本。１．１同义词和多义词处理《知网》是一个以汉语和英语词汇所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。在《知网》中，词汇语义描述被定义为概念。每一个词可以表达为几个概念，概念是由一种知识表示语言（ＤＥＦ）来描述，这种用来描述概念的“词汇”又叫义原，相比词汇的规模，义原的数量很少。《知网》定义了１５００多个义原，分为３类：基本义原、语法义原和关系义原，ＤＥＦ中基本义原反映了概念的主要语义，例如：词汇“爱好者”，在《知网》中用ＤＥＦ的基本义原为：ＤＥＦ＝｛Ｈｕｍａｎ｜人，∗Ｆｏｎｄｏｆ｜喜欢，＃ＷｈｉｌｅＡｗａｙ｜休闲｝，所表达的意思是：“爱好者”是个人，这个人喜欢某个东西，本词语是和休闲相关［７］，它们之间存在语义相关性。在《知网》中，如果某个词只有一个意思，那么这个词对应唯一的概念，而多义词往往对应多个概念，为了找到某个多义词在文中的具体含义，作如下定义：定义１对于任意中文词汇ｃ０，在《知网》中描述其对应概念的ＤＥＦ的基本义原集为｛ｃ１，ｃ２，…，ｃｍ｝，（ｍ＞＝１）则称ｃ０与｛ｃ１，ｃ２，…，ｃｍ｝属于同一个语义类。语义类不仅与概念对应，而且与描述概念的ＤＥＦ对应，语义类揭示了词语之间的语义联系，描述某个ＤＥＦ的基本义原在语义上是相关的，某个语义类和文章语境相符时，文中很可能出现该语义类包含的词汇，利用这一语言现象可以消除词汇歧义。如图１：多义词“水分”，在语义类包含｛“植物”、“土壤”、“阳光”、“生长”｝中“水分”的含义是指“物体内含有的水”，而在语义类包含｛“经济”、“数据”、 “增长”、“报告”｝中“水分” 的含义是指“夹杂不真实成分”。图１ “水分”语义类示意图Ｆｉｇ．１Ｔｈｅｓｅｍａｎｔｉｃｃｌａｓｓｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆ ′ｍｏｉｓｔｕｒｅ′ 由于汉语的复杂性，同一篇文章中一词多义和同义词的情况非常多，单纯的机械词频统计方法无法处理涉及词汇语义的问题，这是影响文本主题提取质量的一个重要因素。为了解决多义词排歧和同义词归并问题，本研究利用《知网》，同义词在概念映射阶段被归并到同一概念上；多义词对应多个概念，根据语义类成员词和上下文背景的语义相关性来为多义词选择适合该文语境的语义类。定位多义词在文中最佳语义类的思路是：如果某个语义类所属成员词汇在本篇文中出现权值之和越大，说明该语义类比其他语义类更符合文章主题，则该语义类是该多义词的在此文中最合适的语义类。词汇ｗｉ在文章中所含的信息量Ｈ（ｗｉ）计算公式为［７］Ｈ（ｗｉ）＝－ＴＦ（ｗｉ，ＳＴ） × ｌｏｇ［ｐ（ｗｉ）］（１） ·２６２· 智能系统学报第１０卷

第2期马甲林，等：基于概念簇的多主题提取算法 ·263· 式中：ST表示待处理文本，TF(0:,ST)表示词汇w: 情况不符，众所周知，文献中各个词汇之间存在着复在文中出现的频率，P(0:)为词心，的概率分布。杂的语义联系。利用《知网》知识库，构建概念向定义2多义词c,它的第i个语义类L权值为列量模型来表示文本，可以建立起词汇之间语义联系， C(L)=∑H(,）×lg,n 为后续进一步的语义计算提供了可能。CVM构建过 (2) j=1 程首先对文本进行分词和预处理后得到文本的特征式中：n为某个语义类L:成员词在文中出现的个数。集，然后对特征集中的每个特征进行概念映射：特征语义类权值越大，该语义类成员词对文章主题的贡词到概念的映射过程中大量的同义词被归并到相同献越大。的概念中，实现了强度较大的降维：其次利用《知网》定义3多义词c,在《知网》中对应多个语义概念描述语义的特点，根据语义类和上下文背景的相类，选择符合该文背景的最佳语义类公式为关性，实现多义词排歧，其构建算法如下。 Best Max(Cwcigh(L)) (3) 算法1概念向量构建算法 1.2概念向量构建算法输入：文本T; 传统基于特征词的向量空间模型(VSM),认为向输出：文本T的概念向量T。量是正交的，即词汇之间互不相关。显然，这和现实 T=[(G1,(C1,…,C)(G2,(C2,…,C))…(Gg,(Cg,…,Ck)]。步骤如下：采用如下步骤为Cm进行多义词排歧： 1)使用中科院ICTCLAS分词系统对T进行分 For i=1 to p 词后得T=[C:C2…C.]; 2)利用信息增益(1G)初步提取T特征后得到利用式(1)计算语义类L所有成员词汇的信息量： T=[C1C2…Cm],其中m≤n; 利用式(2)计算L权值： 3)依次查询《知网》知识库，对特征词进行概念映射： Next i; ①查询《知网》，若T的特征词C对应唯一的利用式(3)为C.选择最佳语义类，最终将T 概念，则C.为单义词或同义词，直接获取C的概的所有特征映射为概念，T。= 念，转至4)； [(C,G)（C2,G2)…(Cm,Gm)]: ②：若Cm对应多个概念，则Cm为多义词，所以 4)对T。按照概念进行整理合并得到： C对应多个语义类表示为{L,L2,…,Ln}(p≥1)， Tc=[(G1,(C,…,C:))(G2,(C2,…,C))…(Gg,(Cg,…,C)] 式中：G,为Tc集合中无重复的概念，q,i,j,k≤ 5)输出文本T对应概念向量T m:/现实同义概念的归并： T=[(G,(C1,…,C:)(G2,(C2,…,C))…(G。,(Cg,…,C4))]。标，涉及到词语的词法、句法、语义甚至语用等多方 2多主题提取算法面的信息。其中，对词语相似度影响最大的是词的对于单主题提取，机械统计的主题提取方法通过语义。在《知网》中，词汇被描述为概念，词汇的相词频统计按照权值大小抽取主题句，能够得到质量达似度计算就转化为对概念的相似度计算。词语距离到简单应用级别的主题句6。然而，现实中存在着大与词语相似度之间有着密切的关系。2个词语的距量的多主题文献，单纯的统计方法无法抽取多主题。离越大，其相似度越低：反之，2个词语的距离越小，本研究提出的MEABCC多主题提取方法是以1.2节其相似度越大[)。提出的概念向量来表示文本，利用《知网》中义原的树《知网》通过多个义原来描述概念，义原之间存形层次体系结构计算义原相似度，进而计算概念的相在着各种复杂的关系，如：上下位关系、同义关系、对似度，然后通过改进K-means算法对组成文本的概念义关系等。其中，最重要的是上下位关系，所有的义进行聚类，形成多个子主题概念簇。原根据上下位关系构成了一个树状的义原层次体 2.1概念相似度计算系，所以可以通过计算义原距离得到概念的距离进相似度是衡量2个词汇语义关系的一个重要指而获得概念的相似度[)。假设2个义原在义原树

式中：ＳＴ表示待处理文本，ＴＦ（ｗｉ，ＳＴ）表示词汇ｗｉ在文中出现的频率，Ｐ（ｗｉ）为词ｗｉ的概率分布。定义２多义词ｃ，它的第ｉ个语义类Ｌｉ权值为［７］ＣＷｅｉｇｈｔ（Ｌｉ）＝ ∑ ｎｊ＝１Ｈ（ｗｊ） × ｌｏｇ２ｎ（２）式中：ｎ为某个语义类Ｌｉ成员词在文中出现的个数。语义类权值越大，该语义类成员词对文章主题的贡献越大。定义３多义词ｃ，在《知网》中对应多个语义类，选择符合该文背景的最佳语义类公式为ＢｅｓｔｃＬｉ＝Ｍａｘ（ＣＷｅｉｇｈｔ（Ｌｉ））（３）１．２概念向量构建算法传统基于特征词的向量空间模型（ＶＳＭ），认为向量是正交的，即词汇之间互不相关。显然，这和现实情况不符，众所周知，文献中各个词汇之间存在着复杂的语义联系［５］。利用《知网》知识库，构建概念向量模型来表示文本，可以建立起词汇之间语义联系，为后续进一步的语义计算提供了可能。ＣＶＭ构建过程首先对文本进行分词和预处理后得到文本的特征集，然后对特征集中的每个特征进行概念映射；特征词到概念的映射过程中大量的同义词被归并到相同的概念中，实现了强度较大的降维；其次利用《知网》概念描述语义的特点，根据语义类和上下文背景的相关性，实现多义词排歧，其构建算法如下。算法１概念向量构建算法输入：文本Ｔ；输出：文本Ｔ的概念向量Ｔ。Ｔ＝［（Ｇ１，（Ｃ１，…，Ｃｉ））（Ｇ２，（Ｃ２，…，Ｃｊ）） … （Ｇｑ，（Ｃｑ，…，Ｃｋ））］。步骤如下：１）使用中科院ＩＣＴＣＬＡＳ分词系统对Ｔ进行分词后得Ｔ＝［Ｃ１Ｃ２ … Ｃｎ］；２）利用信息增益（ＩＧ）初步提取Ｔ特征后得到Ｔ＝［Ｃ１Ｃ２ … Ｃｍ］，其中ｍ≤ｎ；３）依次查询《知网》知识库，对特征词进行概念映射； ①查询《知网》，若Ｔ的特征词Ｃｍ对应唯一的概念，则Ｃｍ为单义词或同义词，直接获取Ｃｍ的概念，转至４）； ②：若Ｃｍ对应多个概念，则Ｃｍ为多义词，所以Ｃｍ对应多个语义类表示为｛Ｌ１，Ｌ２，…，Ｌｐ｝（ｐ≥１），采用如下步骤为Ｃｍ进行多义词排歧：Ｆｏｒｉ＝１ｔｏｐ｛利用式（１）计算语义类Ｌｉ所有成员词汇的信息量；利用式（２）计算Ｌｉ权值；｝Ｎｅｘｔｉ；利用式（３）为Ｃｍ选择最佳语义类，最终将Ｔ的所有特征映射为概念，ＴＧ＝［（Ｃ１，Ｇ１）（Ｃ２，Ｇ２） … （Ｃｍ，Ｇｍ）］；４）对ＴＧ按照概念进行整理合并得到：ＴＧ＝［（Ｇ１，（Ｃ１，…，Ｃｉ））（Ｇ２，（Ｃ２，…，Ｃｊ）） … （Ｇｑ，（Ｃｑ，…，Ｃｋ））］式中：Ｇｑ为ＴＧ集合中无重复的概念，ｑ，ｉ，ｊ，ｋ ≤ ｍ；／／现实同义概念的归并；５）输出文本Ｔ对应概念向量ＴＴ＝［（Ｇ１，（Ｃ１，…，Ｃｉ））（Ｇ２，（Ｃ２，…，Ｃｊ）） … （Ｇｑ，（Ｃｑ，…，Ｃｋ））］。２多主题提取算法对于单主题提取，机械统计的主题提取方法通过词频统计按照权值大小抽取主题句，能够得到质量达到简单应用级别的主题句［６］。然而，现实中存在着大量的多主题文献，单纯的统计方法无法抽取多主题。本研究提出的ＭＥＡＢＣＣ多主题提取方法是以１．２节提出的概念向量来表示文本，利用《知网》中义原的树形层次体系结构计算义原相似度，进而计算概念的相似度，然后通过改进Ｋ⁃ｍｅａｎｓ算法对组成文本的概念进行聚类，形成多个子主题概念簇。２．１概念相似度计算相似度是衡量２个词汇语义关系的一个重要指标，涉及到词语的词法、句法、语义甚至语用等多方面的信息。其中，对词语相似度影响最大的是词的语义。在《知网》中，词汇被描述为概念，词汇的相似度计算就转化为对概念的相似度计算。词语距离与词语相似度之间有着密切的关系。２个词语的距离越大，其相似度越低；反之，２个词语的距离越小，其相似度越大［８］。《知网》通过多个义原来描述概念，义原之间存在着各种复杂的关系，如：上下位关系、同义关系、对义关系等。其中，最重要的是上下位关系，所有的义原根据上下位关系构成了一个树状的义原层次体系，所以可以通过计算义原距离得到概念的距离进而获得概念的相似度［９］。假设２个义原在义原树第２期马甲林，等：基于概念簇的多主题提取算法 ·２６３·

·264. 智能系统学报第10卷层次体系中的路径距离为d,d的计算过程如下：统，以及领域受限等问题导致应用困难[]」设义原集中的任意一个义原为w:,L:为义原：本研究提出了基于概念簇的多主题提取算法在概念树中的深度，a为距离初始阈值，b为满足不 (MEABCC),其思路是：利用《知网》知识库丰富的等式max(L)<a/b的一个正实数，则w,与其父节点语义信息，将文本表示成为概念向量模型，改进K- 的距离定义为[町 means算法对概念进行语义聚类，形成多个子主题 d(w;,parent(w:))=a -Lb (4) 概念簇，进而得到文章对应的多个子主题关键词集。任意2个义原0：、心，之间的距离定义为[列聚类算法有很多种，最典型有效的划分法之一 d(w;,w;)=og.[a -max(Li,L;)b](5) 是K-means,K-means算法是从样本中随机取出K个式中：ω：表示第k种关系对应的权重，通常取样本作为初始聚类中心，再通过迭代，计算每个类的 ωk≥1。可以验证，上述定义符合对距离函数的数中心，每个样本被归入到最近的中心，重新计算类中学要求，式(4)、(5)反映出义原在义原层次树中的心，直到类中心不再改变。使用K-means算法进行位置越深，二者之间的距离越小，即越相似。聚类，首先要选取k个点作为初始聚类中心，然后进定义4任意2个义原(0：，w)之间的语义相行反复的迭代，由于初始中心选择具有随机性，会导似度为[到致结果和耗时随不同的初始输入而波动，从而引起算法不可预测的复杂度。为了解决这一问题，借 Sim(w:,0;）= (6) d(e:,0)+8 鉴传统基于统计的主题提取思想，文章的主题很大式中：d是，和0，在义原层次体系中的路径长度，是程度上反映在词共现上，做进一步的延伸，文章中的一个正整数。0是一个可调节的参数。同义词往往围绕某一个主题，而同义词在概念向量定义5设概念U和V分别由义原组(P1, 模型中表现为同一个概念，因而在多主题提取中，本 P2,…,Pn)和(p1,P2,…,Pm)描述，则U、V相似研究提出根据概念向量中每个概念包含文章词的个度为数大小进行排序，选取包含文章词个数最多的前K (U,V) 个概念作为K-means聚类的初始中心的“预设种 Sim(U,V)= (7) w(U,)·(V, 子”，这种方法可以克服K-means算法的对初始中式中：(U,)=立Sim(p.,)。心的敏感性。定义7概念集C由概念集合{C1,C2,…, 定义6 概念U由义原组(P1,P2,…,Pn)表 C.}组成，则C中心点为列示，概念集C由概念集合{C1,C2,…,Cm}组成，概念U和概念集C的相似度定义为U和C中所有概 i=1 certerC (9) 念相似度的最大值]： Sim(U,C)=MaxSim(U,C;)I C;E C(8) 式(9)由计算文本集合中心点的方法所得。 2.2 MEABCC算法基于概念簇的多主题提取算法具体步骤如下：当前主题提取的方法主要有2类：基于机械统算法2基于概念簇的多主题提取算法计的方法和基于语法语义分析的方法。统计的方法基本流程如下：能够有效利用文章表层信息抓住文章关键词汇，收输入：文本T,聚类的个数参数k,主题个数k1, 集文章原句输出主题，优点是通用性好，适用于非受其中k,<k<n: 限区域，然而，其几乎完全忽略词汇语义信息，难以输出：T的k,个子主题句集合{(st1,st2,…, 得到质量较高的主题，且不易提取多主题。基于语 stiu）,（S21,s2,…,2）,(11,512,…,st1e）}。法语义分析的主题提取方法被认为比传统的基于机步骤如下：械统计的方法更符合语言规律，提取的主题质量较 1)调用算法1得到文本T的语义概念向量T 高，但其要求极高的人工智能技术和完备的专家系 T=[(G1,(c1,…,c:))(G2,(c2…,c))…(Gg,(cg,…,c4))] 2)从T中选择K个包含词汇数目最多的概念类中心的相似度，将对应概念分配到相似度最大的作为聚类初始类中心Tz=[Gm1G2…Gmt], 类中：其中mk≤q: 4)利用式(9)重新计算各类的中心点； 3)根据相似度计算式(8)计算每个概念与K个 5)重复3)和4)直到类的中心点不再改变，得

层次体系中的路径距离为ｄ，ｄ的计算过程如下：设义原集中的任意一个义原为ｗｉ，Ｌｉ为义原ｗｉ在概念树中的深度，ａ为距离初始阈值，ｂ为满足不等式ｍａｘ（Ｌ）＜ａ／ｂ的一个正实数，则ｗｉ与其父节点的距离定义为［９］ｄ（ｗｉ，ｐａｒｅｎｔ（ｗｉ））＝ａ－Ｌｉｂ（４）任意２个义原ｗｉ、ｗｊ之间的距离定义为［９］ｄ（ｗｉ，ｗｊ）＝ ωｋ．［ａ－ｍａｘ（Ｌｉ，Ｌｊ）ｂ］（５）式中： ωｋ表示第ｋ种关系对应的权重，通常取 ωｋ ≥１。可以验证，上述定义符合对距离函数的数学要求，式（４）、（５）反映出义原在义原层次树中的位置越深，二者之间的距离越小，即越相似。定义４任意２个义原（ｗｉ，ｗｊ）之间的语义相似度为［９］Ｓｉｍ（ｗｉ，ｗｊ）＝ θ ｄ（ｗｉ，ｗｊ）＋ θ （６）式中：ｄ是ｗｉ和ｗｊ在义原层次体系中的路径长度，是一个正整数。 θ 是一个可调节的参数。定义５设概念Ｕ和Ｖ分别由义原组（ｐｕ１，ｐｕ２，…，ｐｕｎ）和（ｐｖ１，ｐｖ２，…，ｐｖｍ）描述，则Ｕ、Ｖ相似度为Ｓｉｍ（Ｕ，Ｖ）＝（Ｕ，Ｖ）（Ｕ，Ｕ）·（Ｖ，Ｖ）（７）式中：（Ｕ，Ｖ）＝ ∑ ｎｉ ∑ ｍｊＳｉｍ（ｐｕｉ，ｐｖｊ）。定义６概念Ｕ由义原组（ｐ１，ｐ２，…，ｐｎ）表示，概念集Ｃ由概念集合｛Ｃ１，Ｃ２， …，Ｃｍ｝组成，概念Ｕ和概念集Ｃ的相似度定义为Ｕ和Ｃ中所有概念相似度的最大值［７］：Ｓｉｍ（Ｕ，Ｃ）＝Ｍａｘ｛Ｓｉｍ（Ｕ，Ｃｉ）｜Ｃｉ ∈ Ｃ｝（８）２．２ＭＥＡＢＣＣ算法当前主题提取的方法主要有２类：基于机械统计的方法和基于语法语义分析的方法。统计的方法能够有效利用文章表层信息抓住文章关键词汇，收集文章原句输出主题，优点是通用性好，适用于非受限区域，然而，其几乎完全忽略词汇语义信息，难以得到质量较高的主题，且不易提取多主题。基于语法语义分析的主题提取方法被认为比传统的基于机械统计的方法更符合语言规律，提取的主题质量较高，但其要求极高的人工智能技术和完备的专家系统，以及领域受限等问题导致应用困难［１０］。本研究提出了基于概念簇的多主题提取算法（ＭＥＡＢＣＣ），其思路是：利用《知网》知识库丰富的语义信息，将文本表示成为概念向量模型，改进Ｋ⁃ ｍｅａｎｓ算法对概念进行语义聚类，形成多个子主题概念簇，进而得到文章对应的多个子主题关键词集。聚类算法有很多种，最典型有效的划分法之一是Ｋ⁃ｍｅａｎｓ，Ｋ⁃ｍｅａｎｓ算法是从样本中随机取出Ｋ个样本作为初始聚类中心，再通过迭代，计算每个类的中心，每个样本被归入到最近的中心，重新计算类中心，直到类中心不再改变。使用Ｋ⁃ｍｅａｎｓ算法进行聚类，首先要选取ｋ个点作为初始聚类中心，然后进行反复的迭代，由于初始中心选择具有随机性，会导致结果和耗时随不同的初始输入而波动，从而引起算法不可预测的复杂度［１１］。为了解决这一问题，借鉴传统基于统计的主题提取思想，文章的主题很大程度上反映在词共现上，做进一步的延伸，文章中的同义词往往围绕某一个主题，而同义词在概念向量模型中表现为同一个概念，因而在多主题提取中，本研究提出根据概念向量中每个概念包含文章词的个数大小进行排序，选取包含文章词个数最多的前Ｋ个概念作为Ｋ⁃ｍｅａｎｓ聚类的初始中心的“预设种子”，这种方法可以克服Ｋ⁃ｍｅａｎｓ算法的对初始中心的敏感性。定义７概念集Ｃ由概念集合｛Ｃ１，Ｃ２，…，Ｃｎ｝组成，则Ｃ中心点为［７］ｃｅｒｔｅｒＣ＝ ∑ ｎｉ＝１Ｃｉｎ（９）式（９）由计算文本集合中心点的方法所得。基于概念簇的多主题提取算法具体步骤如下：算法２基于概念簇的多主题提取算法基本流程如下：输入：文本Ｔ，聚类的个数参数ｋ，主题个数ｋ１，其中ｋ１＜ｋ＜ｎ；输出：Ｔ的ｋ１个子主题句集合｛（ｓｔ１１，ｓｔ１２， …，ｓｔ１ｕ），（ｓｔ２１，ｓｔ２２， …，ｓｔ２ｖ）， …（ｓｔｋ１１，ｓｔｋ１２， …，ｓｔｋ１ｗ）｝。步骤如下：１）调用算法１得到文本Ｔ的语义概念向量ＴＴ＝［（Ｇ１，（ｃ１，…，ｃｉ））（Ｇ２，（ｃ２…，ｃｊ）） … （Ｇｑ，（ｃｑ，…，ｃｋ））］２）从Ｔ中选择Ｋ个包含词汇数目最多的概念作为聚类初始类中心ＴＺ＝［Ｇｍ１Ｇｍ２ … Ｇｍｋ］，其中ｍｋ≤ｑ；３）根据相似度计算式（８）计算每个概念与Ｋ个类中心的相似度，将对应概念分配到相似度最大的类中；４）利用式（９）重新计算各类的中心点；５）重复３）和４）直到类的中心点不再改变，得 ·２６４· 智能系统学报第１０卷

到Ｋ个类别的概念集：｛｛ Ф１｝，｛Ф２｝，…，｛Фｋ｝｝；６）选择包含概念个数最多的前ｋ１个概念集合，得到组成ｋ１个子主题的概念集合：｛｛ Ф１｝，｛Ф２｝， …，｛ Фｋ１｝｝，进而得到ｋ１子主题对应文章中ｋ１个关键词汇集合：｛（ｃ１１，ｃ１２，…，ｃ１ｉ），（ｃ２１，ｃ２２，…，ｃ２ｊ），… （ｃｋ１１，ｃｋ１２，…，ｃｋ１ｔ）｝。３实验及结果分析目前还没有已标注主题的中文文本标准语料库，复旦大学自然语言处理实验室的公开的标准语料库共包含２０个类别，１９６３７篇文档，但均未标注主题，考虑到工作量因素，本研究从该语料库５个类别中选择篇幅较长、多主题特征较为明显的５００篇文档，经从事汉语言工作的专业人员进行多主题词标注后作为实验样本。实验结果评判采用通用的准确率（Ｐ）、召回率（Ｒ）和综合指标Ｆ１。Ｐ＝反映主题的主题句数量抽取出的主题句总数Ｒ＝抽取出的主题句的数量文本中实际主题句总数Ｆ１＝２ＰＲＰ＋Ｒ３．１参数估计为了得到算法２中初始聚类簇参数ｋ的最恰当的值，根据测试样本的实际篇幅长短、文章结构等情况，经汉语专业人士分析，每篇样本抽取子主题个数ｋ１的值取３，并人工为每篇样本标注了３个子主题作为标准值，在ｋ１＝３的情况下实验分析ｋ取值，图２反映出ｋ在不同取值下准确率、召回率和Ｆ１的变化情况。图２不同ｋ值下Ｐ、Ｒ和Ｆ１变化Ｆｉｇ．２ＴｈｅａｃｃｕｒａｃｙａｎｄｒｅｃａｌｌｒａｔｅａｎｄＦ１ｕｎｄｅｒｄｉｆｆｅｒｅｎｔｋ由图２可以看出，每篇样本抽取３个子主题的情况下，ＭＥＡＢＣＣ算法随着ｋ值的增大提取主题的准确率不断提高，而召回率在降低，这是由于ｋ值增大导致聚类簇细化，所以准确率逐渐上升；通常情况下算法召回率是确定的，但在本实验中，随着ｋ值的增大类别不断细化，在选取前３个（ｋ１＝３）最大子主题的时，引起了召回率下降；为了找到最合适的ｋ值，分析图２的Ｆ１指标，从综合指标Ｆ１的趋势上看，Ｆ１的最高点出现在ｋ＝７时，所以算法２在本实验样本对象下最适合的取值是ｋ＝７，需要说明的是ｋ的取值是和要处理的文章的有关。３．２算法测试为了测试通过“预设种子”的方法改进Ｋ⁃ｍｅａｎｓ算法提取多主题的质量，实验样本仍然为预备的５００篇文档，采用３．１节参数实验中获得的结果，取ｋ＝７，子主题个数ｋ１为３，首先采用传统Ｋ⁃ｍｅａｎｓ算法，随即产生ｋ个初始中心的方法实验５次，和ＭＥ⁃ ＡＢＣＣ提取主题结果统计如表１所示。表１Ｋ⁃ｍｅａｎｓ和ＭＥＡＢＣＣ多主题提取结果统计Ｔａｂｌｅ１Ｋ⁃ｍｅａｎｓａｎｄＭＥＡＢＣＣｍｏｒｅｔｏｐｉｃｅｘｔｒａｃｔｉｏｎｒｅ⁃ ｓｕｌｔｓｔａｔｉｓｔｉｃｓ算法＼指标次数准确率／％召回率／％Ｆ１／％耗时第１次６１．３５６．８５９．０３′５１″ 第２次７６．８６５．１７０．５６′７３′ Ｋ⁃ｍｅａｎｓ第３次４９．４５２．３５０．８５′２１″ 第４次７８．９５７．７６６．７８′０１″ 第５次５０．１６８．０５７．７４′２１″ ＭＥＡＢＣＣ１次８１．７６８．９７４．８３′３９″ 从表１数据可以看出，传统Ｋ⁃ｍｅａｎｓ在５次随即产生初始中心的情况下，结果的准确率、召回率以及综合指标Ｆ１值都非常不稳定，算法耗时变化较大，这是由于传统的Ｋ⁃ｍｅａｎｓ算法对初始聚类中心较敏感，导致结果和耗时随不同的初始输入波动较大。为消除这种缺陷，本研究结合主题提取特点，每个主题往往包含多个具有相同概念的词，概念成员词构成了一个围绕该概念的语义中心，因而可根据概念在文中出现成员词的数量大小，预设出可能性最大的Ｋ个初始中心，从而改进Ｋ⁃ｍｅａｎｓ，不但提取的主题质量较高，算法的执行效率也有较大的提高。４结束语向量空间模型下的传统主题提取方法忽略词语间的语义联系，缺乏语义信息，提取的主题质量不高，不适合提取多主题。本研究利用《知网》，构建概念向量模型来表示文本，对同义词进行归并，对多义词进行语义排歧；实现了概念的语义相似度计算；采用无监督学习的方法，提出基于概念簇的多主题提取算法（ＭＥＡＢＣＣ），该算法通过合理 “ 预设初值”，改进经典Ｋ⁃ｍｅａｎｓ后对概念进行聚类，得到多个子主题簇。实验测试结果反映出ＭＥＡＢＣＣ算法效果和效率均较优。第２期马甲林，等：基于概念簇的多主题提取算法 ·２６５·

.266· 智能系统学报第10卷参考文献： JIANG Min,XIAO Shibin.An improved word similarity [1]TANG Jie,YAO Limin,CHEN Dewei.Multi-topic based computing method based on HowNet[J].Journal of Chinese query-oriented summarization[C]//Proceedings of the SI- Information Processing,2008,22(5):84-89. AM International Conference on Data Mining.Sparks, [9]刘金岭.基于语义的高质量中文短信文本聚类算法[J] USA,2009:1141-1152. 计算机工程，2009,35(10)：201-205. [2]LAMIREL J C.Multi-view data analysis and concept extrac- LIU Jinling.High quality algorithm for chinese short messa- tion methods for text[J].Knowledge Organization,2013, ges text clustering based on semantic[J].Computer Engi- 40(5)：305-319. neering,2009,35(10):201-205. [3]NA Fan,LI Huixian,and WANG Chao.Research on senti- [10]LLORET E.Manuel palomar text summarisation in pro- ment analyzing in multi-topics texts[J].Advances in Com- gress:a literature review[J].Artificial Intelligence Re- puter Science,Intelligent System and Environment,2013, view,2012,37:1-41. 105:581-586. [11 XU Junling,XU Baowen,et al.Stable initialization [4]FU Xianghua,LIU Guo,GUO Yanyan,et al.Multi-aspect scheme for K-means clustering [J].Wuhan University sentiment analysis for Chinese online social reviews based on Journal of Natural Sciences,2009,14:24-28. topic modeling and HowNet lexicon[J].Knowledge-Based 作者简介： Systems,2013,37:186-195. 马甲林，男，1981年生，博士研究 [5]ZENG Jianping,DUAN Jiangjiao,WANG Wei,et al.Se- 生，主要研究方向为自然语言处理。曾 mantic multi-grain mixture topic model for text analysis[J]. 获第12届全国多媒体课件大赛三等 Expert Systems with Applications,2011,38:3574-3579. 奖、江苏省高等学校优秀多媒体教学课 [6]刘金龄.基于降维的短信文本语义分类及主题提取[J] 件二等奖、淮安市科技进步奖三等奖、计算机工程与应用，2010,46(23)：159-161. 发明专利1项、参编教材1部，发表学 LIU Jinling.Dimensionality reduction of short message text 术论文7篇。 classification and thematic extraction of semantic[J].Com- 张永军，男，1978年生，讲师，博士 puter Engineering and Applications,2010,46(23):159- 研究生，主要研究方向为中文信息处 161. 理、文本数据挖掘、发表学术论文8篇， [7]白秋，金春霞，周海岩概念向量文本聚类算法[J].计算参编教程1部。机工程与应用，2011,47(35)：155-157. BAI Qiuchan,JIN Chunxia,ZHOU Haiyan.Text clustering 王志坚，男，1958年生，教授，博导. algorithm based on concept vector[J].Computer Engineer- 主研方向为基于网络的计算机应用技 ing and Applications,2011,47(35):155-157. 术、软件复用、基于网络的软件系统集 [8]江敏，肖诗斌.一种改进的基于《知网》的词语语义相似成技术，主持国家“863”项目、江苏省基度计算[J].中文信息学报，2008,22(5)：84-89. 金项目等多项，出版专著多部

参考文献：［１］ＴＡＮＧＪｉｅ，ＹＡＯＬｉｍｉｎ，ＣＨＥＮＤｅｗｅｉ．Ｍｕｌｔｉ⁃ｔｏｐｉｃｂａｓｅｄｑｕｅｒｙ⁃ｏｒｉｅｎｔｅｄｓｕｍｍａｒｉｚａｔｉｏｎ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳＩ⁃ ＡＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤａｔａＭｉｎｉｎｇ．Ｓｐａｒｋｓ，ＵＳＡ，２００９：１１４１⁃１１５２．［２］ＬＡＭＩＲＥＬＪＣ．Ｍｕｌｔｉ⁃ｖｉｅｗｄａｔａａｎａｌｙｓｉｓａｎｄｃｏｎｃｅｐｔｅｘｔｒａｃ⁃ ｔｉｏｎｍｅｔｈｏｄｓｆｏｒｔｅｘｔ［Ｊ］．ＫｎｏｗｌｅｄｇｅＯｒｇａｎｉｚａｔｉｏｎ，２０１３，４０（５）：３０５⁃３１９．［３］ＮＡＦａｎ，ＬＩＨｕｉｘｉａｎ，ａｎｄＷＡＮＧＣｈａｏ．Ｒｅｓｅａｒｃｈｏｎｓｅｎｔｉ⁃ ｍｅｎｔａｎａｌｙｚｉｎｇｉｎｍｕｌｔｉ⁃ｔｏｐｉｃｓｔｅｘｔｓ［Ｊ］．ＡｄｖａｎｃｅｓｉｎＣｏｍ⁃ ｐｕｔｅｒＳｃｉｅｎｃｅ，ＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍａｎｄＥｎｖｉｒｏｎｍｅｎｔ，２０１３，１０５：５８１⁃５８６．［４］ＦＵＸｉａｎｇｈｕａ，ＬＩＵＧｕｏ，ＧＵＯＹａｎｙａｎ，ｅｔａｌ．Ｍｕｌｔｉ⁃ａｓｐｅｃｔｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｆｏｒＣｈｉｎｅｓｅｏｎｌｉｎｅｓｏｃｉａｌｒｅｖｉｅｗｓｂａｓｅｄｏｎｔｏｐｉｃｍｏｄｅｌｉｎｇａｎｄＨｏｗＮｅｔｌｅｘｉｃｏｎ［Ｊ］．Ｋｎｏｗｌｅｄｇｅ⁃ＢａｓｅｄＳｙｓｔｅｍｓ，２０１３，３７：１８６⁃１９５．［５］ＺＥＮＧＪｉａｎｐｉｎｇ，ＤＵＡＮＪｉａｎｇｊｉａｏ，ＷＡＮＧＷｅｉ，ｅｔａｌ．Ｓｅ⁃ ｍａｎｔｉｃｍｕｌｔｉ⁃ｇｒａｉｎｍｉｘｔｕｒｅｔｏｐｉｃｍｏｄｅｌｆｏｒｔｅｘｔａｎａｌｙｓｉｓ［Ｊ］．ＥｘｐｅｒｔＳｙｓｔｅｍｓｗｉｔｈＡｐｐｌｉｃａｔｉｏｎｓ，２０１１，３８：３５７４⁃３５７９．［６］刘金岭．基于降维的短信文本语义分类及主题提取［Ｊ］．计算机工程与应用，２０１０，４６（２３）：１５９⁃１６１．ＬＩＵＪｉｎｌｉｎｇ．Ｄｉｍｅｎｓｉｏｎａｌｉｔｙｒｅｄｕｃｔｉｏｎｏｆｓｈｏｒｔｍｅｓｓａｇｅｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｔｈｅｍａｔｉｃｅｘｔｒａｃｔｉｏｎｏｆｓｅｍａｎｔｉｃ［Ｊ］．Ｃｏｍ⁃ ｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２０１０，４６（２３）：１５９⁃ １６１．［７］白秋，金春霞，周海岩．概念向量文本聚类算法［Ｊ］．计算机工程与应用，２０１１，４７（３５）：１５５⁃１５７．ＢＡＩＱｉｕｃｈａｎ，ＪＩＮＣｈｕｎｘｉａ，ＺＨＯＵＨａｉｙａｎ．Ｔｅｘｔｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｃｏｎｃｅｐｔｖｅｃｔｏｒ［Ｊ］．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒ⁃ ｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２０１１，４７（３５）：１５５⁃１５７．［８］江敏，肖诗斌．一种改进的基于《知网》的词语语义相似度计算［Ｊ］．中文信息学报，２００８，２２（５）：８４⁃８９．ＪＩＡＮＧＭｉｎ，ＸＩＡＯＳｈｉｂｉｎ．ＡｎｉｍｐｒｏｖｅｄｗｏｒｄｓｉｍｉｌａｒｉｔｙｃｏｍｐｕｔｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎＨｏｗＮｅｔ［Ｊ］．ＪｏｕｒｎａｌｏｆＣｈｉｎｅｓｅＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇ，２００８，２２（５）：８４⁃８９．［９］刘金岭．基于语义的高质量中文短信文本聚类算法［Ｊ］．计算机工程，２００９，３５（１０）：２０１⁃２０５．ＬＩＵＪｉｎｌｉｎｇ．Ｈｉｇｈｑｕａｌｉｔｙａｌｇｏｒｉｔｈｍｆｏｒｃｈｉｎｅｓｅｓｈｏｒｔｍｅｓｓａ⁃ ｇｅｓｔｅｘｔｃｌｕｓｔｅｒｉｎｇｂａｓｅｄｏｎｓｅｍａｎｔｉｃ［Ｊ］．ＣｏｍｐｕｔｅｒＥｎｇｉ⁃ ｎｅｅｒｉｎｇ，２００９，３５（１０）：２０１⁃２０５．［１０］ＬＬＯＲＥＴＥ．Ｍａｎｕｅｌｐａｌｏｍａｒｔｅｘｔｓｕｍｍａｒｉｓａｔｉｏｎｉｎｐｒｏ⁃ ｇｒｅｓｓ：ａｌｉｔｅｒａｔｕｒｅｒｅｖｉｅｗ［Ｊ］．ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅＲｅ⁃ ｖｉｅｗ，２０１２，３７：１⁃４１．［１１］ＸＵＪｕｎｌｉｎｇ，ＸＵＢａｏｗｅｎ，ｅｔａｌ．ＳｔａｂｌｅｉｎｉｔｉａｌｉｚａｔｉｏｎｓｃｈｅｍｅｆｏｒＫ⁃ｍｅａｎｓｃｌｕｓｔｅｒｉｎｇ［Ｊ］．ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙＪｏｕｒｎａｌｏｆＮａｔｕｒａｌＳｃｉｅｎｃｅｓ，２００９，１４：２４⁃２８．作者简介：马甲林，男，１９８１年生，博士研究生，主要研究方向为自然语言处理。曾获第１２届全国多媒体课件大赛三等奖、江苏省高等学校优秀多媒体教学课件二等奖、淮安市科技进步奖三等奖、发明专利１项、参编教材１部，发表学术论文７篇。张永军，男，１９７８年生，讲师，博士研究生，主要研究方向为中文信息处理、文本数据挖掘、发表学术论文８篇，参编教程１部。王志坚，男，１９５８年生，教授，博导，主研方向为基于网络的计算机应用技术、软件复用、基于网络的软件系统集成技术，主持国家“８６３”项目、江苏省基金项目等多项，出版专著多部。 ·２６６· 智能系统学报第１０卷