【自然语言处理与理解】基于用户查询日志的网络搜索主题分析

资源类别：文库，文档格式：PDF，文档页数：10，文件大小：1.7MB，团购合买

第12卷第5期智能系统学报 Vol.12 No.5 2017年10月 CAAI Transactions on Intelligent Systems 0ct.2017 D0I:10.11992/tis.201706096 网络出版地址：htp:/kns.cmki.net/kcms/detail/23.1538.TP.20171021.1349.004.html 基于用户查询日志的网络搜索主题分析张森'，张晨12，林培光1，张春云，郭玉超，任威龙，任可 (1.山东财经大学计算机科学与技术学院，山东济南250014：2.香港科技大学计算机科学及工程学系，香港 999077) 摘要：网络搜索分析在优化搜索引擎方面具有举足轻重的作用，而且对用户个人搜索特性进行分析能够提高搜索引擎的精准度。目前，大多数已有模型（比如点击图模型及其变体），注重研究用户群体的共同特点。然而，关于如何做到既可以获取用户群体共同特点又可以获取用户个人特点方面的研究却非常少。本文研究了基于个人用户网络搜索分析新问题，即通过研究用户搜索的突发性现象，获取个人用户搜索查询的主题分布情况。提出了两个搜索主题模型，即搜索突发性模型(SBM)和耦合敏感搜索突发性模型(CS-SBM)。SBM假设查询词和URL主题是无关的，CS-SBM假设查询词和URL之间是有主题关联的，得到的主题分布信息存储在偏Dirichlet先验中，采用Beta分布刻画用户搜索的时间特性。实验结果表明，每一个用户的网络搜索轨迹都有多种基于用户的独有特点。同时，在使用大量真实用户查询日志数据情况下，与LDA,DCMLDA、TOT相比，本文提出的模型具有明显的泛化性能优势，并且有效地描绘了用户搜索查询主题在时间上的变化过程。关键词：网络搜索：搜索引擎：自然语言处理：主题模型：文本挖掘：突发性：时间分析：参数估计中图分类号：TP391文献标志码：A文章编号：1673-4785(2017)05-0668-10 中文引用格式：张森，张晨，林培光，等.基于用户查询日志的网络搜索主题分析[J】.智能系统学报，2017,12(5)：668-677. 英文引用格式：ZHANG Sen,ZHANG Chen,LIN Peiguang,etal.Web search topic analysis based on user search query logs[J]. CAAI transactions on intelligent systems,2017,12(5):668-677. Web search topic analysis based on user search query logs ZHANG Sen',ZHANG Chen'.2,LIN Peiguang',ZHANG Chunyun', GUO Yuchao',REN Weilong',REN Ke2 (1.School of Computer Science Technology,Shandong University of Finance Economics,Jinan 250014,China;2.Department of Computer Science Engineering,Hong Kong University of Science and Technology,Hong Kong 999077,China) Abstract:Web search analysis plays a critical role in improving the performance of contemporary search engines.In addition,search engine accuracy can be improved by analyzing the individual search properties of users.Most existing models,such as the click graph and its variants,focus on the common characteristics of the group. However,as yet,there has been little investigation of a model that would obtain both the collective group characteristics and the unique characteristics of individual users.In this paper,we investigate user-specific web search analysis,whereby we obtain the topic distributions of the search queries of individual users by determining the burstiness of user searches.We propose two topic models,i.e.,the search burstiness model (SBM)and the coupling-sensitive search burstiness model (CS-SBM).The SBM adopts the assumption that the query words and URL are topically independent,The CS-SBM supposes that the query words and URL are topically relevant.The obtained topic distribution information is stored in skewed Dirichlet priors and a beta distribution is used to capture the temporal properties of the user searches.Our experimental results show that each user's web search trail has unique characteristics,and that in the case of there being a large amount of real query log data,in comparison to the latent Dirichlet allocation (LDA)and topic over time (TOT)models,our proposed models have advantages with respect to generalized performance and effectively describes the temporal change process of user search queries. Keywords:web search;search engine;natural language processing;topic model;data mining;burstiness; temporal analysis;parameter estimate 1931年，Zipf)发现在自然语言中，词的频率与这种现象称为上下文语言模型中词的突发性。后它在词汇表中的排名成反比，服从幂律分布，他把来发现，在金融、基因表达、计算机视觉等方面的数据也存在这种突发现象。网络搜索已成为人们日收稿日期：2017-07-01.网络出版日期：2017-10-21 基金项目：国家自然科学基金重点项目(U1201258)教育部人文社会科学研常生活中必不可少的一部分，用户提交的搜索查询究项目(15Y】AZ☑H042). 通信作者：张晨.E-mail:zhangchen..sdufe@gmail..com 词是人类智慧的结晶，并在搜索查询和微博等网络

Ｕ２）１７第１２卷第５期智能系统学报Ｖｏｌ．１２ №．５２０１７年１０月ＣＡＡＩＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓＯｃｔ．２０１７ＤＯＩ：１０．１１９９２／ｔｉｓ．２０１７０６０９６网络出版地址：ｈｔｔｐ：／／ｋｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／２３．１５３８．ＴＰ．２０１７１０２１．１３４９．００４．ｈｔｍｌ基于用户查询日志的网络搜索主题分析张森１，张晨１，２，林培光１，张春云１，郭玉超１，任威龙１，任可２（１．山东财经大学计算机科学与技术学院，山东济南２５００１４；２．香港科技大学计算机科学及工程学系，香港９９９０７７）摘要：网络搜索分析在优化搜索引擎方面具有举足轻重的作用，而且对用户个人搜索特性进行分析能够提高搜索引擎的精准度。目前，大多数已有模型（比如点击图模型及其变体），注重研究用户群体的共同特点。然而，关于如何做到既可以获取用户群体共同特点又可以获取用户个人特点方面的研究却非常少。本文研究了基于个人用户网络搜索分析新问题，即通过研究用户搜索的突发性现象，获取个人用户搜索查询的主题分布情况。提出了两个搜索主题模型，即搜索突发性模型（ＳＢＭ）和耦合敏感搜索突发性模型（ＣＳ－ＳＢＭ）。ＳＢＭ假设查询词和ＵＲＬ主题是无关的，ＣＳ－ＳＢＭ假设查询词和ＵＲＬ之间是有主题关联的，得到的主题分布信息存储在偏Ｄｉｒｉｃｈｌｅｔ先验中，采用Ｂｅｔａ分布刻画用户搜索的时间特性。实验结果表明，每一个用户的网络搜索轨迹都有多种基于用户的独有特点。同时，在使用大量真实用户查询日志数据情况下，与ＬＤＡ、ＤＣＭＬＤＡ、ＴＯＴ相比，本文提出的模型具有明显的泛化性能优势，并且有效地描绘了用户搜索查询主题在时间上的变化过程。关键词：网络搜索；搜索引擎；自然语言处理；主题模型；文本挖掘；突发性；时间分析；参数估计中图分类号：ＴＰ３９１文献标志码：Ａ文章编号：１６７３－４７８５（２０１７）０５－０６６８－１０中文引用格式：张森，张晨，林培光，等．基于用户查询日志的网络搜索主题分析［Ｊ］．智能系统学报，２０１７，１２（５）：６６８－６７７．英文引用格式：ＺＨＡＮＧＳｅｎ，ＺＨＡＮＧＣｈｅｎ，ＬＩＮＰｅｉｇｕａｎｇ，ｅｔａｌ．Ｗｅｂｓｅａｒｃｈｔｏｐｉｃａｎａｌｙｓｉｓｂａｓｅｄｏｎｕｓｅｒｓｅａｒｃｈｑｕｅｒｙｌｏｇｓ［Ｊ］．ＣＡＡＩｔｒａｎｓａｃｔｉｏｎｓｏｎｉｎｔｅｌｌｉｇｅｎｔｓｙｓｔｅｍｓ，２０１７，１２（５）：６６８－６７７．ＷｅｂｓｅａｒｃｈｔｏｐｉｃａｎａｌｙｓｉｓｂａｓｅｄｏｎｕｓｅｒｓｅａｒｃｈｑｕｅｒｙｌｏｇｓＺＨＡＮＧＳｅｎ１，ＺＨＡＮＧＣｈｅｎ１，２，ＬＩＮＰｅｉｇｕａｎｇ１，ＺＨＡＮＧＣｈｕｎｙｕｎ１，ＧＵＯＹｕｃｈａｏ１，ＲＥＮＷｅｉｌｏｎｇ１，ＲＥＮＫｅ２（１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＳｈａｎｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＦｉｎａｎｃｅ＆Ｅｃｏｎｏｍｉｃｓ，Ｊｉｎａｎ２５００１４，Ｃｈｉｎａ；２．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＨｏｎｇＫｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨｏｎｇＫｏｎｇ９９９０７７，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｗｅｂｓｅａｒｃｈａｎａｌｙｓｉｓｐｌａｙｓａｃｒｉｔｉｃａｌｒｏｌｅｉｎｉｍｐｒｏｖｉｎｇｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｃｏｎｔｅｍｐｏｒａｒｙｓｅａｒｃｈｅｎｇｉｎｅｓ．Ｉｎａｄｄｉｔｉｏｎ，ｓｅａｒｃｈｅｎｇｉｎｅａｃｃｕｒａｃｙｃａｎｂｅｉｍｐｒｏｖｅｄｂｙａｎａｌｙｚｉｎｇｔｈｅｉｎｄｉｖｉｄｕａｌｓｅａｒｃｈｐｒｏｐｅｒｔｉｅｓｏｆｕｓｅｒｓ．Ｍｏｓｔｅｘｉｓｔｉｎｇｍｏｄｅｌｓ，ｓｕｃｈａｓｔｈｅｃｌｉｃｋｇｒａｐｈａｎｄｉｔｓｖａｒｉａｎｔｓ，ｆｏｃｕｓｏｎｔｈｅｃｏｍｍｏｎｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｇｒｏｕｐ．Ｈｏｗｅｖｅｒ，ａｓｙｅｔ，ｔｈｅｒｅｈａｓｂｅｅｎｌｉｔｔｌｅｉｎｖｅｓｔｉｇａｔｉｏｎｏｆａｍｏｄｅｌｔｈａｔｗｏｕｌｄｏｂｔａｉｎｂｏｔｈｔｈｅｃｏｌｌｅｃｔｉｖｅｇｒｏｕｐｃｈａｒａｃｔｅｒｉｓｔｉｃｓａｎｄｔｈｅｕｎｉｑｕｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｉｎｄｉｖｉｄｕａｌｕｓｅｒｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｉｎｖｅｓｔｉｇａｔｅｕｓｅｒ－ｓｐｅｃｉｆｉｃｗｅｂｓｅａｒｃｈａｎａｌｙｓｉｓ，ｗｈｅｒｅｂｙｗｅｏｂｔａｉｎｔｈｅｔｏｐｉｃｄｉｓｔｒｉｂｕｔｉｏｎｓｏｆｔｈｅｓｅａｒｃｈｑｕｅｒｉｅｓｏｆｉｎｄｉｖｉｄｕａｌｕｓｅｒｓｂｙｄｅｔｅｒｍｉｎｉｎｇｔｈｅｂｕｒｓｔｉｎｅｓｓｏｆｕｓｅｒｓｅａｒｃｈｅｓ．Ｗｅｐｒｏｐｏｓｅｔｗｏｔｏｐｉｃｍｏｄｅｌｓ，ｉ．ｅ．，ｔｈｅｓｅａｒｃｈｂｕｒｓｔｉｎｅｓｓｍｏｄｅｌ（ＳＢＭ）ａｎｄｔｈｅｃｏｕｐｌｉｎｇ⁃ｓｅｎｓｉｔｉｖｅｓｅａｒｃｈｂｕｒｓｔｉｎｅｓｓｍｏｄｅｌ（ＣＳ⁃ＳＢＭ）．ＴｈｅＳＢＭａｄｏｐｔｓｔｈｅａｓｓｕｍｐｔｉｏｎｔｈａｔｔｈｅｑｕｅｒｙｗｏｒｄｓａｎｄＵＲＬａｒｅｔｏｐｉｃａｌｌｙｉｎｄｅｐｅｎｄｅｎｔ，ＴｈｅＣＳ⁃ＳＢＭｓｕｐｐｏｓｅｓｔｈａｔｔｈｅｑｕｅｒｙｗｏｒｄｓａｎｄＵＲＬａｒｅｔｏｐｉｃａｌｌｙｒｅｌｅｖａｎｔ．ＴｈｅｏｂｔａｉｎｅｄｔｏｐｉｃｄｉｓｔｒｉｂｕｔｉｏｎｉｎｆｏｒｍａｔｉｏｎｉｓｓｔｏｒｅｄｉｎｓｋｅｗｅｄＤｉｒｉｃｈｌｅｔｐｒｉｏｒｓａｎｄａｂｅｔａｄｉｓｔｒｉｂｕｔｉｏｎｉｓｕｓｅｄｔｏｃａｐｔｕｒｅｔｈｅｔｅｍｐｏｒａｌｐｒｏｐｅｒｔｉｅｓｏｆｔｈｅｕｓｅｒｓｅａｒｃｈｅｓ．Ｏｕｒｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｅａｃｈｕｓｅｒ’ ｓｗｅｂｓｅａｒｃｈｔｒａｉｌｈａｓｕｎｉｑｕｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ａｎｄｔｈａｔｉｎｔｈｅｃａｓｅｏｆｔｈｅｒｅｂｅｉｎｇａｌａｒｇｅａｍｏｕｎｔｏｆｒｅａｌｑｕｅｒｙｌｏｇｄａｔａ，ｉｎｃｏｍｐａｒｉｓｏｎｔｏｔｈｅｌａｔｅｎｔＤｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ（ＬＤＡ）ａｎｄｔｏｐｉｃｏｖｅｒｔｉｍｅ（ＴＯＴ）ｍｏｄｅｌｓ，ｏｕｒｐｒｏｐｏｓｅｄｍｏｄｅｌｓｈａｖｅａｄｖａｎｔａｇｅｓｗｉｔｈｒｅｓｐｅｃｔｔｏｇｅｎｅｒａｌｉｚｅｄｐｅｒｆｏｒｍａｎｃｅａｎｄｅｆｆｅｃｔｉｖｅｌｙｄｅｓｃｒｉｂｅｓｔｈｅｔｅｍｐｏｒａｌｃｈａｎｇｅｐｒｏｃｅｓｓｏｆｕｓｅｒｓｅａｒｃｈｑｕｅｒｉｅｓ．Ｋｅｙｗｏｒｄｓ：ｗｅｂｓｅａｒｃｈ；ｓｅａｒｃｈｅｎｇｉｎｅ；ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ；ｔｏｐｉｃｍｏｄｅｌ；ｄａｔａｍｉｎｉｎｇ；ｂｕｒｓｔｉｎｅｓｓ；ｔｅｍｐｏｒａｌａｎａｌｙｓｉｓ；ｐａｒａｍｅｔｅｒｅｓｔｉｍａｔｅ收稿日期：２０１７－０７－０１．网络出版日期：２０－１０－２１．基金项目：国家自然科学基金重点项目（１０１２５８１９３１年，Ｚｉｐｆ［１］发现在自然语言中，词的频率与它在词汇表中的排名成反通信作者：张晨．Ｅ⁃ｍａｉｌ：ｚｈａｎｇｃｈｅｎ．ｓｄｕｆｅ＠ｇｍａｉｌ．ｃｏｍ．比，服从幂律分布，他把这种现象称为上下文语言模型中词的突发性。后来发现，在金融、基因表达、计算机视觉等方面的数据也存在这种突发现象。网络搜索已成为人们日常生活中必不可少的一部分，用户提交的搜索查询词是人类智慧的结晶，并在搜索查询和微博等网络教育部人文社会科学研究项目（１５ＹＪＡＺＨ０４２）．

第5期张森，等：基于用户查询日志的网络搜索主题分析 ·669. 信息中显现出与传统的自然语言不同的特点，网络型并不能预测词汇突发性出现的趋势。搜索中每一个用户的搜索条目都包括查询词和为了能够在获取主题的同时预测词汇突发性 URL两项。已经提出的Dirichlet Compound 现象，G.Doylets)提出了DCMLDA主题模型，该模型 Multinomial(DCM)模型[)和Dirichlet Compound 结合了DCM和LDA的优势，直接将DCM扩展合并 Multinomial Latent Dirichlet Allocation (DCMLDA) 到主题模型里面形成了一个比LDA更加复杂的模型]可以对文章中词的突发性现象建模，但如果直型。在DCMLDA中对于每个主题k和每个文档d 接应用于网络搜索建模却不是很理想。虽然大多服从新的多项式分布Oa,每个主题k都有不同的数的点击图模型)及其变体[s可以对网络搜索建非均匀的B。向量。对于每一个文档d,Pu根据模，但都是针对用户群体进行研究而忽略了用户个 Dirichlet(B,)的变化而变化，因此每个主题实例在人特点。文档之间是相互联系的。文档中的主题实例允许本文通过分析用户查询日志来获取网络搜索在同一主题不同文档中每一个词汇的概率不同，这突发现象，并提出了两个模型：SBM(search 也就是突发现象。 burstiness model CS-SBM coupling-sensitive 随着带有时间标记的文本集合（例如，数字化 search burstiness model)。SBM是一个单极模型，假的报纸、杂志、博客等)数量和体积的增加，如何有设查询词和URL之间主题独立，突发性的相关信息效地搜索这些数据变得更加重要。上述模型都难存储在偏Dirichlet先验里。CS-SBM充分考虑查询以发现主题的演化趋势。在这个背景下，文献[9] 词和URL之间的关联。本文还用Beta分布刻画了等提出了Topic Over Time(TOT)模型。TOT将文档用户搜索的时间特性，使前面提出的模型能够用来的时间信息作为服从Bta分布的变量，将每个主题捕获时间上的突发性。通过Beta分布与时间信息相关联。TOT假设每个生成的词汇对应的时间信息也是通过它所属主题 1 相关工作相关的Beta分布采样生成，这样主题与时间信息也 Madsen指出，多项分布经常用于文本建模。然有关系。T0T不依赖马尔可夫假说，这样能够避免而，多项分布能获取到文档中词汇的突发性现象，在离散化过程中遇到时间粒度选取的问题。即一个词如果出现过一次，那么它很有可能再次出另外，文献[10]系统地总结了自然语言处理中现[)。因此Madsen提出了Dirichlet多项分布主题模型的发展，对LDA模型进行了详细的分析，并 (DCM)来代替传统的多项分布。DCM拥有一级自对主题模型的发展趋势进行了预测。根据微博的特由度，能获取到词的突发性，但是没有涉及文档中殊形式，在LDA的基础上进行了改进，分别提出了词汇的主题。文献[2]将DCM模型扩展成为了混 (MicroBlogs--LDA)MB-LDA模型m和(MicroBlogs 合DCM分布，该模型能够训练表示一组文档，其中 HDP)MB-HDP模型2)]，同时证明了提出模型能够很每一个文档都来自不同的高级主题。但是，该模型好地对微博进行主题挖掘。还是不能建模一个文档包含多个主题单词的情景。以前的工作都是集中在对自然语言文本中的上述工作中，之所以不能很好地刻画文档主同质项目进行分析，即对一个文档中的同质词汇进题，其主要原因是DCM更关注突发性现象而非获取行建模。然而在网络搜索分析中，文档是由查询词文档主题。2003年Bleits]提出的Latent Dirichlet 和URL两个异构项目组成，并且带有时间信息。因 Allocation(LDA)是非监督的贝叶斯生成模型，它此，本文结合网络搜索查询的文本特点，提出并研可以将文档集中每篇文档的主题按照概率分布的究了将主题模型运用到网络搜索分析中，对查询词形式给出。LDA包括词汇、主题和文档3层。LDA 和URL这两个异构项目和它们之间的关系进行引入了Dirichlet先验分布，成为了一个完备的贝叶建模。斯模型。LDA文档生成过程为，从Dirichlet分布中 2以用户为中心的概率主题模型采样文档与主题、主题与词汇分布，再重复从文档主题多项式分布中采样主题以及由主题-词汇多项本节主要介绍了SBM和CS-SBM主题模型，以式分布生成词汇的过程，逐步生成整个文档。LDA 及获取主题时间突发性的策略。已经在学术和工业界得到广泛应用。但是，LDA模提出的模型应具备以下条件：

信息中显现出与传统的自然语言不同的特点，网络搜索中每一个用户的搜索条目都包括查询词和ＵＲＬ两项。已经提出的ＤｉｒｉｃｈｌｅｔＣｏｍｐｏｕｎｄＭｕｌｔｉｎｏｍｉａｌ（ＤＣＭ）模型［２］和ＤｉｒｉｃｈｌｅｔＣｏｍｐｏｕｎｄＭｕｌｔｉｎｏｍｉａｌＬａｔｅｎｔＤｉｒｉｃｈｌｅｔＡｌｌｏｃａｔｉｏｎ（ＤＣＭＬＤＡ）模型［３］可以对文章中词的突发性现象建模，但如果直接应用于网络搜索建模却不是很理想。虽然大多数的点击图模型［４］及其变体［５－６］可以对网络搜索建模，但都是针对用户群体进行研究而忽略了用户个人特点。本文通过分析用户查询日志来获取网络搜索突发现象，并提出了两个模型：ＳＢＭ（ｓｅａｒｃｈｂｕｒｓｔｉｎｅｓｓｍｏｄｅｌ）和ＣＳ⁃ＳＢＭ（ｃｏｕｐｌｉｎｇ⁃ｓｅｎｓｉｔｉｖｅｓｅａｒｃｈｂｕｒｓｔｉｎｅｓｓｍｏｄｅｌ）。ＳＢＭ是一个单极模型，假设查询词和ＵＲＬ之间主题独立，突发性的相关信息存储在偏Ｄｉｒｉｃｈｌｅｔ先验里。ＣＳ⁃ＳＢＭ充分考虑查询词和ＵＲＬ之间的关联。本文还用Ｂｅｔａ分布刻画了用户搜索的时间特性，使前面提出的模型能够用来捕获时间上的突发性。１相关工作Ｍａｄｓｅｎ指出，多项分布经常用于文本建模。然而，多项分布能获取到文档中词汇的突发性现象，即一个词如果出现过一次，那么它很有可能再次出现［７］。因此Ｍａｄｓｅｎ提出了Ｄｉｒｉｃｈｌｅｔ多项分布（ＤＣＭ）来代替传统的多项分布。ＤＣＭ拥有一级自由度，能获取到词的突发性，但是没有涉及文档中词汇的主题。文献［２］将ＤＣＭ模型扩展成为了混合ＤＣＭ分布，该模型能够训练表示一组文档，其中每一个文档都来自不同的高级主题。但是，该模型还是不能建模一个文档包含多个主题单词的情景。上述工作中，之所以不能很好地刻画文档主题，其主要原因是ＤＣＭ更关注突发性现象而非获取文档主题。２００３年Ｂｌｅｉ［８］提出的ＬａｔｅｎｔＤｉｒｉｃｈｌｅｔＡｌｌｏｃａｔｉｏｎ（ＬＤＡ）是非监督的贝叶斯生成模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出。ＬＤＡ包括词汇、主题和文档３层。ＬＤＡ引入了Ｄｉｒｉｃｈｌｅｔ先验分布，成为了一个完备的贝叶斯模型。ＬＤＡ文档生成过程为，从Ｄｉｒｉｃｈｌｅｔ分布中采样文档与主题、主题与词汇分布，再重复从文档－主题多项式分布中采样主题以及由主题－词汇多项式分布生成词汇的过程，逐步生成整个文档。ＬＤＡ已经在学术和工业界得到广泛应用。但是，ＬＤＡ模型并不能预测词汇突发性出现的趋势。为了能够在获取主题的同时预测词汇突发性现象，Ｇ．Ｄｏｙｌｅ［３］提出了ＤＣＭＬＤＡ主题模型，该模型结合了ＤＣＭ和ＬＤＡ的优势，直接将ＤＣＭ扩展合并到主题模型里面形成了一个比ＬＤＡ更加复杂的模型。在ＤＣＭＬＤＡ中对于每个主题ｋ和每个文档ｄ服从新的多项式分布 θｋｄ，每个主题ｋ都有不同的、非均匀的 βｋ向量。对于每一个文档ｄ， φｋｄ根据Ｄｉｒｉｃｈｌｅｔ（βｋ）的变化而变化，因此每个主题实例在文档之间是相互联系的。文档中的主题实例允许在同一主题不同文档中每一个词汇的概率不同，这也就是突发现象。随着带有时间标记的文本集合（例如，数字化的报纸、杂志、博客等）数量和体积的增加，如何有效地搜索这些数据变得更加重要。上述模型都难以发现主题的演化趋势。在这个背景下，文献［９］等提出了ＴｏｐｉｃＯｖｅｒＴｉｍｅ（ＴＯＴ）模型。ＴＯＴ将文档的时间信息作为服从Ｂｅｔａ分布的变量，将每个主题通过Ｂｅｔａ分布与时间信息相关联。ＴＯＴ假设每个生成的词汇对应的时间信息也是通过它所属主题相关的Ｂｅｔａ分布采样生成，这样主题与时间信息也有关系。ＴＯＴ不依赖马尔可夫假说，这样能够避免在离散化过程中遇到时间粒度选取的问题。另外，文献［１０］系统地总结了自然语言处理中主题模型的发展，对ＬＤＡ模型进行了详细的分析，并对主题模型的发展趋势进行了预测。根据微博的特殊形式，在ＬＤＡ的基础上进行了改进，分别提出了（ＭｉｃｒｏＢｌｏｇｓ⁃ＬＤＡ）ＭＢ⁃ＬＤＡ模型［１１］和（ＭｉｃｒｏＢｌｏｇｓ⁃ ＨＤＰ）ＭＢ⁃ＨＤＰ模型［１２］，同时证明了提出模型能够很好地对微博进行主题挖掘。以前的工作都是集中在对自然语言文本中的同质项目进行分析，即对一个文档中的同质词汇进行建模。然而在网络搜索分析中，文档是由查询词和ＵＲＬ两个异构项目组成，并且带有时间信息。因此，本文结合网络搜索查询的文本特点，提出并研究了将主题模型运用到网络搜索分析中，对查询词和ＵＲＬ这两个异构项目和它们之间的关系进行建模。２以用户为中心的概率主题模型本节主要介绍了ＳＢＭ和ＣＳ⁃ＳＢＭ主题模型，以及获取主题时间突发性的策略。提出的模型应具备以下条件：第５期张森，等：基于用户查询日志的网络搜索主题分析 ·６６９·

·670 智能系统学报第12卷 1)查询词和URL的突发性现象研究要分开 O和p以后，通过借鉴LDA和DCMLDA中Gibbs采建模。样的方法，在SBM中概率P(za)为 2)建模时，网络搜索特点，包括查询词、URL和 session3个维度都要考虑在内[4-1]。 T(∑a, ΠT(n+) P(za)= session是指在短时间内提交的满足相同信息 Πr(a,) 需求的一系列查询。为了避免同一会话中包含不 a+a 相干的查询而导致的性能降低，本文优先考虑同一式中n4为第d个文档中主题z的数量。会话中查询词之间的语义一致性。通过对比分析，概率P(wlz,B)为本文采用文献[16]提出的一系列规则来划分搜索 IIr(na.+B) session。这些规则用于评估查询之间的词汇相似 =1 P(w zB) 性，并在检测相关搜索查询时表现出很高精度。 2.1查询词和URL独立的主题模型(SBM) 式中n.为第d个文档中第k个主题下查询词w的 SBM的生成过程是基于查询词和URL相互独个数。立的假设。与LDA和DCMLDA等传统主题模型不当该session中没有URL被点击时的条件概同，SBM中的文档有查询词、被点击URL和查询时率为间三项。图1是SBM的搜索主题模型概率图。首 C+a 先，从超参数为a的Dirichlet分布中抽样生成文档 P(z=k X:0,z,w,u,a,B,8) 与主题之间的关系矩阵0,0是一个D×K的矩阵，其中D代表文档数量，K代表主题数。对于每一个主题k,从超参为B,和δ的Dirichlet分布中分别取样 T(Σ(C+B) =1 I(cop +B.+N) 生成查询词与主题之间的关系矩阵0和URL与主三(c+B+,) T(C四+B.) 题之间的关系矩阵2.0和2是DxK×V的三维矩阵，V代表训练语料库中出现的所有词的词表。对式中：C表示文档d中分配主题为k的session的于文档中的每一个session,从参数为0，的多项分布数量，C表示文档d中查询词w被分配主题k的中选择一个主题：，从参数为P的查询词的多项分次数，N表示第i个session中查询词0的个数。布中，采样生成查询词心。然后，生成点击事件的二当一个session中有URL被点击时的条件概项分布，如果URL被点击了，从参数为2的URL 率为的多项分布中，采样生成URLu。变量0和δ是基 CaK og P(a=k1X=1,2-,w,u,cB,8)x 于单个特定文档的，因此SBM可以为每一个用户查乞(C+a) 询词和URL的突发性建模。 @ rΣ(c世+B》 w=1 T(C"+B4+N) 0 宫G+a+》 T(C四+BA) r宫+】 T(C+δ4+N) D Π 图1SBM网络搜索分析主题模型 T∑(C"+a4+N) T(C+δ4） = Fig.1 SBM web search analysis topic model 式中，C表示文档d中URLu被分配主题k的次 SBM中的Gibbs采样方法借鉴了LDA和数，Wn表示第i个session中URLu的数量。 DCMLDA中Gibbs采样的方法，并进行了推导。模 2.2查询词和URL相关联的主题模型(CS-SBM) 型的完全似然函数为查询词和URL通过搜索引擎紧密地结合在一 P(w,u,zla,B,6)=P(ulz,6)P(w|z,B)P(z|a) 起，这使得本文研究的问题变得更加复杂。被点击展开上式中的多项分布和Dirichlet分布，利用多项的URL是由对应的查询词经过搜索得出的。在网分布和Dirichlet分布的共轭性质，分别积分掉参数络搜索的情境中，URL是提交查询词给搜索引擎后

１）查询词和ＵＲＬ的突发性现象研究要分开建模［１３］。２）建模时，网络搜索特点，包括查询词、ＵＲＬ和ｓｅｓｓｉｏｎ３个维度都要考虑在内［１４－１５］。ｓｅｓｓｉｏｎ是指在短时间内提交的满足相同信息需求的一系列查询。为了避免同一会话中包含不相干的查询而导致的性能降低，本文优先考虑同一会话中查询词之间的语义一致性。通过对比分析，本文采用文献［１６］提出的一系列规则来划分搜索ｓｅｓｓｉｏｎ。这些规则用于评估查询之间的词汇相似性，并在检测相关搜索查询时表现出很高精度。２．１查询词和ＵＲＬ独立的主题模型（ＳＢＭ）ＳＢＭ的生成过程是基于查询词和ＵＲＬ相互独立的假设。与ＬＤＡ和ＤＣＭＬＤＡ等传统主题模型不同，ＳＢＭ中的文档有查询词、被点击ＵＲＬ和查询时间三项。图１是ＳＢＭ的搜索主题模型概率图。首先，从超参数为 α 的Ｄｉｒｉｃｈｌｅｔ分布中抽样生成文档与主题之间的关系矩阵 θ，θ 是一个Ｄ×Ｋ的矩阵，其中Ｄ代表文档数量，Ｋ代表主题数。对于每一个主题ｋ，从超参为 βｋ和 δｋ的Ｄｉｒｉｃｈｌｅｔ分布中分别取样生成查询词与主题之间的关系矩阵 θ 和ＵＲＬ与主题之间的关系矩阵 Ω。 θ 和 Ω 是Ｄ×Ｋ×Ｖ的三维矩阵，Ｖ代表训练语料库中出现的所有词的词表。对于文档中的每一个ｓｅｓｓｉｏｎ，从参数为 θｄ的多项分布中选择一个主题ｚ，从参数为 φｚｄ的查询词的多项分布中，采样生成查询词ｗ。然后，生成点击事件的二项分布，如果ＵＲＬ被点击了，从参数为 Ωｚｄ的ＵＲＬ的多项分布中，采样生成ＵＲＬｕ。变量 θ 和 δ 是基于单个特定文档的，因此ＳＢＭ可以为每一个用户查询词和ＵＲＬ的突发性建模。图１ＳＢＭ网络搜索分析主题模型Ｆｉｇ．１ＳＢＭｗｅｂｓｅａｒｃｈａｎａｌｙｓｉｓｔｏｐｉｃｍｏｄｅｌＳＢＭ中的Ｇｉｂｂｓ采样方法借鉴了ＬＤＡ和ＤＣＭＬＤＡ中Ｇｉｂｂｓ采样的方法，并进行了推导。模型的完全似然函数为Ｐ（ｗ，ｕ，ｚ α，β，δ）＝Ｐ（ｕｚ，δ）Ｐ（ｗｚ，β）Ｐ（ｚ α）展开上式中的多项分布和Ｄｉｒｉｃｈｌｅｔ分布，利用多项分布和Ｄｉｒｉｃｈｌｅｔ分布的共轭性质，分别积分掉参数 θ 和 φ 以后，通过借鉴ＬＤＡ和ＤＣＭＬＤＡ中Ｇｉｂｂｓ采样的方法，在ＳＢＭ中概率Ｐ（ｚ α）为Ｐ（ｚ α）＝ Γ（∑ Ｋｚ＝１ αｚ） ∏ Ｋｚ＝１ Γ（αｚ） æ è ç ç ç ö ø ÷ ÷ ÷ Ｄ ∏ Ｄｄ＝１ ∏ Ｔｚ＝１ Γ（ｎｄｚ＋ αｚ） Γ（∑ Ｚｚ＝１（ｎｄｚ＋ αｚ））式中ｎｄｚ为第ｄ个文档中主题ｚ的数量。概率Ｐ（ｗ｜ｚ，β）为Ｐ（ｗｚ，β）＝ ∏ Ｄｄ＝１ ∏ Ｋｋ＝１ Γ（∑ Ｗｗ＝１ βｋｗ） ∏ Ｗｗ＝１ Γ（βｋｗ） ∏ Ｗｗ＝１ Γ（ｎｄｋｗ＋ βｋｗ） Γ（∑ Ｗｗ＝１（ｎｄｋｗ＋ βｋｗ）） æ è ç ç ç ö ø ÷ ÷ ÷ 式中ｎｄｋｗ为第ｄ个文档中第ｋ个主题下查询词ｗ的个数。当该ｓｅｓｓｉｏｎ中没有ＵＲＬ被点击时的条件概率为Ｐ（ｚｉ＝ｋＸｉ＝０，ｚ－ｉ，ｗ，ｕ，α，β，δ） ∝ ＣＤＫｄｋ＋ αｋ ∑ Ｋｋ′ ＝１（ＣＤＫｄｋ′ ＋ αｋ ′） · Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ）） Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ）） ∏ Ｗｗ＝１ Γ（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ） Γ（ＣＫＷＤｋｗｄ＋ βｗ）式中：ＣＤＫｄｋ表示文档ｄ中分配主题为ｋ的ｓｅｓｓｉｏｎ的数量，ＣＫＷＤｋｗｄ表示文档ｄ中查询词ｗ被分配主题ｋ的次数，Ｎｉｗ表示第ｉ个ｓｅｓｓｉｏｎ中查询词ｗ的个数。当一个ｓｅｓｓｉｏｎ中有ＵＲＬ被点击时的条件概率为Ｐ（ｚｉ＝ｋ｜Ｘｉ＝１，ｚ－ｉ，ｗ，ｕ，α，β，δ） ∝ ＣＤＫｄｋ＋ αｋ ∑ Ｋｋ′ ＝１（ＣＤＫｄｋ′ ＋ αｋ ′） · Γ（∑ Ｗｗ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ）） Γ（∑ Ｗｗ＝１（ＣＫＷＤｋｗｄ＋ βｗ＋Ｎｉｗ）） ∏ Ｗｗ＝１ Γ（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ） Γ（ＣＫＷＤｋｗｄ＋ βｗｋ） · Γ（∑ Ｕｕ＝１（ＣＫＵＤｋｕｄ＋ δｕｋ）） Γ（∑ Ｕｕ＝１（ＣＫＵＤｋｕｄ＋ δｕｋ＋Ｎｉｕ）） ∏ Ｕｕ＝１ Γ（ＣＫＵＤｋｕｄ＋ δｕｋ＋Ｎｉｕ） Γ（ＣＫＵＤｋｕｄ＋ δｕｋ）式中，ＣＫＵＤｋｕｄ表示文档ｄ中ＵＲＬｕ被分配主题ｋ的次数，Ｎｉｕ表示第ｉ个ｓｅｓｓｉｏｎ中ＵＲＬｕ的数量。２．２查询词和ＵＲＬ相关联的主题模型（ＣＳ⁃ＳＢＭ）查询词和ＵＲＬ通过搜索引擎紧密地结合在一起，这使得本文研究的问题变得更加复杂。被点击的ＵＲＬ是由对应的查询词经过搜索得出的。在网络搜索的情境中，ＵＲＬ是提交查询词给搜索引擎后 ·６７０· 智能系统学报第１２卷

第5期张森，等：基于用户查询日志的网络搜索主题分析 .671 返回的结果。因此，URL和查询词是相关的。为了数量。获取它们两者之间的关系，这里引入变量△ku来当session中没有URL被点击时的条件概率为代表“查询词-URL”的多项分布，其先验由δ表示。 P(a:=k|X=0,z-,w,u,a,B,8,Ψ) “查询词-URL”多项式通过目前已经被广泛采用的点击图来获得，点击图由搜索查询和被点击的URL T(∑(C+B) f=1 两部分组成。用于表示全局部分的CS-SBM定义为 CS-SBM-G。因为本文重点研究以单个用户为核心名+ rΣ(C+R4+M) 1=1 的信息能否增强主题模型的表现，所以基于单个用 (CK+B+N) 户“查询词-URL”多项分布的CS-SBM定义为CS- Π I(CKu+B.) SBM-U。当session中有URL被点击时的条件概率为图2给出了CS-SBM的生成过程。与SBM相 P(z;=kI X:=1,z-,w,t,u,a,B,6,V) 比，查询词的生成过程不变，两者最主要的区别在于，CS-SBM在URL生成的时候要考虑查询词的影 C+ag T(∑(C四+B) =1 响，对于session中每一个查询项q,首先生成点击事件的二项分布，如果URL被点击了，则从参数为2 宫c赠·R.+》的URL多项分布中采样生成URLu。 T∑(C+6) (a rC吧+Bs+N m=1 I(CID +B.) qesi (0 r(∑(C+i+N)） T(C+δ+Na) Π T(c4+δ.) 式中：C2表示在一个session里查询项g中的 ⑥ URLu被分配主题为z的次数；N.表示session i中 URL的数量。 D 2.3主题在时间上的突发性图2CS-SBM网络搜索分析主题模型网络搜索中另一个常见现象就是时间上的突 Fig.2 CS-SBM web search analysis topic model 发性。一个用户更倾向于在一个很短的时间内集模型的完全似然函数为中查询一些内容。因此，本文假设每一个用户的查 P(w,u,zla,B,6)=P(ulz,w,8)P(wz.B)P(zla) 询轨迹都有一个时间上的突发性，这种突发性由与在CS-SBM中，同样采用了与LDA类似的查询相关的时间戳来体现。因为时间粒度是很难 Gibbs采样方法。P(zla)和P(wlz,B)都与SBM中设定的，所以本文采用TOT中提出的方法，使用连的相同。两者主要的区别就是给定的主题中的续的Beta分布来捕获主题时间上的突发性。通过和u不再相互独立。“的生成过程可能受到主题z 引入Beta分布，使一个主题能够更容易在一个短的和相关搜索查询g的影响。时间周期内出现。在这种情况下，本文从整个语料 P(uI z.w6)= 库级别（定义为X-TG)和基于单一用户级别（定义为X-TU)出发，刻画一个主题在时间上的变化 iipus14aii(a.1)w= 趋势。因为主题-周期的多项分布是固定的（对每一 i114-1i 个用户而言)，所以主题中存在的时间周期将会证明突发性。每天或者每小时都可以观察到突发性 Πr() 现象，这表明去离散化是更合适的。 m=1 下面是SBM和CS-SBM在添加了时间信息以 ⅡT(ne+) 后的模型算法。 M- the same as the original model 1r(6) T(∑(ne+i) for each session s in d do 式中，nm是第z个主题的第q个查询中的URLu的 choose a topic z:Multinomial();

返回的结果。因此，ＵＲＬ和查询词是相关的。为了获取它们两者之间的关系，这里引入变量 Δｑｋｕ来代表“查询词－ＵＲＬ”的多项分布，其先验由 δ 表示。 “查询词－ＵＲＬ”多项式通过目前已经被广泛采用的点击图来获得，点击图由搜索查询和被点击的ＵＲＬ两部分组成。用于表示全局部分的ＣＳ⁃ＳＢＭ定义为ＣＳ⁃ＳＢＭ⁃Ｇ。因为本文重点研究以单个用户为核心的信息能否增强主题模型的表现，所以基于单个用户 “查询词－ＵＲＬ”多项分布的ＣＳ⁃ＳＢＭ定义为ＣＳ⁃ ＳＢＭ⁃Ｕ。图２给出了ＣＳ⁃ＳＢＭ的生成过程。与ＳＢＭ相比，查询词的生成过程不变，两者最主要的区别在于，ＣＳ⁃ＳＢＭ在ＵＲＬ生成的时候要考虑查询词的影响，对于ｓｅｓｓｉｏｎ中每一个查询项ｑ，首先生成点击事件的二项分布，如果ＵＲＬ被点击了，则从参数为 Ωｑｚ的ＵＲＬ多项分布中采样生成ＵＲＬｕ。图２ＣＳ⁃ＳＢＭ网络搜索分析主题模型Ｆｉｇ．２ＣＳ⁃ＳＢＭｗｅｂｓｅａｒｃｈａｎａｌｙｓｉｓｔｏｐｉｃｍｏｄｅｌ模型的完全似然函数为Ｐ（ｗ，ｕ，ｚ α，β，δ）＝Ｐ（ｕｚ，ｗ，δ）Ｐ（ｗｚ，β）Ｐ（ｚ α）在ＣＳ⁃ＳＢＭ中，同样采用了与ＬＤＡ类似的Ｇｉｂｂｓ采样方法。Ｐ（ｚ｜ α）和Ｐ（ｗｚ，β）都与ＳＢＭ中的相同。两者主要的区别就是给定的主题中的ｗ和ｕ不再相互独立。ｕ的生成过程可能受到主题ｚ和相关搜索查询ｑ的影响。Ｐ（ｕ｜ｚ，ｗ，δ）＝ ∫∏ Ｄｄ＝１ ∏ Ｎｄｉ＝１Ｐ（ｕｄｉ｜ Δｑｄｉｚｄｉ）∏ Ｑｑ＝１ ∏ Ｋｚ＝１ｐ（Δｑｚ｜ δ）ｄΔ ＝ ∫∏ Ｋｚ＝１ ∏ Ｑｑ＝１ ∏ Ｕｕ＝１ Δ ｎｑｚｕｑｚｕ ∏ Ｑｑ＝１ ∏ Ｋｚ＝１（ Γ（∑ Ｕｕ＝１ δｑｕ） ∏ Ｕｕ＝１ Γ（δｑｕ） ∏ Ｕｕ＝１ Δ δｑｕ－１ｑｚｕ）ｄΔ ＝ ∏ Ｑｑ＝１（ Γ（∑ Ｕｕ＝１ δｑｕ）Ｋ ∏ Ｕｕ＝１ Γ（δｑｕ）） × ∏ Ｋｚ＝１ ∏ Ｑｑ＝１ ∏ Ｕｕ＝１ Γ（ｎｑｚｕ＋ δｑｕ） Γ（∑ Ｕｕ＝１（ｎｑｚｕ＋ δｑｕ））式中，ｎｑｚｕ是第ｚ个主题的第ｑ个查询中的ＵＲＬｕ的数量。当ｓｅｓｓｉｏｎ中没有ＵＲＬ被点击时的条件概率为Ｐ（ｚｉ＝ｋＸｉ＝０，ｚ－ｉ，ｗ，ｕ，α，β，δ，Ψ） ∝ ＣＤＫｄｋ＋ αｋ ∑ Ｋｋ′ ＝１（ＣＤＫｄｋ′ ＋ αｋ ′） · Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ）） Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ）） · ∏ Ｗｗ＝１ Γ（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ） Γ（ＣＫＷＤｋｗｄ＋ βｗ）当ｓｅｓｓｉｏｎ中有ＵＲＬ被点击时的条件概率为Ｐ（ｚｉ＝ｋ｜Ｘｉ＝１，ｚ－ｉ，ｗ，ｔ，ｕ，α，β，δ，Ψ） ∝ ＣＤＫｄｋ＋ αｋ ∑ Ｋｋ′ ＝１（ＣＤＫｄｋ′ ＋ αｋ ′） · Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ）） Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ）） · ∏ Ｗｗ＝１ Γ（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ） Γ（ＣＫＷＤｋｗｄ＋ βｗ） ∏ｑ∈ｓｉ Γ（∑ Ｕｕ＝１（ＣＱＺＵｑｚｕ＋ δｑｕ）） Γ（∑ Ｕｕ＝１（ＣＱＺＵｑｚｕ＋ δｑｕ＋Ｎｉｕ）） · ∏ｕ←ｑ Γ（ＣＱＺＵｑｚｕ＋ δｑｕ＋Ｎｉｕ） Γ（ＣＱＺＵｑｚｕ＋ δｕ）式中：ＣＱＺＵｑｚｕ表示在一个ｓｅｓｓｉｏｎ里查询项ｑ中的ＵＲＬｕ被分配主题为ｚ的次数；Ｎｉｗ表示ｓｅｓｓｉｏｎｉ中ＵＲＬ的数量。２．３主题在时间上的突发性网络搜索中另一个常见现象就是时间上的突发性。一个用户更倾向于在一个很短的时间内集中查询一些内容。因此，本文假设每一个用户的查询轨迹都有一个时间上的突发性，这种突发性由与查询相关的时间戳来体现。因为时间粒度是很难设定的，所以本文采用ＴＯＴ中提出的方法，使用连续的Ｂｅｔａ分布来捕获主题时间上的突发性。通过引入Ｂｅｔａ分布，使一个主题能够更容易在一个短的时间周期内出现。在这种情况下，本文从整个语料库级别（定义为Ｘ－ＴＧ）和基于单一用户级别（定义为Ｘ－ＴＵ）出发，刻画一个主题在时间上的变化趋势。因为主题－周期的多项分布是固定的（对每一个用户而言），所以主题中存在的时间周期将会证明突发性。每天或者每小时都可以观察到突发性现象，这表明去离散化是更合适的。下面是ＳＢＭ和ＣＳ⁃ＳＢＭ在添加了时间信息以后的模型算法。ｔｈｅｓａｍｅａｓｔｈｅｏｒｉｇｉｎａｌｍｏｄｅｌｆｏｒｅａｃｈｓｅｓｓｉｏｎｓｉｎｄｄｏｃｈｏｏｓｅａｔｏｐｉｃｚ：Ｍｕｌｔｉｎｏｍｉａｌ（θｄ）；第５期张森，等：基于用户查询日志的网络搜索主题分析 ·６７１·

·672 智能系统学报第12卷 generate timestamps t~Beta(T:)(X-TG)or t:Beta(T)(X-TU) I(CK+B.+N.) the same as the original model 宫(+R+》 I(CKMP+B.) end for 它主要的变化在于，对文档中的每一个session, T(∑(c+6) 从参数为日，的多项分布中采样一个主题z,然后根 Π w=I Π I(coc +5+N) 据数据集的不同，从Beta分布Beta(T,)和Beta(Ta) T(∑(C%+6+N.) T(c+6) 分别生成基于全局的时间戳和基于特定用户的时时间的参数按照如下方法更新：间戳。 TS-SBM的Gibbs采样与LDA方法类似。本文 w元a1- -1] SLA 给出了一些简单的推导。首先，模型的完全似然函数为 7a=a-1-）-1 P(w,u,t,zla,B,δ，r)=P(tlz,r)P(ulz,8) 式中，和s表示每一个文档中主题z时间上的样 P(wlz,B)P(zla) 本均值和样本偏方差。如果session中没有URL被点击，那么此时的条件概率是： 3 参数估计 P(z=kI X:=0,z-i,w,u,a,B,6,T)c 关于超参数a和B设置问题，一些LDA应用采（1-t)）'atae 用默认相同值的方法获得了成功，例如由Griffiths B(T1,T2) 和Steyers提出的a=50/k,B=0.01,K是主题的数量。因此，在LDA中没有必要去研究超参数。然 () 而，在本文提出的模型中，超参数的设置是至关重 f=1 I(Cko?+B+N) 要的。因为LDA中的p和2值，也被包括在SBM (∑(C+Bk+N.) I(CKu+B.) 和CS-SBM的B和8中。式中：T1和T2是Beta分布的超参数。 SBM完全似然P(w,u,zIa,B,8)的计算如下对于SBM模型，如果session中有URL被点击，所示：此时的条件概率为 P(w,u,z1,B,8)= T P(a:=k|X=1,2i,w,u,a,B,8)c ΠT(m+a4) k=1 k= (1-专)a1ta C+ B(T1,T2）县(c+） ΠT(a) ( (m+a)) k= k=1 T(立(c"+B) r(Ba) IIr(n+B.) I(Chm+B+N) r宫R I(C +B.) ΠT(B) (nid +B)) r2(c-+ia》 T(∑6) ΠT(nd+δk) =1 u=1 T(C+δk+N) T(∑(c+64+N) (CkuP+8) IIr(8.) 空u+i》联三1 CS-SBM完全似然P(w,u,zla,B,δ)的计算如对于CS-SBM模型，当session中有URL被点击时的下所示：条件概率为 P(w,u,z1a,B,8)= P(z=kI X:=1,z-i,w,t,u,a,B,6,) (1-)at52- CK+ T(m+a) k=1 B(T,T2） + r) (m+a))

ｇｅｎｅｒａｔｅｔｉｍｅｓｔａｍｐｓｔ～Ｂｅｔａ（τｚ）（Ｘ－ＴＧ）ｏｒｔ：Ｂｅｔａ（τｚｄ）（Ｘ－ＴＵ）；ｔｈｅｓａｍｅａｓｔｈｅｏｒｉｇｉｎａｌｍｏｄｅｌｅｎｄｆｏｒ它主要的变化在于，对文档中的每一个ｓｅｓｓｉｏｎ，从参数为 θｄ的多项分布中采样一个主题ｚ，然后根据数据集的不同，从Ｂｅｔａ分布Ｂｅｔａ（τｚ）和Ｂｅｔａ（τｚｄ）分别生成基于全局的时间戳和基于特定用户的时间戳。ＴＳ⁃ＳＢＭ的Ｇｉｂｂｓ采样与ＬＤＡ方法类似。本文给出了一些简单的推导。首先，模型的完全似然函数为Ｐ（ｗ，ｕ，ｔ，ｚ｜ α，β，δ，τ）＝Ｐ（ｔ｜ｚ，τ）Ｐ（ｕ｜ｚ，δ）· Ｐ（ｗ｜ｚ，β）Ｐ（ｚ｜ α）如果ｓｅｓｓｉｏｎ中没有ＵＲＬ被点击，那么此时的条件概率是：Ｐ（ｚｉ＝ｋ｜Ｘｉ＝０，ｚ－ｉ，ｗ，ｕ，α，β，δ，τ） ∝ ∏ Ｔｊ＝１（１－ｔｊ） τ ｄｋ１－１ｔ τ ｄｋ２－１ｊＢ（τｄｋ１，τｄｋ２）ＣＤＫｄｋ＋ αｋ ∑ Ｋｋ′ ＝１（ＣＤＫｄｋ′ ＋ αｋ′） · Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ）） Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ）） ∏ Ｗｗ＝１ Γ（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ） Γ（ＣＫＷＤｋｗｄ＋ βｗ）式中：τｄｋ１和 τｄｋ２是Ｂｅｔａ分布的超参数。对于ＳＢＭ模型，如果ｓｅｓｓｉｏｎ中有ＵＲＬ被点击，此时的条件概率为Ｐ（ｚｉ＝ｋ｜Ｘｉ＝１，ｚ－ｉ，ｗ，ｕ，α，β，δ） ∝ ∏ Ｔｊ＝１（１－ｔｊ） τ ｄｋ１－１ｔ τ ｄｋ２－１ｊＢ（τｄｋ１，τｄｋ２）ＣＤＫｄｋ＋ αｋ ∑ Ｋｋ′ ＝１（ＣＤＫｄｋ′ ＋ αｋ′） · Γ（∑ Ｗｗ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ）） Γ（∑ Ｗｗ＝１（ＣＫＷｋｗ＋ βｗ＋Ｎｉｗ）） ∏ Ｗｗ＝１ Γ（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ） Γ（ＣＫＷＤｋｗｄ＋ βｗｋ） · Γ（∑ Ｕｕ＝１（ＣＫＵＤｋｕｄ＋ δｕｋ）） Γ（∑ Ｕｕ＝１（ＣＫＵＤｋｕｄ＋ δｕｋ＋Ｎｉｕ）） ∏ Ｕｕ＝１ Γ（ＣＫＵＤｋｕｄ＋ δｕｋ＋Ｎｉｕ） Γ（ＣＫＵＤｋｕｄ＋ δｕｋ）对于ＣＳ⁃ＳＢＭ模型，当ｓｅｓｓｉｏｎ中有ＵＲＬ被点击时的条件概率为Ｐ（ｚｉ＝ｋ｜Ｘｉ＝１，ｚ－ｉ，ｗ，ｔ，ｕ，α，β，δ，Ψ） ∝ ∏ Ｔｊ＝１（１－ｔｊ） τ ｄｋ１－１ｔ τ ｄｋ２－１ｊＢ（τｄｋ１，τｄｋ２）ＣＤＫｄｋ＋ αｋ ∑ Ｋｋ′ ＝１（ＣＤＫｄｋ′ ＋ αｋ′） · Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ）） Γ（∑ Ｗｔ＝１（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ）） ∏ Ｗｗ＝１ Γ（ＣＫＷＤｋｗｄ＋ βｗｋ＋Ｎｉｗ） Γ（ＣＫＷＤｋｗｄ＋ βｗ） · ∏ｑ∈ｓｉ Γ（∑ Ｕｕ＝１（ＣＱＺＵｑｚｕ＋ δｑｕ）） Γ（∑ Ｕｕ＝１（ＣＱＺＵｑｚｕ＋ δｑｕ＋Ｎｉｕ）） ∏ｕ←ｑ Γ（ＣＱＺＵｑｚｕ＋ δｑｕ＋Ｎｉｕ） Γ（ＣＱＺＵｑｚｕ＋ δｕ）时间的参数按照如下方法更新： τｋｄ１＝ｔｋｄ［ｔｋｄ（１－ｔｋｄ）ｓ２ｋｄ－１］ τｋｄ２＝（１－ｔｋｄ）［ｔｋｄ（１－ｔｋｄ）ｓ２ｋｄ－１］式中，ｔｋｄ和ｓ２ｋｄ表示每一个文档中主题ｚ时间上的样本均值和样本偏方差。３参数估计关于超参数 α 和 β 设置问题，一些ＬＤＡ应用采用默认相同值的方法获得了成功，例如由Ｇｒｉｆｆｉｔｈｓ和Ｓｔｅｙｅｒｓ［１７］提出的 α＝５０／ｋ，β ＝０．０１，Ｋ是主题的数量。因此，在ＬＤＡ中没有必要去研究超参数。然而，在本文提出的模型中，超参数的设置是至关重要的。因为ＬＤＡ中的 φ 和 Ω 值，也被包括在ＳＢＭ和ＣＳ⁃ＳＢＭ的 β 和 δ 中。ＳＢＭ完全似然Ｐ（ｗ，ｕ，ｚ｜ α，β，δ）的计算如下所示：Ｐ（ｗ，ｕ，ｚ｜ α，β，δ）＝ ∏ｄ（ Γ（∑ Ｋｋ＝１ αｋ） ∏ Ｋｋ＝１ Γ（αｋ）） ∏ Ｔｋ＝１ Γ（ｍｄｋ＋ αｋ） Γ（∑ Ｋｋ＝１（ｍｄｋ＋ αｋ）） · ∏ｄ，ｋ（（ Γ（∑ Ｗｗ＝１ βｗｋ） ∏ Ｗｗ＝１ Γ（βｗｋ）） ∏ Ｗｗ＝１ Γ（ｎｋｗｄ＋ βｗｋ） Γ（∑ Ｗｗ＝１（ｎｋｗｄ＋ βｗｋ）））· （ Γ（∑ Ｕｕ＝１ δｕｋ） ∏ Ｕｕ＝１ Γ（δｕｋ）） ∏ Ｕｕ＝１ Γ（ｎｋｕｄ＋ δｕｋ） Γ（∑ Ｕｕ＝１（ｎｋｕｄ＋ δｕｋ）））ＣＳ⁃ＳＢＭ完全似然Ｐ（ｗ，ｕ，ｚ｜ α，β，δ）的计算如下所示：Ｐ（ｗ，ｕ，ｚ｜ α，β，δ）＝ ∏ｄ（ Γ（∑ Ｋｋ＝１ αｋ） ∏ Ｋｋ＝１ Γ（αｋ）） ∏ Ｔｋ＝１ Γ（ｍｄｋ＋ αｋ） Γ（∑ Ｋｋ＝１（ｍｄｋ＋ αｋ）） · ·６７２· 智能系统学报第１２卷

第5期张森，等：基于用户查询日志的网络搜索主题分析 ·673· ira+R）对于SBM: M- ak'=∑(lnT(na+d陆)-lnr(δu)+ .k. IIr(B.) (nid +B)) ∑hr(∑)-hr(Σw+i.:) ΠT(nh+δn）对于CS-SBM: u= i,'=∑(lnT(nh+in)-ln「（δ）)+ g,k ΠT(δ) Σar(Σa.)-lhr(Σ+.) SBM-T完全似然P(w,u,za,B,8)的计算如下上面的每一个公式无论a'B.k'还是6.k'、8., 所示：都定义了一个向量。本文采用文献[18]中提出的 P(w,u,zla,B,6)= 有限空间的BFGS方法使它最大化。运行Gibbs采 ΠT(m4+a4) 样，然后选择B和6使P(w,u,za,B,δ，r)完全 k= 似然最大化，直到达到稳定状态。重复上述过程， Πr(a) (ma +ag)) 直到aB和6收敛。 =1 T(∑B) 4实验结果分析 ΠT(n+Bt) 三 4.1数据集本文选择的实验数据是搜狗搜索发布的匿名查询日志。它是搜狗在网上公开发布的用户查询日志。该日志包括了用户2008年6月整月的网络 Ip(ta:I Ta.) 查询记录。日志主要包括5部分，即用户匿名D Ir(.) 查询词、查询时间、点击的URL的排名、点击的 CS-SBM-T完全似然P(w,u,za,B,8,T)的计 URL。这些数据是按照匿名用户的D顺序依次排算如下所示：列的。本文选取了在一个月内查询日志条目大于 500条的用户进行建模。首先，将同一用户的搜索 P(w,u,zla,B,8,r）= 查询日志放到一个文档中。然后，用文献[16]提出 ( ΠT(m+a) 的方法将搜索查询日志切分成了647164个session, k= 用于下一步搜索主题的发现。接下来，根据文献 Πr(a) [16]提出的停用词列表过滤掉那些没有意义的查 r(∑BA) 询词。同时，例如www.sougou.com、www.baid.com iT(na+Bt）等主要的搜索引擎和门户网站也要过滤掉)，因为 n=1 =1 它们没有提供有用信息。每一个文档的时间戳是 ΠT(B) (nd +B)) 由搜索日志上提供的查询时间决定的，并且根据文 r+- 献[20]提出的SSTM模型中用到的方法，将时间按照先后顺序归一化到(0,1)。实验数据中，每一个 W= 文档都包括了一些session,每一个session都包括一 1r(6) 些查询词、URL(如果有点击事件)和时间戳。 I(a) 本文选用了两个衡量标准。第1个衡量标准是用部分Held-Out数据评估模型预测未知数据的能进行对数似然转换：力。第2个衡量标准，本文参照了文献[21]提出的 a.((a)-In(a)) 方法，即在观察部分用户搜索记录以后，预测剩余 ∑(nr(∑a)-lnr(∑mu+a) 查询项的能力。两个衡量标准都选择了困惑度作为评估模型泛化能力的衡量指标。一般而言，模型 B'=Σfnu+B）-nr(B.)+ 的困惑度越低，表明泛化能力越强，对模型的拟合 Σ(nf(∑Ba)-lhr(∑nw+B) 程度越高。由于很少有概率模型做有关获取网络搜索查询突发性和时间上的主题突发性研究，很难

∏ｄ，ｋ（（ Γ（∑ Ｗｗ＝１ βｗｋ） ∏ Ｗｗ＝１ Γ（βｗｋ）） ∏ Ｗｗ＝１ Γ（ｎｋｗｄ＋ βｗｋ） Γ（∑ Ｗｗ＝１（ｎｋｗｄ＋ βｗｋ）））· ∏ Ｋｋ＝１ ∏ Ｑｑ＝１ｈ（（ Γ（∑ Ｕｕ＝１ δｑｕ） ∏ Ｕｕ＝１ Γ（δｑｕ）） ∏ Ｕｕ＝１ Γ（ｎｑｋｕ＋ δｑｕ） Γ（∑ Ｕｕ＝１（ｎｑｋｕ＋ δｑｕ）））ＳＢＭ⁃Ｔ完全似然Ｐ（ｗ，ｕ，ｚ α，β，δ）的计算如下所示：Ｐ（ｗ，ｕ，ｚ α，β，δ）＝ ∏ｄ（ Γ（∑ Ｋｋ＝１ αｋ） ∏ Ｋｋ＝１ Γ（αｋ）） ∏ Ｔｋ＝１ Γ（ｍｄｋ＋ αｋ） Γ（∑ Ｋｋ＝１（ｍｄｋ＋ αｋ）） · ∏ｄ，ｋ（ Γ（∑ Ｗｗ＝１ βｗｋ） ∏ Ｗｗ＝１ Γ（βｗｋ）） ∏ Ｗｗ＝１ Γ（ｎｋｗｄ＋ βｗｋ） Γ（∑ Ｗｗ＝１（ｎｋｗｄ＋ βｗｋ）） · æ è ç ç ç （ Γ（∑ Ｕｕ＝１ δｕｋ） ∏ Ｕｕ＝１ Γ（δｕｋ）） ∏ Ｕｕ＝１ Γ（ｎｋｕｄ＋ δｕｋ） Γ（∑ Ｕｕ＝１（ｎｋｕｄ＋ δｕｋ）） ö ø ÷ ÷ ÷ ∏ｄ，ｓ，ｉｐ（ｔｄｓｉ｜ τｄｋｓ）ＣＳ⁃ＳＢＭ⁃Ｔ完全似然Ｐ（ｗ，ｕ，ｚ α，β，δ，τ）的计算如下所示：Ｐ（ｗ，ｕ，ｚ α，β，δ，τ）＝ ∏ｄ（ Γ（∑ Ｋｋ＝１ αｋ） ∏ Ｋｋ＝１ Γ（αｋ）） ∏ Ｔｋ＝１ Γ（ｍｄｋ＋ αｋ） Γ（∑ Ｋｋ＝１（ｍｄｋ＋ αｋ）） · ∏ｄ，ｋ（（ Γ（∑ Ｗｗ＝１ βｗｋ） ∏ Ｗｗ＝１ Γ（βｗｋ）） ∏ Ｗｗ＝１ Γ（ｎｋｗｄ＋ βｗｋ） Γ（∑ Ｗｗ＝１（ｎｋｗｄ＋ βｗｋ）））· ∏ Ｋｚ＝１ ∏ Ｑｑ＝１（（ Γ（∑ Ｕｕ＝１ δｑｕ） ∏ Ｕｕ＝１ Γ（δｑｕ）） ∏ Ｕｕ＝１ Γ（ｎｑｋｕ＋ δｑｕ） Γ（∑ Ｕｕ＝１（ｎｑｋｕ＋ δｑｕ）））· ∏ｄ，ｓ，ｉｐ（ｔｄｓｉ｜ τｄｋｓ）进行对数似然转换： α．′ ＝ ∑ｄ，ｋ（ｌｎΓ（ｎ．ｋｄ＋ αｋ）－ｌｎΓ（αｋ））＋ ∑ｄ（ｌｎΓ（∑ｋ αｋ）－ｌｎΓ（∑ｋｎ．ｋｄ＋ αｋ）） β．ｋ ′ ＝ ∑ｄ，ｋ，ｗ（ｌｎΓ（ｎｗｋｄ＋ βｗｋ）－ｌｎΓ（βｗｋ））＋ ∑ｄ，ｋ（ｌｎΓ（∑ｗ βｗｋ）－ｌｎΓ（∑ｗｎｗｋｄ＋ βｗｋ））对于ＳＢＭ： δ．ｋ ′ ＝ ∑ｄ，ｋ，ｕ（ｌｎΓ（ｎｕｋｄ＋ δｕｋ）－ｌｎΓ（δｕｋ））＋ ∑ｄ，ｋ（ｌｎΓ（∑ｕ δｕｋ）－ｌｎΓ（∑ｕｎｕｋｄ＋ δｕｋ））对于ＣＳ⁃ＳＢＭ： δ．ｑ ′ ＝ ∑ｑ，ｋ，ｕ（ｌｎ Γ（ｎｑｋｕ＋ δｑｕ）－ｌｎΓ（δｑｕ））＋ ∑ｑ，ｋ（ｌｎΓ（∑ｕ δｑｕ）－ｌｎΓ（∑ｕｎｑｋｕ＋ δｑｕ））上面的每一个公式无论 α．′、β．ｋ ′还是 δ．ｋ ′、δ．ｑ ′ 都定义了一个向量。本文采用文献［１８］中提出的有限空间的ＢＦＧＳ方法使它最大化。运行Ｇｉｂｂｓ采样，然后选择 α、β 和 δ 使Ｐ（ｗ，ｕ，ｚ｜ α，β，δ，τ）完全似然最大化，直到达到稳定状态。重复上述过程，直到 α、β 和 δ 收敛。４实验结果分析４．１数据集本文选择的实验数据是搜狗搜索发布的匿名查询日志。它是搜狗在网上公开发布的用户查询日志。该日志包括了用户２００８年６月整月的网络查询记录。日志主要包括５部分，即用户匿名ＩＤ、查询词、查询时间、点击的ＵＲＬ的排名、点击的ＵＲＬ。这些数据是按照匿名用户的ＩＤ顺序依次排列的。本文选取了在一个月内查询日志条目大于５００条的用户进行建模。首先，将同一用户的搜索查询日志放到一个文档中。然后，用文献［１６］提出的方法将搜索查询日志切分成了６４７１６４个ｓｅｓｓｉｏｎ，用于下一步搜索主题的发现。接下来，根据文献［１６］提出的停用词列表过滤掉那些没有意义的查询词。同时，例如ｗｗｗ．ｓｏｕｇｏｕ．ｃｏｍ、ｗｗｗ．ｂａｉｄｕ．ｃｏｍ等主要的搜索引擎和门户网站也要过滤掉［１９］，因为它们没有提供有用信息。每一个文档的时间戳是由搜索日志上提供的查询时间决定的，并且根据文献［２０］提出的ＳＳＴＭ模型中用到的方法，将时间按照先后顺序归一化到（０，１）。实验数据中，每一个文档都包括了一些ｓｅｓｓｉｏｎ，每一个ｓｅｓｓｉｏｎ都包括一些查询词、ＵＲＬ（如果有点击事件）和时间戳。本文选用了两个衡量标准。第１个衡量标准是用部分Ｈｅｌｄ⁃Ｏｕｔ数据评估模型预测未知数据的能力。第２个衡量标准，本文参照了文献［２１］提出的方法，即在观察部分用户搜索记录以后，预测剩余查询项的能力。两个衡量标准都选择了困惑度作为评估模型泛化能力的衡量指标。一般而言，模型的困惑度越低，表明泛化能力越强，对模型的拟合程度越高。由于很少有概率模型做有关获取网络搜索查询突发性和时间上的主题突发性研究，很难第５期张森，等：基于用户查询日志的网络搜索主题分析 ·６７３·

674 智能系统学报第12卷找到提出模型的直接竞争对手。所以本文选取了3 671.09、561.26。本文中提出的模型再次取得了显个常用的主题模型作为比较基线，即LDA、DCMLDA 著的优势，其中SBM的困惑度是206.76，而CS-SBM 和T0T。达到了204.87。实验结果表明，SBM和CS-SBM有 4.2模型困惑度分析着更好的预测剩余查询项的能力。对于第一个衡量标准，困惑度义如下： 1.6×10 LDA 1.4 Perplexity)(()) ++DCMLDA 1.2 +TOT d=1i=1 SBM 式中，M是模型通过训练过程学习到的，N,是指第 1.0 -·CS-SBM d个文档中词汇数量。图3展示了困惑度的比较结果，从中可以发现这两个提出的模型与3个基线模 0.4 型相比表现出了更好的预测未知数据的能力。因 0.2 此，把搜索主题数设置为1O00时，SBM、CS-SBM、 t.... LDA、DCMLDA、TOT的困惑度分别为430.347 20 406080100 训练数据占总数据的百分比/% 400.16、1080.41、995.76、830.23。SBM和CS-SBM 自身的困惑度低，并且随着主题数增加困惑度还会图4 Observed数据的困惑度进一步降低。实验结果表明，SBM和CS-SBM更适 Fig.4 Perplexity of observed data 合于从给予的用户搜索历史中预测用户未来网络 4.3搜索主题发现及分析搜索查询。发现搜索主题的合理性是判断模型是否成功 ×10 的一个重要指标。本文中的实验结果证明了提出 3.0 →LDA 的模型在发现搜索主题方面表现突出，同时还准确 2.5 ◆◆DCMLDA ..TOT 地预测了查询主题在时间上的演化趋势。 20 -SBM 实验中设置主题的数目为K=50。搜索主题是 CS-SBM ☒1. 从Gibbs采样的1O00次迭代中单次采样提取的。 1.0 在表1~4中，展示了4个由SBM和CS-SBM分别在语料库级上和单个用户级上发现的搜索主题，并 0.5 列出了各主题概率值最大的前5个词汇及其概率。 0 2004006008001000 主题名称是根据该主题下词汇具体的语义信息定检索的主题个数/个义的。图5~8中，直方图显示了主题在时间轴上的图3Held-out数据的困惑度概率分布，光滑曲线为拟合Beta分布的概率密度函 Fig.3 Perplexity of held-out data 数曲线。下面将选取图中的两个搜索主题进行具第2种衡量标准的困惑度为体分析。 Perplexity(M)= 表1~2中的第一个主题是“地震”，通过图5~6 可以发现，本文提出的SBM模型在语料库级上和单三(w (II II p(,IM.w.)) 个用户级上都成功获取了主题时间上的突发性。 d=li=P+I 根据其时间分布来看，由于刚刚发生过汶川地震，第2种衡量标准可以评估提出的模型在观察一因此在6月份的前半个月，人们对地震的搜索比较部分用户搜索历史记录以后，预测剩余查询项的能频繁，但随着时间的推移，搜索数量逐渐减少。从力。例如，从用户的查询日志中得到已经观察的查语料库级的分析结果看，“汶川、地震、救灾”等高频询词心1，P,那么剩余查询项的预测分布为词汇都与地震相关。对于单个用户，本文从实验结 P(wW:P)。测试数据的困惑度是根据上面的困惑果中选择了一位有大量查询日志并且有地震主题度公式进行计算。举例来说，选择数据集中前80% 的用户做具体分析描述。结果发现，在这个主题下的搜索查询词作为观察训练数据，剩余的20%作为的词，例如地震、汶川、唐山、四川等词汇出现的概测试数据。图4呈现了部分观察数据的预测困惑率较高。总体来看，汶川地震引起了人们广泛的关度，LDA、DCMLDA、TOT的困惑度分别是684.83、注，对于全局来说，用户更关注地震救援工作：对于

找到提出模型的直接竞争对手。所以本文选取了３个常用的主题模型作为比较基线，即ＬＤＡ、ＤＣＭＬＤＡ和ＴＯＴ。４．２模型困惑度分析对于第一个衡量标准，困惑度义如下：Ｐｅｒｐｌｅｘｉｔｙｈｅｌｄ－ｏｕｔ（Ｍ）＝（∏ Ｄｄ＝１ ∏ Ｎｄｉ＝１ｐ（ｗｉＭ））－１ ∑ Ｄｄ＝１（Ｎｄ）式中，Ｍ是模型通过训练过程学习到的，Ｎｄ是指第ｄ个文档中词汇数量。图３展示了困惑度的比较结果，从中可以发现这两个提出的模型与３个基线模型相比表现出了更好的预测未知数据的能力。因此，把搜索主题数设置为１０００时，ＳＢＭ、ＣＳ⁃ＳＢＭ、ＬＤＡ、ＤＣＭＬＤＡ、ＴＯＴ的困惑度分别为４３０．３４７、４００．１６、１０８０．４１、９９５．７６、８３０．２３。ＳＢＭ和ＣＳ⁃ＳＢＭ自身的困惑度低，并且随着主题数增加困惑度还会进一步降低。实验结果表明，ＳＢＭ和ＣＳ⁃ＳＢＭ更适合于从给予的用户搜索历史中预测用户未来网络搜索查询。图３Ｈｅｌｄ⁃ｏｕｔ数据的困惑度Ｆｉｇ．３Ｐｅｒｐｌｅｘｉｔｙｏｆｈｅｌｄ⁃ｏｕｔｄａｔａ第２种衡量标准的困惑度为Ｐｅｒｐｌｅｘｉｔｙｐｏｒｔｉｏｎ（Ｍ）＝（∏ Ｄｄ＝１ ∏ Ｎｄｉ＝Ｐ＋１ｐ（ｗｉＭ，Ｗａ：Ｐ））－１ ∑ Ｄｄ＝１（Ｎｄ）第２种衡量标准可以评估提出的模型在观察一部分用户搜索历史记录以后，预测剩余查询项的能力。例如，从用户的查询日志中得到已经观察的查询词ｗ１：Ｐ，那么剩余查询项的预测分布为Ｐｗ｜Ｗ１：Ｐ ( ) 。测试数据的困惑度是根据上面的困惑度公式进行计算。举例来说，选择数据集中前８０％的搜索查询词作为观察训练数据，剩余的２０％作为测试数据。图４呈现了部分观察数据的预测困惑度，ＬＤＡ、ＤＣＭＬＤＡ、ＴＯＴ的困惑度分别是６８４．８３、６７１．０９、５６１．２６。本文中提出的模型再次取得了显著的优势，其中ＳＢＭ的困惑度是２０６．７６，而ＣＳ⁃ＳＢＭ达到了２０４．８７。实验结果表明，ＳＢＭ和ＣＳ⁃ＳＢＭ有着更好的预测剩余查询项的能力。图４Ｏｂｓｅｒｖｅｄ数据的困惑度Ｆｉｇ．４Ｐｅｒｐｌｅｘｉｔｙｏｆｏｂｓｅｒｖｅｄｄａｔａ４．３搜索主题发现及分析发现搜索主题的合理性是判断模型是否成功的一个重要指标。本文中的实验结果证明了提出的模型在发现搜索主题方面表现突出，同时还准确地预测了查询主题在时间上的演化趋势。实验中设置主题的数目为Ｋ＝５０。搜索主题是从Ｇｉｂｂｓ采样的１０００次迭代中单次采样提取的。在表１～４中，展示了４个由ＳＢＭ和ＣＳ－ＳＢＭ分别在语料库级上和单个用户级上发现的搜索主题，并列出了各主题概率值最大的前５个词汇及其概率。主题名称是根据该主题下词汇具体的语义信息定义的。图５～８中，直方图显示了主题在时间轴上的概率分布，光滑曲线为拟合Ｂｅｔａ分布的概率密度函数曲线。下面将选取图中的两个搜索主题进行具体分析。表１～２中的第一个主题是“地震”，通过图５～６可以发现，本文提出的ＳＢＭ模型在语料库级上和单个用户级上都成功获取了主题时间上的突发性。根据其时间分布来看，由于刚刚发生过汶川地震，因此在６月份的前半个月，人们对地震的搜索比较频繁，但随着时间的推移，搜索数量逐渐减少。从语料库级的分析结果看，“汶川、地震、救灾”等高频词汇都与地震相关。对于单个用户，本文从实验结果中选择了一位有大量查询日志并且有地震主题的用户做具体分析描述。结果发现，在这个主题下的词，例如地震、汶川、唐山、四川等词汇出现的概率较高。总体来看，汶川地震引起了人们广泛的关注，对于全局来说，用户更关注地震救援工作；对于 ·６７４· 智能系统学报第１２卷

第5期张森，等：基于用户查询日志的网络搜索主题分析 ·675. 表2中的个人用户来说，他们只是关注地震本身，而 250 没有救援相关的查询。 200 200 表3~4中，最后一个主题是“欧洲杯”，图7一8 100 100 中，CS-SBM的实验结果显示关于“欧洲杯”这个话 50 题的查询从第十天到第三十天越来越多，这也符合 0 1015202530 51015202530 随着欧洲杯的进行人们关注的热情越来越高的现时间/天时间/天象。从整个语料库得到的结果来看，搜索主题“欧 (a)主题“电子产品”随着 (b)主题“欧洲杯”随着洲杯”主要包括欧洲杯、瑞士、奥地利等词。其中时间的变化趋势时间的变化趋势 “瑞士”和“奥地利”是本届欧洲杯的举办地，这些词图8 CS-SBM-TU发现的搜索主题在时间上的演化趋势汇都与欧洲杯的主题紧密相关。而对于表4中的个 Fig.8 Latent evolutions of CS-SBM-TU discovered search topics 人用户，我们仍然从实验结果中选取了与“欧洲杯” 主题相关的用户进行分析说明。它包括欧洲杯、西表1SBM-TG发现的搜索主题分布情况班牙、冠军等关键词，这证明了该用户更关注于欧 Table 1 SBM-TG discovered search topics distribution 洲杯的冠军归属问题。主题1 主题2 总体而言，发现的搜索主题与实际的情况大体地震 NBA 相吻合，而且能较好地反应主题变化的趋势。搜索词概率搜索词概率 ×10 ×10 汶川 0.03628 NBA 0.03128 2.5 1.0 地震 0.03342 季后赛 0.02883 2.0 0.5 救灾 0.03217 西部 0.02832 1.0 05 武警 0.02774 湖人 0.02336 0 51015202530 51015202530 哄抢 0.02774 冠军 0.02092 时间/天时间/天 (a)主题“地震”随着时间 (b)主题“NBA”随着时间表2 SBM-TU发现的搜索主题分布情况的变化趋势的变化趋势 Table 2 SBM-TU discovered search topics distribution 图5CS-SBM网络搜索分析主题模型主题1 主题2 Fig.5 Iatent evolutions of SBM-TG discovered search tonics 地震 NBA 750r 600 ← 600 500 搜索词概率搜索词概率 450 400 300 300 地震 0.04762 总决赛 0.04293 200 150 100 汶川 0.04358 NBA 0.03912 0 5 1015202530 51015202530 唐山 0.04302 湖人 0.03641 时间/天时间/天 (a)主题“地震”随着时间 (b)主题“NBA”随着时间四川 0.03275 凯尔特人 0.03379 的变化趋势的变化趋势地壳 0.03028 斯台普斯 0.02311 图6SBM-TU发现的搜索主题在时间上的演化趋势表3 CS-SBM-TG发现的搜索主题分布情况 Fig.6 Iatent evolutions of SBM-TI discovered search tonics ×10 ×10 Table 3 CS-SBM-TG discovered search topics distribution 35 2.5 主题3 3.0 电子产品 2.0 1.5 主题4 欧洲杯 1.0 搜索词概率搜索词概率 0.5 0 51015202530 51015202530 手机 0.05004 欧洲杯 0.03487 时间/天时间/天内存卡 0.04818 瑞士 0.02983 (a)主题“电子产品”随着 (b)主题“欧洲杯”随着耳机 0.04557 奥地利 0.02649 时间的变化趋势时间的变化趋势图7CS-SBM-TG发现的搜索主题在时间上的演化趋势笔记本 0.04365 足球 0.02537 Fig.7 Latent evolutions of CS-SBM-TG discovered MP3 0.03876 决赛 0.02430 search topics

表２中的个人用户来说，他们只是关注地震本身，而没有救援相关的查询。表３～４中，最后一个主题是“欧洲杯”，图７～８中，ＣＳ－ＳＢＭ的实验结果显示关于“欧洲杯”这个话题的查询从第十天到第三十天越来越多，这也符合随着欧洲杯的进行人们关注的热情越来越高的现象。从整个语料库得到的结果来看，搜索主题“欧洲杯” 主要包括欧洲杯、瑞士、奥地利等词。其中 “瑞士”和“奥地利”是本届欧洲杯的举办地，这些词汇都与欧洲杯的主题紧密相关。而对于表４中的个人用户，我们仍然从实验结果中选取了与“欧洲杯” 主题相关的用户进行分析说明。它包括欧洲杯、西班牙、冠军等关键词，这证明了该用户更关注于欧洲杯的冠军归属问题。总体而言，发现的搜索主题与实际的情况大体相吻合，而且能较好地反应主题变化的趋势。（ａ）主题“地震”随着时间（ｂ）主题“ＮＢＡ”随着时间的变化趋势的变化趋势图５ＣＳ⁃ＳＢＭ网络搜索分析主题模型Ｆｉｇ．５ＬａｔｅｎｔｅｖｏｌｕｔｉｏｎｓｏｆＳＢＭ⁃ＴＧｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓ（ａ）主题“地震”随着时间（ｂ）主题“ＮＢＡ”随着时间的变化趋势的变化趋势图６ＳＢＭ⁃ＴＵ发现的搜索主题在时间上的演化趋势Ｆｉｇ．６ＬａｔｅｎｔｅｖｏｌｕｔｉｏｎｓｏｆＳＢＭ⁃ＴＵｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓ（ａ）主题“电子产品”随着（ｂ）主题“欧洲杯”随着时间的变化趋势时间的变化趋势图７ＣＳ⁃ＳＢＭ⁃ＴＧ发现的搜索主题在时间上的演化趋势Ｆｉｇ．７ＬａｔｅｎｔｅｖｏｌｕｔｉｏｎｓｏｆＣＳ⁃ＳＢＭ⁃ＴＧｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓ（ａ）主题“电子产品”随着（ｂ）主题“欧洲杯”随着时间的变化趋势时间的变化趋势图８ＣＳ⁃ＳＢＭ⁃ＴＵ发现的搜索主题在时间上的演化趋势Ｆｉｇ．８ＬａｔｅｎｔｅｖｏｌｕｔｉｏｎｓｏｆＣＳ⁃ＳＢＭ⁃ＴＵｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓ表１ＳＢＭ⁃ＴＧ发现的搜索主题分布情况Ｔａｂｌｅ１ＳＢＭ⁃ＴＧｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓｄｉｓｔｒｉｂｕｔｉｏｎ主题１地震主题２ＮＢＡ搜索词概率搜索词概率汶川０．０３６２８ＮＢＡ０．０３１２８地震０．０３３４２季后赛０．０２８８３救灾０．０３２１７西部０．０２８３２武警０．０２７７４湖人０．０２３３６哄抢０．０２７７４冠军０．０２０９２表２ＳＢＭ⁃ＴＵ发现的搜索主题分布情况Ｔａｂｌｅ２ＳＢＭ⁃ＴＵｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓｄｉｓｔｒｉｂｕｔｉｏｎ主题１地震主题２ＮＢＡ搜索词概率搜索词概率地震０．０４７６２总决赛０．０４２９３汶川０．０４３５８ＮＢＡ０．０３９１２唐山０．０４３０２湖人０．０３６４１四川０．０３２７５凯尔特人０．０３３７９地壳０．０３０２８斯台普斯０．０２３１１表３ＣＳ⁃ＳＢＭ⁃ＴＧ发现的搜索主题分布情况Ｔａｂｌｅ３ＣＳ⁃ＳＢＭ⁃ＴＧｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓｄｉｓｔｒｉｂｕｔｉｏｎ主题３主题４电子产品欧洲杯搜索词概率搜索词概率手机０．０５００４欧洲杯０．０３４８７内存卡０．０４８１８瑞士０．０２９８３耳机０．０４５５７奥地利０．０２６４９笔记本０．０４３６５足球０．０２５３７ＭＰ３０．０３８７６决赛０．０２４３０第５期张森，等：基于用户查询日志的网络搜索主题分析 ·６７５·

·676 智能系统学报第12卷表4CS-SBM-TG发现的搜索主题分布情况 118-126 Table 4 CS-SBM-TG discovered search topics distribution [5]GUO F,LIU C,WANG Y M.Efficient multiple-click 主题3 电子产品 models in web search[C]//Proceedings of the Second ACM International Conference on Web Search and Data Mining. 主题4 欧洲杯 Barcelona,Spain,2009:124-131. 搜索词概率搜索词概率 [6]张宇，宋巍，刘挺，等.基于URL主题的查询分类方法诺基亚 0.03882 欧洲杯 0.03203 [J】.计算机研究与发展，2012,49(6)：1298-1305 手机 0.03912 ZHANG Yu,SONG Wei,LIU Ting,et al.Query 西班牙 0.03064 classification based on url topic[J].Journal of computer 内存 0.03641 德国 0.02991 research and development,2012,49(6):1298-1305. 相机 0.03379 冠军 0.02901 [7]MADSEN R E,KAUCHAK D,ELKAN C.Modeling word HTC 0.02311 瑞士 0.02506 burstiness using the dirichlet distribution[C]//Proceedings of the 22nd international conference on Machine iearning. 5 结束语 Bonn,Germany,2005:545-552. [8]BLEI D M,NG A Y,JORDAN M I.Latent dirichlet 本文提出了两个主题模型SBM和CS-SBM,从 allocation[J].Journal of machine learning research,2003, 全局和基于特定用户来建模网络搜索分析。SBM 3(1):993-1022. 主要是用于获取网络查询的突发现象。CS-SBM主 [9]WANG X,MCCALLUM A.Topics over time:a non-Markov 要添加了查询词和URL之间的关系，获取了主题突 continuous-time model of topical trends[Cl//Proceedings of 发性。为了使SBM和CS-SBM可以获取时间上的 the 12th ACM SIGKDD international conference on Knowledge discovery and data mining.Philadelphia,USA, 突发性，本文采用Beta分布拟合主题在时间上的变 2006:424-433. 化的策略。本文还设计了一系列的实验验证了提「10]徐戈，王厚峰.自然语言处理中主题模型的发展[J] 出模型拥有较好的泛化能力、主题发现能力和反应计算机学报，2011.34(8)：1423-1436. 主题时间上突发性的能力。本文的贡献主要有三 XU Ge,WANG Houfeng.The development of topic model 个方面：第一，研究了搜索引擎用户行为分析中突 in natural language processing [J].Chinese journal of 发性现象：第二，提出了两种新型的模型用来捕获 computers,2011,34(8):1423-1436. 网络搜索中各个方面的突发性：第三，通过大量的 [11]张晨逸，孙建伶，丁轶群.基于MB-LDA模型的微博实验验证了模型的有效性。下一步工作中，将把这主题挖掘[J].计算机研究与发展，2011,48(10)： 1795-1802 些模型运用到团购广告投放。通过发现用户的搜 ZHANG Chenyi,SUN Jianling,DING Yiqun.Topic 索主题，然后将同一主题下的用户按照社团发现的 mining for microblog based on mb-lda model[].Journal of 规则进行分类，并进行广告投放。 computer research and development,2011,48(10): 参考文献： 1795-1802. [12]刘少鹏，印鉴，欧阳佳，等.基于MB-HDP模型的微博 [1]SUNEHAG P.Using two-stage conditional word frequency 主题挖掘[J].计算机学报，2015,38(7)：1408-1419. models to model word burstiness and motivating TF-IDF[J]. LIU Shaopeng,YIN Jian,OUYANG Jia,et al.Topic Journal of machine learning reasearch,2017,2:8. mining from microblogs based on MB-HDP model[J]. [2]ELKAN C.Clustering documents with an exponential-family Chinese Journal of Computers,2015,38(7):1408-1419. approximation of the Dirichlet compound multinomial 13 JIANG D,TONG Y,SONG Y.Cross-lingual topic distribution [C]//Proceedings of the 23rd International discovery from multilingual search engine query log[J]. Conference on Machine Learning,Pittsburgh.Pennsylvania, ACM transactions on information systems(TOIS),2016, USA,2006:289-296. 35(2)：9. [3]DOYLE G,ELKAN C.Accounting for burstiness in topic [14]JIANG D,LEUNG K W T,NG W.Query intent mining models[C]//Proceedings of the 26th Annual International with multiple dimensions of web search data[J].World Conference on Machine Learning Montreal.QC,Canada, wide web,2016,19(3):475. 2009:281-288. [15]JIANG D,YANG L.Query intent inference via search [4]XUE G R,ZENG H J,CHEN Z,et al.Optimizing web engine log [J].Knowledge and information systems, search using web click-through data[C]//Proceedings of 2016.49(2):661-685. the thirteenth ACM international conference on Information [16]HUANG J,EFTHIMIADIS E N.Analyzing and evaluating and Knowledge Management.Washington,USA,2004: query reformulation strategies in web search logs [C]/

表４ＣＳ⁃ＳＢＭ⁃ＴＧ发现的搜索主题分布情况Ｔａｂｌｅ４ＣＳ⁃ＳＢＭ⁃ＴＧｄｉｓｃｏｖｅｒｅｄｓｅａｒｃｈｔｏｐｉｃｓｄｉｓｔｒｉｂｕｔｉｏｎ主题３主题４电子产品欧洲杯搜索词概率搜索词概率诺基亚０．０３８８２欧洲杯０．０３２０３手机０．０３９１２西班牙０．０３０６４内存０．０３６４１德国０．０２９９１相机０．０３３７９冠军０．０２９０１ＨＴＣ０．０２３１１瑞士０．０２５０６５结束语本文提出了两个主题模型ＳＢＭ和ＣＳ⁃ＳＢＭ，从全局和基于特定用户来建模网络搜索分析。ＳＢＭ主要是用于获取网络查询的突发现象。ＣＳ⁃ＳＢＭ主要添加了查询词和ＵＲＬ之间的关系，获取了主题突发性。为了使ＳＢＭ和ＣＳ⁃ＳＢＭ可以获取时间上的突发性，本文采用Ｂｅｔａ分布拟合主题在时间上的变化的策略。本文还设计了一系列的实验验证了提出模型拥有较好的泛化能力、主题发现能力和反应主题时间上突发性的能力。本文的贡献主要有三个方面：第一，研究了搜索引擎用户行为分析中突发性现象；第二，提出了两种新型的模型用来捕获网络搜索中各个方面的突发性；第三，通过大量的实验验证了模型的有效性。下一步工作中，将把这些模型运用到团购广告投放。通过发现用户的搜索主题，然后将同一主题下的用户按照社团发现的规则进行分类，并进行广告投放。参考文献：［１］ＳＵＮＥＨＡＧＰ．Ｕｓｉｎｇｔｗｏ⁃ｓｔａｇｅｃｏｎｄｉｔｉｏｎａｌｗｏｒｄｆｒｅｑｕｅｎｃｙｍｏｄｅｌｓｔｏｍｏｄｅｌｗｏｒｄｂｕｒｓｔｉｎｅｓｓａｎｄｍｏｔｉｖａｔｉｎｇＴＦ⁃ＩＤＦ［Ｊ］．Ｊｏｕｒｎａｌｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇｒｅａｓｅａｒｃｈ，２０１７，２：８．［２］ＥＬＫＡＮＣ．Ｃｌｕｓｔｅｒｉｎｇｄｏｃｕｍｅｎｔｓｗｉｔｈａｎｅｘｐｏｎｅｎｔｉａｌ⁃ｆａｍｉｌｙａｐｐｒｏｘｉｍａｔｉｏｎｏｆｔｈｅＤｉｒｉｃｈｌｅｔｃｏｍｐｏｕｎｄｍｕｌｔｉｎｏｍｉａｌｄｉｓｔｒｉｂｕｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２３ｒｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ，Ｐｉｔｔｓｂｕｒｇｈ．Ｐｅｎｎｓｙｌｖａｎｉａ，ＵＳＡ，２００６：２８９－２９６．［３］ＤＯＹＬＥＧ，ＥＬＫＡＮＣ．Ａｃｃｏｕｎｔｉｎｇｆｏｒｂｕｒｓｔｉｎｅｓｓｉｎｔｏｐｉｃｍｏｄｅｌｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２６ｔｈＡｎｎｕａｌＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇＭｏｎｔｒｅａｌ．ＱＣ，Ｃａｎａｄａ，２００９：２８１－２８８．［４］ＸＵＥＧＲ，ＺＥＮＧＨＪ，ＣＨＥＮＺ，ｅｔａｌ．Ｏｐｔｉｍｉｚｉｎｇｗｅｂｓｅａｒｃｈｕｓｉｎｇｗｅｂｃｌｉｃｋ⁃ｔｈｒｏｕｇｈｄａｔａ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｔｈｉｒｔｅｅｎｔｈＡＣＭｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎａｎｄＫｎｏｗｌｅｄｇｅＭａｎａｇｅｍｅｎｔ．Ｗａｓｈｉｎｇｔｏｎ，ＵＳＡ，２００４：１１８－１２６．［５］ＧＵＯＦ，ＬＩＵＣ，ＷＡＮＧＹＭ．Ｅｆｆｉｃｉｅｎｔｍｕｌｔｉｐｌｅ－ｃｌｉｃｋｍｏｄｅｌｓｉｎｗｅｂｓｅａｒｃｈ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｅｃｏｎｄＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｅｂＳｅａｒｃｈａｎｄＤａｔａＭｉｎｉｎｇ．Ｂａｒｃｅｌｏｎａ，Ｓｐａｉｎ，２００９：１２４－１３１．［６］张宇，宋巍，刘挺，等．基于ＵＲＬ主题的查询分类方法［Ｊ］．计算机研究与发展，２０１２，４９（６）：１２９８－１３０５．ＺＨＡＮＧＹｕ，ＳＯＮＧＷｅｉ，ＬＩＵＴｉｎｇ，ｅｔａｌ．Ｑｕｅｒｙｃｌａｓｓｉｆｉｃａｔｉｏｎｂａｓｅｄｏｎｕｒｌｔｏｐｉｃ［Ｊ］．Ｊｏｕｒｎａｌｏｆｃｏｍｐｕｔｅｒｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｐｍｅｎｔ，２０１２，４９（６）：１２９８－１３０５．［７］ＭＡＤＳＥＮＲＥ，ＫＡＵＣＨＡＫＤ，ＥＬＫＡＮＣ．Ｍｏｄｅｌｉｎｇｗｏｒｄｂｕｒｓｔｉｎｅｓｓｕｓｉｎｇｔｈｅｄｉｒｉｃｈｌｅｔｄｉｓｔｒｉｂｕｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２２ｎｄｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅｉｅａｒｎｉｎｇ．Ｂｏｎｎ，Ｇｅｒｍａｎｙ，２００５：５４５－５５２．［８］ＢＬＥＩＤＭ，ＮＧＡＹ，ＪＯＲＤＡＮＭＩ．Ｌａｔｅｎｔｄｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ［Ｊ］．Ｊｏｕｒｎａｌｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇｒｅｓｅａｒｃｈ，２００３，３（１）：９９３－１０２２．［９］ＷＡＮＧＸ，ＭＣＣＡＬＬＵＭＡ．Ｔｏｐｉｃｓｏｖｅｒｔｉｍｅ：ａｎｏｎ⁃Ｍａｒｋｏｖｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅｍｏｄｅｌｏｆｔｏｐｉｃａｌｔｒｅｎｄｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１２ｔｈＡＣＭＳＩＧＫＤＤｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＫｎｏｗｌｅｄｇｅｄｉｓｃｏｖｅｒｙａｎｄｄａｔａｍｉｎｉｎｇ．Ｐｈｉｌａｄｅｌｐｈｉａ，ＵＳＡ，２００６：４２４－４３３．［１０］徐戈，王厚峰．自然语言处理中主题模型的发展［Ｊ］．计算机学报，２０１１，３４（８）：１４２３－１４３６．ＸＵＧｅ，ＷＡＮＧＨｏｕｆｅｎｇ．Ｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｔｏｐｉｃｍｏｄｅｌｉｎｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ［Ｊ］．Ｃｈｉｎｅｓｅｊｏｕｒｎａｌｏｆｃｏｍｐｕｔｅｒｓ，２０１１，３４（８）：１４２３－１４３６．［１１］张晨逸，孙建伶，丁轶群．基于ＭＢ－ＬＤＡ模型的微博主题挖掘［Ｊ］．计算机研究与发展，２０１１，４８（１０）：１７９５－１８０２．ＺＨＡＮＧＣｈｅｎｙｉ，ＳＵＮＪｉａｎｌｉｎｇ，ＤＩＮＧＹｉｑｕｎ．Ｔｏｐｉｃｍｉｎｉｎｇｆｏｒｍｉｃｒｏｂｌｏｇｂａｓｅｄｏｎｍｂ⁃ｌｄａｍｏｄｅｌ［Ｊ］．Ｊｏｕｒｎａｌｏｆｃｏｍｐｕｔｅｒｒｅｓｅａｒｃｈａｎｄｄｅｖｅｌｏｐｍｅｎｔ，２０１１，４８（１０）：１７９５－１８０２．［１２］刘少鹏，印鉴，欧阳佳，等．基于ＭＢ⁃ＨＤＰ模型的微博主题挖掘［Ｊ］．计算机学报，２０１５，３８（７）：１４０８－１４１９．ＬＩＵＳｈａｏｐｅｎｇ，ＹＩＮＪｉａｎ，ＯＵＹＡＮＧＪｉａ，ｅｔａｌ．ＴｏｐｉｃｍｉｎｉｎｇｆｒｏｍｍｉｃｒｏｂｌｏｇｓｂａｓｅｄｏｎＭＢ－ＨＤＰｍｏｄｅｌ［Ｊ］．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒｓ，２０１５，３８（７）：１４０８－１４１９．［１３］ＪＩＡＮＧＤ，ＴＯＮＧＹ，ＳＯＮＧＹ．Ｃｒｏｓｓ⁃ｌｉｎｇｕａｌｔｏｐｉｃｄｉｓｃｏｖｅｒｙｆｒｏｍｍｕｌｔｉｌｉｎｇｕａｌｓｅａｒｃｈｅｎｇｉｎｅｑｕｅｒｙｌｏｇ［Ｊ］．ＡＣＭｔｒａｎｓａｃｔｉｏｎｓｏｎｉｎｆｏｒｍａｔｉｏｎｓｙｓｔｅｍｓ（ＴＯＩＳ），２０１６，３５（２）：９．［１４］ＪＩＡＮＧＤ，ＬＥＵＮＧＫＷＴ，ＮＧＷ．Ｑｕｅｒｙｉｎｔｅｎｔｍｉｎｉｎｇｗｉｔｈｍｕｌｔｉｐｌｅｄｉｍｅｎｓｉｏｎｓｏｆｗｅｂｓｅａｒｃｈｄａｔａ［Ｊ］．Ｗｏｒｌｄｗｉｄｅｗｅｂ，２０１６，１９（３）：４７５．［１５］ＪＩＡＮＧＤ，ＹＡＮＧＬ．Ｑｕｅｒｙｉｎｔｅｎｔｉｎｆｅｒｅｎｃｅｖｉａｓｅａｒｃｈｅｎｇｉｎｅｌｏｇ［Ｊ］．Ｋｎｏｗｌｅｄｇｅａｎｄｉｎｆｏｒｍａｔｉｏｎｓｙｓｔｅｍｓ，２０１６，４９（２）：６６１－６８５．［１６］ＨＵＡＮＧＪ，ＥＦＴＨＩＭＩＡＤＩＳＥＮ．Ａｎａｌｙｚｉｎｇａｎｄｅｖａｌｕａｔｉｎｇｑｕｅｒｙｒｅｆｏｒｍｕｌａｔｉｏｎｓｔｒａｔｅｇｉｅｓｉｎｗｅｂｓｅａｒｃｈｌｏｇｓ［Ｃ］／／ ·６７６· 智能系统学报第１２卷

Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１８ｔｈＡＣＭＣｏｎｆｅｒｅｎｃｅｏｎＩｎｆｏｒｍａｔｉｏｎａｎｄＫｎｏｗｌｅｄｇｅＭａｎａｇｅｍｅｎｔ．ＨｏｎｇＫｏｎｇ，Ｃｈｉｎａ，２００９：７７－８６．［１７］ＧＲＩＦＦＩＴＨＳＴＬ，ＳＴＥＹＶＥＲＳＭ．Ｆｉｎｄｉｎｇｓｃｉｅｎｔｉｆｉｃｔｏｐｉｃｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅｎａｔｉｏｎａｌａｃａｄｅｍｙｏｆｓｃｉｅｎｃｅｓ，２００４，１０１（１）：５２２８－５２３５．［１８］ＺＨＵＣ，ＢＹＲＤＲＨ，ＬＵＰ，ｅｔａｌ．Ａｌｇｏｒｉｔｈｍ７７８：Ｌ⁃ ＢＦＧＳ⁃Ｂ：Ｆｏｒｔｒａｎｓｕｂｒｏｕｔｉｎｅｓｆｏｒｌａｒｇｅ⁃ｓｃａｌｅｂｏｕｎｄ⁃ ｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＡＣＭｔｒａｎｓａｃｔｉｏｎｓｏｎｍａｔｈｅｍａｔｉｃａｌｓｏｆｔｗａｒｅ（ＴＯＭＳ），１９９７，２３（４）：５５０－５６０．［１９］ＭＡＮＮＩＮＧＣＤ，ＲＡＧＨＡＶＡＮＰ，ＳＣＨÜＴＺＥＨ．Ｉｎｔｒｏｄｕｃｔｉｏｎｔｏｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ［Ｍ］．Ｃａｍｂｒｉｄｇｅ：ＣａｍｂｒｉｄｇｅＵｎｉｖｅｒｓｉｔｙＰｒｅｓｓ，２００８：１－１６．［２０］ＪＩＡＮＧＤ，ＮＧＷ．Ｍｉｎｉｎｇｗｅｂｓｅａｒｃｈｔｏｐｉｃｓｗｉｔｈｄｉｖｅｒｓｅｓｐａｔｉｏｔｅｍｐｏｒａｌｐａｔｔｅｒｎｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３６ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＡＣＭＳＩＧＩＲＣｏｎｆｅｒｅｎｃｅｏｎＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔｉｎＩｎｆｏｒｍａｔｉｏｎＲｅｔｒｉｅｖａｌ．Ｄｕｂｌｉｎ，Ｉｒｅｌａｎｄ，２０１３：８８１－８８４．［２１］ＬＩＷ，ＭＣＣＡＬＬＵＭＡ．Ｐａｃｈｉｎｋｏａｌｌｏｃａｔｉｏｎ：ＤＡＧ⁃ ｓｔｒｕｃｔｕｒｅｄｍｉｘｔｕｒｅｍｏｄｅｌｓｏｆｔｏｐｉｃｃｏｒｒｅｌａｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２３ｒｄＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．Ｐｉｔｔｓｂｕｒｇｈ，ＵＳＡ，２００６：５７７－５８４．作者简介：张森，男，１９９２年生，硕士研究生，主要研究方向为信息检索、自然语言处理。张晨，男，１９８８年生，副教授，博士，主要研究方向为众包、数据分析与数据挖掘、机器学习。在ＴＫＤ、ＶＬＤＢ、ＳＩＧＭＯＤ、ＩＣＤＥ等国内外重要期刊和顶级学术会议上发表论文１０余篇。林培光，男，１９７８年生，副教授，博士，主要研究方向为信息检索、海量数据处理和集成。主持教育部课题２项、山东省自然科学基金项目１项、济南市科技局自主创新计划１项和青年科技明星计划１项，另外参与国家自然科学基金以及省部级课题多项。发表学术论文３０余篇，被ＳＣＩ检索３篇，ＥＩ检索３０余篇。第５期张森，等：基于用户查询日志的网络搜索主题分析 ·６７７·

点击进入文档下载页（PDF格式）

已到末页，全文结束