第1期 王占一，等：智能文本搜索新技术 41 测活动应运而生.文本检索会议(text retrieval con- 段是普通的文档检索，找出一定数量的相关文档，计 ference,TREC)作为文本检索领域最权威的评测会 算出查询Q和文档D:的相关度S（D,Q);第2 议，关注着检索技术的最新发展，比较客观地反映了 阶段计算事先确定好的专家E,和这些文档的相关 十几年来的研究趋势.TREC是由美国国家技术标 度S（E,D:);最后综合文档和查询的相关度得到 准局(NIST)和美国国防部(DOD)联合主办，创立于 查询和专家的相关度Sm（E,Q),就可以对和查询 1992年，主要目的是通过提供评价大型文本检索方 相关的专家排序了. 法所必需的基础设施来支持对信息检索的研究2]， Som (E;,Q)= 关注TEC,有利于加强各个科研机构和企业之间 N 的交流，有利于评价检索方法在实际问题中的效果， A(3(D.0》x5(ED,》. (1) 也有利于加快实验室的技术商品化的速度 式中：V,表示第1阶段得到的文档中，用于第2阶 TREC的参赛队伍从开始的22个发展到2010 段的文档数量 年的75个.北京邮电大学模式识别实验室多年来致 文档检索使用的算法包括语言模型、KL距离、 力于模式识别和网络搜索技术，从2005年开始参加 BM25等.计算专家E和这些文档的相关度 TREC的多项评测并取得了较好的成绩，如垃圾邮 Se(E,D:)可以使用式(2)： 件过滤、企业检索、博客检索、实体检索、相关反馈 Sne(Ei,D:）= 等.同时，该团队还参加了国家“863”计划项目中文 N+1 本分类、SigHan分词、TAC和中文倾向性分析等评 nf)×loga分)+0.5 (2) 测.评测中涉及的任务除了用于新技术的研究，也是 式中：n(f)表示文档D:中某一专家的名字和邮箱 为了解决实际问题.基于评测中的智能文本搜索新 出现的次数，N是语料集中文档的数目，d(f)是出 技术，一些实际系统也相应地被开发出来，并在实际 现该专家名字和邮箱的文档数目。 应用中得到了检验， 二阶排序模型思路清晰，有理论依据且易于实 本文以权威评测为主线，详细介绍智能文本搜 现，但它以整篇文档为桥梁，单纯以专家名或邮箱代 索新技术.第1部分以企业检索、实体检索、博客检 表全部的专家信息，方法较为粗糙，没有在文档中做 索和相关反馈为例介绍信息检索新技术；第2部分 更细致的挖掘， 以文本分析会议评测为例介绍信息抽取新技术；第 1.1.2专家经验模型 3部分以垃圾邮件过滤为例介绍信息过滤新技术； 专家经验模型的主要思路是提取专家在文档中 第4部分介绍以上述技术为核心的实际应用系统， 的上下文组成该专家的“经验”，再计算专家经验的 如互联网舆情系统、短信舆情系统、校园对象搜索引 概率.提取上下文的过程相当于为该专家开了一个 擎系统等：最后是总结和展望部分 “窗口”，因此也叫作专家窗口模型.笔者认为专家 名或邮箱的上下文是与该专家密切联系的信息，那 1信息检索 么在确定一个专家的同时将其前后一定数量的词也 1.1企业检索 提取出来组成新的文档，这个文档就是包含该专家 文本检索会议从2005一2008年制订了企业检 相关信息的文档.因此只要检索到这个文档就认为 索(enterprise track)评测任务[3)，企业检索的目的是 该专家和查询是相关的.这个过程表示为 研究在企业内部数据中的用户检索行为，主要包含 P(E/Q)=P(E./Q). 邮件检索(2005-2006年)[451、文档检索(2007 式中：E表示由专家经验组成的文档.另外，经过反 2008年)[6]和专家检索(2005一2008年)任务.其 复的实验发现，窗口的长度取专家前后各150个词 中，专家检索是重点和难点，它的目的是寻找企业中 效果最好.表1给出了二阶排序和专家经验2种模 关于某一主题的专家.具体地，专家检索需要分成两 型的性能比较。 部分来解决：一是确定所给语料集中的专家，二是计 表12种专家检索模型的对比 算查询与专家的相关度.专家的标识主要是姓名和 Table 1 Comparison of two kinds of expert track model 邮箱，定位专家的方法主要有命名实体识别、查询人 模型 MAP Bpref P@10 名列表、匹配邮箱、称谓、职务等.在实际中，这些方 二阶排序 0.1833 0.4182 0.3080 法经常综合运用， 1.1.1二阶排序模型 专家经验 0.2160 0.5180 0.3400 二阶排序模型的主要思路是通过文档为桥梁， 1.2实体检索 计算查询和专家的相关度.如式(1)，检索的第1阶 实体检索，或称实体追踪(entity track)是2009