《智能系统学报》：基于用户意图理解的社交网络跨媒体搜索与挖掘（北京邮电大学：崔婉秋、杜军平、周南、梁美玉）

第12卷第6期 智能系统学报 Vol.12 No.6 2017年12月 CAAI Transactions on Intelligent Systems Dec.2017 D0:10.11992/tis.201706075 网络出版t地址：http:/kns.cnki.net/cms/detail/23.1538.TP.20171109.1255.024.html 基于用户意图理解的社交网络跨媒体搜索与挖掘 崔婉秋，杜军平，周南，梁美玉 (北京邮电大学智能通信软件与多媒体北京市重点实验室，北京100876)》 摘要：随者在线社交网络的盛行，网络用户不仅对信息资讯的获取速度和实时性提出了更高的要求，对个性化和精 确化的搜索需求日益增长。为了提升搜索引擎的质量以及其结果列表的准确性，需要深层次地挖掘用户搜索意图。 本文分析了用户搜索意图理解在线社交网络跨媒体进行精准搜索与挖掘的研究现状，包括知识图谱在线社交网络多 模态信息感知、面向用户搜索意图匹配的跨媒体大数据深度语义学习方面的应用，以及用户搜索意图理解的在线社 交网络精准搜索与挖掘的应用等。最后，对未来研究存在的问题和可能面临的挑战进行了展望。 关键词：在线社交网络：用户搜索意图：知识图谱：深度语义学习：精准搜索关键词 中图分类号：TP393文献标志码：A文章编号：1673-4785(201706-0761-09 中文引用格式：崔婉秋，杜军平，周南，等.基于用户意图理解的社交网络跨媒体搜索与挖据.智能系统学报，2017,12(6)：761-769. 英文引用格式：CUI Wanqiu,.DU Junping,ZHOU Nan,etal.Social network cross-.media searching and mining based on user inten- tion[J.CAAI transactions on intelligent systems,2017,12(6):761-769. Social network cross-media searching and mining based on user intention CUI Wanqiu,DU Junping,ZHOU Nan,LIANG Meiyu (Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia,Beijing University of Posts and Telecommunic- ations,Beijing 100876,China) Abstract:With the popularity of online social networks,users not only have higher requirements for speed and real-time performance of information acquisition but also increased demand for personalized and accurate searching.To improve the quality of the search engine and accuracy of the result list,it is necessary to deeply mine the search intentions of the users.This paper summarizes the current situation in precise cross-media searching and mining based on user search in- tentions.We focus on multi-modal information perceptions based on an online social network knowledge graph,deep semantic learning and analysis of cross-media data for user search intention matching,and precise online social network searching and mining based on users'search intentions.Finally,future research problems and possible challenges are discussed. Keywords:online social network;user searching intention;knowledge graph;deep semantic learning,precise searching 随着在线社交网络信息发布、传播以及分享的社交网络搜索吸引了国内外学者的普遍关注，如对 功能越来越完善，大量用户持续活跃，积累了文本、 社交网络个性化搜索技术的研究以及美国的实 图片和视频等海量数据，导致网络空间中的信息急 时搜索引擎Google和Scoopler等。通过抓取Twit 剧膨胀。然而这些庞大的数据中蕴藏着极为有价值 ter、Facebook等社交网络上用户随时随地发布的海 的潜在信息，传统的在线社交网络搜索技术难以满 量信息，可以给人们提供最新的搜索内容。大量社 足用户的深层次、个性化的精准需求。因此近年来 交网络数据产生的同时使得数据的形式和表达具有 多样性，简单的用户搜索匹配方法不再能够满足用 收稿日期：2017-06-22.网络出版日期：2017-11-09. 基金项目：国家自然科学基金重点项目(61532006)：国家自然科学 户的搜索需求，返回的结果也不能精确匹配用户的 基金国际合作项日(61320106006)：国家自然科学基金 青年科学基金项目(61502042). 初始意图。因此国内外众多学者深入开展了基于用 通信作者：杜军平.E-mail:junpingdu@126.com 户搜索意图理解的在线社交网络精准搜索与挖掘研

DOI: 10.11992/tis.201706075 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20171109.1255.024.html 基于用户意图理解的社交网络跨媒体搜索与挖掘 崔婉秋，杜军平，周南，梁美玉 （北京邮电大学 智能通信软件与多媒体北京市重点实验室，北京 100876） 摘 要：随着在线社交网络的盛行，网络用户不仅对信息资讯的获取速度和实时性提出了更高的要求，对个性化和精 确化的搜索需求日益增长。为了提升搜索引擎的质量以及其结果列表的准确性，需要深层次地挖掘用户搜索意图。 本文分析了用户搜索意图理解在线社交网络跨媒体进行精准搜索与挖掘的研究现状，包括知识图谱在线社交网络多 模态信息感知、面向用户搜索意图匹配的跨媒体大数据深度语义学习方面的应用，以及用户搜索意图理解的在线社 交网络精准搜索与挖掘的应用等。最后，对未来研究存在的问题和可能面临的挑战进行了展望。 关键词：在线社交网络；用户搜索意图；知识图谱；深度语义学习；精准搜索关键词 中图分类号：TP393 文献标志码：A 文章编号：1673−4785(2017)06−0761−09 中文引用格式：崔婉秋, 杜军平, 周南, 等. 基于用户意图理解的社交网络跨媒体搜索与挖掘[J]. 智能系统学报, 2017, 12(6): 761–769. 英文引用格式：CUI Wanqiu, DU Junping, ZHOU Nan, et al. Social network cross-media searching and mining based on user inten￾tion[J]. CAAI transactions on intelligent systems, 2017, 12(6): 761–769. Social network cross-media searching and mining based on user intention CUI Wanqiu，DU Junping，ZHOU Nan，LIANG Meiyu (Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia, Beijing University of Posts and Telecommunic￾ations, Beijing 100876, China) Abstract: With the popularity of online social networks, users not only have higher requirements for speed and real-time performance of information acquisition but also increased demand for personalized and accurate searching. To improve the quality of the search engine and accuracy of the result list, it is necessary to deeply mine the search intentions of the users. This paper summarizes the current situation in precise cross-media searching and mining based on user search in￾tentions. We focus on multi-modal information perceptions based on an online social network knowledge graph, deep semantic learning and analysis of cross-media data for user search intention matching, and precise online social network searching and mining based on users’ search intentions. Finally, future research problems and possible challenges are discussed. Keywords: online social network; user searching intention; knowledge graph; deep semantic learning; precise searching 随着在线社交网络信息发布、传播以及分享的 功能越来越完善，大量用户持续活跃，积累了文本、 图片和视频等海量数据，导致网络空间中的信息急 剧膨胀。然而这些庞大的数据中蕴藏着极为有价值 的潜在信息，传统的在线社交网络搜索技术难以满 足用户的深层次、个性化的精准需求。因此近年来 社交网络搜索吸引了国内外学者的普遍关注，如对 社交网络个性化搜索技术的研究[1-2]以及美国的实 时搜索引擎 Google 和 Scoopler 等。通过抓取 Twit￾ter、Facebook 等社交网络上用户随时随地发布的海 量信息，可以给人们提供最新的搜索内容。大量社 交网络数据产生的同时使得数据的形式和表达具有 多样性，简单的用户搜索匹配方法不再能够满足用 户的搜索需求，返回的结果也不能精确匹配用户的 初始意图。因此国内外众多学者深入开展了基于用 户搜索意图理解的在线社交网络精准搜索与挖掘研 收稿日期：2017−06−22. 网络出版日期：2017−11−09. 基金项目：国家自然科学基金重点项目 (61532006)；国家自然科学 基金国际合作项目 (61320106006)；国家自然科学基金 青年科学基金项目 (61502042). 通信作者：杜军平. E-mail：junpingdu@126.com. 第 12 卷第 6 期 智 能 系 统 学 报 Vol.12 No.6 2017 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2017

·762· 智能系统学报 第12卷 究山，，该研究具有重要的理论意义和广泛的应用 还有一些研究将社交网络的稀疏语义与其关联特征 价值。 相结合，在短文本语义提取方面进行了探索，针对 对用户搜索意图的理解是在用户多模态输人及 在线社交网络短文本语义特点，优化文本语义的理 消除语义歧义性的基础上，充分结合用户的上下文 解，挖掘用户隐藏的搜索意图。下面将分析基于用 语境和语义知识，迅速、准确地理解和定位用户的 户搜索意图的社交网络搜索中的两个技术，即信息 真实意图，并结合匹配、推理、计算以及众包等技 感知与知识图谱的构建。 术，给出真正满足用户需求的精准搜索结果。用户 1.1多模态信息感知 搜索意图的分析、提取与匹配是社交网络智能精准 在社交网络的大量数据中蕴含着丰富的社会事 搜索的研究重点，针对用户意图的搜索模式目前已 件发生和发展的过程，如何有效地从这些数据中挖 经取得了不少成果，但是现有的搜索意图理解多是 掘出有价值的信息是当前社交网络分析的重要问 经验式的，仅是分析性而非预测性的，仍缺少统一 题。基于社交网络跨媒体多模态事件的感知通过 的理论和算法对搜索意图的理解进行指导。因此， 分析社交中的文本、时间地点、图像、评论、观点、 在大数据时代，面对海量的跨媒体信息实现基于用 情感和用户交互等多模态数据，感知事件整体发展 户搜索意图理解的在线社交网络精准搜索与挖掘技 过程，并刻画出各事件彼此的关联，进而实现对信 术是必然的发展趋势。 息的全方位获取。 基于知识图谱的在线社交网络多模 信息感知是指假设被感知数据来自n个多模态 异构数据源，且对不同观测对象均从m个维度来描 态信息感知 述，则能获得一组多源异构多模态的感知数据。在 通过对在线社交网络用户信息的深入挖掘，有 线社交网络多模态数据信息感知的形成过程分为以 效地全面理解用户的搜索意愿，构建虚拟空间的知 下4步： 识图谱，为特定虚拟空间中网络用户搜索意图的发 1)信息获取。根据在线用户显性或隐性地提出 现提供数据支持5刀。针对在线社交网络数据简短、 获取感知信息的需求，由系统分析后自动给出可能 背景信息依赖明显等问题，目前的研究多是将数据 的请求结果。 的语义分布与背景信息相结合0，一方面用于解决 2)信息过滤。由于多模态信息的数据形式及种 社交网络数据语义稀疏的问题，另一方面用于 类多样，大量的反馈信息给用户带来一定的困扰， 社交网络语义分布与线下的用户行为、位置特征的 因此还需预先定义好过滤规则，建立过滤引擎。将 关联6。时空特征作为社交网络数据最主要的背 感知收集信息过滤后，存储并返回给相关用户。其 景信息之一是理解用户搜索意图的关键1。来自 中信息过滤机制可以是用户自定义的规则，便于个 在线社交网络的文本或图像数据中蕴含着丰富的时 性化地定义自己想要获取的信息，可以提高感知信 空信息，可以利用自然语言处理技术识别文本中隐 息的效率，或基于感知强度计算得出。 含的时空信息，利用图像场景分类方法判断图像场 3)信息的感知。由感知引擎提供获取方法和工 景类别，确定图像隐含的时空信息920。 具，进一步分析用户交互结构和社交网络特性、社 此外，考虑到社交网络数据具有明显的时空标 区形成的规模、用户所处位置等信息，获取用户社 签，直接利用时空标签信息获取更多的附加信息也 交中的身份、发布的资源和参与的社交活动。 是当前的研究热点。社交关系作为社交网络另一项 4)信息显示。最后将感知信息显示出来，呈现 主要的背景信息，同样是理解用户搜索意图的重 给社交网络中的用户或需求者。 点四。相关研究更多是将社交关系作为数据语义 在线社交网络环境中活跃的用户在交互时，能 的补充以此来实现社交网络数据语义的提取，完成 够从彼此显性沟通和隐性非直接的沟通中获取对方 社交用户群体发现、兴趣分布等工作，从用户信息 的需求感知信息。但实际应用中，用户可能发现的 中挖掘用户的搜索意图22。此类基于数据聚合的 知识和信息感知程度较低，会损失用户之间交流沟 方法在用户层面进行主题分类、社区发现或者朋友 通的机会。因此随着社交网络多模态信息大量涌 推荐等方面取得了较好的效果，然而仍然不能解决 现，对信息感知技术的要求更加紧迫，只有用户能 单一短文本的语义获取问题262。一些学者对社交 够更好地感知网络动态数据，才能够更深入全面地 网络对象的语义表达2930、社交关联模型的建立和 参与到社交活动中来，了解彼此的社交动态并挖掘 进化)、时空图像特征感知和去噪)、基于聚类集 出潜在的社交行为和关系，增大用户决策和沟通的 成的社交网络图像分割3别等工作开展了广泛研究。 效率

究 [1, 3-8] ，该研究具有重要的理论意义和广泛的应用 价值。 对用户搜索意图的理解是在用户多模态输入及 消除语义歧义性的基础上，充分结合用户的上下文 语境和语义知识，迅速、准确地理解和定位用户的 真实意图，并结合匹配、推理、计算以及众包等技 术，给出真正满足用户需求的精准搜索结果。用户 搜索意图的分析、提取与匹配是社交网络智能精准 搜索的研究重点，针对用户意图的搜索模式目前已 经取得了不少成果，但是现有的搜索意图理解多是 经验式的，仅是分析性而非预测性的，仍缺少统一 的理论和算法对搜索意图的理解进行指导。因此， 在大数据时代，面对海量的跨媒体信息实现基于用 户搜索意图理解的在线社交网络精准搜索与挖掘技 术是必然的发展趋势。 1 基于知识图谱的在线社交网络多模 态信息感知 通过对在线社交网络用户信息的深入挖掘，有 效地全面理解用户的搜索意愿，构建虚拟空间的知 识图谱，为特定虚拟空间中网络用户搜索意图的发 现提供数据支持[5-7]。针对在线社交网络数据简短、 背景信息依赖明显等问题，目前的研究多是将数据 的语义分布与背景信息相结合[8-10] ，一方面用于解决 社交网络数据语义稀疏的问题[11-13] ，另一方面用于 社交网络语义分布与线下的用户行为、位置特征的 关联[14-16]。时空特征作为社交网络数据最主要的背 景信息之一是理解用户搜索意图的关键[17-18]。来自 在线社交网络的文本或图像数据中蕴含着丰富的时 空信息，可以利用自然语言处理技术识别文本中隐 含的时空信息，利用图像场景分类方法判断图像场 景类别，确定图像隐含的时空信息[19-20]。 此外，考虑到社交网络数据具有明显的时空标 签，直接利用时空标签信息获取更多的附加信息也 是当前的研究热点。社交关系作为社交网络另一项 主要的背景信息，同样是理解用户搜索意图的重 点 [21-22]。相关研究更多是将社交关系作为数据语义 的补充以此来实现社交网络数据语义的提取，完成 社交用户群体发现、兴趣分布等工作，从用户信息 中挖掘用户的搜索意图[23-25]。此类基于数据聚合的 方法在用户层面进行主题分类、社区发现或者朋友 推荐等方面取得了较好的效果，然而仍然不能解决 单一短文本的语义获取问题[26-28]。一些学者对社交 网络对象的语义表达[29-30] 、社交关联模型的建立和 进化[31] 、时空图像特征感知和去噪[32] 、基于聚类集 成的社交网络图像分割[33]等工作开展了广泛研究。 还有一些研究将社交网络的稀疏语义与其关联特征 相结合，在短文本语义提取方面进行了探索，针对 在线社交网络短文本语义特点，优化文本语义的理 解，挖掘用户隐藏的搜索意图。下面将分析基于用 户搜索意图的社交网络搜索中的两个技术，即信息 感知与知识图谱的构建。 1.1 多模态信息感知 在社交网络的大量数据中蕴含着丰富的社会事 件发生和发展的过程，如何有效地从这些数据中挖 掘出有价值的信息是当前社交网络分析的重要问 题 [34]。基于社交网络跨媒体多模态事件的感知通过 分析社交中的文本、时间地点、图像、评论、观点、 情感和用户交互等多模态数据，感知事件整体发展 过程，并刻画出各事件彼此的关联，进而实现对信 息的全方位获取。 信息感知是指假设被感知数据来自 n 个多模态 异构数据源，且对不同观测对象均从 m 个维度来描 述，则能获得一组多源异构多模态的感知数据。在 线社交网络多模态数据信息感知的形成过程分为以 下 4 步： 1）信息获取。根据在线用户显性或隐性地提出 获取感知信息的需求，由系统分析后自动给出可能 的请求结果。 2）信息过滤。由于多模态信息的数据形式及种 类多样，大量的反馈信息给用户带来一定的困扰， 因此还需预先定义好过滤规则，建立过滤引擎。将 感知收集信息过滤后，存储并返回给相关用户。其 中信息过滤机制可以是用户自定义的规则，便于个 性化地定义自己想要获取的信息，可以提高感知信 息的效率，或基于感知强度计算得出。 3）信息的感知。由感知引擎提供获取方法和工 具，进一步分析用户交互结构和社交网络特性、社 区形成的规模、用户所处位置等信息，获取用户社 交中的身份、发布的资源和参与的社交活动。 4）信息显示。最后将感知信息显示出来，呈现 给社交网络中的用户或需求者。 在线社交网络环境中活跃的用户在交互时，能 够从彼此显性沟通和隐性非直接的沟通中获取对方 的需求感知信息。但实际应用中，用户可能发现的 知识和信息感知程度较低，会损失用户之间交流沟 通的机会。因此随着社交网络多模态信息大量涌 现，对信息感知技术的要求更加紧迫，只有用户能 够更好地感知网络动态数据，才能够更深入全面地 参与到社交活动中来，了解彼此的社交动态并挖掘 出潜在的社交行为和关系，增大用户决策和沟通的 效率。 ·762· 智 能 系 统 学 报 第 12 卷

第6期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·763· 1.2知识图谱的构建 含其中的时空、结构关系、社交关系等背景特征知 知识图谱s-36是Google提出的用于把复杂知 识，建立多模态信息的知识图谱。其数据大部分来 识领域的信息通过数据挖掘和信息处理，展示该知 源于专业知识领域的网站，将文本或图像、视频中 识领域的动态发展规律。其构建目的是便于社交网 的共现知识信息为实体建立联系，并利用该关系帮 络的搜索理解，能够按照用户的搜索内容自动辨别 助搜索内容特征的提取，调整权重，最后使用文本 其涉及的最相关实体及其属性等，根据实体的重要 或图像分类算法对搜索分类，深度挖掘用户搜索意 性揭示相对应的知识卡片，最后改善查询结果。利 图。将获取的感知数据与其隐含、关联的背景特征 用相关实体发掘来推荐其他用户可能感兴趣的实体 相结合是分析社交网络信息的基础，是理解用户搜 供进一步查阅。知识图谱可以在以下3个方面提升 索意图以及构建社交网络精准搜索研究的关键科学 搜索体验： 问题。 1)理解用户查询的初始意图。搜索请求具有灵 2跨媒体大数据的深度语义学习与分 活性，可能表示多重含义。知识图谱将信息全面发 掘并显现出来，将搜索结果范围缩小到最接近用 析 户意图的含义，可以让用户自主确定最终满意的 在线社交网络产生的数据大部分是异构、离散 结果。 且没有结构的，隐含了丰富的多属性、多模态语义 2)提供最全面的搜索信息。更好地全面理解用 信息。多模态数据之间存在着千丝万缕的语义关 户搜索信息，挖掘所有与搜索话题相关的内容，帮 联，结合获得的时空等信息，对社交网络用户进行 助用户了解各事物及信息之间的关系。 搜索意图分析与行为意图理解，可以从不同角度来 3)拓宽了用户搜索的深度及广度。构建与用户 掌握用户在社交平台上的各种网络行为特征。因此 搜索结果相关的完整知识体系，使用户获取搜索需 需要结合多属性、多形式的特征对社交网络在语义 求之外的知识发现。在搜索过程中，用户有可能同 层面上对大量数据进行深度学习，从多角度挖掘出 时认识到搜索需求以外的某个新事实或新联系，引 用户在社交网络活动中的意图模式和意图特征。通 导用户开始一些全新的搜索查询。 过对多属性、多模态社交网络大数据的深度语义学 基于知识图谱的用户搜索初始意图发现方法利 习与分析建模，可以实现异常用户意图特征的实时 用知识库中含有的词间联系，对用户搜索中的请求 获取以及凸显用户意图的实时表达，这对提升社会 文本调整权重，从而提高分类准确率，提高搜索意 热点话题的感知能力以及社交网络异常意图用户的 图挖掘效果。其构建技术是自底向上并迭代进行更 发现能力具有促进作用。 新的过程，每次更新包括3个步骤：信息的抽取、知 2.1大数据语义分析 识融合和加工。其中抽取是指从多模态的数据源中 大数据语义分析为基于社交网络大数据的用户 抽取出实体、属性及实体间的关联关系，以便形成 意图理解与分析提供了关键的支持。随着异构数据 本体知识的表达；知识融合是对抽取的数据进行实 的快速产生，其以不同媒体的形式存在，如何从异 体链接及知识合并，消除实体之间的歧义性、共指 构数据中辨别出相应所需的概念成为了当前的研究 消解的分类和聚类等操作，然后对获取的知识进行 热点。 合并，主要是对外部的知识库和内部关系数据库的 1)文本分析技术 合并。最后进行知识加工，构建对概念统一模式规 可以根据知识源或模型粒度的不同进行分类， 范的本体，描述客观世界中的抽象概念模型，然后 如表1所示。 进行知识推理和质量评估，完成最终的知识图谱的 2)多模态分析技术 构建。 对于社交网络中不断涌现的多模态数据形式， 在线社交网络产生的信息在网络上的呈现并不 单纯的分析文本已经不能够满足对社交网络数据的 仅仅局限于单一的文本模式，而是集签到、图像、视 分析和挖掘，因此有大量研究针对于文本及图像、视 频等各种模态数据的信息综合体，同时伴随产生了 频等数据综合进行语义分析。如M.L.Blei等o在 时间、空间、结构、社会关系等一系列隐含信息。多 分析文本和图像的基础上，分别采用了3种不同的 模态信息所蕴含的语义是单纯文本所无法比拟的， 生成模型：文本和图像主题为同一主题的主题强相 其极大地丰富了知识空间，为理解用户意图提供了 关模型、文本和图像主题分别从同一主题分布中采 充足的数据支持。因此，需要基于高效的数据感知 样得到的弱相关模型，以及假设文本以图像标注形 技术获取特定虚拟空间内跨媒体大数据，并提取隐 式存在的，文本主题从图像主题中均匀采样得到的

1.2 知识图谱的构建 知识图谱[35-36]是 Google 提出的用于把复杂知 识领域的信息通过数据挖掘和信息处理，展示该知 识领域的动态发展规律。其构建目的是便于社交网 络的搜索理解，能够按照用户的搜索内容自动辨别 其涉及的最相关实体及其属性等，根据实体的重要 性揭示相对应的知识卡片，最后改善查询结果。利 用相关实体发掘来推荐其他用户可能感兴趣的实体 供进一步查阅。知识图谱可以在以下 3 个方面提升 搜索体验： 1）理解用户查询的初始意图。搜索请求具有灵 活性，可能表示多重含义。知识图谱将信息全面发 掘并显现出来，将搜索结果范围缩小到最接近用 户意图的含义，可以让用户自主确定最终满意的 结果。 2）提供最全面的搜索信息。更好地全面理解用 户搜索信息，挖掘所有与搜索话题相关的内容，帮 助用户了解各事物及信息之间的关系。 3）拓宽了用户搜索的深度及广度。构建与用户 搜索结果相关的完整知识体系，使用户获取搜索需 求之外的知识发现。在搜索过程中，用户有可能同 时认识到搜索需求以外的某个新事实或新联系，引 导用户开始一些全新的搜索查询。 基于知识图谱的用户搜索初始意图发现方法利 用知识库中含有的词间联系，对用户搜索中的请求 文本调整权重，从而提高分类准确率，提高搜索意 图挖掘效果。其构建技术是自底向上并迭代进行更 新的过程，每次更新包括 3 个步骤：信息的抽取、知 识融合和加工。其中抽取是指从多模态的数据源中 抽取出实体、属性及实体间的关联关系，以便形成 本体知识的表达；知识融合是对抽取的数据进行实 体链接及知识合并，消除实体之间的歧义性、共指 消解的分类和聚类等操作，然后对获取的知识进行 合并，主要是对外部的知识库和内部关系数据库的 合并。最后进行知识加工，构建对概念统一模式规 范的本体，描述客观世界中的抽象概念模型，然后 进行知识推理和质量评估，完成最终的知识图谱的 构建。 在线社交网络产生的信息在网络上的呈现并不 仅仅局限于单一的文本模式，而是集签到、图像、视 频等各种模态数据的信息综合体，同时伴随产生了 时间、空间、结构、社会关系等一系列隐含信息。多 模态信息所蕴含的语义是单纯文本所无法比拟的， 其极大地丰富了知识空间，为理解用户意图提供了 充足的数据支持。因此，需要基于高效的数据感知 技术获取特定虚拟空间内跨媒体大数据，并提取隐 含其中的时空、结构关系、社交关系等背景特征知 识，建立多模态信息的知识图谱。其数据大部分来 源于专业知识领域的网站，将文本或图像、视频中 的共现知识信息为实体建立联系，并利用该关系帮 助搜索内容特征的提取，调整权重，最后使用文本 或图像分类算法对搜索分类，深度挖掘用户搜索意 图。将获取的感知数据与其隐含、关联的背景特征 相结合是分析社交网络信息的基础，是理解用户搜 索意图以及构建社交网络精准搜索研究的关键科学 问题。 2 跨媒体大数据的深度语义学习与分 析 在线社交网络产生的数据大部分是异构、离散 且没有结构的，隐含了丰富的多属性、多模态语义 信息。多模态数据之间存在着千丝万缕的语义关 联，结合获得的时空等信息，对社交网络用户进行 搜索意图分析与行为意图理解，可以从不同角度来 掌握用户在社交平台上的各种网络行为特征。因此 需要结合多属性、多形式的特征对社交网络在语义 层面上对大量数据进行深度学习，从多角度挖掘出 用户在社交网络活动中的意图模式和意图特征。通 过对多属性、多模态社交网络大数据的深度语义学 习与分析建模，可以实现异常用户意图特征的实时 获取以及凸显用户意图的实时表达，这对提升社会 热点话题的感知能力以及社交网络异常意图用户的 发现能力具有促进作用。 2.1 大数据语义分析 大数据语义分析为基于社交网络大数据的用户 意图理解与分析提供了关键的支持。随着异构数据 的快速产生，其以不同媒体的形式存在，如何从异 构数据中辨别出相应所需的概念成为了当前的研究 热点。 1）文本分析技术 可以根据知识源或模型粒度的不同进行分类， 如表 1 所示。 2）多模态分析技术 对于社交网络中不断涌现的多模态数据形式， 单纯的分析文本已经不能够满足对社交网络数据的 分析和挖掘，因此有大量研究针对于文本及图像、视 频等数据综合进行语义分析。如 M. I. Blei 等 [40]在 分析文本和图像的基础上，分别采用了 3 种不同的 生成模型：文本和图像主题为同一主题的主题强相 关模型、文本和图像主题分别从同一主题分布中采 样得到的弱相关模型，以及假设文本以图像标注形 式存在的，文本主题从图像主题中均匀采样得到的 第 6 期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·763·

·764· 智能系统学报 第12卷 文本图像主题生成模型。使用Cor-LDA模型建模， Bian在研究跨媒体数据的基础上提出了MM- 将文本与图像映射到同一主题语义空间中，在图像 LDA模型，将多模态的数据映射在主题空间中，用 标注及跨模态检索上都取得了很好的效果。Jingwen 以发现社交网络中事件的子事件，形成事件摘要。 表1文本分析技术分类 Table 1 Classification of text analysis techniques 分类依据 类别名称 特征描述 隐性语义分析模型 无知识源参考，典型技术有潜在语义分析LSA、神经网络语言模型等 半显性语义分析模型 指理解文本时采用构建主题模型的方式，以PLSA、LDA为代表 知识源 依靠人工构建的知识库或词典(Probase网等)对文本进行语义、语法及词汇 显性语义分析模型 等方面的深入分析，如LexSAl9等 原始文本粒度构建的分析模型，将文本的向量表示作为最后的模型输出，如 文本 模型粒度 LDA和LSA 词 以词向量作为表示、分析和输出的模型 上述以LDA为基础的生成模型中，都是严格 最终输出了下一个词的概率。此外为图像特征与语 以文本图像为研究对象，假设其具有同样的主题分 义词建立共享空间已应用在跨模态搜索中，对于 布，或者一种模态的主题分布依赖于另一种模型的 用户意图理解得到了很好的效果。以学习哈希函数 主题分布。然而现实生活中对同一事件或者物体的 为基础保留多标记图像之间多层次语义相似性的深 描述不仅在媒介上为异质异构数据，通常情况下在 度语义排序方法s以及将深度卷积神经网络结合 内容、数量、层次粒度上也并不是一一对应的。王 哈希函数来共同学习特征表示和映射，已应用于对 智愚等提出了一种社会多媒体的双向语义关联模 社交网络用户意图搜索的语义理解中。用区域生成 型，对文本、图像主题多种情况下的依赖关系建模： 方法s对图像生成候选区域，结合训练好的CNN Wang等4提出了一种多模态共同话题推理模型， 模型在这些区域上提取语义特征，最后利用线性 为多模态建立共享语义空间的同时加入了额外的类 SVM进行分类，能够得到更好的搜索结果。 别信息，在跨模态检索任务中取得了很好的效果； Kang等使用矩阵分解方法，通过学习特征的一致 3在线社交网络精准搜索与挖掘 性表示，为非成对数据的跨模态检索提供了可能。 社交网络搜索与传统网络的搜索应用形式相 2.2深度学习语义分析 比，信息的传播速度更快、传播方式更加隐蔽，覆盖 对用户搜索意图的图像理解常用方法是深度神 人群更广、用户的交互也更加频繁。因此基于用户 经网络，常用的两种深度神经网络结构有AlexNet 搜索意图理解的智能精准搜索不再局限于针对跨媒 和VGG-Net6。深度学习得到的特征相比手工提 体内容的搜索，而是涵盖了网络产生的信息以及与 取的特征在社交网络用户的搜索意图理解中能够取 其相关的所有外部信息的全面搜索，包括社交关系 得更好的效果。深度神经网络语义分析模型具有自 搜索、社交行为搜索以及线上线下关联信息搜索 动提取特征的优点，可以找出有效的特征进行分 等，需要有效地挖掘出社交网络中各种跨媒体的时 类，所以也称为表示学习。社交网络带来的大数据 空信息，分析隐含的特有属性，并结合知识库体系、 给神经网络学习提供了大量的训练样本，而GPU的 语义推理演算等，才能弥补传统搜索在信息关联等 使用给运行速度提供了保障。面向用户意图的搜索 方面的缺陷，实现对在线社交网络跨媒体大数据的 理解中对图像特征的提取主流的方法是采用卷积神 组织和管理，并对在线社交网络的精准搜索提供底 经网络提取CNN特征79，图像与文本的语义学习 层索引支持和基于本体知识库的搜索拓展。 可以在不同的深度语义层面上对图像CNN特征和 3.1用户搜索意图理解与匹配 文本特征进行映射学习0s。 目前的搜索引擎对于用户查询仅仅从关键词角 深度学习已经广泛用于文本、图像、视频和语 度出发进行相似度匹配，而不是从用户搜索意图出 音各方面的深度语义分析，基于神经网络的语言模 发搜寻相关信息，使得返回结果和搜索意图有较大 型最早是由Bengio提出的，主要解决了泛化问题， 出人。在该方面的研究中，Wolframalpha从公众和 通过嵌入和3层网络把词映射到空间中的一个点， 已授权资源中发掘并构建的数据库，能够理解用户

文本图像主题生成模型。使用 Corr-LDA 模型建模， 将文本与图像映射到同一主题语义空间中，在图像 标注及跨模态检索上都取得了很好的效果。Jingwen Bian[ 4 1 ]在研究跨媒体数据的基础上提出了 MM￾LDA 模型，将多模态的数据映射在主题空间中，用 以发现社交网络中事件的子事件，形成事件摘要。 上述以 LDA 为基础的生成模型中，都是严格 以文本图像为研究对象，假设其具有同样的主题分 布，或者一种模态的主题分布依赖于另一种模型的 主题分布。然而现实生活中对同一事件或者物体的 描述不仅在媒介上为异质异构数据，通常情况下在 内容、数量、层次粒度上也并不是一一对应的。王 智愚等[42]提出了一种社会多媒体的双向语义关联模 型，对文本、图像主题多种情况下的依赖关系建模； Wang 等 [43]提出了一种多模态共同话题推理模型， 为多模态建立共享语义空间的同时加入了额外的类 别信息，在跨模态检索任务中取得了很好的效果； Kang 等 [44]使用矩阵分解方法，通过学习特征的一致 性表示，为非成对数据的跨模态检索提供了可能。 2.2 深度学习语义分析 对用户搜索意图的图像理解常用方法是深度神 经网络，常用的两种深度神经网络结构有 AlexNet[45] 和 VGG-Net[46]。深度学习得到的特征相比手工提 取的特征在社交网络用户的搜索意图理解中能够取 得更好的效果。深度神经网络语义分析模型具有自 动提取特征的优点，可以找出有效的特征进行分 类，所以也称为表示学习。社交网络带来的大数据 给神经网络学习提供了大量的训练样本，而 GPU 的 使用给运行速度提供了保障。面向用户意图的搜索 理解中对图像特征的提取主流的方法是采用卷积神 经网络提取 CNN 特征[47-49] ，图像与文本的语义学习 可以在不同的深度语义层面上对图像 CNN 特征和 文本特征进行映射学习[50-51]。 深度学习已经广泛用于文本、图像、视频和语 音各方面的深度语义分析，基于神经网络的语言模 型最早是由 Bengio 提出的，主要解决了泛化问题， 通过嵌入和 3 层网络把词映射到空间中的一个点， 最终输出了下一个词的概率。此外为图像特征与语 义词建立共享空间已应用在跨模态搜索中[52] ，对于 用户意图理解得到了很好的效果。以学习哈希函数 为基础保留多标记图像之间多层次语义相似性的深 度语义排序方法[53-54]以及将深度卷积神经网络结合 哈希函数来共同学习特征表示和映射，已应用于对 社交网络用户意图搜索的语义理解中。用区域生成 方法[55]对图像生成候选区域，结合训练好的 CNN 模型在这些区域上提取语义特征，最后利用线性 SVM 进行分类，能够得到更好的搜索结果。 3 在线社交网络精准搜索与挖掘 社交网络搜索与传统网络的搜索应用形式相 比，信息的传播速度更快、传播方式更加隐蔽，覆盖 人群更广、用户的交互也更加频繁。因此基于用户 搜索意图理解的智能精准搜索不再局限于针对跨媒 体内容的搜索，而是涵盖了网络产生的信息以及与 其相关的所有外部信息的全面搜索，包括社交关系 搜索、社交行为搜索以及线上线下关联信息搜索 等，需要有效地挖掘出社交网络中各种跨媒体的时 空信息，分析隐含的特有属性，并结合知识库体系、 语义推理演算等，才能弥补传统搜索在信息关联等 方面的缺陷，实现对在线社交网络跨媒体大数据的 组织和管理，并对在线社交网络的精准搜索提供底 层索引支持和基于本体知识库的搜索拓展。 3.1 用户搜索意图理解与匹配 目前的搜索引擎对于用户查询仅仅从关键词角 度出发进行相似度匹配，而不是从用户搜索意图出 发搜寻相关信息，使得返回结果和搜索意图有较大 出入。在该方面的研究中，Wolframalpha 从公众和 已授权资源中发掘并构建的数据库，能够理解用户 表 1 文本分析技术分类 Table 1 Classification of text analysis techniques 分类依据 类别名称 特征描述 知识源 隐性语义分析模型 无知识源参考，典型技术有潜在语义分析LSA、神经网络语言模型[37]等 半显性语义分析模型 指理解文本时采用构建主题模型的方式，以PLSA、LDA为代表 显性语义分析模型 依靠人工构建的知识库或词典(Probase[38]等)对文本进行语义、语法及词汇 等方面的深入分析，如LexSA[39]等 模型粒度 文本 原始文本粒度构建的分析模型，将文本的向量表示作为最后的模型输出，如 LDA和LSA 词 以词向量作为表示、分析和输出的模型 ·764· 智 能 系 统 学 报 第 12 卷

第6期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·765· 查询需求并迅速给出结果。搜狗的“知立方”引人了 在线两种处理阶段，其整体基于用户意图理解的搜 用户查询语义的理解技术，试图分析用户的查询目 索框架如图1所示。其中离线阶段是指在没有接收 标，对搜索结果进行重新优化计算。Pak等m提 用户搜索请求时系统自动进行的操作，主要对用户 出了利用搜索上下文来预测用户的搜索意图： 在社交网络中的各种行为特征、发布信息的文本特 Gupta等s提出了使用用户查询日志的方法，对日 征或活动的时空信息及社会互动关系特征等个性化 志分析并预测出用户的搜索目标；王大玲等提出 信息进行分析和建模，挖掘出长期的兴趣偏好，为 了利用决策树的方法识别用户搜索意图。在意图匹 在线意图分析和抽取提供历史数据。利用TF 配方面，基于文本模型的匹配通过以关键词查询检 DF等算法进行主题分类抽取，并对热点进行分类 索的方式，把意图语义进行转换并与目标文档匹 及矢量描述分析，然后提取主题用户特征和主题热 配，获得相关度排名。在图模型的意图匹配中，通 点特征。当用户提出搜索请求时，首先对用户情景 过图查询来实现用户搜索意图与搜索空间目标项之 进行抽取，并对查询意图的信息和情感进行初步分 间的查找和匹配，包括关键词图搜索、子图匹配和 析，综合进行意图分析和提取操作，最后将主题节 近似图匹配技术等6@。 点的用户及热点特征与在线分析出的搜索意图、改 目前基于意图理解的智能搜索机制分为离线和 进的关键字综合进行匹配与搜索。 用户情景抽取 用户查询初步分析 ·用户最近的 ·意图信息词语 在 操作 ·意图情感词语 段 期兴趣 由文本解析的意图 意图分析和提取 匹配与搜索 ·对查询数据进行多 查询 ·根据意图缩小主题范围 改进后的关 关键词扩充和改写 维度的分析（进度 意图 ·根据关键词的扩充和改 键词矢量 ·相关性分析 内容、情感意图) 写在特定主题范围内进 ·局部聚类 意图维度与主题类 行匹配 期兴趣 查询用户特征 主题节点的用 主题节点的 用户个性化分析 户特征构成 热点构成 ·用户特征、时空 热点分析提取 行为、社会关系等 主题-用月 主题分类抽取 主题-热点关 多维度建模 ·对热点进行主 ·每个维度用定量方 关联分析 ·TF-DF 联分析 题分类 ·层次聚类法 ·每个热点以词 段 法描述 用户维度定 语矢量描述 量描述 主题及词语矢量 主题及词语矢量 热点、热度 及词语矢量 图1基于用户意图的搜索框架 Fig.1 The searching framework based on user intentions 3.2在线社交网络精准搜索的应用 手，对查询算法进行重构，与传统的基于关键字的 随着社交网络的日益普及，在线社交网络成为 搜索算法相比返回结果的相关度更高；Bennett等例 了现实社会中人和事进行评论和发表观点的一个集 提出探索式搜索概念，帮助搜索用户进行信息获 中平台，是社会生活的真实写照。Facebook开发了 取：Teevan等6从人口统计学、兴趣和职业等特征 备受欢迎的社交图谱搜索技术，Twitter提供了基于 分析入手，辨别不同的用户群体，提供基于相似请 社交网络的搜索，新浪微博也提供了自己的在线搜 求用户的查询结果。 索系统，这些搜索系统的出现给用户带来了很多便 在社交网络事件监测研究方面，Prerna等6从 利。现在已有大量学者对在线社交网络的搜索技术 技术层面对Twitter的舆情及其演化趋势进行了研 进行研究。贾焰等从社交网络中的知识挖掘与推 究：Jasmina等6提出了基于Twitter的事件搜索与 演、用户初始查询意图的理解与表示、符合用户意 监测方法，并将其应用于保加利亚选举事件中。随 图的智能结果在线响应等3个问题为目标，讨论了 着事件监测研究的不断进展，基于多模态的社交网 社交网络智慧搜索相关技术的发展；郑炜等6提出 络事件监测方法成为研究热点。Manos等6提出了 了基于用户搜索意图的智能搜索引擎系统框架，该 一种基于时间窗的多模态方法，对海量图片进行事 框架从社交网络内容的存储、索引以及排名方面着 件监测：Gao等6利用超图分割的思想引入文本内

查询需求并迅速给出结果。搜狗的“知立方”引入了 用户查询语义的理解技术，试图分析用户的查询目 标，对搜索结果进行重新优化计算[56]。Park 等 [57]提 出了利用搜索上下文来预测用户的搜索意图； Gupta 等 [58]提出了使用用户查询日志的方法，对日 志分析并预测出用户的搜索目标；王大玲等[59]提出 了利用决策树的方法识别用户搜索意图。在意图匹 配方面，基于文本模型的匹配通过以关键词查询检 索的方式，把意图语义进行转换并与目标文档匹 配，获得相关度排名。在图模型的意图匹配中，通 过图查询来实现用户搜索意图与搜索空间目标项之 间的查找和匹配，包括关键词图搜索、子图匹配和 近似图匹配技术等[60]。 目前基于意图理解的智能搜索机制分为离线和 在线两种处理阶段，其整体基于用户意图理解的搜 索框架如图 1 所示。其中离线阶段是指在没有接收 用户搜索请求时系统自动进行的操作，主要对用户 在社交网络中的各种行为特征、发布信息的文本特 征或活动的时空信息及社会互动关系特征等个性化 信息进行分析和建模，挖掘出长期的兴趣偏好，为 在线意图分析和抽取提供历史数据。利用 TF￾IDF 等算法进行主题分类抽取，并对热点进行分类 及矢量描述分析，然后提取主题用户特征和主题热 点特征。当用户提出搜索请求时，首先对用户情景 进行抽取，并对查询意图的信息和情感进行初步分 析，综合进行意图分析和提取操作，最后将主题节 点的用户及热点特征与在线分析出的搜索意图、改 进的关键字综合进行匹配与搜索。 3.2 在线社交网络精准搜索的应用 随着社交网络的日益普及，在线社交网络成为 了现实社会中人和事进行评论和发表观点的一个集 中平台，是社会生活的真实写照。Facebook 开发了 备受欢迎的社交图谱搜索技术，Twitter 提供了基于 社交网络的搜索，新浪微博也提供了自己的在线搜 索系统，这些搜索系统的出现给用户带来了很多便 利。现在已有大量学者对在线社交网络的搜索技术 进行研究。贾焰等[56]从社交网络中的知识挖掘与推 演、用户初始查询意图的理解与表示、符合用户意 图的智能结果在线响应等 3 个问题为目标，讨论了 社交网络智慧搜索相关技术的发展；郑炜等[61]提出 了基于用户搜索意图的智能搜索引擎系统框架，该 框架从社交网络内容的存储、索引以及排名方面着 手，对查询算法进行重构，与传统的基于关键字的 搜索算法相比返回结果的相关度更高；Bennett 等 [62] 提出探索式搜索概念，帮助搜索用户进行信息获 取；Teevan 等 [63]从人口统计学、兴趣和职业等特征 分析入手，辨别不同的用户群体，提供基于相似请 求用户的查询结果。 在社交网络事件监测研究方面，Prerna 等 [64]从 技术层面对 Twitter 的舆情及其演化趋势进行了研 究；Jasmina 等 [65]提出了基于 Twitter 的事件搜索与 监测方法，并将其应用于保加利亚选举事件中。随 着事件监测研究的不断进展，基于多模态的社交网 络事件监测方法成为研究热点。Manos 等 [66]提出了 一种基于时间窗的多模态方法，对海量图片进行事 件监测；Gao 等 [67]利用超图分割的思想引入文本内 ⩔ᝣ͖ᕓࡂ᲼ܲ ͧ䷄ܲㆧ៩ं • TF−IDF • ᅮ⁍㖆ㆧ∁ ☙◥ܲ᲼᣼ं • ᄥ☙◥䔇㵸ͧ

䷄ܲㆧ • ⃻͖☙◥Б䃹

䄙ⴎ䛻᣻䔜 ͧ䷄−⩔ᝣ ᲼ܲ㖀ڟ ڟ◥☙−䷄u 㖀ܲ᲼ ⩔ᝣ㐠Ꮢ჆ 䛻᣻䔜 ͧ䷄ࣶ䃹䄙ⴎ䛻 ͧ䷄ࣶ䃹䄙ⴎ䛻 ☙◥ȟ☙Ꮢ 䃹䄙ⴎ䛻ࣶ ᴑ䄎⩔ᝣ➥ᒭ ͧ䷄㞮◥⮰⩔ ᝣ➥ᒭᲰ᜼ ͧ䷄㞮◥⮰ ☙◥Ჰ᜼ ࡥ䙹̺᥈㉎ • ᵥᢚᘻప㑕ᄻͧ䷄㠯ఠ • ᵥᢚڟ䩚䃹⮰ផٱসᩥ 䔇ڱ㠯ఠ౔➥჆ͧ䷄ۅ



㵸ࡥ䙹 ۅᩥসٱ䩚䃹ផڟ • Ⱔڟᕓܲ᲼ • ᅬ䘔㖆ㆧ ڟ⮰ऺ䔇ᩥ 䩚䃹ⴎ䛻 ᘻపܲ᲼স᣼ं • ᄥᴑ䄎᪜ᢚ䔇㵸ๆ

㐠Ꮢ⮰ܲ᲼(䔇Ꮢȟ (ქȟᗱᙋᘻపڱ

• ᘻప㐠Ꮢ̺ͧ䷄ㆧ ᴑ䄎 ᘻప ⩔ᝣᗱᮛ៩ं • ⩔ᝣᰬ䓽⮰

᧹҈ ⩔ᝣᴑ䄎݉ₑܲ᲼ • ᘻపԍᖛ䃹䄙 • ᘻపᗱᙋ䃹䄙 ⩝᪳᱘㼏᲼⮰ᘻప • ⩔ᝣ➥ᒭȟᬢ⾦ȟ

㵸ͦȟ⹪цڟ㈧ふ

ๆ㐠ᏒᐦὍ • ⃻͖㐠Ꮢ⩔჆䛻᫥

∁᣻䔜 ౔ ㏫ 䭢 ⃡ 䓽 ᱋ ڠ 䋏 䪫 ᱋ ڠ 䋏 ⻧ ㏫ 䭢 ⃡ 图 1 基于用户意图的搜索框架 Fig. 1 The searching framework based on user intentions 第 6 期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·765·

·766· 智能系统学报 第12卷 容、视觉内容、位置信息、时间信息等实现社交网络 的研究现状，未来研究中可能面临的挑战包括： 跨媒体的事件监测，但是该方法无法预测热点事 1)面对在线社交网络数据的歧义性、模糊性 件；Unankard6s提出了基于位置感知的社交网络事 时变性等问题，如何基于知识图谱获取在线社交网 件监测方法，把Twitter事件和位置信息进行统一表 络跨媒体大数据，并提取其相关背景信息以及如何 示，将用户位置和事件位置的相关性的强度进行标 利用感知数据与背景信息之间的关联、不同媒体数 识，监测和预测热点事件。此外，随着各大社交网 据之间的关联，构建虚拟空间的知识图谱，挖掘数 络的盛行使针对社交网络的研究越来越广泛而全 据中隐藏的用户搜索意图，以实现社交网络数据信 面69川，人们在社交网络中应用更加便捷，并且可以 息的全面、完整地表达与理解，仍然是亟待解决的 从海量的信息中受益。 科学问题。 4总结与展望 2)虽然面向用户搜索意图的理解已经有许多跨 媒体语义映射学习的方法，但是这些方法没有考虑 本文对基于知识图谱的在线社交网络多模态信 图像和文本的时空性对语义的影响，因此需要根据 息感知方法、搜索中面向用户意图匹配的跨媒体大 图像与文本在不同时间和不同地点出现时体现不同 数据深度语义学习与分析、在线社交网络精准搜索 的语义，进一步对用户搜索意图的理解进行深入研 与挖掘进行了研究与分析，可以看出在基于用户搜 究。如何基于深度学习来突破跨媒体大数据知识空 索意图理解的在线社交网络跨媒体精准搜索与挖掘 间浅层特征与深度语义之间存在的语义障碍是有待 研究领域已有的理论、技术及应用仍然存在一些问 研究的问题。 题，总结为以下几方面： 3)目前已有的社交网络搜索与挖掘算法是分离 1)目前已有的跨媒体信息感知方法只关注于一 的，而搜索系统和挖掘系统都会对最终的搜索精度 定区域和范围内的代表性数据获取，从社交网络中 造成影响。因此建立搜索与挖掘一体化的模型能够 感知得到的稀疏且零散的数据不足以支撑用户意图 有效提高搜索性能。需要建立支持时空特性和社交 理解搜索的信息需求。单纯的社交网络数据难以实 特性的跨媒体、跨空间的挖掘体系，根据时空特性、 现语义分析，因此需要必要的数据关联特征来实现 社交特性、用户行为特征、现实空间的实时数据，并 数据的语义理解。已有的信息感知方法没有考虑与 结合领域本体知识库推理演算和语义查询扩展，构 数据相关联的背景特征信息以及用户属性信息的 建支持时间、空间特性的在线社交网络对象的精准 获取，不能及时、快速从感知数据中提取出隐含信 搜索模型。 息，不能为高层的处理与应用提供必要的信息支持。 参考文献： 2)目前已有的语义学习与分析方法中通常只针 对单一模态数据或特定的应用场景，难以从多模态 [1]XIE H,LI X.WANG T,et al.Personalized search for so- 的跨媒体大数据中完整地识别出社交网络用户的意 cial media via dominating verbal context[J].Neurocomput- 图倾向，以及网络意图模式与现实社会热点话题与 ing,2016,172(C):27-37. 事件的语义关联关系，无法实时地获取体现社交网 [2]LI J,LIU C,YU JX,et al.Personalized influential topic 络用户的行为特征，从而进行用户意图分析和异常 search via social network summarization[J].IEEE transac- 用户意图检测。基于单一模态单一属性的语义识别 tions on knowledge and data engineering,2016,28(7): 模型难以快速而精准地分析社交网络热点话题和事 1820-1834. 件相关内容的语义及其影响范围和深度。 [3]KOU F,DU J,HE Y,et al.A survey on social network 3)目前已有的社交网络搜索技术对特定对象精 search based on semantic analysis and learning[J].CAAI 准搜索的研究无法实现跨空间搜索。搜索匹配方法 transactions on intelligence technology,2016,11(1):293- 302 不能从超大规模、超高维度、不完备、有噪声、语义 [4石磊，杜军平，周亦鹏，等.在线社交网络挖掘与搜索技术 模糊的在线社交网络跨媒体大数据中挖掘出与特定 研究.智能系统学报，2016,11(6)：777-787 对象时空特性、社会属性相关的知识模式。由于用 SHI Lei,DU Junping,ZHOU Yipeng,et al.A survey onon- 户搜索的意图往往很抽象，目前的搜索方法无法满 line social network mining and search[J].CAAI transac. 足抽象的搜索意图理解与匹配，因此需要研究基于 tions on intelligence technology,2016,11(6):777-787 搜索意图识别的高质量、高效率的跨媒体大数据搜 [5]DEUFEMIA V,GRANATELLO M.MEROLA A,et al. 索算法。 Comparing classifiers for web user intent understanding 围绕社会网络面向用户意图的搜索与挖掘目前 [J].Empowering organizations,2016,11(2):147-159

容、视觉内容、位置信息、时间信息等实现社交网络 跨媒体的事件监测，但是该方法无法预测热点事 件；Unankard[68]提出了基于位置感知的社交网络事 件监测方法，把 Twitter 事件和位置信息进行统一表 示，将用户位置和事件位置的相关性的强度进行标 识，监测和预测热点事件。此外，随着各大社交网 络的盛行使针对社交网络的研究越来越广泛而全 面 [69-71]，人们在社交网络中应用更加便捷，并且可以 从海量的信息中受益。 4 总结与展望 本文对基于知识图谱的在线社交网络多模态信 息感知方法、搜索中面向用户意图匹配的跨媒体大 数据深度语义学习与分析、在线社交网络精准搜索 与挖掘进行了研究与分析，可以看出在基于用户搜 索意图理解的在线社交网络跨媒体精准搜索与挖掘 研究领域已有的理论、技术及应用仍然存在一些问 题，总结为以下几方面： 1）目前已有的跨媒体信息感知方法只关注于一 定区域和范围内的代表性数据获取，从社交网络中 感知得到的稀疏且零散的数据不足以支撑用户意图 理解搜索的信息需求。单纯的社交网络数据难以实 现语义分析，因此需要必要的数据关联特征来实现 数据的语义理解。已有的信息感知方法没有考虑与 数据相关联的背景特征信息以及用户属性信息的 获取，不能及时、快速从感知数据中提取出隐含信 息，不能为高层的处理与应用提供必要的信息支持。 2）目前已有的语义学习与分析方法中通常只针 对单一模态数据或特定的应用场景，难以从多模态 的跨媒体大数据中完整地识别出社交网络用户的意 图倾向，以及网络意图模式与现实社会热点话题与 事件的语义关联关系，无法实时地获取体现社交网 络用户的行为特征，从而进行用户意图分析和异常 用户意图检测。基于单一模态单一属性的语义识别 模型难以快速而精准地分析社交网络热点话题和事 件相关内容的语义及其影响范围和深度。 3）目前已有的社交网络搜索技术对特定对象精 准搜索的研究无法实现跨空间搜索。搜索匹配方法 不能从超大规模、超高维度、不完备、有噪声、语义 模糊的在线社交网络跨媒体大数据中挖掘出与特定 对象时空特性、社会属性相关的知识模式。由于用 户搜索的意图往往很抽象，目前的搜索方法无法满 足抽象的搜索意图理解与匹配，因此需要研究基于 搜索意图识别的高质量、高效率的跨媒体大数据搜 索算法。 围绕社会网络面向用户意图的搜索与挖掘目前 的研究现状，未来研究中可能面临的挑战包括： 1）面对在线社交网络数据的歧义性、模糊性、 时变性等问题，如何基于知识图谱获取在线社交网 络跨媒体大数据，并提取其相关背景信息以及如何 利用感知数据与背景信息之间的关联、不同媒体数 据之间的关联，构建虚拟空间的知识图谱，挖掘数 据中隐藏的用户搜索意图，以实现社交网络数据信 息的全面、完整地表达与理解，仍然是亟待解决的 科学问题。 2）虽然面向用户搜索意图的理解已经有许多跨 媒体语义映射学习的方法，但是这些方法没有考虑 图像和文本的时空性对语义的影响，因此需要根据 图像与文本在不同时间和不同地点出现时体现不同 的语义，进一步对用户搜索意图的理解进行深入研 究。如何基于深度学习来突破跨媒体大数据知识空 间浅层特征与深度语义之间存在的语义障碍是有待 研究的问题。 3）目前已有的社交网络搜索与挖掘算法是分离 的，而搜索系统和挖掘系统都会对最终的搜索精度 造成影响。因此建立搜索与挖掘一体化的模型能够 有效提高搜索性能。需要建立支持时空特性和社交 特性的跨媒体、跨空间的挖掘体系，根据时空特性、 社交特性、用户行为特征、现实空间的实时数据，并 结合领域本体知识库推理演算和语义查询扩展，构 建支持时间、空间特性的在线社交网络对象的精准 搜索模型。 参考文献： XIE H, LI X, WANG T, et al. Personalized search for so￾cial media via dominating verbal context[J]. Neurocomput￾ing, 2016, 172(C): 27–37. [1] LI J, LIU C, YU J X, et al. Personalized influential topic search via social network summarization[J]. IEEE transac￾tions on knowledge and data engineering, 2016, 28(7): 1820–1834. [2] KOU F, DU J, HE Y, et al. A survey on social network search based on semantic analysis and learning[J]. CAAI transactions on intelligence technology, 2016, 11(1): 293– 302. [3] 石磊, 杜军平, 周亦鹏, 等. 在线社交网络挖掘与搜索技术 研究[J]. 智能系统学报, 2016, 11(6): 777–787. SHI Lei, DU Junping, ZHOU Yipeng, et al. A survey on on￾line social network mining and search[J]. CAAI transac￾tions on intelligence technology, 2016, 11(6): 777–787. [4] DEUFEMIA V, GRANATELLO M, MEROLA A, et al. Comparing classifiers for web user intent understanding [J]. Empowering organizations, 2016, 11(2): 147–159. [5] ·766· 智 能 系 统 学 报 第 12 卷

第6期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·767· [6]CHRISTOPH K,MARTHA L,ALAN H.User intent in 进展与展望[.地球信息科学学报，2015,17(2)：127 multimedia search:a survey of the state of the art and future 134. challenges[J].ACM computing surveys,2016,49(2):1-37. YU Li,LU Feng,ZHANG Hengcai.Extracting geographic 7]KATO M.Web search query privacy,an end-user perspect- information from web texts:status and development[J]. ive[J].Journal of information security,2017,8(1):56-74. Journal of geo-information science,2015,17(2):127- [8]RISHIRAJ S R,RAHUL K,NILOY G,et al.Discovering 134. and understanding word level user intent in web search [20]王宇.基于网络文本的地名空间模糊建模[D].南京：南 queries[J].World wide web,2015,30:22-38 京师范大学，2012. [9]JIN Y K,MARK C,JAIME T,et al.Understanding how WANG Yu.A dissertation submitted in partial fulfillment people interact with web search results that change in real- of the requirements for the degree of master of science[D]. time using implicit feedback[C]//The 22nd ACM Interna- Nanjing:Nanjing Normal University,2012. tional Conference on Information and Knowledge Manage- [21]JIN T,LIL,LI P,et al.Hidden conditional random fields ment.San Francisco,USA,2014:2321-2326 for category and scene classification[J].Journal of compu- [10]CHRISTOPH K,SUBHABRATA B,MARTHA L,et al. tational information systems,2012,8(2):877-885. Uploader intent for online video:typology,inference and [22]CHIEN B C,SHI H T,FU C H,et al.Automatic geotag- applications[J].IEEE transactions on multimedia,2015, ging for personal photos with sharing images on social me- 17(8):1200-1212 dia networks[C]//Multidisciplinary Social Networks Re- [11]ZHENG Y,CAPRA L,WOLFSON O,et al.Urban com- search.Berlin:Springer Berlin Heidelberg,2015:495-508. puting:concepts,methodologies and applications[J].ACM [23]SENGSTOCK C,GERTZ M.Latent geographic feature transactions on intelligent systems and technology,2014, extraction from social media[C]//Proceedings of the 20th 5(3:38. ACM International Conference on Advances in Geograph- [12]ZHENG Y,LIU T,WANG Y,et al.Diagnosing new york ic Information Systems.New York,USA,2012:149-158. city's noises with ubiquitous data[C]//Proceedings of the [24]HONG L,DAVISON B D.Empirical study of topic mod- 2014 ACM International Joint Conference on Pervasive eling in Twitter[C]//Proceedings of the ACM First Work- and Ubiquitous Computing.Seattle,Washington,2014: shop on Social Media Analytics.Washington D C,USA, 715-725. 2010:80-88. [13]ZHENG Y.Trajectory data mining:an overview[J].ACM [25]SONG S,LI Q,ZHENG X.Detecting popular topics in mi- transactions on intelligent systems and technology,2015, cro-blogging based on a user interest-based model[J].The 6(3):29. complex system of management and control of state key [14]SONG S,LI Q,ZHENG N.A spatio-temporal framework laboratory,2012(IJCNN):1-8. for related topic search in micro-blogging[C]//Internation- [26]ZHENG N.SONG S,BAO H.A temporal-topic model for al Conference on Active Media Technology.Springer Ber- friend recommendations in Chinese microblogging sys- lin Heidelberg,2010:63-73 tems[J].IEEE transactions on systems,man,and cybernet- [15]SONG S,LI Q,BAO H.Detecting dynamic association ics:systems,2015,45(9):1245-1253. among twitter topics[C]//International Conference on [27]BAO H,LI Q,LIAO SS,et al.A new temporal and social World Wide Web.Lyon,France,2012:605-606. pmf-based method to predict users'interests in micro-blog- [16]LIU AA,SU Y T,NIE WZ,et al.Hierarchical clustering ging[J].Decision support systems,2013,55(3):698-709. multi-task learning for joint human action grouping and re- [28]GAO H,LI Q,BAO H,et al.How shall we catch people's cognition[J].IEEE trans pattern anal mach intell,2017, concerns in micro-blogging[C]//Proceedings of the 21st 391上102-114 ACM International Conference on World Wide Web.Ly- [17]CUI P,WANG F,YANG S,et al.Item-Level Social Influ- on,France,2012:505-506. ence Prediction with Probabilistic Hybrid Factor Matrix [29]WANG Y.WANG X.DU J,et al.Object detection based Factorization[Cl//AAAI Conference on Artificial Intelli- on exemplar object expression[M].Advanced Multimedia gence 2011.San Francisco.USA,2011:34-45. and Ubiquitous Engineering.Springer Berlin Heidelberg, [18]CRANSHAW J,TOCH E,HONG J,et al.Bridging the gap 2015 between physical location and online social networks[C]// [30]WANG X,DU J,WU S.High-level semantic image an- ACM International Conference on Ubiquitous Computing. notation based on hot internet topics[J.Multimedia tools Copenhagen,Denmark,2010:119-128. and applications,2015,74(6):2055-2084. [19余丽，陆锋，张恒才.网络文本蕴涵地理信息抽取：研究 [31]WU L,GE Y,LIU Q,et al.Modeling the evolution of

CHRISTOPH K, MARTHA L, ALAN H. User intent in multimedia search: a survey of the state of the art and future challenges[J]. ACM computing surveys, 2016, 49(2): 1–37. [6] KATO M. Web search query privacy, an end-user perspect￾ive[J]. Journal of information security, 2017, 8(1): 56–74. [7] RISHIRAJ S R, RAHUL K, NILOY G, et al. Discovering and understanding word level user intent in web search queries[J]. World wide web, 2015, 30: 22–38. [8] JIN Y K, MARK C, JAIME T, et al. Understanding how people interact with web search results that change in real￾time using implicit feedback[C]//The 22nd ACM Interna￾tional Conference on Information and Knowledge Manage￾ment. San Francisco, USA, 2014: 2321–2326. [9] CHRISTOPH K, SUBHABRATA B, MARTHA L, et al. Uploader intent for online video: typology, inference and applications[J]. IEEE transactions on multimedia, 2015, 17(8): 1200–1212. [10] ZHENG Y, CAPRA L, WOLFSON O, et al. Urban com￾puting: concepts, methodologies and applications[J]. ACM transactions on intelligent systems and technology, 2014, 5(3): 38. [11] ZHENG Y, LIU T, WANG Y, et al. Diagnosing new york city's noises with ubiquitous data[C]//Proceedings of the 2014 ACM International Joint Conference on Pervasive and Ubiquitous Computing. Seattle, Washington, 2014: 715–725. [12] ZHENG Y. Trajectory data mining: an overview[J]. ACM transactions on intelligent systems and technology, 2015, 6(3): 29. [13] SONG S, LI Q, ZHENG N. A spatio-temporal framework for related topic search in micro-blogging[C]//Internation￾al Conference on Active Media Technology. Springer Ber￾lin Heidelberg, 2010: 63–73. [14] SONG S, LI Q, BAO H. Detecting dynamic association among twitter topics[C]//International Conference on World Wide Web. Lyon, France, 2012: 605–606. [15] LIU A A, SU Y T, NIE W Z, et al. Hierarchical clustering multi-task learning for joint human action grouping and re￾cognition[J]. IEEE trans pattern anal mach intell, 2017, 39(1): 102–114. [16] CUI P, WANG F, YANG S, et al. Item-Level Social Influ￾ence Prediction with Probabilistic Hybrid Factor Matrix Factorization[C]//AAAI Conference on Artificial Intelli￾gence 2011. San Francisco, USA, 2011: 34–45. [17] CRANSHAW J, TOCH E, HONG J, et al. Bridging the gap between physical location and online social networks[C]// ACM International Conference on Ubiquitous Computing. Copenhagen, Denmark, 2010: 119–128. [18] [19] 余丽, 陆锋, 张恒才. 网络文本蕴涵地理信息抽取: 研究 进展与展望[J]. 地球信息科学学报, 2015, 17(2): 127– 134. YU Li, LU Feng, ZHANG Hengcai. Extracting geographic information from web texts: status and development[J]. Journal of geo-information science, 2015, 17(2): 127– 134. 王宇. 基于网络文本的地名空间模糊建模[D]. 南京: 南 京师范大学, 2012. WANG Yu. A dissertation submitted in partial fulfillment of the requirements for the degree of master of science[D]. Nanjing: Nanjing Normal University, 2012. [20] JIN T, LI L, LI P, et a1. Hidden conditional random fields for category and scene classification[J]. Journal of compu￾tational information systems, 2012, 8(2): 877–885. [21] CHIEN B C, SHI H T, FU C H, et al. Automatic geotag￾ging for personal photos with sharing images on social me￾dia networks[C]//Multidisciplinary Social Networks Re￾search. Berlin: Springer Berlin Heidelberg, 2015: 495–508. [22] SENGSTOCK C, GERTZ M. Latent geographic feature extraction from social media[C]//Proceedings of the 20th ACM International Conference on Advances in Geograph￾ic Information Systems. New York, USA, 2012: 149–158. [23] HONG L, DAVISON B D. Empirical study of topic mod￾eling in Twitter[C]//Proceedings of the ACM First Work￾shop on Social Media Analytics. Washington D C, USA, 2010: 80–88. [24] SONG S, LI Q, ZHENG X. Detecting popular topics in mi￾cro-blogging based on a user interest-based model[J]. The complex system of management and control of state key laboratory, 2012(IJCNN): 1–8. [25] ZHENG N, SONG S, BAO H. A temporal-topic model for friend recommendations in Chinese microblogging sys￾tems[J]. IEEE transactions on systems, man, and cybernet￾ics: systems, 2015, 45(9): 1245–1253. [26] BAO H, LI Q, LIAO S S, et al. A new temporal and social pmf-based method to predict users’ interests in micro-blog￾ging[J]. Decision support systems, 2013, 55(3): 698–709. [27] GAO H, LI Q, BAO H, et al. How shall we catch people's concerns in micro-blogging[C]//Proceedings of the 21st ACM International Conference on World Wide Web. Ly￾on, France, 2012: 505–506. [28] WANG Y, WANG X, DU J, et al. Object detection based on exemplar object expression[M]. Advanced Multimedia and Ubiquitous Engineering. Springer Berlin Heidelberg, 2015. [29] WANG X, DU J, WU S. High-level semantic image an￾notation based on hot internet topics[J]. Multimedia tools and applications, 2015, 74(6): 2055–2084. [30] [31] WU L, GE Y, LIU Q, et al. Modeling the evolution of 第 6 期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·767·

·768· 智能系统学报 第12卷 users'preferences and social links in social networking ser- [43]WANG Y,WU F,SONG J,et al.Multi-modal mutual top- vices[J].IEEE transactions on knowledge and data engin- ic reinforce modeling or cross-media retrieval[Cl//Proceed- eering,2017(99):1-l. ings of 2014 ACM International Conference on Multime- [32]LIANG M,DU J,LIU H.Self-adaptive spatial image de- dia.Orlando:ACM Press,2014:307-316. noising model based on scale correlation and sure-let in the [44]KANG C,XIANG S,LIAO S,et al.Learning consistent nonsubsampled contourlet transform domain[J].Science feature representation for cross-modal multimedia retriev- China-information sciences,2014,57(9):1-15. al[J].IEEE transactions on multimedia,2015,17(3): [33]WANG X,DU J,WU S,et al.Cluster ensemble-based im- 370-381. age segmentation[J].International journal of advanced ro- [45]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Im- botic systems,2013,10(4):1-11. agenet classification with deep convolutional neural net- 「34欧阳逸，郭斌，何萌，等.微博事件感知与脉络呈现系统 works[C]//Proceedings of Advances in Neural Informa- [J月.浙江大学学报：工学版，2016,50(6)：1176- tion Processing Systems.Cambridge:MIT Press,2012: 1182 1097-1105 OUYANG Yi,GUO Bin,HE Meng,et al.Event sensing [46]SIMONYAN K,ZISSERMAN A.Very deep convolution- and vein presentation leveraging microblog[J].Journal of al networks for large-scale image recognition[J.Arxiv pre- Zhejiang university:engineering science,2016,50(6):1176- print,axiv,2014:1409-1556. 1182 [47]ANDREJ K,ARMAND J,LI F.Deep fragment embed- [35)刘峤，李杨，段宏，等.知识图谱构建技术综述.计算机 dings for bidirectional image sentence mapping[J].Arxiv 研究与发展，2016,53(3)：582-600 Preprint,,Axiv,2014,143):1406-5679. LIU Jiao,LI Yang,DUAN Hong,et al.Knowledge graph [48]AMIRHOSSEIN H,THOMAS M,CEES G,et al.Discov- construction technique[J].Journal of computer research ering semantic vocabularies for cross-media retrieval and development,2016,53(3):582-600. [C]//Proceedings of ACM SIGMM International Confer- [36]BALAID A,ABD R M Z,HIKMI S N,et al.Knowledge ence on Multimedia Retrieval.Shanghai:ACM Press, maps[J].International journal of information management, 2015:131-138. 2016,36(3:451-475 [49]JIANG XY,WU F,LI X.et al.Deep compositional cross- [37]MIKOLOV T,CHEN K,CORRADO G,et al.Efficient es- modal learning to rank via local-global alignment[Cl// timation of word representations in vector space[J].Com- Proceedings of 2015 ACM International Conference on puter science,2013,2(12):27-35. Multimedia.Brisbane,2015:69-78. [38]WU W,LI H,WANG H,et al.Probase:a probabilistic tax- [50]MA L,LU ZD,SHANG LD,et al.Multimodal convolu- onomy for text understanding[C]//ACM SIGMOD Interna- tional neural networks for matching image and sentence[Cl// tional Conference on Management of Data.Scottsdale, Proceedings of 2015 International Conference on Com- USA,2012:481-492 puter Vision.Boston,USA,2015:2623-2631. [39]HUA W,WANG Z,WANG H,et al.Short text under- [51]ZHAO F,HUANG Y,WANG L,et al.Deep semantic standing through lexical-semantic analysis[Cl//Internation- ranking based hashing for multi-label image retrieval[C]// al Conference on Data Engineering.Seoul,South Korea, Proceedings of the IEEE Conference on Computer Vision 2015:495-506. and Pattern Recognition.Boston,USA,2015:1556- [40]DAVID M,BLEI M I,JORDAN.Modeling annotated 1564. data[Cl//Proceedings of 2003 ACM International Confer- [52]WANG J,SONG Y,LEUNG T,et al.Learning fine- ence on Research on Development in Information Retriev- grained image similarity with deep ranking[C]//IEEE Con- al.Toronto:ACM Press,2003:1-8. ference on Computer Vision and Pattern Recognition. [41]BIAN J,YANG Y,CHUA T S.Multimedia summariza- IEEE Computer Society,2014:1386-1393. tion for trending topics in microblogs[C]//Proceedings of [53]REN S,GIRSHICK R.GIRSHICK R,et al.Faster R-CNN: ACM International Conference on Information and Know- towards real-time object detection with region proposal ledge Management.San Francisco:ACM Press,2013: networks[J].IEEE transactions on pattern analysis and ma- 1807-1812 chine intelligence,2017,39(6):1137-1149. [42]王智愚.社会化多媒体内容分析与摘要D1.北京：清华 [54]QIAN SS,ZHANG TZ.HONG R,et al.Cross-domain col- 大学2013：1-119 laborative learning in social multimediafCl//Proceedings of WANG Zhiyu.Social multimedia analysis and summariza- 2015 ACM International Conference on Multimedia.Bris- tion[D].Beijing:Tsinghua University,2013:1-119. bane:ACM Press,2015:99-108

users’ preferences and social links in social networking ser￾vices[J]. IEEE transactions on knowledge and data engin￾eering, 2017(99): 1–1. LIANG M, DU J, LIU H. Self-adaptive spatial image de￾noising model based on scale correlation and sure-let in the nonsubsampled contourlet transform domain[J]. Science China-information sciences, 2014, 57(9): 1–15. [32] WANG X, DU J, WU S, et al. Cluster ensemble-based im￾age segmentation[J]. International journal of advanced ro￾botic systems, 2013, 10(4): 1–11. [33] 欧阳逸, 郭斌, 何萌, 等. 微博事件感知与脉络呈现系统 [J]. 浙江大学学报: 工学版, 2016, 50(6): 1176– 1182. OUYANG Yi, GUO Bin, HE Meng, et al. Event sensing and vein presentation leveraging microblog[J]. Journal of Zhejiang university: engineering science, 2016, 50(6): 1176– 1182. [34] 刘峤, 李杨, 段宏, 等. 知识图谱构建技术综述[J]. 计算机 研究与发展, 2016, 53(3): 582–600. LIU Jiao, LI Yang, DUAN Hong, et al. Knowledge graph construction technique[J]. Journal of computer research and development, 2016, 53(3): 582–600. [35] BALAID A, ABD R M Z, HIKMI S N, et al. Knowledge maps[J]. International journal of information management, 2016, 36(3): 451–475. [36] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient es￾timation of word representations in vector space[J]. Com￾puter science, 2013, 2(12): 27–35. [37] WU W, LI H, WANG H, et al. Probase: a probabilistic tax￾onomy for text understanding[C]//ACM SIGMOD Interna￾tional Conference on Management of Data. Scottsdale, USA, 2012: 481–492. [38] HUA W, WANG Z, WANG H, et al. Short text under￾standing through lexical-semantic analysis[C]//Internation￾al Conference on Data Engineering. Seoul, South Korea, 2015: 495–506. [39] DAVID M, BLEI M I, JORDAN. Modeling annotated data[C]//Proceedings of 2003 ACM International Confer￾ence on Research on Development in Information Retriev￾al. Toronto: ACM Press, 2003: 1–8. [40] BIAN J, YANG Y, CHUA T S. Multimedia summariza￾tion for trending topics in microblogs[C]//Proceedings of ACM International Conference on Information and Know￾ledge Management. San Francisco: ACM Press, 2013: 1807–1812. [41] 王智愚. 社会化多媒体内容分析与摘要[D]. 北京: 清华 大学, 2013: 1–119. WANG Zhiyu. Social multimedia analysis and summariza￾tion[D]. Beijing: Tsinghua University, 2013: 1–119. [42] WANG Y, WU F, SONG J, et al. Multi-modal mutual top￾ic reinforce modeling or cross-media retrieval[C]//Proceed￾ings of 2014 ACM International Conference on Multime￾dia. Orlando: ACM Press, 2014: 307–316. [43] KANG C, XIANG S, LIAO S, et al. Learning consistent feature representation for cross-modal multimedia retriev￾al[J]. IEEE transactions on multimedia, 2015, 17(3): 370–381. [44] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Im￾agenet classification with deep convolutional neural net￾works[C]// Proceedings of Advances in Neural Informa￾tion Processing Systems. Cambridge: MIT Press, 2012: 1097–1105. [45] SIMONYAN K, ZISSERMAN A. Very deep convolution￾al networks for large-scale image recognition[J]. Arxiv pre￾print, arxiv, 2014: 1409–1556. [46] ANDREJ K, ARMAND J, LI F. Deep fragment embed￾dings for bidirectional image sentence mapping[J]. Arxiv Preprint, Arxiv, 2014, 14(3): 1406–5679. [47] AMIRHOSSEIN H, THOMAS M, CEES G, et al. Discov￾ering semantic vocabularies for cross-media retrieval [C]//Proceedings of ACM SIGMM International Confer￾ence on Multimedia Retrieval. Shanghai: ACM Press, 2015: 131–138. [48] JIANG XY, WU F, LI X, et al. Deep compositional cross￾modal learning to rank via local-global alignment[C]// Proceedings of 2015 ACM International Conference on Multimedia. Brisbane, 2015: 69–78. [49] MA L, LU ZD, SHANG LD, et al. Multimodal convolu￾tional neural networks for matching image and sentence[C]// Proceedings of 2015 International Conference on Com￾puter Vision. Boston, USA, 2015: 2623–2631. [50] ZHAO F, HUANG Y, WANG L, et al. Deep semantic ranking based hashing for multi-label image retrieval[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 1556– 1564. [51] WANG J, SONG Y, LEUNG T, et al. Learning fine￾grained image similarity with deep ranking[C]//IEEE Con￾ference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2014: 1386–1393. [52] REN S, GIRSHICK R, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and ma￾chine intelligence, 2017, 39(6): 1137–1149. [53] QIAN SS, ZHANG TZ, HONG R, et al. Cross-domain col￾laborative learning in social multimedia[C]//Proceedings of 2015 ACM International Conference on Multimedia. Bris￾bane: ACM Press, 2015: 99–108. [54] ·768· 智 能 系 统 学 报 第 12 卷

第6期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·769· [55)柯圣财，赵永威，李弼程，等.基于卷积神经网络和监督 hance supervised learning[C]//International Conference on 核哈希的图像检索方法[J].电子学报，2017,45(1)： Intelligent Text Processing and Computational Linguistics. 157-163 Cairo,Egypt,2015:49-65. KE Shengcai,ZHAO Yongwei,LI Bicheng,et al.Image [65]SMAILOVIC J,KRANJC J,GRCAR M,et al.Monitoring retrieval based on convolutional neural network and kernel- the Twitter sentiment during the Bulgarian elections[Cl// based supervised hashing[Jl.Acta electronica sinica,2017, IEEE International Conference on Data Science and Ad- 45(1):157-163. vanced Analytics.Paris,France,2015:1-10. [56贾焰，甘亮，李爱平，等.社交网络智慧搜索研究进展与 [66]MANOS S,SYMEON P,GEORGIOS P,et al.Multimod- 发展趋势J.通信学报，2015,36(12)：9-16 al event detection and summarization in large scale image JIA Yan,GAN Liang,LI Aiping,et al.Research progress collections[Cl//Proceedings of the 2016 ACM on Interna- and development trend of onfine social network smart tional Conference on Multimedia Retrieval.New York, search[J].Journal on communications,2015,36(12):9-16. USA.2016:421-422 [57]PARK K,JEE H,LEE T,et al.Automatic extraction of [67]GAO Y.ZHAO S,YANG Y,et al.Multimedia social user's search intention from web search logs[J.Multime- event detection in microblog[M]//Multimedia Modeling. dia tools and applications,2012,61(1):1-18. Springer International Publishing,2015:269-281. [58]GUPTA V,GARG N,GUPTA T.Search bot:search inten- [68]UNANKARD S,LI X,SHARAF M.Emerging event de- tion based filtering using decision tree based technique[Cl// tection in social networks with location sensitivity[J]. Third IEEE International Conference on Intelligent Sys- World wide web-internet and web information systems, tems,Modelling and Simulation.Kota Kinabalu,Malaysia, 2014,18(5):1-25. 2012:49-54. [59王大玲，于戈，鲍玉斌，等.基于用户搜索意图的Web [69]YANG Y,DU J,HE B.A novel ontology-based semantic 网页动态泛化[J.软件学报，2010,21(5)：1083-1097. retrieval model for food safety domain[J].Chinese journal of electronics.2013.22(2):247-252. WANG Daling,YU Ge,BAO Yubin,et al.Dynamically generalizing Web pages based on users'search intentions 作者简介： [J].Journal of software.2010.21(5):1083-1097. 崔婉秋，女，1990年生，博士研究 [60]FAN W,LI J,MA S,et al.Graph homomorphism revis- 生，主要研究方向为社交网络分析、机 ited for graph matching[C]//Proceedings of the VLDB En- 器学习、信息检索。 dowment,2010,3(1/2):1161-1172. [61]郑炜，梁战平，梁建.面向用户意图的智能搜索引擎框架 研究.现代图书情报技术，2014,30(3)：65-72. ZHENG Wei,LIANG Zhanping,LIANG Jian.Research on user oriented intelligent search engine framework[J].Lib- 杜军平，女，1963年生，教授，博 rary and information science,2014,30(3):65-72 土生导师，主要研究方向为人工智能、 [62]BENNETT P N,WHITE R W,CHU W,et al.Modeling 社交网络分析、数据挖掘、运动图像处 理，主持国家“863”、“973”计划项目 the impact of short-and long-term behavior on search per- 国家自然科学基金重点项目、国家自 sonalization[C]//Proceedings of the 35th International 然科学基金重大国际合作项目、北京 ACM SIGIR Conference on Research and Development in 市自然科学基金重点项目等。 Information Retrieva.Portland,USA,2012:185-194 63]CHILTON L B,TEEVAN J.Addressing people's informa- 周南，男，1991年生，博士研究 tion needs directly in a web search result page[C]//ACM 生，主要研究方向为社交网络分析、机 International Conference on World Wide Web.Hyderabad. 器学习、信息检索。 India.2011:27-36. 64]CHIKERSAL P,PORIA S,CAMBRIA E,et al.Modelling public sentiment in twitter:using linguistic patterns to en-

柯圣财, 赵永威, 李弼程, 等. 基于卷积神经网络和监督 核哈希的图像检索方法[J]. 电子学报, 2017, 45(1): 157–163. KE Shengcai, ZHAO Yongwei, LI Bicheng, et al. Image retrieval based on convolutional neural network and kernel￾based supervised hashing[J]. Acta electronica sinica, 2017, 45(1): 157–163. [55] 贾焰, 甘亮, 李爱平, 等. 社交网络智慧搜索研究进展与 发展趋势[J]. 通信学报, 2015, 36(12): 9–16. JIA Yan, GAN Liang, LI Aiping, et al. Research progress and development trend of onfine social network smart search[J]. Journal on communications, 2015, 36(12): 9–16. [56] PARK K, JEE H, LEE T, et al. Automatic extraction of user’s search intention from web search logs[J]. Multime￾dia tools and applications, 2012, 61(1): 1–18. [57] GUPTA V, GARG N, GUPTA T. Search bot: search inten￾tion based filtering using decision tree based technique[C]// Third IEEE International Conference on Intelligent Sys￾tems, Modelling and Simulation. Kota Kinabalu, Malaysia, 2012: 49–54. [58] 王大玲, 于戈, 鲍玉斌, 等. 基于用户搜索意图的 Web 网页动态泛化[J]. 软件学报, 2010, 21(5): 1083–1097. WANG Daling, YU Ge, BAO Yubin, et al. Dynamically generalizing Web pages based on users’ search intentions [J]. Journal of software, 2010, 21(5): 1083–1097. [59] FAN W, LI J, MA S, et al. Graph homomorphism revis￾ited for graph matching[C]//Proceedings of the VLDB En￾dowment, 2010, 3(1/2): 1161–1172. [60] 郑炜, 梁战平, 梁建. 面向用户意图的智能搜索引擎框架 研究[J]. 现代图书情报技术, 2014, 30(3): 65–72. ZHENG Wei, LIANG Zhanping, LIANG Jian. Research on user oriented intelligent search engine framework[J]. Lib￾rary and information science, 2014, 30(3): 65–72. [61] BENNETT P N, WHITE R W, CHU W, et al. Modeling the impact of short- and long-term behavior on search per￾sonalization[C]//Proceedings of the 35th International ACM SIGIR Conference on Research and Development in Information Retrieva. Portland, USA, 2012: 185–194. [62] CHILTON L B, TEEVAN J. Addressing people’s informa￾tion needs directly in a web search result page[C]//ACM International Conference on World Wide Web. Hyderabad, India, 2011: 27–36. [63] CHIKERSAL P, PORIA S, CAMBRIA E, et al. Modelling public sentiment in twitter: using linguistic patterns to en- [64] hance supervised learning[C]//International Conference on Intelligent Text Processing and Computational Linguistics. Cairo, Egypt, 2015: 49–65. SMAILOVIC J, KRANJC J, GRCAR M, et al. Monitoring the Twitter sentiment during the Bulgarian elections[C]// IEEE International Conference on Data Science and Ad￾vanced Analytics. Paris, France, 2015:1–10. [65] MANOS S, SYMEON P, GEORGIOS P, et al. Multimod￾al event detection and summarization in large scale image collections[C]//Proceedings of the 2016 ACM on Interna￾tional Conference on Multimedia Retrieval. New York, USA, 2016: 421–422. [66] GAO Y, ZHAO S, YANG Y, et al. Multimedia social event detection in microblog[M]//Multimedia Modeling. Springer International Publishing, 2015: 269–281. [67] UNANKARD S, LI X, SHARAF M. Emerging event de￾tection in social networks with location sensitivity[J]. World wide web-internet and web information systems, 2014, 18(5): 1–25. [68] YANG Y, DU J, HE B. A novel ontology-based semantic retrieval model for food safety domain[J]. Chinese journal of electronics, 2013, 22(2): 247–252. [69] 作者简介： 崔婉秋，女，1990 年生，博士研究 生，主要研究方向为社交网络分析、机 器学习、信息检索。 杜军平，女，1963 年生，教授，博 士生导师，主要研究方向为人工智能、 社交网络分析、数据挖掘、运动图像处 理，主持国家“863”、“973”计划项目、 国家自然科学基金重点项目、国家自 然科学基金重大国际合作项目、北京 市自然科学基金重点项目等。 周南，男，1991 年生，博士研究 生，主要研究方向为社交网络分析、机 器学习、信息检索。 第 6 期 崔婉秋，等：基于用户意图理解的社交网络跨媒体搜索与挖掘 ·769·