第11卷第3期 智能系统学报 Vol.11 No.3 2016年6月 CAAI Transactions on Intelligent Systems Jun.2016 D0I:10.11992/is.201603040 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160513.0957.032.html 一种多模态融合的网络视频相关性度量方法 温有福2，贾彩燕，陈智能2 (1.北京交通大学交通数据分析与数据挖掘北京市重点实验室，北京100044：2.中国科学院自动化研究所数字内 容技术与服务研究中心，北京100190) 摘要：随着网络和多媒体技术的发展，视频分享网站中的网络视频数量呈爆炸式增长。海量视频库中的高精度视 频检索、分类、标注等任务成为亟待解决的研究问题。视频间的相关性度量是这些问题所面临的一个共性基础技 术。本文从视频视觉内容，视频标题和标签文本，以及视频上传时间、类别、作者3种人与视频交互产生的社会特征 等多源异构信息出发，提出一种新颖的多模态融合的网络视频相关性度量方法，并将所获相关性应用到大规模视频 检索任务中。YouTube数据上的实验结果显示：相对于传统单一文本特征、单一视觉特征的检索方案，以及文本和视 觉特征相融合的检索方案，文本视觉和用户社会特征多模态融合方法表现出更好的性能。 关键词：网络视频；海量视频；社会特征；交互；多源异构信息；多模态信息融合；相关性度量；视频检索 中图分类号：TP393文献标志码：A文章编号：1673-4785(2016)03-0359-07 中文引用格式：温有福，贾彩燕，陈智能.一种多模态融合的网络视频相关性度量方法[J].智能系统学报，2016,11(3)：359-365. 英文引用格式：WEN Youfu,JIA Caiyan,.CHEN Zhineng..A multi-modal fusion approach for measuring web video relatedness[J]. CAAI transactions on intelligent systems,2016,11(3):359-365. A multi-modal fusion approach for measuring web video relatedness WEN Youfu'2,JIA Caiyan',CHEN Zhineng? (1.Beijing Key Lab of Traffic Data Analysis and Mining,Beijing Jiaotong University,Beijing 100044,China;2.Interactive Media Re- search and Services Center,Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China) Abstract:With the advances in internet and multimedia technologies,the number of web videos on social video platforms rapidly grows.Therefore,tasks such as large-scale video retrieval,classification,and annotation become issues that need to be urgently addressed.Web video relatedness serves as a basic and common infrastructure for these issues.This paper investigates the measurement of web video relatedness from a multi-modal fusion perspec- tive.It proposes to measure web video relatedness based on multi-source heterogeneous information.The multi-mo- dal fusion simultaneously leverages videos'visual content,title,and tag text as well as social features contributed by human-video interactions (i.e.,the upload time,channel,and author of a video).Consequently,a novel multi- modal fusion approach is proposed for computing web video relatedness,which serves to give a ranking criterion and is applied to the task of large-scale video retrieval.Experimental results using YouTube videos show that the pro- posed text,visual,and users'social feature multi-modal fusion approach performs best in comparison tests with three alternate approaches;i.e.,those approaches that compute web video relatedness based just on text features, just on visual features,or jointly on text and visual features. Keywords:web video;large-scale video;social feature;human-video interactions;multi-source heterogeneous in- formation;social features;multi-modal fusion;relatedness measurement;video retrieval 视频是集图像、声音和文字信息于一体的多源 信息载体，其丰富直观的表达形式非常契合人类接 受信息的方式。随着网络和多媒体技术的快速发 收稿日期：2016-03-19.网络出版日期：2016-05-13. 基金项目：国家自然科学基金项目(61473030,61303175)：重点大学研 展，在线视频服务正在以不可阻挡之势在互联网平 究基金项目(2014JBM031):重点实验室数字媒体技术开放 台上蓬勃发展。成立于2005年的视频分享网站 课题 通信作者：贾彩燕.E-mail:cyjia(@bjtu.edu.cm. YouTube,目前已成为世界第三大网站和第二大搜
第 １１ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．３ ２０１６ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０３０４０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０５１３．０９５７．０３２．ｈｔｍｌ 一种多模态融合的网络视频相关性度量方法 温有福１，２ ，贾彩燕１ ，陈智能２ （１．北京交通大学 交通数据分析与数据挖掘北京市重点实验室，北京 １０００４４； ２． 中国科学院自动化研究所 数字内 容技术与服务研究中心，北京 １００１９０） 摘 要：随着网络和多媒体技术的发展，视频分享网站中的网络视频数量呈爆炸式增长。 海量视频库中的高精度视 频检索、分类、标注等任务成为亟待解决的研究问题。 视频间的相关性度量是这些问题所面临的一个共性基础技 术。 本文从视频视觉内容，视频标题和标签文本，以及视频上传时间、类别、作者 ３ 种人与视频交互产生的社会特征 等多源异构信息出发，提出一种新颖的多模态融合的网络视频相关性度量方法，并将所获相关性应用到大规模视频 检索任务中。 ＹｏｕＴｕｂｅ 数据上的实验结果显示：相对于传统单一文本特征、单一视觉特征的检索方案，以及文本和视 觉特征相融合的检索方案，文本视觉和用户社会特征多模态融合方法表现出更好的性能。 关键词：网络视频； 海量视频；社会特征； 交互；多源异构信息；多模态信息融合； 相关性度量； 视频检索 中图分类号：ＴＰ３９３ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０３⁃０３５９⁃０７ 中文引用格式：温有福，贾彩燕，陈智能．一种多模态融合的网络视频相关性度量方法［Ｊ］． 智能系统学报， ２０１６， １１（３）： ３５９⁃３６５． 英文引用格式：ＷＥＮ Ｙｏｕｆｕ， ＪＩＡ Ｃａｉｙａｎ， ＣＨＥＮ Ｚｈｉｎｅｎｇ． Ａ ｍｕｌｔｉ⁃ｍｏｄａｌ ｆｕｓｉｏｎ ａｐｐｒｏａｃｈ ｆｏｒ ｍｅａｓｕｒｉｎｇ ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（３）： ３５９⁃３６５． Ａ ｍｕｌｔｉ⁃ｍｏｄａｌ ｆｕｓｉｏｎ ａｐｐｒｏａｃｈ ｆｏｒ ｍｅａｓｕｒｉｎｇ ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ ＷＥＮ Ｙｏｕｆｕ １，２ ， ＪＩＡ Ｃａｉｙａｎ １ ， ＣＨＥＮ Ｚｈｉｎｅｎｇ ２ （１． Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂ ｏｆ Ｔｒａｆｆｉｃ Ｄａｔａ Ａｎａｌｙｓｉｓ ａｎｄ Ｍｉｎｉｎｇ，Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００４４， Ｃｈｉｎａ； ２． Ｉｎｔｅｒａｃｔｉｖｅ Ｍｅｄｉａ Ｒｅ⁃ ｓｅａｒｃｈ ａｎｄ Ｓｅｒｖｉｃｅｓ Ｃｅｎｔｅｒ， Ｉｎｓｔｉｔｕｔｅ ｏｆ Ａｕｔｏｍａｔｉｏｎ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ， Ｂｅｉｊｉｎｇ １００１９０， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｉｔｈ ｔｈｅ ａｄｖａｎｃｅｓ ｉｎ ｉｎｔｅｒｎｅｔ ａｎｄ ｍｕｌｔｉｍｅｄｉａ ｔｅｃｈｎｏｌｏｇｉｅｓ， ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｗｅｂ ｖｉｄｅｏｓ ｏｎ ｓｏｃｉａｌ ｖｉｄｅｏ ｐｌａｔｆｏｒｍｓ ｒａｐｉｄｌｙ ｇｒｏｗｓ． Ｔｈｅｒｅｆｏｒｅ， ｔａｓｋｓ ｓｕｃｈ ａｓ ｌａｒｇｅ⁃ｓｃａｌｅ ｖｉｄｅｏ ｒｅｔｒｉｅｖａｌ， ｃｌａｓｓｉｆｉｃａｔｉｏｎ， ａｎｄ ａｎｎｏｔａｔｉｏｎ ｂｅｃｏｍｅ ｉｓｓｕｅｓ ｔｈａｔ ｎｅｅｄ ｔｏ ｂｅ ｕｒｇｅｎｔｌｙ ａｄｄｒｅｓｓｅｄ． Ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ ｓｅｒｖｅｓ ａｓ ａ ｂａｓｉｃ ａｎｄ ｃｏｍｍｏｎ ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｆｏｒ ｔｈｅｓｅ ｉｓｓｕｅｓ． Ｔｈｉｓ ｐａｐｅｒ ｉｎｖｅｓｔｉｇａｔｅｓ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ ｆｒｏｍ ａ ｍｕｌｔｉ⁃ｍｏｄａｌ ｆｕｓｉｏｎ ｐｅｒｓｐｅｃ⁃ ｔｉｖｅ． Ｉｔ ｐｒｏｐｏｓｅｓ ｔｏ ｍｅａｓｕｒｅ ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ⁃ｓｏｕｒｃｅ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｉｎｆｏｒｍａｔｉｏｎ． Ｔｈｅ ｍｕｌｔｉ⁃ｍｏ⁃ ｄａｌ ｆｕｓｉｏｎ ｓｉｍｕｌｔａｎｅｏｕｓｌｙ ｌｅｖｅｒａｇｅｓ ｖｉｄｅｏｓ＇ ｖｉｓｕａｌ ｃｏｎｔｅｎｔ， ｔｉｔｌｅ， ａｎｄ ｔａｇ ｔｅｘｔ ａｓ ｗｅｌｌ ａｓ ｓｏｃｉａｌ ｆｅａｔｕｒｅｓ ｃｏｎｔｒｉｂｕｔｅｄ ｂｙ ｈｕｍａｎ⁃ｖｉｄｅｏ ｉｎｔｅｒａｃｔｉｏｎｓ （ｉ．ｅ．， ｔｈｅ ｕｐｌｏａｄ ｔｉｍｅ， ｃｈａｎｎｅｌ， ａｎｄ ａｕｔｈｏｒ ｏｆ ａ ｖｉｄｅｏ）． Ｃｏｎｓｅｑｕｅｎｔｌｙ， ａ ｎｏｖｅｌ ｍｕｌｔｉ⁃ ｍｏｄａｌ ｆｕｓｉｏｎ ａｐｐｒｏａｃｈ ｉｓ ｐｒｏｐｏｓｅｄ ｆｏｒ ｃｏｍｐｕｔｉｎｇ ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ， ｗｈｉｃｈ ｓｅｒｖｅｓ ｔｏ ｇｉｖｅ ａ ｒａｎｋｉｎｇ ｃｒｉｔｅｒｉｏｎ ａｎｄ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｔｈｅ ｔａｓｋ ｏｆ ｌａｒｇｅ⁃ｓｃａｌｅ ｖｉｄｅｏ ｒｅｔｒｉｅｖａｌ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｕｓｉｎｇ ＹｏｕＴｕｂｅ ｖｉｄｅｏｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏ⁃ ｐｏｓｅｄ ｔｅｘｔ， ｖｉｓｕａｌ， ａｎｄ ｕｓｅｒｓ＇ ｓｏｃｉａｌ ｆｅａｔｕｒｅ ｍｕｌｔｉ⁃ｍｏｄａｌ ｆｕｓｉｏｎ ａｐｐｒｏａｃｈ ｐｅｒｆｏｒｍｓ ｂｅｓｔ ｉｎ ｃｏｍｐａｒｉｓｏｎ ｔｅｓｔｓ ｗｉｔｈ ｔｈｒｅｅ ａｌｔｅｒｎａｔｅ ａｐｐｒｏａｃｈｅｓ； ｉ．ｅ．， ｔｈｏｓｅ ａｐｐｒｏａｃｈｅｓ ｔｈａｔ ｃｏｍｐｕｔｅ ｗｅｂ ｖｉｄｅｏ ｒｅｌａｔｅｄｎｅｓｓ ｂａｓｅｄ ｊｕｓｔ ｏｎ ｔｅｘｔ ｆｅａｔｕｒｅｓ， ｊｕｓｔ ｏｎ ｖｉｓｕａｌ ｆｅａｔｕｒｅｓ， ｏｒ ｊｏｉｎｔｌｙ ｏｎ ｔｅｘｔ ａｎｄ ｖｉｓｕａｌ ｆｅａｔｕｒｅｓ． Ｋｅｙｗｏｒｄｓ：ｗｅｂ ｖｉｄｅｏ； ｌａｒｇｅ⁃ｓｃａｌｅ ｖｉｄｅｏ； ｓｏｃｉａｌ ｆｅａｔｕｒｅ； ｈｕｍａｎ⁃ｖｉｄｅｏ ｉｎｔｅｒａｃｔｉｏｎｓ； ｍｕｌｔｉ⁃ｓｏｕｒｃｅ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｉｎ⁃ ｆｏｒｍａｔｉｏｎ； ｓｏｃｉａｌ ｆｅａｔｕｒｅｓ； ｍｕｌｔｉ⁃ｍｏｄａｌ ｆｕｓｉｏｎ； ｒｅｌａｔｅｄｎｅｓｓ ｍｅａｓｕｒｅｍｅｎｔ； ｖｉｄｅｏ ｒｅｔｒｉｅｖａｌ 收稿日期：２０１６⁃０３⁃１９． 网络出版日期：２０１６⁃０５⁃１３． 基金项目：国家自然科学基金项目（ ６１４７３０３０，６１３０３１７５）；重点大学研 究基金项目（ ２０１４ＪＢＭ０３１）；重点实验室数字媒体技术开放 课题 通信作者：贾彩燕． Ｅ⁃ｍａｉｌ：ｃｙｊｉａ＠ ｂｊｔｕ．ｅｄｕ．ｃｎ． 视频是集图像、声音和文字信息于一体的多源 信息载体，其丰富直观的表达形式非常契合人类接 受信息的方式。 随着网络和多媒体技术的快速发 展，在线视频服务正在以不可阻挡之势在互联网平 台上蓬勃发展。 成立于 ２００５ 年的视频分享网站 ＹｏｕＴｕｂｅ，目前已成为世界第三大网站和第二大搜
·360 智能系统学报 第11卷 索引擎。在国内，主流视频分享网站优酷网目前拥 各种信息，例如视频类别、视频上传时间、视频作者 有超过1亿网络视频，日均观看次数超过4亿次。 等，我们将这些特征称为社会特征。显然，这些信息 网络视频已成为社会生活中知识传播、信息获取和 从特定角度体现了视频内容，可以用来更好地度量 休闲娱乐的重要载体之一。 视频之间的相关性。已有研究表明：仅仅使用视频 网络视频数量的持续快速增长使得海量网络视 的视听觉内容很难将视频归到某一种类。而网 频库中视频相关性的快速准确度量成为一个至关重 络视频网页周边的相关信息提供了很多的资源，这 要的课题。对视频分享网站而言，若能更好更快地 些资源可以更加准确地评判视频之间的相似性，从 度量网络视频之间的相关性，视频推荐、视频检索、 而有利于检索实现。目前也已经有学者开始利用这 视频主题发现等典型视频服务则可以得到更好的开 些信息去研究网络视频的分类和检索问题。例如 展。对视频网站上网络视频的检索而言，最为核心 Wu等1]结合用户兴趣和文本解决视频分类问题； 的是相关性度量问题，即对给定的查询视频，挖掘它 Davidson等[4提出利用视频的“共同观看”关系进 与库中其他视频在文本或视觉上的相似性，进而得 行视频推荐。上述成果表明，网络视频网页上蕴含 到相关度打分，通过相关度分数的高低来得到检索 了丰富的信息，可以被用来更好地计算两个视频之 结果。关于相关性度量，有使用视频文本相似度的 间的相关度，从而为更多模态的融合提供更好的思 方法，如Zhu等)应用关键词投票的相似性度量方 路。上述多模态的融合方法，或者增加音频、或者增 法进行视频文本标题的分类。有文本相似性和视频 加文本、或者使用视频共现关系，但是没有全面考虑 相似性相结合的方法，如Brezeale等t2]结合文本相 社会特征对相关度度量的影响。 似度和视觉特征相似度进行的视频匹对与分类： 本文将文本（视频标题、视频标签）、视觉（视频 Schmiedeke等)融合视频的文本标签和视觉相似度 内容)、社会特征（视频的上传时间、视频的作者、视 进行视频的分类。但主流研究集中在基于视频内容 频的类别)进行全面的多模态的融合。真实网络视 的相似性计算上，包括各类特征的提取、检索结果的 频数据上的实验表明：相比于仅考虑视觉、文本、社 求精和加速等[4 会或者是视觉+文本的方法，本文方法可以取得 近年来，人们开始引入更多的模态和信息来加 5%~25%的性能提升，充分说明了本文方法的有 强视频相似性度量的准确性。Feng等o融合视频 效性。 标注、视觉、视频间关系来提升视频检索质量： Brezeale等山面向视频分类，分析比较了文本、视 1 多模态融合的网络视频相关性度量 频、音频三模态融合的方法。上述方法虽然在实践 图1给出了本文多模态融合的网络视频相关性 中取得了很好的效果，但忽视了网络视频网页上的 度量方法的整体框架。 相关性计算 相关性融合 输入视频 视频作者 社会 相关性融合 相关性度量 上传时间 (作者喜好 网络 子视频集 视觉 相关性融合 相关性度量 视频库 视频标签 文本 相关性度量 相关性融合 视频标题 相关性 度量结果 图1检索融合流程图 Fig.1 The flow chart of image retrieval 多模态融合网络视频相关性度量方法分为3个 模块：1)文本过滤：2)相关性度量；3)相关性融合
索引擎。 在国内，主流视频分享网站优酷网目前拥 有超过 １ 亿网络视频，日均观看次数超过 ４ 亿次。 网络视频已成为社会生活中知识传播、信息获取和 休闲娱乐的重要载体之一。 网络视频数量的持续快速增长使得海量网络视 频库中视频相关性的快速准确度量成为一个至关重 要的课题。 对视频分享网站而言，若能更好更快地 度量网络视频之间的相关性，视频推荐、视频检索、 视频主题发现等典型视频服务则可以得到更好的开 展。 对视频网站上网络视频的检索而言，最为核心 的是相关性度量问题，即对给定的查询视频，挖掘它 与库中其他视频在文本或视觉上的相似性，进而得 到相关度打分，通过相关度分数的高低来得到检索 结果。 关于相关性度量，有使用视频文本相似度的 方法，如 Ｚｈｕ 等［１］应用关键词投票的相似性度量方 法进行视频文本标题的分类。 有文本相似性和视频 相似性相结合的方法，如 Ｂｒｅｚｅａｌｅ 等［２］ 结合文本相 似度和视觉特征相似度进行的视频匹对与分类； Ｓｃｈｍｉｅｄｅｋｅ 等［３］融合视频的文本标签和视觉相似度 进行视频的分类。 但主流研究集中在基于视频内容 的相似性计算上，包括各类特征的提取、检索结果的 求精和加速等［４⁃９］ 。 近年来，人们开始引入更多的模态和信息来加 强视频相似性度量的准确性。 Ｆｅｎｇ 等［１０］ 融合视频 标注、视 觉、 视 频 间 关 系 来 提 升 视 频 检 索 质 量； Ｂｒｅｚｅａｌｅ 等［１１］ 面向视频分类，分析比较了文本、视 频、音频三模态融合的方法。 上述方法虽然在实践 中取得了很好的效果，但忽视了网络视频网页上的 各种信息，例如视频类别、视频上传时间、视频作者 等，我们将这些特征称为社会特征。 显然，这些信息 从特定角度体现了视频内容，可以用来更好地度量 视频之间的相关性。 已有研究表明：仅仅使用视频 的视听觉内容很难将视频归到某一种类［１２］ 。 而网 络视频网页周边的相关信息提供了很多的资源，这 些资源可以更加准确地评判视频之间的相似性， 从 而有利于检索实现。 目前也已经有学者开始利用这 些信息去研究网络视频的分类和检索问题。 例如 Ｗｕ 等［１３］结合用户兴趣和文本解决视频分类问题； Ｄａｖｉｄｓｏｎ 等［１４］提出利用视频的“共同观看”关系进 行视频推荐。 上述成果表明， 网络视频网页上蕴含 了丰富的信息，可以被用来更好地计算两个视频之 间的相关度，从而为更多模态的融合提供更好的思 路。 上述多模态的融合方法，或者增加音频、或者增 加文本、或者使用视频共现关系，但是没有全面考虑 社会特征对相关度度量的影响。 本文将文本（视频标题、视频标签）、视觉（视频 内容）、社会特征（视频的上传时间、视频的作者、视 频的类别）进行全面的多模态的融合。 真实网络视 频数据上的实验表明：相比于仅考虑视觉、文本、社 会或者是视觉 ＋ 文本的方法，本文方法可以取得 ５％ ～２５％的性能提升，充分说明了本文方法的有 效性。 １ 多模态融合的网络视频相关性度量 图 １ 给出了本文多模态融合的网络视频相关性 度量方法的整体框架。 图 １ 检索融合流程图 Ｆｉｇ．１ Ｔｈｅ ｆｌｏｗ ｃｈａｒｔ ｏｆ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ 多模态融合网络视频相关性度量方法分为 ３ 个 模块： １）文本过滤；２）相关性度量；３）相关性融合。 ·３６０· 智 能 系 统 学 报 第 １１ 卷
第3期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·361· 对给定的网络视频，首先利用文本过滤模块，滤 1.2.1上传时间 除掉大量不相关的网络视频。然后，分别通过社会 视频的上传时间是反映用户对于当前所关注视 相关性度量、文本相关性度量和视觉相关性度量3 频的时间在特定时间段上的描述。例如：存在3个 个子模块，计算3个模态上的相关度。最后，通过相 视频巴，：和，如果，与：和号之间的时间间隔 关性融合模块，进行融合，从而实现更准确相关性 分别为3个月和3年，那么，与：之间的相似度会 度量。 更高一些。 1.1基于文本的过滤 为度量视频的这种相关性，我们首先计算视频 真实网络视频库都拥有大量视频，且对任意给 巴，与：的时间差值t: 定的输入视频，库中通常仅有一小部分视频与其相 tg=abs(t,-t,） 关。为避免大量相关性计算耗费在无意义的视频 然后，令时间间隔△1为0.5个月，将v,经过文 上，提出如下所述的一种基于文本的过滤策略。令 本过滤后生成的视频集合？等间隔划分为n个不 T,={,,…,}为输入视频v。所在网页上标题和 相交的子集合： 标签中的关键字集合，则整个视频库Ω中所有满足 2=U42 (2) 式(1)的视频都将被滤除。 =0 △2g={:1tm∈0×△t,G+1)×△)] {u:∈21T,∩T=☑} (1) 则△2为与v,时间差落在U×41,(j+1)×4t)区 上述步骤假设：两个网络视频的周边文本中应 间的视频集合，式(2)中令n=7。考虑到与v,的时 有至少一个共同的关键字才值得进行相关度计算。 间差越近的视频应有更高的相关度权值，将△：的 实际情况中，这一假设对绝大部分的相关视频而言 权值指派为n-j,则视频在上传时间方面的相关度 都是成立的。通过这一操作，大量无关的网络视频 可通过式(3)计算： 得到了有效滤除。 令文本过滤后生成的视频集合为P,P中视 f(e,)=-D4g) 频虽然与输入视频有至少一个相同的关键字，但其 刘 中仍有大量无关或相关性不高的视频。接下来，我 U:∈A2 们将从社会特征、文本和视觉3个模态上进行相关 M(△2)= (3) 其他 度挖掘和分析。首先介绍社会特征方面的度量 式(3)实质上是依照特定的时间间隔对视频进 方法。 行划分，距离给定视频。上传时间越近则f值越 1.2社会特征的选择与相关性计算 高。 社会特征是网络视频区别于其他视频的特色之 1.2.2视频类别 一，它泛指人与视频各种交互行为产生的数据集合。 常见的视频类别包括财经类、政治类、综艺类 典型的社会特征包括视频上传时间、上传作者、视频 等。一般地，属于同一个类别的视频的相关度通常 类别、视频观看次数、视频评论等。 更高。例如：有3个视频中有两个是属于综艺类的， 从社交网络和多媒体的角度讲，社会特征是用 而另一个是属于政治类的。从视频类别的层面分 户与视频网页进行的交互以及多媒体服务人员为相 析，两个综艺类视频的相似性程度应该更高一些。 应的视频或者图像所做的对于视频或者图像内容的 对此，我们应用式(4)反映： 文字反映。社会特征包含的内容很多，例如用户上 (1, (channel,=channel,) 传视频的时间、视频的分类类别、视频的观看次数、 fhnm(U,:）= 0. 其他 视频的作者等。这些社会特征反映了用户个人的具 (4) 体信息，用户与用户的关联信息等。通过用户个人 式中channel,是视频u,所属的类别。式(4)反映了 内部的关联信息以及用户与用户之间的关联性社交 依照视频的类别对视频进行划分，落人到同一个类 网络，可以更容易发现相关性视频，进而更好地进行 别的视频则其fhm值为1。 视频的相似性度量。本文选用视频的上传时间（反 1.2.3上传作者 映视频的新颖性)、视频的分类类别、视频上传作者 每位用户都有自己的兴趣爱好，这一特点通常 3种特征进行社会特征融合的尝试。 在他/她上传的视频集合上可以得到一定体现。例
对给定的网络视频，首先利用文本过滤模块，滤 除掉大量不相关的网络视频。 然后，分别通过社会 相关性度量、文本相关性度量和视觉相关性度量 ３ 个子模块，计算 ３ 个模态上的相关度。 最后，通过相 关性融合模块，进行融合，从而实现更准确相关性 度量。 １．１ 基于文本的过滤 真实网络视频库都拥有大量视频，且对任意给 定的输入视频，库中通常仅有一小部分视频与其相 关。 为避免大量相关性计算耗费在无意义的视频 上，提出如下所述的一种基于文本的过滤策略。 令 Ｔｑ ＝ ｔ ｑ １ ，ｔ ｑ ２ ，…，ｔ ｑ ｋ { }为输入视频 ｖｑ 所在网页上标题和 标签中的关键字集合，则整个视频库 Ω 中所有满足 式（１）的视频都将被滤除。 ｖｉ ∈ Ω ｜ Ｔｑ ∩ Ｔｉ { ＝ ∅} （１） 上述步骤假设：两个网络视频的周边文本中应 有至少一个共同的关键字才值得进行相关度计算。 实际情况中，这一假设对绝大部分的相关视频而言 都是成立的。 通过这一操作，大量无关的网络视频 得到了有效滤除。 令文本过滤后生成的视频集合为 Ω ｑ ，Ω ｑ 中视 频虽然与输入视频有至少一个相同的关键字，但其 中仍有大量无关或相关性不高的视频。 接下来，我 们将从社会特征、文本和视觉 ３ 个模态上进行相关 度挖掘和分析。 首先介绍社会特征方面的度量 方法。 １．２ 社会特征的选择与相关性计算 社会特征是网络视频区别于其他视频的特色之 一，它泛指人与视频各种交互行为产生的数据集合。 典型的社会特征包括视频上传时间、上传作者、视频 类别、视频观看次数、视频评论等。 从社交网络和多媒体的角度讲，社会特征是用 户与视频网页进行的交互以及多媒体服务人员为相 应的视频或者图像所做的对于视频或者图像内容的 文字反映。 社会特征包含的内容很多，例如用户上 传视频的时间、视频的分类类别、视频的观看次数、 视频的作者等。 这些社会特征反映了用户个人的具 体信息，用户与用户的关联信息等。 通过用户个人 内部的关联信息以及用户与用户之间的关联性社交 网络，可以更容易发现相关性视频，进而更好地进行 视频的相似性度量。 本文选用视频的上传时间（反 映视频的新颖性）、视频的分类类别、视频上传作者 ３ 种特征进行社会特征融合的尝试。 １．２．１ 上传时间 视频的上传时间是反映用户对于当前所关注视 频的时间在特定时间段上的描述。 例如：存在 ３ 个 视频 ｖｑ、ｖｉ 和 ｖｊ，如果 ｖｑ 与 ｖｉ 和 ｖｊ 之间的时间间隔 分别为 ３ 个月和 ３ 年，那么 ｖｑ 与 ｖｉ 之间的相似度会 更高一些。 为度量视频的这种相关性，我们首先计算视频 ｖｑ 与 ｖｉ 的时间差值 ｔ ｉｑ： ｔ ｉｑ ＝ ａｂｓ（ｔ ｖｑ － ｔ ｖｉ ） 然后，令时间间隔 Δｔ 为 ０．５ 个月，将 ｖｑ 经过文 本过滤后生成的视频集合 Ω ｑ 等间隔划分为 ｎ 个不 相交的子集合： Ω ｑ ＝ ∪ ｎ ｊ ＝ ０ ΔΩ ｑ ｊ （２） ΔΩ ｑ ｊ ＝ ｖｉ ｜ ｔ { ｉｑ ∈ [ｊ × Δｔ，（ｊ ＋ １） × Δｔ) ] 则 ΔΩ ｑ ｊ 为与 ｖｑ 时间差落在 [ｊ×Δｔ，（ｊ＋１）×Δｔ) 区 间的视频集合，式（２）中令 ｎ ＝ ７。 考虑到与 ｖｑ 的时 间差越近的视频应有更高的相关度权值，将 ΔΩ ｑ ｊ 的 权值指派为 ｎ－ｊ，则视频在上传时间方面的相关度 可通过式（３）计算： ｆ ｔｉｍｅ（ｖｑ，ｖｉ） ＝ （ｎ － ｊ） ∑ ｎ ｊ ＝ ０ ｊ Ｍ（ΔΩｊ） Ｍ（ΔΩｊ） ＝ １， ｖｉ ∈ ΔΩｊ ０， 其他 { （３） 式（３）实质上是依照特定的时间间隔对视频进 行划分，距离给定视频 ｖｑ 上传时间越近则 ｆ ｔｉｍｅ值越 高。 １．２．２ 视频类别 常见的视频类别包括财经类、政治类、综艺类 等。 一般地，属于同一个类别的视频的相关度通常 更高。 例如：有 ３ 个视频中有两个是属于综艺类的， 而另一个是属于政治类的。 从视频类别的层面分 析，两个综艺类视频的相似性程度应该更高一些。 对此，我们应用式（４）反映： ｆ ｃｈａｎｎｅｌ（ｖｑ，ｖｉ） ＝ １， （ｃｈａｎｎｅｌ ｑ ＝ ｃｈａｎｎｅｌ ｉ） ０， 其他 { （４） 式中ｃｈａｎｎｅｌ ｑ 是视频 ｖｑ 所属的类别。 式（４）反映了 依照视频的类别对视频进行划分，落入到同一个类 别的视频则其 ｆ ｃｈａｎｎｅｌ值为 １。 １．２．３ 上传作者 每位用户都有自己的兴趣爱好，这一特点通常 在他／ 她上传的视频集合上可以得到一定体现。 例 第 ３ 期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·３６１·
·362· 智能系统学报 第11卷 如，用户a。和a:上传的视频主要是体育类的，而用 通过式(6)，如果视频v。与视频：对应的标题 户a:上传的视频主要是财经类的，在不考虑其他因 向量和越相似，则它们的余弦相似度越大， 素的情况下，a。上传的视频与a:上传的视频的相关 亦即在标题方面的相关性f越大。 度通常比他/她与α：上传的视频的相关度更高。因 1.3.2标签 此，本小节我们首先建立视频作者的视频喜好模型， 相对于标题，标签通常则更加具体地反映了视 然后通过喜好模型的相似度度量不同视频在上传用 频的内容，例如涉及的人物、地点和其他专有名词 户这一因素上的相关性。 等。与标题类似，两个强相关视频的标签关键词集 设视频网站有K个视频类别，则用户a。上传的 合存在一定交集的情况也很常见。因此，我们通过 所有视频可表示为一个K维喜好向量： 与标题类似的公式反映这种性质： A,=(ag,ag,…,a) fe(Dg,:）=cos(f,f) 式中a,为用户a,上传的所有视频中，标记为类别i 式中∫为视频v。的标签特征向量。同理，两个视 的视频的数量。基于此，两个视频在上传用户层面 频的标签向量∫和越相似，则它们在标签方面 上的相关度可定义为 的相关性∫越大。 author（tg,:）=fhor（A,A:） (5) 1.3.3文本信息融合 式中A,A:为归一化后的作者喜好向量。 以上标题和标签的信息从不同角度体现了视频 式(5)反映了若作者A。与作者A:有着类似的 的内容，将它们通过式(7)融合起来，可以更为准确 喜好向量，则他们上传视频的相关性在上传作者这 地描述了两个视频在文本模态上的相似度： 一维度应被赋予更大的值。这一思想与著名的协同 F=yfitle +(1-y)fu (7) 推荐方法有着类似之处。 式中y、1-y∈[0,1]分别为标题和标签。在实验中 1.3.4多社会特征融合 y被经验性的设置为0.5。 以上3个社会特征对于视频的相似性度量都起 1.4视觉相关性计算 到有益效果，我们将每个社会特征做相应归一化后 视频的视觉内容是用户认知的根本性来源，它 进行融合，公式为 从本质上反映视频的相似性程度。由此，视觉相似 Fsocial=ay时ie+βfhar+（1-a-B)fchannel 性计算对于视频的相关性度量是不可或缺的一个方 式中a,B,1--B∈[0,1]分别为上述3种社会特征 面。在视觉的相关性度量方面，我们采用了Zhao 的权重。本文在实验中为三者赋予同等的权重。 等5]提出大规模拷贝视频检测方法计算两个给定 1.3文本相关性计算 视频之间的视觉相似度。 在文本相关性计算的过程中，我们采用了传统 该方法首先计算任意两个视频帧之间的视觉相 基于文本关键词匹配的方法。该方法首先基于整个 似度，再根据Hough变换原理，对相似度大且在时 视频库2中所有视频的标题和标签构建一个N维 序上有较高一致性的视频赋予更大的相似度，该相 向量空间模型。然后，基于该模型并结合文档处理 似度基本反映了两个视频之间的程度。在计算视频 中常用的T℉-DF加权方法，将每个视频的标题和标 帧之间的两两相似度方面，采用的是经典基于视觉 签关键字集合分别表示为一个N维标题特征向量 词袋模型的方法。其基本流程如图2所示。 和标签特征向量，通过计算不同视频间标题和标签 特征词 特征向量的相似性，实现对它们文本相关性的评判。 见频切帧 特征提取 典建立 量化索引 实现检索 1.3.1标题 标题是对视频主要内容的高度概括，通常简要 图2视觉词典方法 描述了视频事件的主要内容。基于相关视频在内容 Fig.2 The method of visual vocabulary 上也存在较强相关性的假设，两个强相关的视频标 具体地，我们首先以5s为时间间隔，对视频进 题关键词通常也会有一定交集。这种性质则可以反 行等间隔采样，提取相应图像帧。其次，在图像帧上 映为 提取s近特征，并利用预先训练好的视觉特征词典 fame()=cos() (6) 将每个图像帧的sf特征集合量化为一个高维的稀 式中为视频：，的标题特征向量。 疏向量，进而通过比较两个向量的相似性实现对图
如，用户 ａｑ 和 ａｉ 上传的视频主要是体育类的，而用 户 ａｊ 上传的视频主要是财经类的，在不考虑其他因 素的情况下，ａｑ 上传的视频与 ａｉ 上传的视频的相关 度通常比他／ 她与 ａｊ 上传的视频的相关度更高。 因 此，本小节我们首先建立视频作者的视频喜好模型， 然后通过喜好模型的相似度度量不同视频在上传用 户这一因素上的相关性。 设视频网站有 Ｋ 个视频类别，则用户 ａｑ 上传的 所有视频可表示为一个 Ｋ 维喜好向量： Ａｑ ＝ ａ １ ｑ，ａ ２ ｑ，…，ａ Ｋ ｑ ( ) 式中 ａ ｉ ｑ 为用户 ａｑ 上传的所有视频中，标记为类别 ｉ 的视频的数量。 基于此，两个视频在上传用户层面 上的相关度可定义为 ｆ ａｕｔｈｏｒ（ｖｑ，ｖｉ） ＝ ｆ ａｕｔｈｏｒ（Ａｑ，Ａｉ） （５） 式中Ａｑ、Ａｉ为归一化后的作者喜好向量。 式（５）反映了若作者 Ａｑ 与作者 Ａｉ 有着类似的 喜好向量，则他们上传视频的相关性在上传作者这 一维度应被赋予更大的值。 这一思想与著名的协同 推荐方法有着类似之处。 １．３．４ 多社会特征融合 以上 ３ 个社会特征对于视频的相似性度量都起 到有益效果，我们将每个社会特征做相应归一化后 进行融合，公式为 Ｆｓｏｃｉａｌ ＝ αｆ ｔｉｍｅ ＋ βｆ ａｕｔｈｏｒ ＋ （１ － α － β）ｆ ｃｈａｎｎｅｌ 式中 α，β，１－α－β∈［０，１］分别为上述 ３ 种社会特征 的权重。 本文在实验中为三者赋予同等的权重。 １．３ 文本相关性计算 在文本相关性计算的过程中，我们采用了传统 基于文本关键词匹配的方法。 该方法首先基于整个 视频库 Ω 中所有视频的标题和标签构建一个 Ｎ 维 向量空间模型。 然后，基于该模型并结合文档处理 中常用的 ＴＦ⁃ＩＤＦ 加权方法，将每个视频的标题和标 签关键字集合分别表示为一个 Ｎ 维标题特征向量 和标签特征向量，通过计算不同视频间标题和标签 特征向量的相似性，实现对它们文本相关性的评判。 １．３．１ 标题 标题是对视频主要内容的高度概括，通常简要 描述了视频事件的主要内容。 基于相关视频在内容 上也存在较强相关性的假设，两个强相关的视频标 题关键词通常也会有一定交集。 这种性质则可以反 映为 ｆ ｔｉｔｌｅ（ｖｑ，ｖｉ） ＝ ｃｏｓ（ｆ ｔｉｔｌｅ ｑ ，ｆ ｔｉｔｌｅ ｉ ） （６） 式中 ｆ ｔｉｔｌｅ ｑ 为视频 ｖｑ 的标题特征向量。 通过式（６），如果视频 ｖｑ 与视频 ｖｉ 对应的标题 向量 ｆ ｔｉｔｌｅ ｑ 和 ｆ ｔｉｔｌｅ ｉ 越相似，则它们的余弦相似度越大， 亦即在标题方面的相关性 ｆ ｔｉｔｌｅ越大。 １．３．２ 标签 相对于标题，标签通常则更加具体地反映了视 频的内容，例如涉及的人物、地点和其他专有名词 等。 与标题类似，两个强相关视频的标签关键词集 合存在一定交集的情况也很常见。 因此，我们通过 与标题类似的公式反映这种性质： ｆｔａｇ（ｖｑ，ｖｉ） ＝ ｃｏｓ（ｆ ｔａｇ ｑ ，ｆ ｔａｇ ｉ ） 式中 ｆ ｔａｇ ｑ 为视频 ｖｑ 的标签特征向量。 同理，两个视 频的标签向量 ｆ ｔａｇ ｑ 和 ｆ ｔａｇ ｉ 越相似，则它们在标签方面 的相关性 ｆｔａｇ越大。 １．３．３ 文本信息融合 以上标题和标签的信息从不同角度体现了视频 的内容，将它们通过式（７）融合起来，可以更为准确 地描述了两个视频在文本模态上的相似度： Ｆｔｅｘｔ ＝ γｆ ｔｉｔｌｅ ＋ （１ － γ）ｆ ｔａｇ （７） 式中 γ、１－γ∈［０，１］分别为标题和标签。 在实验中 γ 被经验性的设置为 ０．５。 １．４ 视觉相关性计算 视频的视觉内容是用户认知的根本性来源，它 从本质上反映视频的相似性程度。 由此，视觉相似 性计算对于视频的相关性度量是不可或缺的一个方 面。 在视觉的相关性度量方面，我们采用了 Ｚｈａｏ 等［１５］提出大规模拷贝视频检测方法计算两个给定 视频之间的视觉相似度。 该方法首先计算任意两个视频帧之间的视觉相 似度，再根据 Ｈｏｕｇｈ 变换原理，对相似度大且在时 序上有较高一致性的视频赋予更大的相似度，该相 似度基本反映了两个视频之间的程度。 在计算视频 帧之间的两两相似度方面，采用的是经典基于视觉 词袋模型的方法。 其基本流程如图 ２ 所示。 图 ２ 视觉词典方法 Ｆｉｇ．２ Ｔｈｅ ｍｅｔｈｏｄ ｏｆ ｖｉｓｕａｌ ｖｏｃａｂｕｌａｒｙ 具体地，我们首先以 ５ ｓ 为时间间隔，对视频进 行等间隔采样，提取相应图像帧。 其次，在图像帧上 提取 ｓｉｆｔ 特征，并利用预先训练好的视觉特征词典 将每个图像帧的 ｓｉｆｔ 特征集合量化为一个高维的稀 疏向量，进而通过比较两个向量的相似性实现对图 ·３６２· 智 能 系 统 学 报 第 １１ 卷
第3期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·363. 像帧相似度的计算。 表1热点话题的基本情况 为实现从图像帧相似度到视频相似度的计算， Table 1 The hot topics Zhao等使用了Hough变换投票方法。其描述为：1) D 话题描述 日期 以等时间截进行时间对准：2)进行等时间间隔霍夫 Bush was attacked by shoes in Iraq 200811 投票，即如果两个视频某个相同时间差片段间的视 2 Obama's inauguration speech 200901 觉相似性高于某一个阈值，则予以投票：3)以时间 3 Susan Boyle in Britain's Got Talent 200904 Amanda Holden in Britain's Got Talent 200904 差为横轴形成的直方图，直方图越高，则两个视频连 5 The death of Michael Jackson 200906 续片段越相似，亦即视频越相似。 6 Cenk Uygur's news show 200908 除Hough变换投票外，从图像帧相似度到视频 个 Lady Gaga Poker Face 200902 相似度计算方面的典型方法还有基于网络流约束的 8 Silvio Berlusconi was attacked in Milan 200911 线性规划的方法[6等。考虑更多方法并将它们的 9 Brad Pitt's movies 200902 优势结合起来，实现更加准确的视频视觉相似度计 10 Lauren Luke's makeup 200904 算也是我们的下一步工作之一。 11 Miley Cyrus's show 200812 1.5多模态相关性计算 表2给出了实验中依照特定关键词筛选条件进 通过上述介绍的方法，可以分别计算得到两个 行文本过滤后，每个话题剩余的满足条件的视频数 视频在社会特征、文本和视觉模态的相似度，通过式 量。第1列(D)表示的是视频的11个话题的集 (8)对这3方面的相似度进行融合： 合，表的第2列反映了每一个主题下的关键词，最后 F fusion=wFin+TFtext+(1-ω-T)Fvisual（8) 1列反映了依照筛选条件，时间间隔为依照时间 式中ω、T、1-w-r∈[0,1]分别为社会、文本、视觉3 (Date)参照点前后4个月的条件下，所得到的视频 种异构多模态特征的融合权重。在进行融合之前， 数量结果。相对于整个视频库中总的视频数量，本 我们将各个模态信息进行相应的归一化操作，每个 文提出的文本过滤策略平均滤掉了99.82%的视频 模态信息均取相应均等权重。 数据。从而使得视觉等较为耗费计算资源的运算可 以上对本文方法的各个模块进行了详细介绍。 以在一个相对较小的集合上进行。 本文初步探讨多种在不同层次、从不同角度反映视 首先，我们使用类似文献[18]的方法，对 频相关性的信息的融合方法。在社会特征方面融合 表1中的每一个话题给定文本筛选条件，利用1.2 了视频上传日期、类别和作者信息，文本方面则融合 节中描述的文本筛选方法筛选出与这几个话题相关 了视频标题和标签的相似性：在整体层面，则将社 的视频集合，见表2。 会、文本和视觉三大模态的异构信息进行了融合。 表2特定筛选条件及筛选结果 目前，对于各模态内部以及各模态之间权重的分配 Table 2 The results of specific conditions 方面暂时没有展开过多细节讨论。 D 关键词 数量 1 bush shoe 210 2实验结果及分析 2 obama inauguration 436 2.1实验数据准备 3 Susan Boyle 683 为验证本文方法的有效性，我们在MCG-WEBV 4 Amanda Holden 294 2.011数据集上进行了实验。该数据集按月收集了 5 Michael Jackson 1923 6 276 2008年12月-2009年11月间YouTube给定的19 cenk uygur 7 Lady Gaga poker 196 个视频类别上的“每月观看最多”视频，以及它们的 8 Silvio Berlusconi 413 相关视频和同作者视频，共计248887个。 9 brad pitt 150 上述数据收集方法使得这一年内网络空间的热 10 lauren luke 149 点事件在该数据集上都有所体现。基于此，选择发 11 Miley Cyrus 467 生在这段时间内关于11个热点话题的视频进行实 然后，对候选集合中的视频进行人工标注，一个 验，表1列出了这些话题的基本情况。 视频被标注为与该话题相关当且仅当它包含了描述
像帧相似度的计算。 为实现从图像帧相似度到视频相似度的计算， Ｚｈａｏ 等使用了 Ｈｏｕｇｈ 变换投票方法。 其描述为：１） 以等时间戳进行时间对准；２）进行等时间间隔霍夫 投票，即如果两个视频某个相同时间差片段间的视 觉相似性高于某一个阈值，则予以投票；３） 以时间 差为横轴形成的直方图，直方图越高，则两个视频连 续片段越相似，亦即视频越相似。 除 Ｈｏｕｇｈ 变换投票外，从图像帧相似度到视频 相似度计算方面的典型方法还有基于网络流约束的 线性规划的方法［１６］ 等。 考虑更多方法并将它们的 优势结合起来，实现更加准确的视频视觉相似度计 算也是我们的下一步工作之一。 １．５ 多模态相关性计算 通过上述介绍的方法，可以分别计算得到两个 视频在社会特征、文本和视觉模态的相似度，通过式 （８）对这 ３ 方面的相似度进行融合： Ｆｆｕｓｉｏｎ ＝ ωＦｓｏｃｉａｌ ＋ τＦｔｅｘｔ ＋ （１ － ω － τ）Ｆｖｉｓｕａｌ （８） 式中 ω、τ、１－ω－τ∈［０，１］分别为社会、文本、视觉 ３ 种异构多模态特征的融合权重。 在进行融合之前， 我们将各个模态信息进行相应的归一化操作，每个 模态信息均取相应均等权重。 以上对本文方法的各个模块进行了详细介绍。 本文初步探讨多种在不同层次、从不同角度反映视 频相关性的信息的融合方法。 在社会特征方面融合 了视频上传日期、类别和作者信息，文本方面则融合 了视频标题和标签的相似性；在整体层面，则将社 会、文本和视觉三大模态的异构信息进行了融合。 目前，对于各模态内部以及各模态之间权重的分配 方面暂时没有展开过多细节讨论。 ２ 实验结果及分析 ２．１ 实验数据准备 为验证本文方法的有效性，我们在 ＭＣＧ⁃ＷＥＢＶ ２．０ ［１７］数据集上进行了实验。 该数据集按月收集了 ２００８ 年 １２ 月－２００９ 年 １１ 月间 ＹｏｕＴｕｂｅ 给定的 １９ 个视频类别上的“每月观看最多”视频，以及它们的 相关视频和同作者视频，共计 ２４８ ８８７ 个。 上述数据收集方法使得这一年内网络空间的热 点事件在该数据集上都有所体现。 基于此，选择发 生在这段时间内关于 １１ 个热点话题的视频进行实 验，表 １ 列出了这些话题的基本情况。 表 １ 热点话题的基本情况 Ｔａｂｌｅ １ Ｔｈｅ ｈｏｔ ｔｏｐｉｃｓ ＩＤ 话题描述 日期 １ Ｂｕｓｈ ｗａｓ ａｔｔａｃｋｅｄ ｂｙ ｓｈｏｅｓ ｉｎ Ｉｒａｑ ２００８１１ ２ Ｏｂａｍａ’ｓ ｉｎａｕｇｕｒａｔｉｏｎ ｓｐｅｅｃｈ ２００９０１ ３ Ｓｕｓａｎ Ｂｏｙｌｅ ｉｎ Ｂｒｉｔａｉｎ’ｓ Ｇｏｔ Ｔａｌｅｎｔ ２００９０４ ４ Ａｍａｎｄａ Ｈｏｌｄｅｎ ｉｎ Ｂｒｉｔａｉｎ’ｓ Ｇｏｔ Ｔａｌｅｎｔ ２００９０４ ５ Ｔｈｅ ｄｅａｔｈ ｏｆ Ｍｉｃｈａｅｌ Ｊａｃｋｓｏｎ ２００９０６ ６ Ｃｅｎｋ Ｕｙｇｕｒ’ｓ ｎｅｗｓ ｓｈｏｗ ２００９０８ ７ Ｌａｄｙ Ｇａｇａ Ｐｏｋｅｒ Ｆａｃｅ ２００９０２ ８ Ｓｉｌｖｉｏ Ｂｅｒｌｕｓｃｏｎｉ ｗａｓ ａｔｔａｃｋｅｄ ｉｎ Ｍｉｌａｎ ２００９１１ ９ Ｂｒａｄ Ｐｉｔｔ’ｓ ｍｏｖｉｅｓ ２００９０２ １０ Ｌａｕｒｅｎ Ｌｕｋｅ’ｓ ｍａｋｅｕｐ ２００９０４ １１ Ｍｉｌｅｙ Ｃｙｒｕｓ’ｓ ｓｈｏｗ ２００８１２ 表 ２ 给出了实验中依照特定关键词筛选条件进 行文本过滤后，每个话题剩余的满足条件的视频数 量。 第 １ 列（ ＩＤ） 表示的是视频的 １１ 个话题的集 合，表的第 ２ 列反映了每一个主题下的关键词，最后 １ 列反映了依照筛选条件，时间间隔为依照时间 （Ｄａｔｅ）参照点前后 ４ 个月的条件下，所得到的视频 数量结果。 相对于整个视频库中总的视频数量，本 文提出的文本过滤策略平均滤掉了 ９９．８２％的视频 数据。 从而使得视觉等较为耗费计算资源的运算可 以在一个相对较小的集合上进行。 首先，我们使用类似文献［１８］ 的方法，对 表 １ 中的每一个话题给定文本筛选条件，利用 １．２ 节中描述的文本筛选方法筛选出与这几个话题相关 的视频集合，见表 ２。 表 ２ 特定筛选条件及筛选结果 Ｔａｂｌｅ ２ Ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｓｐｅｃｉｆｉｃ ｃｏｎｄｉｔｉｏｎｓ ＩＤ 关键词 数量 １ ｂｕｓｈ ｓｈｏｅ ２１０ ２ ｏｂａｍａ ｉｎａｕｇｕｒａｔｉｏｎ ４３６ ３ Ｓｕｓａｎ Ｂｏｙｌｅ ６８３ ４ Ａｍａｎｄａ Ｈｏｌｄｅｎ ２９４ ５ Ｍｉｃｈａｅｌ Ｊａｃｋｓｏｎ １９２３ ６ ｃｅｎｋ ｕｙｇｕｒ ２７６ ７ Ｌａｄｙ Ｇａｇａ ｐｏｋｅｒ １９６ ８ Ｓｉｌｖｉｏ Ｂｅｒｌｕｓｃｏｎｉ ４１３ ９ ｂｒａｄ ｐｉｔｔ １５０ １０ ｌａｕｒｅｎ ｌｕｋｅ １４９ １１ Ｍｉｌｅｙ Ｃｙｒｕｓ ４６７ 然后，对候选集合中的视频进行人工标注，一个 视频被标注为与该话题相关当且仅当它包含了描述 第 ３ 期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·３６３·
·364. 智能系统学报 第11卷 上述热点事件的镜头。两个视频的相关度被置为1 表3中的第1列D表示11个相关话题，后面 (即标注为相关视频)当且仅当它们都被标注为与 的每1列值表征的是AP的检索结果：最后1列反 同一个话题相关，其余情况下，两个视频的相关度被 映了实验结果。我们的方法将特有的社会特征与文 置为0，即不相关。对任意一个输入视频，依据2.2.2 本、视觉进行融合，相比于单一的文本视觉，以及文 小节给出的不同方法，计算它与数据集中其他视频 本和视觉相融合的方法取得到了较好的效果。 的相关度，为每个方法得到一个按相关度得分从高 综上所述，将视觉、文本和社会特征进行多模态融 到低排序的结果列表。然后，我们用多媒体检索中 合的方案取得了上述最好的结果，相对单一视觉，单一 广泛采用的AP作为衡量结果相关性度量准确性的 文本方法5%~25%的性能上的提升，相对于文本和视 指标，其中AP的计算公式为 觉融合的方法，我们的方法也取得了更好的结果。 AP n'j=i 3结束语 其中n是测试集中相关视频的总数，n=100表示仅 本文提出一种新颖的网络视频相似性度量方 考虑列表的前100个结果。若第j个视频是相关视 法。从文本、视觉和社会特征3个角度同时挖掘视 频，则1=1，否则1=0。R表示前j个结果中相关 频的相关关系并进行融合。在社会特征方面，我们 视频的数量。实验中，所有被标注为与某个话题相 选择了视频的上传时间、作者、类别信息，给出了相 关的视频组成了输入视频集合。它们被一一作为输 关性在这3种特征上的形式化度量方法；文本特征 入视频，通过2.2.2小节的各种方法得到相应的相 方面，在向量空间模型中分别计算了两个视频在标 关视频结果列表并计算AP。为便于结果展示和分 题和标签上的相似度：视觉特征方面，采用主流基于 析，我们将每个话题所有相关视频的AP进行平均， 视觉拷贝视频检测的方法度量两个视频的相似性。 得到该话题的AP。然后，再对多个话题AP再次求 通过在宏观上对上述相似度进一步融合，实现了对 平均，得到刻画各个方法整体性能的MAP值。 2.2多模态融合相关性度量实验 视频相关性的准确鲁棒度量。真实YouTube数据 依据第1节给出计算公式，可以得到任意两个 上的视频检索实验表明，相比于仅考虑视觉、文本、 视频的相关度。我们将计算得到的相关度应用到对 或是视觉和文本相结合的方法，本文方法可取得 上述话题的网络视频检索上，依据相关度大小从高 5%~25%的性能提升。 到低对视频进行排序。表3给出了用本文多模态融 以上工作初步证明了在相关性度量方面融合多 合的网络视频相关度度量方法的检索结果。作为比 模态信息的合理性和有效性。我们的下一步工作将 较，仅用视觉相似性、文本相似性以及视觉与文本相 在以下3个方面进行。1)研究更加有效的视频视 结合相似性进行检索的实验结果也在表3中给出。 觉相似性度量方法。在度量细粒度的单纯视频视觉 表3各类方法试验结果对照表 相似性的研究，已经有两种主流方法1)，基于这些 Table 3 The results of all kinds of methods 方法的改进和融合也是一个研究点：2)探索更加有 D Visual Text Visual+Text Fusion 效的多模态信息融合方法。融入更多社会特征，研 0.814 0.742 0.813 0.831 究多模态特征融合权重的自适应确定方法：3)将本 2 0.305 0.180 0.312 0.330 文方法计算得到的相关度应用到除检索外的更多应 3 0.406 0.495 0.410 0.396 用场景上，例如网络视频分类、标注等。 4 0.654 0.840 0.702 0.740 参考文献： 5 0.304 0.204 0.400 0.503 6 0.973 0.905 0.970 0.972 [1]ZHU Weiyu,TOKLU C.LIOU S P.Automatic news video 7 0.110 0.030 0.210 0.230 segmentation and categorization based on closed-captioned text[C]//Proceedings of IEEE International Conference on 8 0.603 0.306 0.650 0.704 9 Multimedia and Expo.Tokyo,Japan,2001:829-832. 0.400 0.200 0.440 0.514 [2]BREZEALE D,COOK D J.Using closed captions and visu- 10 0.021 0.053 0.301 0.043 al features to classify movies by genre[C]//Poster Session 11 0.598 0.418 0.605 0.714 of the Seventh International Workshop on Multimedia Data MAP 0.471 0.397 0.528 0.543 Mining.Philadelphia,Pennsylvania,USA,2006
上述热点事件的镜头。 两个视频的相关度被置为 １ （即标注为相关视频）当且仅当它们都被标注为与 同一个话题相关，其余情况下，两个视频的相关度被 置为 ０，即不相关。 对任意一个输入视频，依据 ２．２．２ 小节给出的不同方法，计算它与数据集中其他视频 的相关度，为每个方法得到一个按相关度得分从高 到低排序的结果列表。 然后，我们用多媒体检索中 广泛采用的 ＡＰ 作为衡量结果相关性度量准确性的 指标，其中 ＡＰ 的计算公式为 ＡＰ ＝ １ ｎ ＋∑ ｎ ｊ ＝ １ Ｉｊ × Ｒｊ ｊ 其中 ｎ ＋是测试集中相关视频的总数，ｎ ＝ １００ 表示仅 考虑列表的前 １００ 个结果。 若第 ｊ 个视频是相关视 频，则 Ｉｊ ＝ １，否则 Ｉｊ ＝ ０。 Ｒｊ 表示前 ｊ 个结果中相关 视频的数量。 实验中，所有被标注为与某个话题相 关的视频组成了输入视频集合。 它们被一一作为输 入视频，通过 ２．２．２ 小节的各种方法得到相应的相 关视频结果列表并计算 ＡＰ。 为便于结果展示和分 析，我们将每个话题所有相关视频的 ＡＰ 进行平均， 得到该话题的 ＡＰ。 然后，再对多个话题 ＡＰ 再次求 平均，得到刻画各个方法整体性能的 ＭＡＰ 值。 ２．２ 多模态融合相关性度量实验 依据第 １ 节给出计算公式，可以得到任意两个 视频的相关度。 我们将计算得到的相关度应用到对 上述话题的网络视频检索上，依据相关度大小从高 到低对视频进行排序。 表 ３ 给出了用本文多模态融 合的网络视频相关度度量方法的检索结果。 作为比 较，仅用视觉相似性、文本相似性以及视觉与文本相 结合相似性进行检索的实验结果也在表 ３ 中给出。 表 ３ 各类方法试验结果对照表 Ｔａｂｌｅ ３ Ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ａｌｌ ｋｉｎｄｓ ｏｆ ｍｅｔｈｏｄｓ ＩＤ Ｖｉｓｕａｌ Ｔｅｘｔ Ｖｉｓｕａｌ＋Ｔｅｘｔ Ｆｕｓｉｏｎ １ ０．８１４ ０．７４２ ０．８１３ ０．８３１ ２ ０．３０５ ０．１８０ ０．３１２ ０．３３０ ３ ０．４０６ ０．４９５ ０．４１０ ０．３９６ ４ ０．６５４ ０．８４０ ０．７０２ ０．７４０ ５ ０．３０４ ０．２０４ ０．４００ ０．５０３ ６ ０．９７３ ０．９０５ ０．９７０ ０．９７２ ７ ０．１１０ ０．０３０ ０．２１０ ０．２３０ ８ ０．６０３ ０．３０６ ０．６５０ ０．７０４ ９ ０．４００ ０．２００ ０．４４０ ０．５１４ １０ ０．０２１ ０．０５３ ０．３０１ ０．０４３ １１ ０．５９８ ０．４１８ ０．６０５ ０．７１４ ＭＡＰ ０．４７１ ０．３９７ ０．５２８ ０．５４３ 表 ３ 中的第 １ 列 ＩＤ 表示 １１ 个相关话题，后面 的每 １ 列值表征的是 ＡＰ 的检索结果；最后 １ 列反 映了实验结果。 我们的方法将特有的社会特征与文 本、视觉进行融合，相比于单一的文本视觉，以及文 本和视觉相融合的方法取得到了较好的效果。 综上所述，将视觉、文本和社会特征进行多模态融 合的方案取得了上述最好的结果，相对单一视觉，单一 文本方法 ５％～２５％的性能上的提升，相对于文本和视 觉融合的方法，我们的方法也取得了更好的结果。 ３ 结束语 本文提出一种新颖的网络视频相似性度量方 法。 从文本、视觉和社会特征 ３ 个角度同时挖掘视 频的相关关系并进行融合。 在社会特征方面，我们 选择了视频的上传时间、作者、类别信息，给出了相 关性在这 ３ 种特征上的形式化度量方法；文本特征 方面，在向量空间模型中分别计算了两个视频在标 题和标签上的相似度；视觉特征方面，采用主流基于 视觉拷贝视频检测的方法度量两个视频的相似性。 通过在宏观上对上述相似度进一步融合，实现了对 视频相关性的准确鲁棒度量。 真实 ＹｏｕＴｕｂｅ 数据 上的视频检索实验表明，相比于仅考虑视觉、文本、 或是视觉和文本相结合的方法，本文方法可取得 ５％ ～２５％的性能提升。 以上工作初步证明了在相关性度量方面融合多 模态信息的合理性和有效性。 我们的下一步工作将 在以下 ３ 个方面进行。 １） 研究更加有效的视频视 觉相似性度量方法。 在度量细粒度的单纯视频视觉 相似性的研究，已经有两种主流方法［１８］ ，基于这些 方法的改进和融合也是一个研究点；２）探索更加有 效的多模态信息融合方法。 融入更多社会特征，研 究多模态特征融合权重的自适应确定方法；３）将本 文方法计算得到的相关度应用到除检索外的更多应 用场景上，例如网络视频分类、标注等。 参考文献： ［１］ＺＨＵ Ｗｅｉｙｕ， ＴＯＫＬＵ Ｃ， ＬＩＯＵ Ｓ Ｐ． Ａｕｔｏｍａｔｉｃ ｎｅｗｓ ｖｉｄｅｏ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｂａｓｅｄ ｏｎ ｃｌｏｓｅｄ⁃ｃａｐｔｉｏｎｅｄ ｔｅｘｔ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ． Ｔｏｋｙｏ， Ｊａｐａｎ， ２００１： ８２９⁃８３２． ［２］ＢＲＥＺＥＡＬＥ Ｄ， ＣＯＯＫ Ｄ Ｊ． Ｕｓｉｎｇ ｃｌｏｓｅｄ ｃａｐｔｉｏｎｓ ａｎｄ ｖｉｓｕ⁃ ａｌ ｆｅａｔｕｒｅｓ ｔｏ ｃｌａｓｓｉｆｙ ｍｏｖｉｅｓ ｂｙ ｇｅｎｒｅ［Ｃ］ ／ ／ Ｐｏｓｔｅｒ Ｓｅｓｓｉｏｎ ｏｆ ｔｈｅ Ｓｅｖｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｄａｔａ Ｍｉｎｉｎｇ． Ｐｈｉｌａｄｅｌｐｈｉａ， Ｐｅｎｎｓｙｌｖａｎｉａ， ＵＳＡ， ２００６． ·３６４· 智 能 系 统 学 报 第 １１ 卷
第3期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·365. [3]SCHMIEDEKE S,KELM P,SIKORA T.TUB MediaE- web video categorization C//Proceedings of the 17th val 2011 genre tagging task:prediction using bag-of-(visu- ACM International Conference on Multimedia.New York, al)-words approaches [C]//Working Notes Proceedings of NY,USA,2009:1109-1110. the MediaEval 2011 Workshop.Pisa,Italy,2011:1-2. [14]DAVIDSON J.LIEBALD B,LIU J,et al.The YouTube [4]LAW-TO J,CHEN Li,JOLY A,et al.Video copy detec- video recommendation system[C]//Proceedings of the 4th tion:a comparative study[C]//Proceedings of the 6th ACM ACM Conference on Recommender Systems.New York, Intemational Conference on Image and Video Retrieval.New NY,USA,2010:293-296. York,NY,USA,2007:371-378. [15]ZHAO Wanlei,WU Xiao,NGO C W.On the annotation of [5]WU Xiao,HAUPTMANN A G.NGO C W.Practical elimi- web videos by efficient near-duplicate search[J].IEEE nation of near-duplicates from web video search[C]//Pro- Transactions on Multimedia,2010,12(5):448-461. ceedings of the 15th ACM International Conference on Mul- [16]TAN H K,NGO C W,CHUA T S.Efficient mining of timedia.New York,NY,USA,2007:218-227. multiple partial near-duplicate alignments by temporal net- [6]SONG Jingkuan,YANG Yi,HUANG Zi,et al.Multiple work[J].IEEE Transactions on Circuits and Systems for feature hashing for real-time large scale near-duplicate video Video Technology,2010,20(11):1486-1498. retrieval[C]//Proceedings of the 19th ACM International [17]CAO J,ZHANG Y D,SONG Y D,et al.MCG-WEBV:a Conference on Multimedia.New York,NY,USA,2011: benchmark dataset for web video analysis[R].Technical 423-432. Report,Beijing,China:Institute of Computing Technolo- [7]PERRONNIN F,DANCE C.Fisher kernels on visual vocab- y,2009:324-334. ularies for image categorization[C]//Proceedings of IEEE [18]JIANG Yugang,JIANG Yudong,WANG Jiajun.VCDB:a Conference on Computer Vision and Pattern Recognition. large-scale database for partial copy detection in videos Minneapolis,MN,USA,2007:1-8. [M]//FLEET D,PAJDLA T,SCHIELE B,et al.Com- [8]JeGOU H.DOUZE M,SCHMID C,et al.Aggregating local puter Vision-ECCV 2014.Zurich,Switzerland:Springer, descriptors into a compact image representation[C]//Pro- 2014:357-371 ceedings of IEEE Conference on Computer Vision and Pat- 作者简介： tern Recognition (CVPR).San Francisco,CA,USA, 温有福，男，1991年生，硕士研究 2010:3304-3311. 生，主要研究方向为视频/图像检索、 9]TAN H K,NGO C W,HONG R,et al.Scalable detection 社交网络分析。 of partial near-duplicate videos by visual-temporal consisten- cy[C]//Proceedings of the 17th ACM International Confer- ence on Multimedia.New York,NY,USA,2009:145-154. [10]FENG Bailan,CAO Juan,CHEN Zhineng,et al.Multi- 贾彩燕，女，1976年生，副教授， modal query expansion for web video search [C]//Pro- 博士生导师，博士，主要研究方向为数 ceedings of the 33rd International ACM SIGIR Conference 据挖掘、社会计算、文本挖掘及生物信 on Research and Development in Information Retrieval. 息学。近年来主持国家自然科学基金 New York,NY,USA,2010:721-722. 面上项目1项，主持国家自然科学基金 [11]BREZEALE D,COOK D J.Automatic video classification: 青年基金项目和面上项目1项：参加国家自然科学基金重点 a survey of the literature[J].IEEE Transactions on Sys- 项目、国家科技重大专项北京市自然科学基金项目各1项； tems,Man,and Cybernetics,Part C (Applications and 获得湖南省科学技术进步二等奖1项，发表学术论文40 Reviews),2008,38(3):416-430. 余篇。 [12]YANG Linjun,LIU Jiemin,YANG Xiaokang,et al.Multi- 陈智能，男，1982年生，副研究员， modality web video categorization[C]//Proceedings of the 博士，主要研究方向为多媒体内容分 International Workshop on Workshop on Multimedia Infor- 析与检索、机器学习、图像处理。近年 mation Retrieval.New York,NY,USA,2007:265-274. 来主持国家自然科学基金青年基金1 [13]WU Xiao,ZHAO Wanlei,NGO C W.Towards google 项，发表学术论文20余篇。 challenge:combining contextual and social information for
［３］ＳＣＨＭＩＥＤＥＫＥ Ｓ， ＫＥＬＭ Ｐ， ＳＩＫＯＲＡ Ｔ． ＴＵＢ ＠ ＭｅｄｉａＥ⁃ ｖａｌ ２０１１ ｇｅｎｒｅ ｔａｇｇｉｎｇ ｔａｓｋ： ｐｒｅｄｉｃｔｉｏｎ ｕｓｉｎｇ ｂａｇ⁃ｏｆ⁃（ ｖｉｓｕ⁃ ａｌ）⁃ｗｏｒｄｓ ａｐｐｒｏａｃｈｅｓ ［ Ｃ］ ／ ／ Ｗｏｒｋｉｎｇ Ｎｏｔｅｓ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＭｅｄｉａＥｖａｌ ２０１１ Ｗｏｒｋｓｈｏｐ． Ｐｉｓａ， Ｉｔａｌｙ， ２０１１： １⁃２． ［４］ＬＡＷ⁃ＴＯ Ｊ， ＣＨＥＮ Ｌｉ， ＪＯＬＹ Ａ， ｅｔ ａｌ． Ｖｉｄｅｏ ｃｏｐｙ ｄｅｔｅｃ⁃ ｔｉｏｎ： ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ６ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ａｎｄ Ｖｉｄｅｏ Ｒｅｔｒｉｅｖａｌ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００７： ３７１⁃３７８． ［５］ＷＵ Ｘｉａｏ， ＨＡＵＰＴＭＡＮＮ Ａ Ｇ， ＮＧＯ Ｃ Ｗ． Ｐｒａｃｔｉｃａｌ ｅｌｉｍｉ⁃ ｎａｔｉｏｎ ｏｆ ｎｅａｒ⁃ｄｕｐｌｉｃａｔｅｓ ｆｒｏｍ ｗｅｂ ｖｉｄｅｏ ｓｅａｒｃｈ［Ｃ］ ／ ／ Ｐｒｏ⁃ ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １５ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌ⁃ ｔｉｍｅｄｉａ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００７： ２１８⁃２２７． ［６］ ＳＯＮＧ Ｊｉｎｇｋｕａｎ， ＹＡＮＧ Ｙｉ， ＨＵＡＮＧ Ｚｉ， ｅｔ ａｌ． Ｍｕｌｔｉｐｌｅ ｆｅａｔｕｒｅ ｈａｓｈｉｎｇ ｆｏｒ ｒｅａｌ⁃ｔｉｍｅ ｌａｒｇｅ ｓｃａｌｅ ｎｅａｒ⁃ｄｕｐｌｉｃａｔｅ ｖｉｄｅｏ ｒｅｔｒｉｅｖａｌ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２０１１： ４２３⁃４３２． ［７］ＰＥＲＲＯＮＮＩＮ Ｆ， ＤＡＮＣＥ Ｃ． Ｆｉｓｈｅｒ ｋｅｒｎｅｌｓ ｏｎ ｖｉｓｕａｌ ｖｏｃａｂ⁃ ｕｌａｒｉｅｓ ｆｏｒ ｉｍａｇｅ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｍｉｎｎｅａｐｏｌｉｓ， ＭＮ， ＵＳＡ， ２００７： １⁃８． ［８］ＪéＧＯＵ Ｈ， ＤＯＵＺＥ Ｍ， ＳＣＨＭＩＤ Ｃ， ｅｔ ａｌ． Ａｇｇｒｅｇａｔｉｎｇ ｌｏｃａｌ ｄｅｓｃｒｉｐｔｏｒｓ ｉｎｔｏ ａ ｃｏｍｐａｃｔ ｉｍａｇｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏ⁃ ｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔ⁃ ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ ＣＶＰＲ）． Ｓａｎ Ｆｒａｎｃｉｓｃｏ， ＣＡ， ＵＳＡ， ２０１０： ３３０４⁃３３１１． ［９］ＴＡＮ Ｈ Ｋ， ＮＧＯ Ｃ Ｗ， ＨＯＮＧ Ｒ， ｅｔ ａｌ． Ｓｃａｌａｂｌｅ ｄｅｔｅｃｔｉｏｎ ｏｆ ｐａｒｔｉａｌ ｎｅａｒ⁃ｄｕｐｌｉｃａｔｅ ｖｉｄｅｏｓ ｂｙ ｖｉｓｕａｌ⁃ｔｅｍｐｏｒａｌ ｃｏｎｓｉｓｔｅｎ⁃ ｃｙ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ⁃ ｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００９： １４５⁃１５４． ［１０］ＦＥＮＧ Ｂａｉｌａｎ， ＣＡＯ Ｊｕａｎ， ＣＨＥＮ Ｚｈｉｎｅｎｇ， ｅｔ ａｌ． Ｍｕｌｔｉ⁃ ｍｏｄａｌ ｑｕｅｒｙ ｅｘｐａｎｓｉｏｎ ｆｏｒ ｗｅｂ ｖｉｄｅｏ ｓｅａｒｃｈ ［ Ｃ］ ／ ／ Ｐｒｏ⁃ ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＡＣＭ ＳＩＧＩＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２０１０： ７２１⁃７２２． ［１１］ＢＲＥＺＥＡＬＥ Ｄ， ＣＯＯＫ Ｄ Ｊ． Ａｕｔｏｍａｔｉｃ ｖｉｄｅｏ ｃｌａｓｓｉｆｉｃａｔｉｏｎ： ａ ｓｕｒｖｅｙ ｏｆ ｔｈｅ ｌｉｔｅｒａｔｕｒｅ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓ⁃ ｔｅｍｓ， Ｍａｎ， ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ， Ｐａｒｔ Ｃ （ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｒｅｖｉｅｗｓ）， ２００８， ３８（３）： ４１６⁃４３０． ［１２］ＹＡＮＧ Ｌｉｎｊｕｎ， ＬＩＵ Ｊｉｅｍｉｎ， ＹＡＮＧ Ｘｉａｏｋａｎｇ， ｅｔ ａｌ． Ｍｕｌｔｉ⁃ ｍｏｄａｌｉｔｙ ｗｅｂ ｖｉｄｅｏ ｃａｔｅｇｏｒｉｚａｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｆｏｒ⁃ ｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００７： ２６５⁃２７４． ［１３］ ＷＵ Ｘｉａｏ， ＺＨＡＯ Ｗａｎｌｅｉ， ＮＧＯ Ｃ Ｗ． Ｔｏｗａｒｄｓ ｇｏｏｇｌｅ ｃｈａｌｌｅｎｇｅ： ｃｏｍｂｉｎｉｎｇ ｃｏｎｔｅｘｔｕａｌ ａｎｄ ｓｏｃｉａｌ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ｗｅｂ ｖｉｄｅｏ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １７ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００９： １１０９⁃１１１０． ［１４］ ＤＡＶＩＤＳＯＮ Ｊ， ＬＩＥＢＡＬＤ Ｂ， ＬＩＵ Ｊ， ｅｔ ａｌ． Ｔｈｅ ＹｏｕＴｕｂｅ ｖｉｄｅｏ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｓｙｓｔｅｍ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４ｔｈ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｅｃｏｍｍｅｎｄｅｒ Ｓｙｓｔｅｍｓ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２０１０： ２９３⁃２９６． ［１５］ＺＨＡＯ Ｗａｎｌｅｉ， ＷＵ Ｘｉａｏ， ＮＧＯ Ｃ Ｗ． Ｏｎ ｔｈｅ ａｎｎｏｔａｔｉｏｎ ｏｆ ｗｅｂ ｖｉｄｅｏｓ ｂｙ ｅｆｆｉｃｉｅｎｔ ｎｅａｒ⁃ｄｕｐｌｉｃａｔｅ ｓｅａｒｃｈ ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｕｌｔｉｍｅｄｉａ， ２０１０， １２（５）： ４４８⁃４６１． ［１６］ ＴＡＮ Ｈ Ｋ， ＮＧＯ Ｃ Ｗ， ＣＨＵＡ Ｔ Ｓ． Ｅｆｆｉｃｉｅｎｔ ｍｉｎｉｎｇ ｏｆ ｍｕｌｔｉｐｌｅ ｐａｒｔｉａｌ ｎｅａｒ⁃ｄｕｐｌｉｃａｔｅ ａｌｉｇｎｍｅｎｔｓ ｂｙ ｔｅｍｐｏｒａｌ ｎｅｔ⁃ ｗｏｒｋ［ Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ２０１０， ２０（１１）： １４８６⁃１４９８． ［１７］ＣＡＯ Ｊ， ＺＨＡＮＧ Ｙ Ｄ， ＳＯＮＧ Ｙ Ｄ， ｅｔ ａｌ． ＭＣＧ⁃ＷＥＢＶ： ａ ｂｅｎｃｈｍａｒｋ ｄａｔａｓｅｔ ｆｏｒ ｗｅｂ ｖｉｄｅｏ ａｎａｌｙｓｉｓ ［ Ｒ］． Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ： Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏ⁃ ｇｙ， ２００９： ３２４⁃３３４． ［１８］ＪＩＡＮＧ Ｙｕｇａｎｇ， ＪＩＡＮＧ Ｙｕｄｏｎｇ， ＷＡＮＧ Ｊｉａｊｕｎ． ＶＣＤＢ： ａ ｌａｒｇｅ⁃ｓｃａｌｅ ｄａｔａｂａｓｅ ｆｏｒ ｐａｒｔｉａｌ ｃｏｐｙ ｄｅｔｅｃｔｉｏｎ ｉｎ ｖｉｄｅｏｓ ［Ｍ］ ／ ／ ＦＬＥＥＴ Ｄ， ＰＡＪＤＬＡ Ｔ， ＳＣＨＩＥＬＥ Ｂ， ｅｔ ａｌ． Ｃｏｍ⁃ ｐｕｔｅｒ Ｖｉｓｉｏｎ⁃ＥＣＣＶ ２０１４． Ｚｕｒｉｃｈ， Ｓｗｉｔｚｅｒｌａｎｄ： Ｓｐｒｉｎｇｅｒ， ２０１４： ３５７⁃３７１． 作者简介： 温有福，男， １９９１ 年生，硕士研究 生， 主要研究方向为视频／ 图像检索、 社交网络分析。 贾彩燕， 女， １９７６ 年生， 副教授， 博士生导师，博士， 主要研究方向为数 据挖掘、社会计算、文本挖掘及生物信 息学。 近年来主持国家自然科学基金 面上项目 １ 项，主持国家自然科学基金 青年基金项目和面上项目 １ 项；参加国家自然科学基金重点 项目、国家科技重大专项、北京市自然科学基金项目各 １ 项； 获得湖南省科学技术进步二等奖 １ 项，发表学术论文 ４０ 余篇。 陈智能， 男，１９８２ 年生，副研究员， 博士， 主要研究方向为多媒体内容分 析与检索、机器学习、图像处理。 近年 来主持国家自然科学基金青年基金 １ 项，发表学术论文 ２０ 余篇。 第 ３ 期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·３６５·