第3期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·361· 对给定的网络视频，首先利用文本过滤模块，滤 1.2.1上传时间 除掉大量不相关的网络视频。然后，分别通过社会 视频的上传时间是反映用户对于当前所关注视 相关性度量、文本相关性度量和视觉相关性度量3 频的时间在特定时间段上的描述。例如：存在3个 个子模块，计算3个模态上的相关度。最后，通过相 视频巴，：和，如果，与：和号之间的时间间隔 关性融合模块，进行融合，从而实现更准确相关性 分别为3个月和3年，那么，与：之间的相似度会 度量。 更高一些。 1.1基于文本的过滤 为度量视频的这种相关性，我们首先计算视频 真实网络视频库都拥有大量视频，且对任意给 巴，与：的时间差值t: 定的输入视频，库中通常仅有一小部分视频与其相 tg=abs(t,-t,） 关。为避免大量相关性计算耗费在无意义的视频 然后，令时间间隔△1为0.5个月，将v,经过文 上，提出如下所述的一种基于文本的过滤策略。令 本过滤后生成的视频集合？等间隔划分为n个不 T,={,,…,}为输入视频v。所在网页上标题和 相交的子集合： 标签中的关键字集合，则整个视频库Ω中所有满足 2=U42 (2) 式(1)的视频都将被滤除。 =0 △2g={:1tm∈0×△t,G+1)×△)] {u:∈21T,∩T=☑} (1) 则△2为与v,时间差落在U×41,(j+1)×4t)区 上述步骤假设：两个网络视频的周边文本中应 间的视频集合，式(2)中令n=7。考虑到与v,的时 有至少一个共同的关键字才值得进行相关度计算。 间差越近的视频应有更高的相关度权值，将△：的 实际情况中，这一假设对绝大部分的相关视频而言 权值指派为n-j,则视频在上传时间方面的相关度 都是成立的。通过这一操作，大量无关的网络视频 可通过式(3)计算： 得到了有效滤除。 令文本过滤后生成的视频集合为P,P中视 f(e,)=-D4g) 频虽然与输入视频有至少一个相同的关键字，但其 刘 中仍有大量无关或相关性不高的视频。接下来，我 U:∈A2 们将从社会特征、文本和视觉3个模态上进行相关 M(△2)= (3) 其他 度挖掘和分析。首先介绍社会特征方面的度量 式(3)实质上是依照特定的时间间隔对视频进 方法。 行划分，距离给定视频。上传时间越近则f值越 1.2社会特征的选择与相关性计算 高。 社会特征是网络视频区别于其他视频的特色之 1.2.2视频类别 一，它泛指人与视频各种交互行为产生的数据集合。 常见的视频类别包括财经类、政治类、综艺类 典型的社会特征包括视频上传时间、上传作者、视频 等。一般地，属于同一个类别的视频的相关度通常 类别、视频观看次数、视频评论等。 更高。例如：有3个视频中有两个是属于综艺类的， 从社交网络和多媒体的角度讲，社会特征是用 而另一个是属于政治类的。从视频类别的层面分 户与视频网页进行的交互以及多媒体服务人员为相 析，两个综艺类视频的相似性程度应该更高一些。 应的视频或者图像所做的对于视频或者图像内容的 对此，我们应用式(4)反映： 文字反映。社会特征包含的内容很多，例如用户上 (1, (channel,=channel,) 传视频的时间、视频的分类类别、视频的观看次数、 fhnm(U,:）= 0. 其他 视频的作者等。这些社会特征反映了用户个人的具 (4) 体信息，用户与用户的关联信息等。通过用户个人 式中channel,是视频u,所属的类别。式(4)反映了 内部的关联信息以及用户与用户之间的关联性社交 依照视频的类别对视频进行划分，落人到同一个类 网络，可以更容易发现相关性视频，进而更好地进行 别的视频则其fhm值为1。 视频的相似性度量。本文选用视频的上传时间（反 1.2.3上传作者 映视频的新颖性)、视频的分类类别、视频上传作者 每位用户都有自己的兴趣爱好，这一特点通常 3种特征进行社会特征融合的尝试。 在他/她上传的视频集合上可以得到一定体现。例对给定的网络视频，首先利用文本过滤模块，滤 除掉大量不相关的网络视频。 然后，分别通过社会 相关性度量、文本相关性度量和视觉相关性度量 ３ 个子模块，计算 ３ 个模态上的相关度。 最后，通过相 关性融合模块，进行融合，从而实现更准确相关性 度量。 １．１ 基于文本的过滤 真实网络视频库都拥有大量视频，且对任意给 定的输入视频，库中通常仅有一小部分视频与其相 关。 为避免大量相关性计算耗费在无意义的视频 上，提出如下所述的一种基于文本的过滤策略。 令 Ｔｑ ＝ ｔ ｑ １ ，ｔ ｑ ２ ，…，ｔ ｑ ｋ { }为输入视频 ｖｑ 所在网页上标题和 标签中的关键字集合，则整个视频库 Ω 中所有满足 式（１）的视频都将被滤除。 ｖｉ ∈ Ω ｜ Ｔｑ ∩ Ｔｉ { ＝ ∅} （１） 上述步骤假设：两个网络视频的周边文本中应 有至少一个共同的关键字才值得进行相关度计算。 实际情况中，这一假设对绝大部分的相关视频而言 都是成立的。 通过这一操作，大量无关的网络视频 得到了有效滤除。 令文本过滤后生成的视频集合为 Ω ｑ ，Ω ｑ 中视 频虽然与输入视频有至少一个相同的关键字，但其 中仍有大量无关或相关性不高的视频。 接下来，我 们将从社会特征、文本和视觉 ３ 个模态上进行相关 度挖掘和分析。 首先介绍社会特征方面的度量 方法。 １．２ 社会特征的选择与相关性计算 社会特征是网络视频区别于其他视频的特色之 一，它泛指人与视频各种交互行为产生的数据集合。 典型的社会特征包括视频上传时间、上传作者、视频 类别、视频观看次数、视频评论等。 从社交网络和多媒体的角度讲，社会特征是用 户与视频网页进行的交互以及多媒体服务人员为相 应的视频或者图像所做的对于视频或者图像内容的 文字反映。 社会特征包含的内容很多，例如用户上 传视频的时间、视频的分类类别、视频的观看次数、 视频的作者等。 这些社会特征反映了用户个人的具 体信息，用户与用户的关联信息等。 通过用户个人 内部的关联信息以及用户与用户之间的关联性社交 网络，可以更容易发现相关性视频，进而更好地进行 视频的相似性度量。 本文选用视频的上传时间（反 映视频的新颖性）、视频的分类类别、视频上传作者 ３ 种特征进行社会特征融合的尝试。 １．２．１ 上传时间 视频的上传时间是反映用户对于当前所关注视 频的时间在特定时间段上的描述。 例如：存在 ３ 个 视频 ｖｑ、ｖｉ 和 ｖｊ，如果 ｖｑ 与 ｖｉ 和 ｖｊ 之间的时间间隔 分别为 ３ 个月和 ３ 年，那么 ｖｑ 与 ｖｉ 之间的相似度会 更高一些。 为度量视频的这种相关性，我们首先计算视频 ｖｑ 与 ｖｉ 的时间差值 ｔ ｉｑ： ｔ ｉｑ ＝ ａｂｓ（ｔ ｖｑ － ｔ ｖｉ ） 然后，令时间间隔 Δｔ 为 ０．５ 个月，将 ｖｑ 经过文 本过滤后生成的视频集合 Ω ｑ 等间隔划分为 ｎ 个不 相交的子集合： Ω ｑ ＝ ∪ ｎ ｊ ＝ ０ ΔΩ ｑ ｊ （２） ΔΩ ｑ ｊ ＝ ｖｉ ｜ ｔ { ｉｑ ∈ [ｊ × Δｔ，（ｊ ＋ １） × Δｔ) ] 则 ΔΩ ｑ ｊ 为与 ｖｑ 时间差落在 [ｊ×Δｔ，（ｊ＋１）×Δｔ) 区 间的视频集合，式（２）中令 ｎ ＝ ７。 考虑到与 ｖｑ 的时 间差越近的视频应有更高的相关度权值，将 ΔΩ ｑ ｊ 的 权值指派为 ｎ－ｊ，则视频在上传时间方面的相关度 可通过式（３）计算： ｆ ｔｉｍｅ（ｖｑ，ｖｉ） ＝ （ｎ － ｊ） ∑ ｎ ｊ ＝ ０ ｊ Ｍ（ΔΩｊ） Ｍ（ΔΩｊ） ＝ １， ｖｉ ∈ ΔΩｊ ０， 其他 { （３） 式（３）实质上是依照特定的时间间隔对视频进 行划分，距离给定视频 ｖｑ 上传时间越近则 ｆ ｔｉｍｅ值越 高。 １．２．２ 视频类别 常见的视频类别包括财经类、政治类、综艺类 等。 一般地，属于同一个类别的视频的相关度通常 更高。 例如：有 ３ 个视频中有两个是属于综艺类的， 而另一个是属于政治类的。 从视频类别的层面分 析，两个综艺类视频的相似性程度应该更高一些。 对此，我们应用式（４）反映： ｆ ｃｈａｎｎｅｌ（ｖｑ，ｖｉ） ＝ １， （ｃｈａｎｎｅｌ ｑ ＝ ｃｈａｎｎｅｌ ｉ） ０， 其他 { （４） 式中ｃｈａｎｎｅｌ ｑ 是视频 ｖｑ 所属的类别。 式（４）反映了 依照视频的类别对视频进行划分，落入到同一个类 别的视频则其 ｆ ｃｈａｎｎｅｌ值为 １。 １．２．３ 上传作者 每位用户都有自己的兴趣爱好，这一特点通常 在他／ 她上传的视频集合上可以得到一定体现。 例 第 ３ 期 温有福，等：一种多模态融合的网络视频相关性度量方法 ·３６１·