·84 智能系统学报 第2卷 基于black/silent帧检测方法的失败.为了避免上 频通常包含更多的镜头变换以吸引观众.此外广告 述问题，人们又提出了基于镜头的检测方法4).此 视频还显示独特的场景转换特征，通常包括切变镜 方法通过从镜头中提取一些能够表示广告片段的特 头和消隐镜头的转换.因此在广告视频和普通视频 征，然后利用这些特征将电视镜头分成普通节目镜 里面的镜头变化的方式和频率是明显不同的 头和广告镜头但是这些方法通常只是简单的分类， 1.1切变镜头检测 而没有考虑如何消除错分广告镜头的影响，同时也 切变镜头是视频分析中非常有效的特征，它在 没有考虑如何合并广告镜头得到广告片段的问题. 视频序列中产生一个视频内容上的中断.和普通的 而且，现有的很多方法都没有考虑广告内容的一致 节目视频相比，广告视频中出现切变镜头的频率更 性，从而很难改善检测的效果.另外，上述方法即使 高.由于在大部分的场景转换的过程中都是体现切 在检测切变镜头方面取得很好的效果，但当检测消 变镜头的特征，所以一般用检测效果很好的颜色或 隐或者淡入淡出镜头时就会遇到问题，除了上述的 灰度直方图差值检测切变镜头”.但是这些检测方 检测方法，基于数据库的广告检测方法也被采用61， 法通常忽略了广告视频的制作技巧.也就是说，在广 数据库存储预先定义的广告视频段的特征，然后利 告视频段中，比较重要的信息通常都位于视频帧的 用此数据库识别嵌入在电视节目里面的广告段.然 中间部分.因此，如果连续2帧中间区域的内容发生 而，此方法的缺点是必需一个足够大的数据库来存 突然变化而同时背景却保持不变的话，应该认为它 储已知的广告特征，因此不能检测出数据库中预先 很有可能发生了切变.基于这种理论，提出了基于区 没有存储的广告视频段」 域的切变镜头检测方法 为了避免上述问题，提出了一种3阶段的鲁棒 如图2所示，每一帧首先被分成多个区域，用以 性的广告检测系统.首先，本文提出了基于区域的区 描述广告制作中的表现手法，即在广告视频帧中不 域特征重要性的镜头检测算法(regionbased fea- 同的区域在传递信息过程中的重要性不同.H, ture importance detection,RBFD),实现突变和消 R,m表示在第m帧中的第i个区域的B阶的直方 隐镜头的检测，进而实现对电视节目的镜头分割；同 图，j表示相应的阶数.因此，连续2帧间第m帧和 时提取出一些有效的镜头统计特征.然后，利用 第m-1帧)场景切换的帧差FDm的计算如下： SVM实现镜头分类，把它们分成普通节目镜头和广 FD= 告镜头.最后通过引入后处理机制，实现对错分镜头 的纠错，并将广告镜头整合成广告视频段.实验表明 ,nL-HuaDLe max H(j,R:,m)H(j.R,m-1) 本文提出的广告检测系统能够很准确地检测出广告 (1) 视频段.图1是所提出的广告检测系统的工作流程。 式中：w:表示归一化的权值，用来标识相应区域i 的重要性，并且根据区域重要性的不同，权值大小排 视频数据 序如下：wm<wm1<<w:<w1,n表示区域标识. 镜头检测 在系统实际运行中，本文采用3区域的划分，并有 镜头分类 w1=0.5,p2=0.3,w3=0.2 普通节目镜头 广告镜头 结束 精确定位合并 广告序列 结束 图1视频广告检测系统流程图 Fig.I The general diagram of the proposed 图2基于重要区域的切变镜头检测算法示意图 commercial detection system Fig.2 Sketch map of hard cut shots detection based 1广告场景中的镜头检测 on important regions 为在较短时间内传递尽可能多的信息，广告视 假设一段电视节目里面的大部分场景的切换都 是平滑的，也就是说大部分的FDm值（除了发生切 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net基于 black/ silent 帧检测方法的失败. 为了避免上 述问题 ,人们又提出了基于镜头的检测方法[4 - 5 ] . 此 方法通过从镜头中提取一些能够表示广告片段的特 征 ,然后利用这些特征将电视镜头分成普通节目镜 头和广告镜头. 但是这些方法通常只是简单的分类 , 而没有考虑如何消除错分广告镜头的影响 ,同时也 没有考虑如何合并广告镜头得到广告片段的问题. 而且 ,现有的很多方法都没有考虑广告内容的一致 性 ,从而很难改善检测的效果. 另外 ,上述方法即使 在检测切变镜头方面取得很好的效果 ,但当检测消 隐或者淡入淡出镜头时就会遇到问题. 除了上述的 检测方法 ,基于数据库的广告检测方法也被采用[6 ] , 数据库存储预先定义的广告视频段的特征 ,然后利 用此数据库识别嵌入在电视节目里面的广告段. 然 而 ,此方法的缺点是必需一个足够大的数据库来存 储已知的广告特征 ,因此不能检测出数据库中预先 没有存储的广告视频段. 为了避免上述问题 ,提出了一种 3 阶段的鲁棒 性的广告检测系统. 首先 ,本文提出了基于区域的区 域特征重要性的镜头检测算法 (region2based fea2 t ure importance detection ,RBFID) ,实现突变和消 隐镜头的检测 ,进而实现对电视节目的镜头分割 ;同 时提取出一些有效的镜头统计特征. 然后 ,利用 SVM 实现镜头分类 ,把它们分成普通节目镜头和广 告镜头. 最后通过引入后处理机制 ,实现对错分镜头 的纠错 ,并将广告镜头整合成广告视频段. 实验表明 本文提出的广告检测系统能够很准确地检测出广告 视频段. 图 1 是所提出的广告检测系统的工作流程. 图 1 视频广告检测系统流程图 Fig. 1 The general diagram of the proposed commercial detection system 1 广告场景中的镜头检测 为在较短时间内传递尽可能多的信息 ,广告视 频通常包含更多的镜头变换以吸引观众. 此外广告 视频还显示独特的场景转换特征 ,通常包括切变镜 头和消隐镜头的转换. 因此在广告视频和普通视频 里面的镜头变化的方式和频率是明显不同的. 1. 1 切变镜头检测 切变镜头是视频分析中非常有效的特征 ,它在 视频序列中产生一个视频内容上的中断. 和普通的 节目视频相比 ,广告视频中出现切变镜头的频率更 高. 由于在大部分的场景转换的过程中都是体现切 变镜头的特征 ,所以一般用检测效果很好的颜色或 灰度直方图差值检测切变镜头[7 ] . 但是这些检测方 法通常忽略了广告视频的制作技巧. 也就是说 ,在广 告视频段中 ,比较重要的信息通常都位于视频帧的 中间部分. 因此 ,如果连续 2 帧中间区域的内容发生 突然变化而同时背景却保持不变的话 ,应该认为它 很有可能发生了切变. 基于这种理论 ,提出了基于区 域的切变镜头检测方法. 如图 2 所示 ,每一帧首先被分成多个区域 ,用以 描述广告制作中的表现手法 ,即在广告视频帧中不 同的区域在传递信息过程中的重要性不同. H ( j , Ri , m) 表示在第 m 帧中的第 i 个区域的 B 阶的直方 图 , j 表示相应的阶数. 因此 ,连续 2 帧间(第 m 帧和 第 m - 1 帧) 场景切换的帧差 FDm 的计算如下 : FDm = ∑ n i = 1 wi ∑ B j = 0 | H ( j , Ri , m) - H ( j , Ri , m - 1) | 2 max{ H ( j , Ri , m) , H ( j , Ri , m - 1) } . (1) 式中 : wi 表示归一化的权值 ,用来标识相应区域 i 的重要性 ,并且根据区域重要性的不同 ,权值大小排 序如下 :wn < wn - 1 < …< wi < w1 , n 表示区域标识. 在系统实际运行中 ,本文采用 3 区域的划分 ,并有 w1 = 0. 5 , w2 = 0. 3 , w3 = 0. 2. 图 2 基于重要区域的切变镜头检测算法示意图 Fig. 2 Sketch map of hard cut shots detection based on important regions 假设一段电视节目里面的大部分场景的切换都 是平滑的 ,也就是说大部分的 FDm 值 (除了发生切 · 48 · 智 能 系 统 学 报 第 2 卷