第2卷第2期 智能系统学报 Vol.2№2 2007年4月 CAAI Transactions on Intelligent Systems Apr.2007 基于镜头的鲁棒视频广告检测 张亮，朱振峰赵耀，卢汉清 (1.北京交通大学信息科学研究所，北京100044：2.中国科学院自动化所模式识别国家重点实验室，北京100080) 摘要：随着多媒体技术的发展，自动检测出数字视频节目里面嵌入的广告是很具挑战性的研究.然而，由于嵌入的 广告的制作方式和表现手法的多样性，很多自动检测模型的实验结果往往不甚理想.为了提高检测系统的鲁棒性， 提出了3阶段广告检测系统.首先，提出了基于区域特征重要性的镜头检测算法(RBFD,regionbased feature im- portance detection),实现视频播放中突变镜头和消隐镜头的检测，同时从每个镜头提取出一些统计特征用来标识镜 头.然后，利用$VM的优异分类特性实现镜头分类.最后为了能得到精确的广告视频段，利用广告视频在内容和时 间上的连续性来消除错分的镜头，然后将广告镜头整合成广告视频段.本系统在30个电视节目的片段上进行验证， 实验结果表明此广告检测系统具有实用性， 关键词：视频广告检测；镜头检测；支持向量机 中图分类号：TP391文献标识码：A文章编号：16734785(2007)02008306 Video commercial detection based on the robustness of shot ZHAN GLiang',ZHU Zhen-feng',ZHAO Yao',LU Hamqing? (1.Institute of Information Science,Beijing Jiaotong Univesity,Beijing 100044,China;2.Key Laboratory of Pattern Identifi- cation,Institute of Automation under the Chinese Academy of Sciences,Beijing 100080,China) Abstract:Automatic detection of commercials embedded in digital video materials is a challenging task with the development of retrieval of multimedia data.However,because of the diversity of production modes and expression methods of commercials,the performances of current detection systems are inadequate.In this paper,a three-phase system for commercial detection is suggested to improve robustness of the detec- tion system.Firstly,two Regionbased Feature Importance Detection schemes are proposed to detect cut shots and dissolved shots respectively and some statistical features are also extracted to mark shots.Sec- ondly,an SVM classifier is applied to classify these shots.Finally,in order to obtain commercial segments more accurately,a statistical comparison of time and content of commercials is used to eliminate falsely cut shots.Finally,these commercial shots are integrated into commercial video segment.Test results on 30 TV video segments show the effectiveness of the suggested system. Keywords:video commercial detection;shot detection;support vector machine 随着多媒体技术的发展，电视广告在日常生活以利用自动检测系统快速获得广告片段，从而可以 中扮演着日益重要的角色.广告自动检测系统以及节省他们分析广告制作技巧的时间.为了实现上述 相关技术的发展带来主要包括2个方面的应用.一 应用，人们提出了很多的广告检测策略.早期的研究 方面，对普通电视节目感兴趣的人可以在视频节目 通常集中在基于台标的检测1,2)和black/silent帧 里快速的定位广告并去除广告，从而可以提高视频 方面的检测).然而，由于现在的电视台在播放广告 节目的存储效率.另一方面，对于广告感兴趣的人可 的时候通常不隐去台标，导致基于台标的检测方法 失败，并且现在的台标也变得越来越复杂，检测起来 收稿日期：20061026. 十分不易.另外，在普通节目片段和广告片段转换时 基金项目：国家自然科学基金资助项目(60373028、90604032、 60602030):教育部博士点专项基金资助项目(20030004016). 并不总是存在black/silent帧，甚至black/silent帧 也可以为了某种剪辑需要随机的插入，这直接导致 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net第 2 卷第 2 期 智 能 系 统 学 报 Vol. 2 №. 2 2007 年 4 月 CAAI Transactions on Intelligent Systems Apr. 2007 基于镜头的鲁棒视频广告检测 张 亮1 ,朱振峰1 ,赵 耀1 ,卢汉清2 (1. 北京交通大学 信息科学研究所 ,北京 100044 ;2. 中国科学院 自动化所模式识别国家重点实验室 ,北京 100080) 摘 要 :随着多媒体技术的发展 ,自动检测出数字视频节目里面嵌入的广告是很具挑战性的研究. 然而 ,由于嵌入的 广告的制作方式和表现手法的多样性 ,很多自动检测模型的实验结果往往不甚理想. 为了提高检测系统的鲁棒性 , 提出了 3 阶段广告检测系统. 首先 ,提出了基于区域特征重要性的镜头检测算法 (RBFID , region2based feature im2 portance detection) ,实现视频播放中突变镜头和消隐镜头的检测 , 同时从每个镜头提取出一些统计特征用来标识镜 头. 然后 ,利用 SVM 的优异分类特性实现镜头分类. 最后为了能得到精确的广告视频段 ,利用广告视频在内容和时 间上的连续性来消除错分的镜头 ,然后将广告镜头整合成广告视频段. 本系统在 30 个电视节目的片段上进行验证 , 实验结果表明此广告检测系统具有实用性. 关键词 :视频广告检测 ;镜头检测 ;支持向量机 中图分类号 : TP391 文献标识码 :A 文章编号 :167324785 (2007) 0220083206 Video commercial detection based on the robustness of shot ZHAN G Liang 1 , ZHU Zhen2feng 1 , ZHAO Yao 1 , L U Han2qing 2 (1. Institute of Information Science , Beijing Jiaotong Univesity , Beijing 100044 ,China ; 2. Key Laboratory of Pattern Identifi2 cation , Institute of Automation under the Chinese Academy of Sciences , Beijing 100080 , China) Abstract :Automatic detection of commercials embedded in digital video materials is a challenging task wit h t he development of retrieval of multimedia data. However , because of the diversity of production modes and expression met hods of commercials , the performances of current detection systems are inadequate. In t his paper , a t hree2p hase system for commercial detection is suggested to improve robust ness of t he detec2 tion system. Firstly , two Region2based Feat ure Importance Detection schemes are proposed to detect cut shots and dissolved shots respectively and some statistical feat ures are also extracted to mark shots. Sec2 ondly , an SVM classifier is applied to classify t hese shots. Finally , in order to obtain commercial segments more accurately , a statistical comparison of time and content of commercials is used to eliminate falsely cut shots. Finally , these commercial shots are integrated into commercial video segment. Test results on 30 TV video segments show t he effectiveness of t he suggested system. Keywords :video commercial detection ; shot detection ; support vector machine 收稿日期 :2006210226. 基金项 目 : 国 家 自 然 科 学 基 金 资 助 项 目 ( 60373028、90604032、 随着多媒体技术的发展 ,电视广告在日常生活 中扮演着日益重要的角色. 广告自动检测系统以及 相关技术的发展带来主要包括 2 个方面的应用. 一 方面 ,对普通电视节目感兴趣的人可以在视频节目 里快速的定位广告并去除广告 ,从而可以提高视频 节目的存储效率. 另一方面 ,对于广告感兴趣的人 60602030) ;教育部博士点专项基金资助项目(20030004016) . 可 以利用自动检测系统快速获得广告片段 ,从而可以 节省他们分析广告制作技巧的时间. 为了实现上述 应用 ,人们提出了很多的广告检测策略. 早期的研究 通常集中在基于台标的检测[ 1 - 2 ] 和 black/ silent 帧 方面的检测[3 ] . 然而 ,由于现在的电视台在播放广告 的时候通常不隐去台标 ,导致基于台标的检测方法 失败 ,并且现在的台标也变得越来越复杂 ,检测起来 十分不易. 另外 ,在普通节目片段和广告片段转换时 并不总是存在 black/ silent 帧 ,甚至 black/ silent 帧 也可以为了某种剪辑需要随机的插入 ,这直接导致