第5期 叶果,等:电影中吸烟活动识别 .441· 电影中的吸烟活动进行识别并统计其在整个电影中 取得了比较好的效果4;一种自动提取电影中各种 的比例是解决上述问题的关键, 片段的方法最近也被提出[2];Laptev提出了一种基 此外,据中国疾病预防控制中心统计,从2002 于关键帧的方法在电影的人活动识别中得到了应 2010年,中国烟民的数量仍在3亿以上,居高不下. 用[5],并且他在实验中对于各种活动分类方法在电 吸烟已经深深危害了人们的身体健康.自动检测公 影中的识别效果进行了比较.但是以上这些方法 共场所以及特定人群的吸烟活动具有重要意义,这 只是对于点烟、吸烟这样的动态动作的检测,却无法 将为社会调查和电子健康评估提供一种便利. 识别“衔烟”这样的静态行为5,或者只能基于图 为了解决上述问题,本文提出了一种基于时空 片识别“衔烟”这样的静态行为6.而往往这2种动 头趣点(spatio-temporal interest point,STP)[4j和尺 作会同时交替出现在电影中,现有的方法并不能很 度不变特征变换(scale invariant feature transform, 好地识别出来,Laptev提出的最新组合算法在对电 SIFT)[)的纯贝叶斯互信息最大化组合分类器(na 影的8种常见动作进行分类,其中最好的一类正确 ive-Bayesian mutual information maximization,NB- 识别率为53.3%.目前并没有一种专门针对于电影 MM)进行吸烟活动识别.这种分类器不仅能识别出 中吸烟活动的分类器,而这也是本文的意义所在 “衔烟”这样的静态行为,而且具有很好的鲁棒性, 该方法很大程度上提高了电影中抽烟活动的正确识 2识别系统框架 别率 本文的吸烟活动检测系统包含了2个步骤:训 1相关工作与意义 练和识别,如图1所示.与传统的识别方法不同,本 文将识别电影中所有的吸烟活动.传统的方法只关 活动识别与分析如今在计算机视觉中是一个很 注点烟、吸烟这样短暂的动态动作,但是电影中会存 热门的研究方向,并且已经出现了很多解决其中问 在大量的“衔烟”这样的静态场景,加上电影中经常 题的方法.其中一种方法是通过运动轨迹来判断活 出现镜头切换、视角变化、光照变换、其他人活动等 动,这需要特定的目标跟踪[6],还有一种是通过身 多种因素的影响,只使用运动特性识别,其效果较 体的轮廓来判断人的活动,这需要去掉其背景「8] 差.本文将同时基于形状信息ST℉T和运动信息 很多新方法都在不断地被发掘出来9),现在的分 ST亚,使用纯贝叶斯互信息最大化组合分类器来进 类方法大多是通过局部时空特征来判定,并且使用 行识别.与添加关键帧的方法「51相比,本方法不需 的特征是形状和运动信息11] 要大量的人工标注和提取关键帧,而是自动计算每 最近也有与本文相近的一些研究,袁浚菘提出 帧,从而能够快速自动地检测和识别吸烟行为. 种纯贝叶斯互信息最大化的方法在活动识别方面 训 练 识 别 训练数据 测试数掘 SIFT特征提取 STIP特征提取 A-NBMIM SIFT特征提取 STIP特征提取 ≥1幀收烟图H N 判断为 其他 ≥20个SIP M-NBMIM 静态分类器 其他 抽州 其他 抽烟 最终结果 图1识别系统框架 Fig.1 The recognition system framework 本文吸烟活动识别算法流程如下:图1左边是本 成特征池,这些特征描述符按其活动类别分为“吸烟” 文的训练模块,首先,提取视频每一帧的ST特征点 活动与“其他”活动,最后基于前述的训练模块,进行 和视频段的时空兴趣点STP,然后,从训练数据中生 图1右子图的识别.在提取完视频的特征后,对于测