第6卷第5期 智能系统学报 Vol.6 No.5 2011年10月 CAAI Transactions on Intelligent Systems 0ct.2011 dbt:10.3969/j.issn.1673-4785.2011.05.008 电影中吸烟活动识别 叶果，程洪，赵洋 (电子科技大学自动化工程学院，四川成都611731) 摘要：电影中的活动识别是计算机视觉领域的一个难点问题.传统识别算法受到电影中镜头视角变化、场景变化 和光照变化等因素的影响，使得其对于真实场景活动识别的效果较差.针对上述问题，提出一种新颖的基于互信息 的组合识别方法.该方法以纯贝叶斯互信息最大化构造初始框架，针对”吸烟”这类极具代表性的动作，将活动的 SIFT信息和STP信息融合得到最优的组合分类器.该方法在电影《咖啡和烟》中进行了测试，实验结果表明，该方法 具有很好的鲁棒性，并且很大程度上提高了抽烟活动的识别率. 关键词：电影：吸烟活动识别：纯贝叶斯互信息最大化：计算机视觉：模式识别别 中图份类号：TP391.4文献标志码：：A文章编号：16734785(2011))050440-05 Smoking recognition in movies YE Guo,CHENG Hong,ZHAO Yang (School of Automation,University of Electronic Science and Technology of China,Chengdu611731,China) AbstractAction recognition in movies is a difficult problem in the computer vision domain.Traditional approaches have a bad recognition effect because they are subjected to viewpoint changes.scene changes,and illumination changes in real scenes.This paper presented a novel combined recognition approach,using mutual information to solve the problems mentioned above.This method builds the initial skeleton using naive-Bayesian mutual informa- tion maximization(NBMIM))and combines the shape information with the motion information to recognize smoking, which is a typical activity in movies.The proposed smoking recognition approach was evaluated in the film Coff nd Cigaretes.The results indicate that the proposed method is robust,and it significantly improves the recognition rate. Keywords:movies;smoking action recognition;naive-Bayesian mutual information maximization;computer vision; pattern recognition. 人活动识别是计算机视觉与模式识别的重要研 特定的固定场景，限定视角的变化等， 究领域，具有重要的学术价值和应用前景.自动活动 最近，广电总局办公厅发出《广电总局办公厅 识别和检索是数字媒体中的重要研究内容”.传 关于严格控制电影、电视剧中吸烟镜头的通知》，通 统的活动识别多集中在受限制环境中，而真实环境 知中指出，鉴于电影和电视剧在社会公众中的广泛 中的人体活动分析，由于电影、视频中有人的外形、 影响，国家有关部门、社会各界要求严格控制电影和 动作、姿势变化、镜头远近变化、视角变化、周围环境 电视剧中吸烟镜头的呼声越来越强烈，电影和电视 变化的影响，导致人活动识别是一个极具挑战的问 剧中过多的吸烟镜头，不符合我国政府控烟的基本 题13.为了减小这些因素的影响，先前人们的工作 立场，客观上有误导吸烟之嫌，容易对社会公众，特 使用了大量简化的措施，比如限制镜头的运动，采用 别是对未成年人产生不良影响.为避免电影和电视 剧中个别镜头误导社会公众吸烟，特别是让未成年 收稿日期：.2011-03-29. 基金项目：国家"973“计划资助项目(2011CB707000),:国家自然科学 人远离烟草，倡导健康生活方式，培育社会文明，要 基金资助项目(61075045)·：中央高校基本科研业务费专项 进一步控制电影和电视剧中的吸烟活动在整个电影 基金资助项目(ZYGX2009X013). 通信作者：叶果Emil:yeguo0112@gmai.com. 长度中的比例.对每年大量的电影、视频进行抽烟活 动长度的人工统计几乎不可能.如何快速自动地对
人活动识别是计算机视觉与模式识别的重要研 究领域,具有重要的学术价值和应用前景.自动活动 识别和检索是数字媒体中的重要研究内容".传 统的活动识别多集中在受限制环境中,而真实环境 中的人体活动分析,由于电影、视频中有人的外形、 动作、姿势变化、镜头远近变化、视角变化、周围环境 变化的影响,导致人活动识别是一个极具挑战的问 题13.为了减小这些因素的影响,先前人们的工作 使用了大量简化的措施,比如限制镜头的运动,采用 CAAI Transactions on Intelligent Systems Smoking recognition in movies 智 能 系 统 学 报 叶果,程洪,赵洋 (电子科技大学自动化工程学院,四川成都611731) 第6卷第5期 2011年10月 Vol.6 No.5 Oct.2011 Keywords: movies; smoking action recognition; naive-Bayesian mutual information maximization;computer vision; pattern recognition (School of Automation, University of Electronic Science and Technology of China,Chengdu 611731,China) AbstractAction recognition in movies is a difficult problem in the computer vision domain. Traditional approaches have a bad recognition effect because they are subjected to viewpoint changes,scene changes, and illumination changes in real scenes. This paper presented a novel combined recognition approach, using mutual information to solve the problems mentioned above. This method builds the initial skeleton using naive-Bayesian mutual information maximization(NBMIM) and combines the shape information with the motion information to recognize smoking, which is a typical activity in movies. The proposed smoking recognition approach was evaluated in the film Coff nd Cigaretes. The results indicate that the proposed method is robust,and it significantly improves the recognition rate. 特定的固定场景,限定视角的变化等 电影中吸烟活动识别 doi: 10.3969/j.issn.1673-4785.2011.05.008 基金项目: 国家"973"计划资助项目(2011CB707000) ;国家自然科学 收稿日期: 基金资助项目(61075045) ;中央高校基本科研业务费专项 基金资助项目(ZYGX2009X013) . 通信作者: 叶果.E-mail: yeguo0112@gmail.com. 2011-03-29 YE Guo, CHENG Hong,ZHAO Yang 关键词:电影;吸烟活动识别;纯贝叶斯互信息最大化;计算机视觉;模式识别 中图分类号: TP391.4 文献标志码: A 文章编号: 16734785(2011) 05-0440-05 最近,广电总局办公厅发出《广电总局办公厅 关于严格控制电影、电视剧中吸烟镜头的通知》,通 知中指出,鉴于电影和电视剧在社会公众中的广泛 影响,国家有关部门、社会各界要求严格控制电影和 电视剧中吸烟镜头的呼声越来越强烈,电影和电视 剧中过多的吸烟镜头,不符合我国政府控烟的基本 立场,客观上有误导吸烟之嫌,容易对社会公众,特 别是对未成年人产生不良影响.为避免电影和电视 剧中个别镜头误导社会公众吸烟,特别是让未成年 人远离烟草,倡导健康生活方式,培育社会文明,要 进一步控制电影和电视剧中的吸烟活动在整个电影 长度中的比例.对每年大量的电影、视频进行抽烟活 动长度的人工统计几乎不可能.如何快速自动地对 摘 要:电影中的活动识别是计算机视觉领域的一个难点问题.传统识别算法受到电影中镜头视角变化、场景变化 和光照变化等因素的影响,使得其对于真实场景活动识别的效果较差.针对上述问题,提出一种新颖的基于互信息 的组合识别方法.该方法以纯贝叶斯互信息最大化构造初始框架,针对"吸烟"这类极具代表性的动作,将活动的 SIFT信息和 STIP信息融合得到最优的组合分类器.该方法在电影《咖啡和烟》中进行了测试,实验结果表明,该方法 具有很好的鲁棒性,并且很大程度上提高了抽烟活动的识别率
第5期 叶果，等：电影中吸烟活动识别 .441· 电影中的吸烟活动进行识别并统计其在整个电影中 取得了比较好的效果4；一种自动提取电影中各种 的比例是解决上述问题的关键， 片段的方法最近也被提出[2]；Laptev提出了一种基 此外，据中国疾病预防控制中心统计，从2002 于关键帧的方法在电影的人活动识别中得到了应 2010年，中国烟民的数量仍在3亿以上，居高不下. 用[5]，并且他在实验中对于各种活动分类方法在电 吸烟已经深深危害了人们的身体健康.自动检测公 影中的识别效果进行了比较.但是以上这些方法 共场所以及特定人群的吸烟活动具有重要意义，这 只是对于点烟、吸烟这样的动态动作的检测，却无法 将为社会调查和电子健康评估提供一种便利. 识别“衔烟”这样的静态行为5，或者只能基于图 为了解决上述问题，本文提出了一种基于时空 片识别“衔烟”这样的静态行为6.而往往这2种动 头趣点(spatio-temporal interest point,STP)[4j和尺 作会同时交替出现在电影中，现有的方法并不能很 度不变特征变换(scale invariant feature transform, 好地识别出来，Laptev提出的最新组合算法在对电 SIFT)[)的纯贝叶斯互信息最大化组合分类器(na 影的8种常见动作进行分类，其中最好的一类正确 ive-Bayesian mutual information maximization,NB- 识别率为53.3%.目前并没有一种专门针对于电影 MM)进行吸烟活动识别.这种分类器不仅能识别出 中吸烟活动的分类器，而这也是本文的意义所在 “衔烟”这样的静态行为，而且具有很好的鲁棒性， 该方法很大程度上提高了电影中抽烟活动的正确识 2识别系统框架 别率 本文的吸烟活动检测系统包含了2个步骤：训 1相关工作与意义 练和识别，如图1所示.与传统的识别方法不同，本 文将识别电影中所有的吸烟活动.传统的方法只关 活动识别与分析如今在计算机视觉中是一个很 注点烟、吸烟这样短暂的动态动作，但是电影中会存 热门的研究方向，并且已经出现了很多解决其中问 在大量的“衔烟”这样的静态场景，加上电影中经常 题的方法.其中一种方法是通过运动轨迹来判断活 出现镜头切换、视角变化、光照变换、其他人活动等 动，这需要特定的目标跟踪[6]，还有一种是通过身 多种因素的影响，只使用运动特性识别，其效果较 体的轮廓来判断人的活动，这需要去掉其背景「8] 差.本文将同时基于形状信息ST℉T和运动信息 很多新方法都在不断地被发掘出来9)，现在的分 ST亚，使用纯贝叶斯互信息最大化组合分类器来进 类方法大多是通过局部时空特征来判定，并且使用 行识别.与添加关键帧的方法「51相比，本方法不需 的特征是形状和运动信息11] 要大量的人工标注和提取关键帧，而是自动计算每 最近也有与本文相近的一些研究，袁浚菘提出 帧，从而能够快速自动地检测和识别吸烟行为. 种纯贝叶斯互信息最大化的方法在活动识别方面 训 练 识 别 训练数据 测试数掘 SIFT特征提取 STIP特征提取 A-NBMIM SIFT特征提取 STIP特征提取 ≥1幀收烟图H N 判断为 其他 ≥20个SIP M-NBMIM 静态分类器 其他 抽州 其他 抽烟 最终结果 图1识别系统框架 Fig.1 The recognition system framework 本文吸烟活动识别算法流程如下：图1左边是本 成特征池，这些特征描述符按其活动类别分为“吸烟” 文的训练模块，首先，提取视频每一帧的ST特征点 活动与“其他”活动，最后基于前述的训练模块，进行 和视频段的时空兴趣点STP,然后，从训练数据中生 图1右子图的识别.在提取完视频的特征后，对于测
·442 智能系统学报 第6卷 试视频的吸烟活动的检测识别，主要分3步来实现： 梯度方向直方图计算每个关键点的主方向，使兴趣 1)使用ST信息和外形-纯贝叶斯互信息最大化分 点的描述具有旋转不变性.值得注意的是，一个兴趣 类器(A-NBMM)对视频段的每一帧进行分类.如果 点可能存在多个主方向，这在实际使用中提高了局 判断出视频段中含1帧以上的吸烟图片，就将其视频 部描述器的鲁棒性。 段保留；否则，认为该视频段为“其他”类.通过这一步 4)生成特征点描述矢量：根据前面得到的兴趣 可以降低后续步骤分类对“其他”活动分类错误的概 点的位置、最优尺度以及主方向，将该图像块划分成 率.2)使用ST皿特征信息和运动纯贝叶斯互信息最 4×4的子块，每个子块量化成8个方向.因此，得到 大化分类器(M-NBMM)对提取的视频段进行分类. 一个128维的局部特征描述器，并将其归一化成2- 考虑到在测试样本的特征点数过少时进行分类会出 范数为1的矢量，量化后的局部描述器具有亮度不 现偶然性误差较大的情况和计算的分数相同不能判 变性. 断的情况，这里点数少于20个的视频段将不予以计 3.1.2STP特征 算，从而在这一步，将会分出“吸烟”、“其他”、“不能 本文把动作表示成一个时空目标，并且用一个 判断”这3类动作.3)针对第2步中出现的“不能判 时空兴趣点集(STPs)4]来描述它.与在二维图像 断”，根据前面使用SIFT信息和A-NBMM的分类结 中用到的SIFT特征不同，STP特征是对三维视频 果，统计吸烟帧数占视频段的比例，若大于50%，就将 中不变特征的扩展.提取完STP特征之后，可以用 这一段视频定义为“吸烟”，反之定义为“其他”.按照 以下2类特征来描述它们1：梯度直方图(histogram 以上算法完成对所有测试样本的识别并统计出电影 of oriented gradient,HOG)和光流直方图(histogram 中的抽烟活动 ofow,H0F).其中梯度直方图是一个72维的矢 量，描述的是外形特征；光流直方图是一个90维的 3 吸烟活动识别算法 矢量，描述的是局部运动特征.由于STP特征对于 3.1特征描述 三维视频来说是局部不变的，所以这种特征对于动 3.1.1SIFT特征 作变化相对鲁棒，而这种变化往往是由于动作的速 度、尺度、光照和衣服等引起的.图2中下面2幅图 SFT特征是图像的局部不变特征，它非常适合 为活动分析中基于视频序列提取的STP特征点， 对不同图像或场景中的同一目标进行匹配，具有很 3.2NBMM方法 高的鲁棒性.它对图像的光线亮度变化、尺度缩放以 纯贝叶斯互信息最大化(naive-Bayesian mutual 及旋转都能保持不变，对视角变化和噪声的出现也 information maximization,NBMM)的方法4]在活动 保持一定程度的稳定性，适用于海量数据库中进行 识别方面取得了比较好的效果.在本文系统中将采 快速的实时匹配，在目标识别中取得了良好的应用. 用此种方法结合各种特征来形成组合分类器 图2中上面2幅图为活动分析中基于视频帧提取的 本文用时空目标来表现动作，提取视频序列的 SIFT点. STP特征，用V={L,}表示一个视频序列，其中每一 帧L,由收集的STPs构成，那么L,={d:{.然后用 Q={d}表示一个视频段的STP,C={1,2,…,c, …,N}代表种类的标记集合 基于纯贝叶斯假设和每个STP间相互独立的 (a)SIFT特征 假设可以得到一个视频段Q与一个特定类别c∈C 的互信息为 M(C=c,Q)=∑eoS(d, 先假定各类别出现概率相等，也就是P(C=)=, (b)STIP特征 S(d,)可以由式(1)表示： 图2活动识别中的SFT和STP点 Fig.2 The SIFT and STIP points in action recognition S(d)log- (1) 提取SIFT特征步骤如下[s] (d,IC≠c(N-1) 1+ p(d。IC=c) 1)检测潜在兴趣点及其尺度：首先建立图像金 通过高斯核与最近邻近似得到其中的似然率如式(2). 字塔，然后利用高斯微分(difference-of-Gaussian, p(d21C≠c) DOG)识别对尺度和方向不变的潜在兴趣点， p(dI C=c) 2)检测兴趣点：对上述产生的潜在兴趣点，根 据稳定性度量选择稳定的兴趣点， Aep2a(1d-云2-1d-0} 3)赋予兴趣点主方向：利用兴趣点邻域像素的 (2)
第5期 叶果，等：电影中吸烟活动识别 ·443 式中：A=T T-1 .下+={V}代表c类的正训练样 本，V,∈T+是c类样本的一个视频段，这里将正训 练样本的STPs数据表示为T+={d,};同样，负样 本可以表示为T,其包含所有的负STIPs, 因此，对于每一个与c类相关的STP,这里调整 其分数为 S(d)= log1+Ae-o四J(N-1) (a)训练样本 (凸测试样本 式中：r(d)=‖d-dmI2-‖d-d‖2，并且 图3实验中使用的训练样本与测试样本 “,(d)2立是d周围训练样本的纯度 Fig.3 Examples of training samples and testing sam- ples in our experiments 最后，本文可以通过计算每一视频段中STIP或 4.3实验结果及分析 者SIFT点的得分来判断其属于哪一类， 本文实验中参数为经验参数入=1，σ=2.6，可 以达到最优的实验效果，分别使用文献[4-5]提供的 4 实验结果及分析 方法来提取STP特征和SFT特征. 本文使用文献[1,15]中提供的视频段以及在 使用M-NBMIM方法进行分类实验，其结果如 《风声》等电影中截取的吸烟片段，这些活动就出现 表1所示.可以看出，只使用STP特征，系统的识别 在不同场景，被不同的人表现出来，并且从不同的角 率并不高.原因在于ST亚P不包含静态外形信息，所 度被拍摄记录.然后分别提取其视频段的STP和每 以“衔烟”这样的活动STIP点较少，或者没有特征 一帧的SFT特征点。 点的动作不能判断，并且会有较多的“其他”类被误 4.1训练数据 判为“吸烟”类，从而总体识别率不高 对于“吸烟”活动，采用的《风声》、《热血高校》 表1基于M-NBMIM的实验结果 《革命之路》电影中的吸烟片段作为训练样本，共110 Table 1 The results based on M-NBMIM 个小视频段.然后提取其ST亚P点特征，共89908个点， 标记 实验结果 同时，为避免大量重复的特征带来的计算浪费，每隔 类别 吸烟 其他 点少于20正确率/% 25帧提取其SFT特征，共37687个点. 吸烟 24 11 7 57.1 对于“其他”活动，采用《阿甘正传》、《蝴蝶效 其他 8 34 0 81.0 应》等电影中的片段，包含站立、坐下、握手、拥抱、 下面将按照本文提出的纯贝叶斯互信息最大化 坐起、打电话、走出车、接吻等多种主要动作以及其 组合分类器进行分类.先用SFT信息找出不含吸烟 他杂乱动作☐.使用了12个大视频片段，使提取点 片段的视频段，将其定义为“其他”.然后对剩下的 数相接近，以避免训练样本不均匀带来的影响，共提 视频段使用STP信息进行初步分类.由于吸烟这个 取了86810个STP点，以及38326个SIFT特征点. 动作的时间短暂性和拥有大量“衔烟”这样的静态 4.2测试数据 行为，因此出现了许多点数过少的情况.这种情况用 对于测试数据，使用电影《咖啡和烟》中的吸烟 于计算会导致大量偶然因素，使得结果不能真实稳 片段]以及《低俗小说》、《火星任务》等电影的非 定，所以实验中直接将此种情况提取出来，不使用 吸烟活动片段.由于电影《咖啡和烟》按场景与主 STP点计算分类.然后再使用点数少于20的视频 题分为了11个片段，相当于从11部电影中提取数 段包含的所有帧的SIFT特征进行计算，得到最终分 据，所以就只在这些数据中进行实验.测试数据共 类结果，结果如表2所示， 84个视频段，包含42个吸烟样本和42个其他活动 表2基于提出的组合分类器的实验结果 样本，分别提取其每一帧的SFT特征点和视频段的 Table 2 The results based on combined classifier STP特征. 实验结果 这些训练数据和测试数据使用的电影不相同， 标记 类别 所以均没有主题和背景上的重叠.训练与测试样本 吸烟 其他 正确率/% 示例如图3所示，图中上2行对应的为“吸烟”动 吸烟 29 13 69.0 作，下2行对应的为“非吸烟”动作，即“其他”类 其他 5 37 88.1 详细视频数据见网址www.uestcrobot.net/smokings. 从表2结果可以看出，在使用了ST特征后， 在第1步中，能够将“其他”这类动作的识别错误率
444 智能系统学报 第6卷 降低，在第3步中，能提高吸烟这种特定动作的识别 ceedings of CVPR:IEEE Conference on Computer Vision 正确率，这样系统对于吸烟活动的识别率也就得到 and Patterm Recognition.San Francisco,USA,2010::1959- 1966. 了大幅度的提升.· 10].CAO Liangliang,LU Zicheng,HUANG T.Cros-dataset 5结束语 action detection[C]//Proceedings of CVPR:IEEE Confer- ence on Computer Vision and Pattern Recognition.San 本文主要对真实电影中的人的抽烟行为进行识 Francisco,USA,2010::1998-2005. 别，与之前在特定场景中分析人的活动相比，这里是 [11]NATARAJAN P.NEVATIA R.View and scale invariant action recognition using multiview shape-flow models 在包括人物外表改变、场景变换、镜头视角变换和动 [C]//Proceedings of CVPR:IE Conference on Com- 作时间改变的真实场景中进行活动分析与识别.在 puter Vision and Pattern Recognition.Anchorage,USA. 真实场景的识别活动中，由于各种因素的影响，导致 2008::1-8. 现在很多在特定视频中识别效果比较好的方法在真 [12]VITALADEVUNI S N.KELOKUMPU V.DAVIS L s. Action recognition using ballistic dynamics[Cl//Proceed- 实电影中的识别效果很低.考虑到若只使用单独运 ings of CVPR:IEEE Conference on Computer Vision and 动信息或形状信息在真实场景中识别效果不高，因 Patten Recognition.Anchorage,USA,2008:1-8. 此采用了一种纯贝叶斯互信息最大化组合分类器作 [13]YILMAZ A,SHAH M.Actions sketch::a novel action rep- 为统一的计算框架，实验结果证明此方法相比于传 resentation[C]//Proceedings of CVPR::IEEE Conference on Computer Vision and Patten Recognition.San Diego, 统方法提高了识别率· USA,2005::984-989. 但是，使用视频中帧的信息的方法，对于包含物 [4]]YUAN Junsong,LIU Zicheng,WU Ying.Discriminative 品的运动此较有效，如吸烟、喝水，而对于诸如走路、 subvolume search for efficient action detection[C]//Pro- 慢跑、跑步这样动作相似的行为识别效果一般.如何 ceedings of CVPR:IEEE Conference on Computer Vision and Pattern Recognition.Miami,USA,2009:2442-2449. 将这种方法运用到其他所有动作以及如何减少运算 15]]LAPTEVI,PEREZ P.Retrieving actions in movies[C]// 时间都将是今后研究的重点方向. Proceedings ofICCV:IEEE International Conference on Computer Vision.Rio de Janeiro,Brazil,2007::18 参考文献： [16]YWU Pin,HSIEH JH,CHENG J C,et al.Human smok- [1]LAPTEV I,MARSZALEK M,SCHMID C,et al.Learning ing event detection using visual interaction clues[C]y/Pro- realistic human actions from movies C]//Proceedings of ceedings of ICPR:.IEEE International Conference on Pat- CVPR:IEEE Conference on Computer Vision and Pattern tern Recognition.Istanbul,Turkey,2010:4334-4347. Recognition.Anchorage,USA,2008::H& [2]GAIDON A.MARSZALEK M.SCHMID C.Mining visual 作者简介 actions from movies[C]]//Proceedings of BMVC:British 叶果，男，1990年生，本科生，主要 Machine Vision Conference.London,UK,2009::1-11. 研究方向为人的活动识别、计算机视觉 3WANG JZ,GEMAN D.LUO Jiebo,et al.Real-world im- 与模式识别. age annotation and retrieval:an introduction to the special section[J]].IEEE Transactions on Patten Analysis and Ma- chine Inelligence,2008,30(11)1:1873-1876. 4 LAPTEV I.On space-time interest points[J].Interational Journal of Computer Vision,2005,64(2/3)::107-123. [5]LOWE D G.Distinctive image features from scale-invariant 程洪，男，1973年生，教授，博士生 keypoints[J].International Journal of Computer Vision, 导师，博士，EEE和ACM会员，2006- 2004,60(2):91-110. 2009年在美国卡内基-梅隆大学计算 [6]ALI S.BASHARAT A.SHAH M.Chaotic invariants for 机学院进行博士后研究.主要研究方向 human action recognition[C]//Proceedings of ICCV:IEEE 为机器人、计算机视觉与模式识别、 International Conference on Computer Vision.Rio de Janei- ro,Brazil,2007:14-21. 机器学习.先后主持和参与包括国家“ [7]JNGUYEN N T.PHUNG D Q,VENKATESH S.et al. 973“计划项目、国家"863"计划项目，以 Leaming and detecting activities from movement trajectories 及重要企业横向项目等10余项科研项目.发表学术论文 using the hierarchical hidden Markov models [C]//Pro- 40余篇，出版教材和专著各1部. ceedings of CVPR:IEEE Conference on Computer Vision and Pattern Recognition.San Diego,USA,2005::955- 960. 赵洋，男，1988年生，硕士研究生，主要 [8]MOESLUND T B.HILTON A.KRUGER V.A survey of 研究方向为计算机视觉与模式识别 advances in vision-based human motion capture and analysis [I.Computer Vision and Image Understanding,2006, 1042②)：90-126. 9]DUAN Liin,XU Dong,TSANG IW,et al.Visual event ecognition in videos by learring from web data[C]//Pro-
降低,在第3步中,能提高吸烟这种特定动作的识别 正确率,这样系统对于吸烟活动的识别率也就得到 了大幅度的提升. [2] GAIDON A,MARSZALEK M,SCHMID C. Mining visual actions from movies[C] //Proceedings of BMVC: British Machine Vision Conference. London,UK,2009: 1-11. 444· 本文主要对真实电影中的人的抽烟行为进行识 别,与之前在特定场景中分析人的活动相比,这里是 在包括人物外表改变、场景变换、镜头视角变换和动 作时间改变的真实场景中进行活动分析与识别.在 真实场景的识别活动中,由于各种因素的影响,导致 现在很多在特定视频中识别效果比较好的方法在真 实电影中的识别效果很低.考虑到若只使用单独运 动信息或形状信息在真实场景中识别效果不高,因 此采用了一种纯贝叶斯互信息最大化组合分类器作 为统一的计算框架,实验结果证明此方法相比于传 统方法提高了识别率 [8] MOESLUND T B,HILTON A,KRUGER V. A survey of advances in vision-based human motion capture and analysis [J] . Computer Vision and Image Understanding,2006, 104(2) :90-126. 4 ] LAPTEV I. On space-time interest points[J]. Interational Journal of Computer Vision,2005,64(2/3) : 107-123. [14] YUAN Junsong,LIU Zicheng,WU Ying. Discriminative subvolume search for efficient action detection[C] //Proceedings of CVPR: IEEE Conference on Computer Vision and Pattern Recognition. Miami,USA,2009: 2442-2449. [11] NATARAJAN P,NEVATIA R. View and scale invariant action recognition using multiview shape-flow models [C]//Proceedings of CVPR: IE Conference on Computer Vision and Pattern Recognition. Anchorage,USA, 2008: 1-8 [1] LAPTEV I,MARSZALEK M,SCHMID C,et al. Learning realistic human actions from movies [ C] //Proceedings of CVPR: IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,USA,2008: 1-8. [5] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004,60(2) : 91-110. 赵洋,男,1988年生,硕士研究生,主要 研究方向为计算机视觉与模式识别 5结束语 参考文献: [13] YILMAZ A,SHAH M. Actions sketch: a novel action representation[ C] //Proceedings of CVPR: IEEE Conference on Computer Vision and Patten Recognition. San Diego, USA,2005: 984-989. [7] NGUYEN N T,PHUNG D Q,VENKATESH S,et al. Learning and detecting activities from movement trajectories using the hierarchical hidden Markov models [C] //Proceedings of CVPR: IEEE Conference on Computer Vision and Pattern Recognition. San Diego,USA,2005: 955- 960. [12] VITALADEVUNI S N,KELOKUMPU V,DAVIS L s. Action recognition using ballistic dynamics[ C]//Proceedings of CVPR: IEEE Conference on Computer Vision and Patten Recognition.Anchorage,USA,2008: 1-8. [6] ALI S,BASHARAT A, SHAH M. Chaotic invariants for human action recognition[ C] //Proceedings of ICCV: IEEE International Conference on Computer Vision. Rio de Janeiro,Brazil,2007: 14-21. 但是,使用视频中帧的信息的方法,对于包含物 品的运动比较有效,如吸烟、喝水,而对于诸如走路、 慢跑、跑步这样动作相似的行为识别效果一般.如何 将这种方法运用到其他所有动作以及如何减少运算 时间都将是今后研究的重点方向. 15] LAPTEVI,PEREZ P. Retrieving actions in movies[ C] / / Proceedings of ICCV: IEEE International Conference on Computer Vision. Rio de Janeiro,Brazil,2007: 1-8. 智 能 系 统 学 程洪,男,1973年生,教授,博士生 导师,博士,EEE和 ACM会员,2006- 2009年在美国卡内基-梅隆大学计算 机学院进行博士后研究.主要研究方向 为机器人、计算机视觉与模式识别、 机器学习.先后主持和参与包括国家" 973"计划项目、国家"863"计划项目,以 及重要企业横向项目等10余项科研项目.发表学术论文 40余篇,出版教材和专著各1部. 报 第6卷 叶果,男,1990年生,本科生,主要 研究方向为人的活动识别、计算机视觉 与模式识别. ceedings of CVPR: IEEE Conference on Computer Vision and Patterm Recognition. San Francisco,USA,2010: 1959- 1966. 10] CAO Liangliang,LU Zicheng,HUANG T. Cros-dataset action detection[ C] //Proceedings of CVPR: IEEE Conference on Computer Vision and Pattern Recognition. San Francisco,USA,2010: 1998-2005. [3] WANG JZ,GEMAN D,LUO Jiebo,et al. Real-world image annotation and retrieval: an introduction to the special section[J] .IEEE Transactions on Patten Analysis and Machine Inelligence,2008,30(11) : 1873-1876. [9] DUAN Liin,XU Dong,TSANG IW,et al. Visual event ecognition in videos by learring from web data[C] //Pro- 作者简介: 16] WU Pin,HSIEH JH,CHENG J C,et al. Human smoking event detection using visual interaction clues[C] //Proceedings of ICPR: IEEE International Conference on Pattern Recognition. Istanbul,Turkey,2010: 4334-4347