第5卷第3期 智能系统学报 Vol.5 No.3 2010年6月 CAAI Transactions on Intelligent Systems Jun.2010 doi:10.3969/i.issn.1673-4785.2010.03.011 基于分块分类的智能视频监控背景更新算法 李庆武，蔡艳梅，徐立中 (河海大学计算机及信息工程学院，江苏常州213022) 摘要：针对传统智能视频监控中背景更新算法计算量大、对光照变化敏感等问题，提出了一种基于分块分类的背 景更新算法.首先，根据视频序列获得初始的背景参考图像，采用背景差分法得到当前帧的差分图像.然后，将差分 图像采用分块处理，按照子块的均值特征对各子块图像进行前景块和背景块的分类.最后，根据分类情况采用不同 的背景更新策略，实现背景的实时更新.该算法以块为操作对象，相比单个像素处理时的计算量更小，运算速度更 快.实验结果表明，新算法能较好地适应光照变化，背景更新效果较好。 关键词：图像处理：智能视频监控：背景差分；分块；背景更新 中图分类号：TP391.4;TN991.73文献标识码：A文章编号：16734785(2010)03-0272-05 Background update algorithm based on blocks classification for intelligent video surveillance LI Qing-wu,CAI Yan-mei,XU Li-zhong (College of Computer and Information Engineering,Hohai University,Changzhou 213022,China) Abstract:Background update algorithms have excessive calculation overhead and are sensitive to changes in light- ing.In order to solve these problems,a background update algorithm based on block classification was proposed. First,image differences were obtained by subtracting the incoming frame from the reference image.Then the image differences were divided into blocks of equal size.Each block was then classified as a background block or a fore- ground block according to the blocks'predominant features.Different updating strategies were then employed ac- cording to the classification of the block.In this way,real-time background updates were possible.This algorithm overcame problems of computational redundancy arising in other pixel-background models.Execution speed was im- proved because object-operations were performed on every block.Experimental results showed that this method well adapts to changes in illumination. Keywords:image processing;intelligent video surveillance;background subtraction;blocks classification;back- ground update 随着社会的发展，需要专人值守的传统的视频 在背景差分法中，首先要做的是背景图像的提 监控系统的各项缺点逐渐显露，如浪费人力资源、报 取和更新.这是背景差分法中的难点，也是决定运动 警不准确不及时甚至错过各种异常情况等等，已经 目标检测成功与否的关键.近年来，人们对如何实现 不能适应越来越高的监控要求.基于智能数字图像 背景图像的自适应更新提出了各种算法，如帧差 处理技术的无人值守智能视频监控系统4，便能 法]、卡尔曼滤波器方法、单高斯模型0、混合高 很好地解决上述缺点.视频监控系统实现智能化的 斯模型等.帧差法的背景更新时间长，需要资源 一个关键问题是如何准确地提取运动目标.目前常 多，在目标运动较快的情况下，会产生伪目标现象. 见的运动目标检测算法主要有3类：光流法、帧差法 卡尔曼滤波器方法在递归背景模型出现错误的情况 和背景差分法5刀，其中背景差分法是目前最常用 下，对后续背景估计会造成持续较长时间的影响.单 且简单有效的一种运动目标检测方法， 高斯模型无法适应复杂背景，且只适合光线变化非 收稿日期：200902-11. 常缓慢的情况.混合高斯模型及其改进算法虽然能 基金项目：国家自然科学基金资助项目(60972101)：国家“863”计划 适应复杂的动态背景更新，但是计算量复杂，建模参 资助项目(2007AA11Z227);江苏省社会发展科技项目 (BS2007058). 数难调，对全局亮度突变敏感.上述几种算法主要是 通信作者：李庆武.E-mail:li_gingwu@163.com 以逐个像素为操作对象，计算量较大，且不能很好地
第3期 李庆武，等：基于分块分类的智能视频监控背景更新算法 ·273· 适应光线的变化.本文提出一种将差分图像进行二 自身的特征和光照等其他信息，它们的均值和标准差 级分块分类处理的背景更新算法.首先将当前帧图 将会有比较大的差异.因此，可以将每个子块的均值 像与参考背景图像之间的差分图像进行初次分块， 和标准差作为度量特征来进行子块的分类， 按照子块均值和标准差特征将初级子块图像分为前 rBge背景块，if1g-ugl<Ti and oy<T2; 景块和背景块，这样可以先把大部分背景子块分离 lB。∈前景块， else. 出去.再对前景块进行二次分块，分为二级前景块和 (3) 背景块.最后对不同类别的子块图像采用不同的策 略来实现背景的实时更新.该算法以块为操作对象， 式中：4g为子块均值，山为参考均值，0：为子块标准 差，T、T2为分类阈值. 提高了运算速度，对全局光照变化具有较强的鲁棒 1.2分块大小的讨论 性，且原理简单，容易实现. 分块的大小应根据具体的视频图像大小和视频 1基于均值特征的分块分类 监控系统实际使用场合而定.一般来讲，子块尺寸越 1.1分块分类原理 大，背景更新速度越快，但会影响背景更新的精细程 背景更新不仅要很好地适应环境的变化，而且 度.当然，子快划分也不是越小越好.太小的子块划 还要考虑处理速度能否达到实时性要求.一般情况 分，不仅时间花费较长，而且过分注意细节问题，会 下，运动目标往往只占监控画面的小部分，完全采用 将目标中某些灰度与背景灰度接近的像素误判为背 逐点更新像素的策略，会产生大量的冗余计算，这里 景像素，从而导致后续差分处理中出现个别目标边 采用分块的思想，将相邻的多个像素进行整体处理， 缘缺失或目标内部孔洞的现象.因此要权衡算法的 可以有效地减少计算量，提高更新速度， 执行效率和更新效果来选择合适的分块大小， 实际应用中，运动目标往往只占监控画面的小 设待处理的视频图像大小为X×Y,当前帧的图 像为F,某预设的背景参考图像为B,则根据背景差 部分.如果对图像所有部分采用同样大小子块划分， 分法得到其差分图像F,为 会影响背景更新效果，本文提出一种二级分块的方 F,(x,y）=F(x,y)-B(x,y）, (1) 法，先将差分图像分为多个较大的初级子块，该初级 将该差分图像划分为多个互不重叠的M×N大小的 子块以包含600~800个像素为宜.这样可以先把大 子块，子块的数目为备×为)，则R可以用式(2) 部分背景子块分离出去，然后，将被判为前景的初级 子块再进行二次分块，利用二级小子块来处理细节， 所示的块形式表示： 提高精度，为尽量避免将目标部分灰度与背景相似 E.(x,）={8,11≤i≤着，1≤j≤}(2) 的点误判为背景点，该二级子块的大小也不宜过小， 一般包含40~60个像素比较合适， 式中：B为F,中的某个子块如果当前监控场景中 没有运动目标出现，则B均为背景块.若场景中存 2背景更新算法 在运动目标，则B可分为3种：背景块、前景块以及 2.1背景更新策略 兼有背景和前景像素的子块.本文将后两者均视为 采用上述分块分类的方法分离出背景块和前景块 前景块处理。 后，便可对这2类子块采取相应的背景更新策略， 设v(k,)为B,中某像素的灰度值，则该子块像 1)背景块：它是当前帧中未被目标遮挡的部 素灰度的均值g和标准差σ分别为 分，可使用当前帧图像中相应的子块对其进行实时 NN 更新. 儿g= 1∑(k,), M×N台台 2)前景块：该类子块包含纯目标块和兼有前景和 =√NA名 背景的子块为提高背景更新的精度，对这样的子块 (k,)-g)2 实行逐点扫描，按式(4)的规则判别该像素是属于背 一般情况下，在视频序列中，如果背景区域中没 景点或前景点.若v(k,)属于背景点，则用当前帧图 有物体移进或移出的变化时，其相邻像素灰度值之间 像F中的相应点像素值更新；若(k,)属于前景点， 具有某种稳定的关系.当环境光线发生变化时，背景 则用背景参考图像B中的相应点像素值恢复 中的像素将同时变亮或变暗2].差分图像F,中的背 「v(k,l)∈背景点，ifI(k,l)-gI<T: 景像素灰度值主要代表的是光线对当前帧各背景像 Lv(k,l)∈前景点， else. 素的影响幅度，因此，F,中的各背景像素灰度值之间 (4) 的差距将不会太大，各个背景子块的均值和标准 2.2算法的实现步骤 差σ，相差也是比较小的.而前景块由于融合了目标 本文提出的背景更新算法流程图如图1所示
.274. 智能系统学报 第5卷 分为如下6个主要步骤： 景块进行二级分块分类，得到二级前景块和二级背 1)首帧背景提取：采用文献[13]中介绍的连续 景块 多帧序列图像中取中值的方法提取首帧背景B。,并 5)各类子块处理：上述操作后得到3类子块， 将B。设为参考背景B. 分别是初级背景块、二级背景块和二级前景块.分别 2)获取差分图像：按照式(1)得到F 按照背景块与前景块的更新策略进行背景更新 3)初级分块分类：根据式(3)的规则对F,进行 6)当所有子块均按上述步骤完成后，背景更新 初级分块分类操作，得到初级背景块和初级前景块， 完毕.同时将更新后的背景作为参考背景进行存储. 4)二级分块分类：根据式(3)的规则对初级前 开始 视频序列 首帧背景提取 提取当前帧F 行储参考背景B F=F-B 初级背景央 F初级分块分类 初级前景块 二级分块分类] 二级背景块 二级前景块 更新背景块· 扫描子块 背 像索分类 防 景 点 点 更新背景像素 恢复背景像素 获得更新的 背景图像 结束 图1背景更新流程图 Fig.1 Background update flow chart 2.3算法中几个参数的自适应设置 为属于初级背景块的子块均值和标准差；α为更新 2.3.1参考均值g的自适应获取与更新 率，其值一般在(0.5,1)区间选取，本文α值均设定 参考均值心g是非常重要的参数，它是子块分类 为0.8. 的重要判断依据.对于实际的监控场景，运动目标一 2.3.2几个分类阔值的动态设置 般只占监控画面的小部分，划分的子块中大部分为 目前大多数算法中阈值都是采用手动选取一个 背景子块，而且监控视场四角同时出现运动目标的 固定的经验值，但此方法不适用具有光线变化等复 概率几乎为零.因此差分图像F,的四角子块中均值 杂情况的环境.针对这一问题，提出以2幅图像的光 最小的子块可以视为背景子块，并取其均值和标准 线变化来自适应改变阈值. 差作为初始参考均值4g和初始标准差σB· 差分图像的标准差和各子块标准差是反映监控 在对子块的处理过程中，为使g和σB体现更 场景变化信息的重要参数，且它们与均值有内在的 多的背景信息，对它们引入学习机制，即处理完每块 联系，因此可利用标准差来动态地设定各个阈值. 初级背景子块后，用式(5)、(6)分别更新背景参考 按照数理统计中的3σ准则4，可以认为背景 均值g和σg 块像素灰度的均值u:基本上都是在参考均值心g的 g=a×g+(1-a)g, (5) (-3σB,3σB)范围内变化，因此分类阈值T 0B=aX0B+(1-x)0 (6) 设为3σB 式中：g、σB分别为参考均值和标准差；、0分别 设σ，为差分图像F,的整体标准差，经实验表
第3期 李庆武，等：基于分块分类的智能视频监控背景更新算法 ·275· 明，分类阈值T2设为0.5σ，对室内室外监控环境均 模型更新效果进行了对比.室内视频背景更新处理 比较适用， 效果如图2所示，室外交通视频背景更新处理效果 3实验结果与分析 如图3所示，实验中，采集的视频图像大小均为 240×320.本文算法初级分块大小为24×32，二级 为了验证本文算法的有效性，分别在室内、室外 分块大小为6×8. 2种场景情况下进行了背景更新实验，并与单高斯 (a}) (b1) (c1) (d1) (e1) (a2) (b2) (c2) (d2) (e2) 图2室内视频背景更新处理效果图 Fig.2 Results of indoor video background update (al) (b1) (cl) (d1) (el) (a2) (b2) (c2) (d2) (e2) 图3室外交通视频背景更新处理效果图 Fig.3 Results of outdoor video background update 图2(al)、(a2)为室内视频序列中开灯前后的 判断前景块和背景块，对于前景块中的前景点保持 2帧图像.图2(b1)、(b2)分别是对这2帧图像采用 背景参考图像中的相应点像素值不变；所以，若当前 单高斯模型算法获得的背景更新图像.图2(c1)、 帧图像光照变化强烈，则参考背景图像与当前帧图 (c2)分别是图2(a1)与(b1)、图2(a2)与(b2)的差 像光照会存在明显差异，也正是因此，才保证了最终 分图像.图2(d1)、(2)分别是本文方法得到的背 差分图像较好的去背景效果 景更新图像.图2(el)、(e2)分别是本文方法得到的 为了进一步检验算法的有效性，图3给出了室 差分图像 外交通视频处理效果图.其中，图3(al)为上午10 从图2(b2)、(c2)中可以看出，高斯模型无法 点钟采集的视频图像中的某一帧，图3(a2)则是下 感应光线变强这一信息，导致差分图像中背景清晰 午4点半钟采集的视频图像中的某一帧.图3(b1)、 可见，加大了后续目标提取的困难.而本文算法得到 (b2)和图3(c1)、(2)分别是对这2帧采用单高斯 的背景更新图像图2(d1)、(d2)则能够适应光线的 模型背景更新算法获得的背景图像及其相应的差分 变化，背景更新效果明显，这从差分图像为图2 图像.图3(dl)、(d2)和图3(e1)、(e2)则分别是本 (el)、(e2)中也能体现出来，明显比单高斯模型算 文算法获得的背景图像及其相应的差分图像.从图 法获得的差分图像图2(c1)、(c2)效果要好. 3(c2)中可以看出背景干扰信息较多，这表明高斯 在本文方法中，背景更新首先采用二级分块来 模型获得的背景图像无法完全适应光线变暗的信
.276 智能系统学报 第5卷 息.而本文算法很好地感应到光线的变化，使得未被 [8]GUPTE S,MASOUD O,MARTIN R F K,et al.Detection 目标遮挡部分基本上得到了实时更新，其相应的差 and classification of vehicles[J].IEEE Transactions on In- 分图像图3(el)、(2)中背景于扰信息都非常少，有 telligent Transportation Systems,2002,3(1):37-47. 利于目标的提取. [9]MESSELODI S,MODENA C M,SEGATA N,et al.A Kal- man filter based background updating algorithm robust to 4 结束语 sharp illumination changes[J].Lecture Notes in Computer Science,2005,3167:163-170. 针对现有智能视频监控中背景更新算法计算量 [10们]曹丹华，邹伟，吴裕斌.基于背景图像差分的运动人体 大、对光照变化敏感等问题，提出一种将差分图像进 检测[J].光电工程，2007,34(6)：107-111. 行二级分块分类处理的背景更新算法.该算法以块 CAO Danhua,ZOU Wei,WU Yubin.Motion human de- 为操作对象，不需要背景先验知识，对全局光照变化 tection based on difference background image[J].Opto-E- 具有较强的鲁棒性，可准确地更新背景图像，为后续 lectronic Engineering,2007,34(6):107-111. 的运动目标识别与理解提供了良好的基础条件。 [11]STAUFFER C,GRIMSON W E L.Adaptive background mixture models for real-time tracking[C]//Proceedings of 参考文献： the IEEE Conference on Computer Vision and Patter Rec- ognition.Fort Collins,USA,1999,2(6):246-252. [1]VALERA M,VELASTIN S A.Intelligent distributed sur- veillance systems:a review[J].Image and Signal Process- [12]杨广林，孔令富。基于图像分块的背景模型构建方法 ing,2005,152(2):192-204. [J].机器人，2007,29(1)：29-34. 2]HARITAOGLU I,HARWOOD D.DAVIS L S.Real-time YANG Guanglin,KONG Lingfu.Approach of constructing surveillance of people and their activities[J].IEEE Trans- background model based on image blocks [J].Robot, 2007,29(1):29-34. actions on Pattern Analysis and Machine Intelligence,2000, [13]李强，赵亦工，高永晶.基于背景差分的动目标检测算 22(8):809-830. [3]杜友田，陈峰，徐文立，等.基于视觉的人的运动识别综 法研究[J].遥测遥控，2007,28(6)：68-72. 述[J].电子学报，2007,35(1)：84-90. LI Qiang,ZHAO Yigong,GAO Yongjing.Moving object DU Youtian,CHEN Feng,XU Wenli,et al.A survey on detection algorithm based on background difference[J]. the vision-based human motion recognition[J].Acta Elec- Joural of Telemetry,Tracking and Command,2007,28 (6):68-72. tronica Sinica,2007,35(1):84-90. [14]于学汉.概率论与数理统计教程[M].北京：兵器工业 [4]李庆武，许和英，陈小刚，等.基于USB2.0的智能视频 出版社，1996：149. 监控系统设计[J].光学技术，2007,33(S1):22-24. LI Qingwu,XU Heying,CHEN Xiaogang,et al.Design of 作者简介： intelligent video monitoring system based on USB 2.0[J]. 李庆武，男，1964年生，教授、博士 生导师、博士，中国光学学会光电技术 Optical Technique,2007,33(S1):22-24. [5]魏志强，纪筱鹏，冯业伟.基于自适应背景图像更新的运 专业委员会委员，中国电子学会高级会 员.主要研究方向为数字图像处理、智 动目标检测方法[J].电子学报，2005,33(12)：2261- 能信息系统.主持和参与国家和省部级 2264. 科技计划项目6项，发表学术论文50 WEI Zhiqiang,JI Xiaopeng,FENG Yewei.A moving object 余篇. detection method based on self-adaptive updating of back- ground[J].Acta Electronica Sinica,2005,33(12):2261- 2264. 蔡艳梅，女，1981年生，硕士研究 生，主要研究方向为数字图像处理， [6]张洪斌，黄山.面向实时交通视觉监控的综合动态背景 更新方法[J].计算机应用，2007,27(9)：2134-2136. ZHANG Hongbin,HUANG Shan.Comprehensive dynamic background updating method for real-time traffic visual sur- veillance[J].Journal of Computer Applications,2007,27 (9):2134-2136. 徐立中，男，1958年生，教授、博士生 [7]汪冲，席志红，肖春丽.基于背景差分的运动目标检测方 导师、博士，主要研究方向为信息获取与 法[J].应用科技，2009,36(10)：16-18,30. 处理、遥测遥控、智能信息系统.主持和完 WANG Chong,XI Zhihong,XIAO Chunli.Moving objects 成国家和省部级科技计划项目9项，发表 detection based on background subtraction method[J].Ap- plied Science and Technology,2009,36(10):16-18,30. 学术论文100余篇，出版专著4部