第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992tis.201912030 网络出版地址:https:/ns.cnki.net/kcms/detail/23.1538.TP.20200714.1417.018.html 利用混合高斯和拓扑结构的人体“鬼影”抑制算法 许国梁,周航,袁良友 (北京交通大学电子信息工程学院,北京100044) 摘要:若在建模时存在目标,部分目标像素会进入背景模型,会在检测时产生“鬼影”。为了有效抑制“鬼影” 提出一种利用混合高斯和拓扑结构(Gaussian mixture model and topological structure,.GMMT)的人体“鬼影”抑制 算法。算法分为两个阶段,背景建模阶段采用双通道建模,通道一利用混合高斯模型进行预检测,接着利用拓 扑结构将分散的人体目标连接获得完整的目标并取其外接矩形,然后将矩形外的像素加入背景模型,经过多帧 的建模得到空背景;通道二使用多帧平均法计算背景模型。通过设置建模帧数的阈值T选择建模方式,若建模 帧数小于T则使用通道一建模,否则使用双通道联合建模。目标检测阶段利用改进的背景差分法实现人体分 割并进一步消除“鬼影”。经过测试,GMMT在建模阶段存在目标的情况下可有效地抑制“鬼影”。 关键词:人体检测:背景建模;“鬼影”;混合高斯模型;网状拓扑;均值漂移;背景差分法:像素邻域 中图分类号:TP391文献标志码:A文章编号:1673-4785(2021)02-0294-09 中文引用格式:许国梁,周航,袁良友.利用混合高斯和拓扑结构的人体“鬼影”抑制算法J儿.智能系统学报,2021,16(2): 294-302. 英文引用格式:XU Guoliang,ZHOU Hang,YUAN Liangyou..Human“ghost”suppression algorithm using Gaussian mixture mod- el and topology[J].CAAI transactions on intelligent systems,2021,16(2):294-302. Human“ghost'”suppression algorithm using Gaussian mixture model and topology XU Guoliang,ZHOU Hang,YUAN Liangyou (School of Electronic and Information engineering,Beijing Jiaotong University,Beijing 100044,China) Abstract:When modeling,if a target is present,some of its pixels will appear in the background model,which pro- duces a“ghost'”during detection.To effectively suppress this“ghost,.”we propose a human“ghost”suppression al- gorithm that uses a Gaussian mixture model and a topological structure(GMMT).The proposed algorithm contains two main stages:a background modeling stage and a target detection stage.In the background modeling stage,the GMMT algorithm adopts double-channel modeling.A Gaussian mixture model is used in channel 1 for pre-detection.Then, scattered human objects are connected by a topological structure to obtain the complete target and its bounding box. Pixels outside the bounding box are added to the background model,and the background is obtained by multi-frame modeling.The multi-frame averaging method is used in channel 2 to calculate the background model.The modeling method is selected by setting the threshold T of the modeling frames.Channel I modeling is used when the modeling frame number is less than T,otherwise double-channel joint modeling is used.In the target detection stage,the im- proved background difference method is used to realize segmentation of the human body and eliminate the"ghost"dur- ing modeling.Test results prove that the GMMT algorithm can effectively suppress a"ghost"if a target is present when modeling Keywords:human body detection;background modeling;"ghost";Gaussian mixture model;mesh topology; Meanshift:background difference method:pixel neighborhood 收稿日期:2019-12-24.网络出版日期:2020-07-14. 基金项目:国家自然科学基金面上项目(61872027,61573057): 监控视频中的人体检测和跟踪一直是研究的 北京交通大学“北京交通大学一中建电子智能交通联 合实验基地建设”项目. 热点,在人工智能、安全监控和人机交互等领域 通信作者:周航.E-mail:hangzhou@bjtu.edu.cn 有广泛的应用。通过建立背景模型,利用背景
DOI: 10.11992/tis.201912030 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20200714.1417.018.html 利用混合高斯和拓扑结构的人体“鬼影”抑制算法 许国梁,周航,袁良友 (北京交通大学 电子信息工程学院,北京 100044) 摘 要:若在建模时存在目标,部分目标像素会进入背景模型,会在检测时产生“鬼影”。为了有效抑制“鬼影”, 提出一种利用混合高斯和拓扑结构 (Gaussian mixture model and topological structure,GMMT) 的人体“鬼影”抑制 算法。算法分为两个阶段,背景建模阶段采用双通道建模,通道一利用混合高斯模型进行预检测,接着利用拓 扑结构将分散的人体目标连接获得完整的目标并取其外接矩形,然后将矩形外的像素加入背景模型,经过多帧 的建模得到空背景;通道二使用多帧平均法计算背景模型。通过设置建模帧数的阈值 T 选择建模方式,若建模 帧数小于 T 则使用通道一建模,否则使用双通道联合建模。目标检测阶段利用改进的背景差分法实现人体分 割并进一步消除 “鬼影”。经过测试,GMMT 在建模阶段存在目标的情况下可有效地抑制 “鬼影”。 关键词:人体检测;背景建模;“鬼影”;混合高斯模型;网状拓扑;均值漂移;背景差分法;像素邻域 中图分类号:TP391 文献标志码:A 文章编号:1673−4785(2021)02−0294−09 中文引用格式:许国梁, 周航, 袁良友. 利用混合高斯和拓扑结构的人体“鬼影”抑制算法 [J]. 智能系统学报, 2021, 16(2): 294–302. 英文引用格式:XU Guoliang, ZHOU Hang, YUAN Liangyou. Human “ghost” suppression algorithm using Gaussian mixture model and topology[J]. CAAI transactions on intelligent systems, 2021, 16(2): 294–302. Human “ghost” suppression algorithm using Gaussian mixture model and topology XU Guoliang,ZHOU Hang,YUAN Liangyou (School of Electronic and Information engineering, Beijing Jiaotong University, Beijing 100044, China) Abstract: When modeling, if a target is present, some of its pixels will appear in the background model, which produces a “ghost” during detection. To effectively suppress this “ghost,” we propose a human “ghost” suppression algorithm that uses a Gaussian mixture model and a topological structure (GMMT). The proposed algorithm contains two main stages: a background modeling stage and a target detection stage. In the background modeling stage, the GMMT algorithm adopts double-channel modeling. A Gaussian mixture model is used in channel 1 for pre-detection. Then, scattered human objects are connected by a topological structure to obtain the complete target and its bounding box. Pixels outside the bounding box are added to the background model, and the background is obtained by multi-frame modeling. The multi-frame averaging method is used in channel 2 to calculate the background model. The modeling method is selected by setting the threshold T of the modeling frames. Channel 1 modeling is used when the modeling frame number is less than T, otherwise double-channel joint modeling is used. In the target detection stage, the improved background difference method is used to realize segmentation of the human body and eliminate the “ghost” during modeling. Test results prove that the GMMT algorithm can effectively suppress a “ghost” if a target is present when modeling. Keywords: human body detection; background modeling; “ghost”; Gaussian mixture model; mesh topology; Meanshift; background difference method; pixel neighborhood 监控视频中的人体检测和跟踪一直是研究的 热点,在人工智能、安全监控和人机交互等领域 有广泛的应用[1-4]。通过建立背景模型,利用背景 收稿日期:2019−12−24. 网络出版日期:2020−07−14. 基金项目:国家自然科学基金面上项目 (61872027, 61573057); 北京交通大学“北京交通大学−中建电子智能交通联 合实验基地建设”项目. 通信作者:周航. E-mail:hangzhou@bjtu.edu.cn. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021
第2期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·295· 差分法检测目标具有检测速度快、准确度高和易 割,有效地抑制了“鬼影”。 实现的特点,得到了广泛的研究。但缺点是会 因为背景模型中包含目标像素而在检测中产生 1算法概述 “鬼影”。背景差分法包括GMM(Gaussian mixture 本文提出的GMMT算法需要先进行背景建 model)、Vibe、CodeBook、Color(基于颜色信息的 模,然后利用背景模型实现目标检测。在背景建 背景建模检测方法)等算法o-i。Shahbaz等将 模阶段采用双通道建模方式,通道一利用混合高 检测算法分为了三类,并利用大型真实标准数据 斯模型进行预检测,接着利用Meanshift确定分散 集对算法进行定量和定性比较。Wren等m首次 区域之间的联系,在区域之间生成网状拓扑结构, 提出使用单高斯模型对简单背景建模,对单一背 形成统一的整体并计算整体区域的外接矩形。最 景有较好的效果。为了提高算法的鲁棒性,算法需 要适应在复杂背景情况下的建模。Stauffer等 后将矩形外的像素加入背景模型中,利用多帧平 均法计算空背景,通道二保留背景建模阶段的输 提出利用K个高斯分布对背景的每一个像素建模, 实现了对汽车和行人的分类和跟踪。Zivkovic等四 入帧,直接利用多帧平均法计算空背景。通过设 提出将混合高斯模型中的K值根据背景的复杂 置建模帧数阈值T判断建模方式,若建模帧数小 度自适应调整,提高了算法的执行效率。以上提 于T,则使用通道一建模,否则使用双通道联合建 出的高斯背景建模算法建模速度快,对运动目标 模。在目标检测阶段,利用改进的背景差分法考 有较好的检测效果,但是对缓慢运动或静止的日 虑邻域像素的相关性检测目标并且进一步消除背 标会检测不完整。Kim等2利用CodeBook算法 景建模阶段由于抑制不彻底而遗留的“鬼影”。 对动态目标进行检测,算法在室内外的效果都比 GMMT算法通过这两个阶段的处理,可以有效地 较好并且适应小范围周期运动的背景。Barnich 抑制“鬼影”,实现目标分割。图1中为GMMT的 等22提出一种有效的VBe目标检测算法,该算 框图结构。 法实现简单并且运行效率高。针对VB不足,国 内外学者也对其进行了许多改进4。文献24利 拓扑结 矩形 用多帧平均法改进Vibe的建模过程并给出自适 输人道 混合 构得到 判断每 应半径阈值的计算方法。文献25]通过利用时空 图像 高斯 目标完 素加 个像素 计算 预检 整区域] 位置都 梯度改进ViBe算法。文献[26]通过灰度空间信 景 测 的外接 取到 矩形 型 背景 息构建像素生命长度字典改进ViBe。文献21-26] 算法虽然可以检测出较为完整的目标,但是依然 无法准确剔除目标像素,会使检测结果可能产生 “鬼影”。现阶段抑制“鬼影”的方法分为两类 1)在建模阶段通过剔除目标像素去除“鬼影”; 2)目标检测阶段将“鬼影”检测为背景并且更新 进背景内。Codebook通过过滤初始化码本中的 建模 改进背 输出分 目标像素削弱“鬼影”的影响。ViBe采用首帧建 通道2 多帧平 帧数 通道1 景差分 割图像 均法计 是否大 法实现 模思想,若首帧存在目标,则会产生严重“鬼 算背景 于设定 目标分 铜值 影”。文献[24-26产生的“鬼影”都需要利用背景 模型的更新消除。St-Charles PL等2-2利用背景 通道1和通道2 的快速更新去除“鬼影”,但过快的更新容易将目 联合建模 标更新进背景内,会使目标检测不完整。由上述 算法看出,在建模阶段有效地从背景模型中剔除目 图1GMMT算法框图 标像素是一个关键问题,否则“鬼影”会影响检测 Fig.1 Block diagram of GMMT 结果。 2背景建模 为了有效解决建模阶段包含目标像素造成的 “鬼影”问题,本文结合混合高斯模型和拓扑结构 首先,对人体静止、缓慢运动和快速运动加 提出GMMT算法,在背景建模阶段剔除目标像 以定义。本文中人体静止是指人体不走动,但是 素,在目标检测阶段利用邻域相关性实现目标分 上肢或者下肢在摆动角区间[10°,90]范围内摆
差分法检测目标具有检测速度快、准确度高和易 实现的特点,得到了广泛的研究[5-9]。但缺点是会 因为背景模型中包含目标像素而在检测中产生 “鬼影”。背景差分法包括 GMM (Gaussian mixture model)、Vibe、CodeBook、Color (基于颜色信息的 背景建模检测方法) 等算法[10-15]。Shahbaz 等 [16] 将 检测算法分为了三类,并利用大型真实标准数据 集对算法进行定量和定性比较。Wren 等 [17] 首次 提出使用单高斯模型对简单背景建模,对单一背 景有较好的效果。为了提高算法的鲁棒性,算法需 要适应在复杂背景情况下的建模[18]。Stauffer 等 [19] 提出利用 K 个高斯分布对背景的每一个像素建模, 实现了对汽车和行人的分类和跟踪。Zivkovic 等 [20] 提出将混合高斯模型中的 K 值根据背景的复杂 度自适应调整,提高了算法的执行效率。以上提 出的高斯背景建模算法建模速度快,对运动目标 有较好的检测效果,但是对缓慢运动或静止的目 标会检测不完整。Kim 等 [21]利用 CodeBook 算法 对动态目标进行检测,算法在室内外的效果都比 较好并且适应小范围周期运动的背景。Barnich 等 [22-23] 提出一种有效的 ViBe 目标检测算法,该算 法实现简单并且运行效率高。针对 ViBe 不足,国 内外学者也对其进行了许多改进[24-26]。文献 [24] 利 用多帧平均法改进 Vibe 的建模过程并给出自适 应半径阈值的计算方法。文献 [25] 通过利用时空 梯度改进 ViBe 算法。文献 [26] 通过灰度空间信 息构建像素生命长度字典改进 ViBe。文献 [21-26] 算法虽然可以检测出较为完整的目标,但是依然 无法准确剔除目标像素,会使检测结果可能产生 “鬼影”。现阶段抑制 “鬼影”的方法分为两类: 1) 在建模阶段通过剔除目标像素去除“鬼影”; 2) 目标检测阶段将“鬼影” 检测为背景并且更新 进背景内。Codebook 通过过滤初始化码本中的 目标像素削弱“鬼影”的影响。ViBe 采用首帧建 模思想,若首帧存在目标,则会产生严重 “ 鬼 影”。文献 [24-26] 产生的“鬼影”都需要利用背景 模型的更新消除。St-Charles P L 等 [27-28] 利用背景 的快速更新去除“鬼影”,但过快的更新容易将目 标更新进背景内,会使目标检测不完整。由上述 算法看出,在建模阶段有效地从背景模型中剔除目 标像素是一个关键问题,否则 “鬼影”会影响检测 结果。 为了有效解决建模阶段包含目标像素造成的 “鬼影”问题,本文结合混合高斯模型和拓扑结构 提出 GMMT 算法,在背景建模阶段剔除目标像 素,在目标检测阶段利用邻域相关性实现目标分 割,有效地抑制了“鬼影”。 1 算法概述 本文提出的 GMMT 算法需要先进行背景建 模,然后利用背景模型实现目标检测。在背景建 模阶段采用双通道建模方式,通道一利用混合高 斯模型进行预检测,接着利用 Meanshift 确定分散 区域之间的联系,在区域之间生成网状拓扑结构[29] , 形成统一的整体并计算整体区域的外接矩形。最 后将矩形外的像素加入背景模型中,利用多帧平 均法计算空背景; 通道二保留背景建模阶段的输 入帧,直接利用多帧平均法计算空背景。通过设 置建模帧数阈值 T 判断建模方式,若建模帧数小 于 T,则使用通道一建模,否则使用双通道联合建 模。在目标检测阶段,利用改进的背景差分法考 虑邻域像素的相关性检测目标并且进一步消除背 景建模阶段由于抑制不彻底而遗留的“鬼影”。 GMMT 算法通过这两个阶段的处理,可以有效地 抑制“鬼影”,实现目标分割。图 1 中为 GMMT 的 框图结构。 混合 高斯 预检 测 拓扑结 构得到 目标完 整区域 的外接 矩形 多帧平 均法计 算背景 矩形 外像 素加 入背 景模 型 判断每 个像素 位置都 取到 背景 像素 计算 空背 景 改进背 景差分 法实现 目标分 割 N N Y 输入 图像 通 道 1 Y 通道2 建模 帧数 是否大 于设定 阈值 T 通道1 输出分 割图像 通道1 和通道2 联合建模 图 1 GMMT 算法框图 Fig. 1 Block diagram of GMMT 2 背景建模 [10◦ ,90◦ ] 首先,对人体静止、缓慢运动和快速运动加 以定义。本文中人体静止是指人体不走动,但是 上肢或者下肢在摆动角区间 范围内摆 第 2 期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·295·
·296· 智能系统学报 第16卷 动;运动缓慢和运动快速区分是通过视频序列前 为了建立有效的背景模型,需要将检测到的 后两帧图像中人体目标运动是否相差半个身位: 目标像素和未检测到目标像素全部剔别除,GMMT 相差小于半个身位则为缓慢运动,大于半个身位 将混合高斯模型检测得到的运动目标信息作为先 则为快速运动。 验信息,然后利用拓扑结构估计未检测到的目标 “鬼影”即为虚假目标,通常是由于背景模型 像素。 中包含目标像素造成的。当利用背景模型进行背 2.2利用拓扑估计目标完整区域 景差分时,若背景模型中包含目标像素,而待检 受到网状拓扑结构在计算机网络中应用的启 测帧的对应位置不包含真正的目标时,依然会检 发,本文将网状拓扑结构应用于目标区域的估 测出目标,此时就形成了“鬼影”。背景建模的难 计。图3为网状拓扑结构1示意图,图中身体各 点就在于目标像素会进入背景模型中。其中,在 部分表示节点,直线表示连接关系。从图中可以 目标静止或运动缓慢时“鬼影”问题尤为严重。因 看出利用网状拓扑结构可以充分将分散的身体运 为背景像素会被目标像素长期遮挡,无法采集到 动区域连接为一个整体。GMMT就是利用拓扑 真实的背景像素,这样会在检测过程中产生“鬼 结构这种将所有分散个体连接成统一整体的思 影”。GMMT通过利用混合高斯模型和拓扑结构 想。由图2可知,不易检测的像素容易出现在目 剔除目标1像素,建立有效的背景模型。 标内部,而易检测像素出现在目标边缘,所以 2.1混合高斯模型 GMMT充分利用目标边缘的变化信息,用网状拓 混合高斯模型由于更新速度快,所以可以有 扑结构将边缘所有的运动像素连接。在GMMT 效地检测目标的运动信息。混合高斯模型的概率 中将已检测到的目标区域抽象节点,然后使用 函数可表达为 Meanshift算法确定节点之间的连接关系。 p(xN)= (1) 式中:w表示每个高斯分布所占的权重;xw,0) 表示标准K高斯分布的概率密度函数。 GMMT利用混合高斯模型检测目标的运动 信息。图2为混合高斯模型对目标运动信息的检 测结果。由图2可看出,运动快速的目标检测完 整,运动缓慢和静止的目标检测不完整。图2中 图3网状拓扑结构 (b)和(可看出,目标静止或运动缓慢时,变化最 Fig.3 Mesh topology 明显的位置是目标边缘。 2.2.1 Meanshift Meanshift聚类采用欧式距离判断点是否为当 前聚类的兴趣点。为了使算法更好地适应对人体 区域的聚类,GMMT中利用更符合人体长宽比的 矩形框代替欧式距离判断。下面是Meanshift的 具体步骤: 1)首先随机选取一个未被标记的点作为聚类 (a)静止目标原图 (b)静止目标检 (c)运动缓慢目 测结果 标原图 中心center; 2)找出以center为中心长宽比为2的矩形框 区域内所有的数据点集合N,认为集合N属于同 一聚类C,并记录数据点在该类出现的次数加1; 3)计算以center为起始到集合N中每一个元 素的向量,将向量相加得到shi向量; (d)运动缓慢目标 (e)运动快速目 ()运动快速目标 检测结果 标原图 检测结果 4)使center沿着shift向量移动,即center= center shift 图2混合高斯模型对不同运动状态目标的检测结果 Fig.2 Detection results of Gaussian mixture model for ob- 5)重复步骤2)~4),直至shift向量很小, jects in different moving states GMMT设置shif为O时迭代停止,该过程遇到的
动;运动缓慢和运动快速区分是通过视频序列前 后两帧图像中人体目标运动是否相差半个身位: 相差小于半个身位则为缓慢运动,大于半个身位 则为快速运动。 “鬼影”即为虚假目标,通常是由于背景模型 中包含目标像素造成的。当利用背景模型进行背 景差分时,若背景模型中包含目标像素,而待检 测帧的对应位置不包含真正的目标时,依然会检 测出目标,此时就形成了“鬼影”。背景建模的难 点就在于目标像素会进入背景模型中。其中,在 目标静止或运动缓慢时“鬼影”问题尤为严重。因 为背景像素会被目标像素长期遮挡,无法采集到 真实的背景像素,这样会在检测过程中产生 “鬼 影”。GMMT 通过利用混合高斯模型和拓扑结构 剔除目标 1 像素,建立有效的背景模型。 2.1 混合高斯模型 混合高斯模型由于更新速度快,所以可以有 效地检测目标的运动信息。混合高斯模型的概率 函数可表达为 p(xN) = ∑K j=1 wjη(xN, θj) (1) 式中: wj 表示每个高斯分布所占的权重; η(xN, θj) 表示标准 K 高斯分布的概率密度函数。 GMMT 利用混合高斯模型检测目标的运动 信息。图 2 为混合高斯模型对目标运动信息的检 测结果。由图 2 可看出,运动快速的目标检测完 整,运动缓慢和静止的目标检测不完整。图 2 中 (b) 和 (d) 可看出,目标静止或运动缓慢时,变化最 明显的位置是目标边缘。 (a) 静止目标原图 (b) 静止目标检 测结果 (c) 运动缓慢目 标原图 (d) 运动缓慢目标 检测结果 (e) 运动快速目 标原图 (f) 运动快速目标 检测结果 图 2 混合高斯模型对不同运动状态目标的检测结果 Fig. 2 Detection results of Gaussian mixture model for objects in different moving states 为了建立有效的背景模型,需要将检测到的 目标像素和未检测到目标像素全部剔除,GMMT 将混合高斯模型检测得到的运动目标信息作为先 验信息,然后利用拓扑结构估计未检测到的目标 像素。 2.2 利用拓扑估计目标完整区域 受到网状拓扑结构在计算机网络中应用的启 发,本文将网状拓扑结构应用于目标区域的估 计。图 3 为网状拓扑结构 1 示意图,图中身体各 部分表示节点,直线表示连接关系。从图中可以 看出利用网状拓扑结构可以充分将分散的身体运 动区域连接为一个整体。GMMT 就是利用拓扑 结构这种将所有分散个体连接成统一整体的思 想。由图 2 可知,不易检测的像素容易出现在目 标内部,而易检测像素出现在目标边缘,所以 GMMT 充分利用目标边缘的变化信息,用网状拓 扑结构将边缘所有的运动像素连接。在 GMMT 中将已检测到的目标区域抽象节点,然后使用 Meanshift 算法确定节点之间的连接关系。 图 3 网状拓扑结构 Fig. 3 Mesh topology 2.2.1 Meanshift Meanshift 聚类采用欧式距离判断点是否为当 前聚类的兴趣点。为了使算法更好地适应对人体 区域的聚类,GMMT 中利用更符合人体长宽比的 矩形框代替欧式距离判断。下面是 Meanshift 的 具体步骤: 1) 首先随机选取一个未被标记的点作为聚类 中心 center; 2) 找出以 center 为中心长宽比为 2 的矩形框 区域内所有的数据点集合 N,认为集合 N 属于同 一聚类 C,并记录数据点在该类出现的次数加 1; 3) 计算以 center 为起始到集合 N 中每一个元 素的向量,将向量相加得到 shift 向量; center = center+shift 4) 使 center 沿着 shift 向量移动,即 ; 5) 重复步 骤 2)~4), 直 至 shift 向量很小, GMMT 设置 shift 为 0 时迭代停止,该过程遇到的 ·296· 智 能 系 统 学 报 第 16 卷
第2期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·297· 全部点属于聚类C: 6)重复步骤15),直至所有的点都被访问: 7若一个聚类中心在另一个聚类中心的长宽 比为2的矩形框区域内,则合并两个聚类并将数 (a)原图 (b)预检测图 (c)Meandshift聚类 据点出现的次数也合并 8)按照每个点不同类的访问频率进行分类, 将点分配给访问频率最大的聚类。 通过Meanshift将混合高斯模型检测后图像 中的区域聚类,同一目标或相邻很近目标分离的 (d)生成网状拓扑结构(©)取整体外接矩形()原图标记外接矩形 区域被聚类为一类。通过在多个场景进行测试, 图5估计目标区域流程 Meanshift采用长宽为200×100的矩形框。在利 Fig.5 Process of estimate target area 用Meanshift聚类前,利用混合高斯模型预检测得 2.3计算空背景 到的图像需要进行形态学运算去除过小的噪声 得到背景像素后需要计算空背景,利用背景 点。图4为利用Meanshift得到的聚类结果,彩图 差分法实现目标检测。在计算空背景时考虑到部 表示原图,二值图表示对原图预检测后聚类的结 分背景像素可能由于目标长期遮挡背景或背景长 果,不同的颜色表示不同的类别。从(b)、()、(⑤、 期剧烈变化(如树枝剧烈晃动)不能采集到稳定 的背景像素,所以GMMT算法如图6所示采用双 (h)和G)可以看出,Meanshift将同一目标或相邻 通道的方式计算背景模型。 目标分散的区域聚为一类。需要注意的是图(h) 中红色聚类为目标造成的阴影区域,GMMT算法 混合高斯 通道1 模型预检 在背景建模阶段会将目标造成的阴影像素当作目 测+拓扑结 通道1完 构估计目标 成建模 山 标像素处理。 输入图像 完整区域 (b) (a) (a原图1(b)检测结果1(c)原图2(d检测结果2(e)原图3 Y 通道1与 存储每 一帧输 通道2结 通道2 合完成背 人图像 ()检测结果3(g)原图4(h)检测结果4(①原图5①检测结果5 景建模 (c) 图4 Meanshift聚类结果 图6双通道计算背景流程 Fig.4 Results of Meanshift clustering Fig.6 Process of two channel computing background 2.2.2估计目标区域 通道1根据2.2节和2.3节介绍的方法别除 由Meanshift确定点之间的联系后,在同一类 目标像素,当所有的背景像素出现至少一次后就 点内生成网状拓扑结构,将分散的区域连接成一 计算空背景。计算背景公式为 个整体并得到整体区域的外接矩形。图5为利用 网状拓扑结构将分散区域连接的流程图.聚类过 Bg(x.y)= ∑Model,(cy /cou(x,y) (2) 程的介绍以图4h)中蓝色聚类为例。图5(d为利 式中:Bg(x,y)表示计算得到的空背景;Model,(x,y) 用网状拓扑结构思想将分散的目标区域连接在一 表示背景模型,存储每一帧剔除目标像素后留下 起,然后在图5(©)中取整体区域的外接矩形,最 的背景像素;cou(x,y)表示每一个像素位置背景像 后图5()为将外接矩形在原图中标记。网状拓扑 素的采集次数;N表示建模用的帧数。 会在每个节点连接多条边,目的是将同一类的区 通道2存储每一帧输入的图像Frame,(x,y), 域全部连接在一起。通过估计目标区域得到的外 当建模帧数W>T时,利用多帧平均法计算输入图 接矩形内包含已检测的目标像素(白色区域)和 像的均值图像Mean(x,y)。 未检测到的目标像素。背景建模时将矩形框内的 如图6所示为GMMT算法利用双通道计算 像素全部剔除,这样可以尽可能剔除所有的目标 空背景,输入图像中示例场景建模帧数大于200, 像素,达到有效抑制“鬼影”的目的。 图(b)中矩形框内为通道一无法采集的背景像
全部点属于聚类 C; 6) 重复步骤 1)~5),直至所有的点都被访问; 7) 若一个聚类中心在另一个聚类中心的长宽 比为 2 的矩形框区域内,则合并两个聚类并将数 据点出现的次数也合并; 8) 按照每个点不同类的访问频率进行分类, 将点分配给访问频率最大的聚类。 通过 Meanshift 将混合高斯模型检测后图像 中的区域聚类,同一目标或相邻很近目标分离的 区域被聚类为一类。通过在多个场景进行测试, Meanshift 采用长宽为 200×100 的矩形框。在利 用 Meanshift 聚类前,利用混合高斯模型预检测得 到的图像需要进行形态学运算去除过小的噪声 点。图 4 为利用 Meanshift 得到的聚类结果,彩图 表示原图,二值图表示对原图预检测后聚类的结 果,不同的颜色表示不同的类别。从 (b)、(d)、(f)、 (h) 和 (j) 可以看出,Meanshift 将同一目标或相邻 目标分散的区域聚为一类。需要注意的是图 (h) 中红色聚类为目标造成的阴影区域,GMMT 算法 在背景建模阶段会将目标造成的阴影像素当作目 标像素处理。 (a) 原图 1 (c) 原图 2 (e) 原图 3 (g) 原图 4 (i) 原图 5 (b) 检测结果 1 (f) 检测结果 3 (h) 检测结果 4 (d) 检测结果 2 (j) 检测结果 5 图 4 Meanshift 聚类结果 Fig. 4 Results of Meanshift clustering 2.2.2 估计目标区域 由 Meanshift 确定点之间的联系后,在同一类 点内生成网状拓扑结构,将分散的区域连接成一 个整体并得到整体区域的外接矩形。图 5 为利用 网状拓扑结构将分散区域连接的流程图,聚类过 程的介绍以图 4(h) 中蓝色聚类为例。图 5(d) 为利 用网状拓扑结构思想将分散的目标区域连接在一 起,然后在图 5(e) 中取整体区域的外接矩形,最 后图 5(f) 为将外接矩形在原图中标记。网状拓扑 会在每个节点连接多条边,目的是将同一类的区 域全部连接在一起。通过估计目标区域得到的外 接矩形内包含已检测的目标像素 (白色区域) 和 未检测到的目标像素。背景建模时将矩形框内的 像素全部剔除,这样可以尽可能剔除所有的目标 像素,达到有效抑制“鬼影”的目的。 (a) 原图 (b) 预检测图 (c) Meandshift 聚类 (d) 生成网状拓扑结构 (e) 取整体外接矩形 (f) 原图标记外接矩形 图 5 估计目标区域流程 Fig. 5 Process of estimate target area 2.3 计算空背景 得到背景像素后需要计算空背景,利用背景 差分法实现目标检测。在计算空背景时考虑到部 分背景像素可能由于目标长期遮挡背景或背景长 期剧烈变化 (如树枝剧烈晃动) 不能采集到稳定 的背景像素,所以 GMMT 算法如图 6 所示采用双 通道的方式计算背景模型。 N Y 输入图像 通道2 通道1 (a) (b) (c) 混合高斯 模型预检 测+拓扑结 构估计目标 完整区域 存储每 一帧输 入图像 通道1完 成建模 通道1 与 通道2 结 合完成背 景建模 N>T 图 6 双通道计算背景流程 Fig. 6 Process of two channel computing background 通道 1 根据 2.2 节和 2.3 节介绍的方法剔除 目标像素,当所有的背景像素出现至少一次后就 计算空背景。计算背景公式为 Bg(x, y) = ∑N i=1 Modeli(x, y) /cou(x, y) (2) Bg(x, y) Modeli(x, y) cou(x, y) 式中: 表示计算得到的空背景; 表示背景模型,存储每一帧剔除目标像素后留下 的背景像素; 表示每一个像素位置背景像 素的采集次数;N 表示建模用的帧数。 Framei(x, y) Mean(x, y) 通道 2 存储每一帧输入的图像 , 当建模帧数 N>T 时,利用多帧平均法计算输入图 像的均值图像 。 如图 6 所示为 GMMT 算法利用双通道计算 空背景,输入图像中示例场景建模帧数大于 200, 图 (b) 中矩形框内为通道一无法采集的背景像 第 2 期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·297·
·298· 智能系统学报 第16卷 素,图(©)中矩形框为使用联合建模采集的背景像 差值序列,然后取序列的最小值赋值给dif(x,y)。 素。阈值T可以按照实验时所能接受的建模帧数 这样可以改善目标像素偏移造成的误检测。经实 上限设置,本文设置建模所用帧数阈值T=200 验发现,改进后的背景差分法可以适应动态的背 帧。若建模帧数小于T时,则只用通道一完成背 景,比如风吹动树叶、横幅等小幅摆动并且还可 景建模;否则采用通道一与通道二联合建模。因 以快速地消除“鬼影”。图8(a)(c)为改进的背景 为建模帧数不小于T说明通道一存在无法采集的 差分法处理动态背景,可以发现改进后的背景差 背景像素。如图6中示例场景由于人群密集导致 分法的检测结果中无条幅出现,提高了算法的鲁 在建模帧数上限内存在无法采集的背景像素(图 棒性。由于改进的背景差分法考虑了像素的邻域 (b)矩形框内的黑色像素),所以将无法采集的背 信息,所以“鬼影”区域会由外到内逐渐更新为背 景像素利用通道二多帧平均法填补。通过通道一 景。图8(d)()为改进的差分法消除“鬼影”,经 建模和双通道联合建模对比可发现,双通道联合 过114帧“鬼影”区域就完全消除。 建模填补了缺失的背景像素。 3目标分割 GMMT使用背景差分法将人体与背景分离, (a)原图 (b)传统背景差分 (c)改进背景差分 这样可以使算法快速地实现目标检测。传统的背 检测结果 检测结果 景差分法只考虑了单个像素,没有考虑像素邻域 的相关性。像素邻域的分布是比较相似的,可以 借助像素邻域之间的相似性提高算法的鲁棒性。 如图7所示为像素f(x,y)与背景相同位置的像素 Bg(xy)及其8邻域像素,箭头表示f(x,y)需要和 (d)空背景 (e)第201帧检测结果(D第315帧检测结果 Bg(xy)像素运算。 图8改进的背景差分法处理动态背景和消除“鬼影” Fig.8 Improved background difference method deals with dynamic background and elimin- ates“ghosts'” fx,y) 4实验结果及分析 为了验证GMMT可以在建模时准确地别除 目标像素,本文与文献21]CodeBook算法、文献[23] Vibe算法、文献[27]Subsense算法和文献[28] 图7当前像素和与其对应的空背景8邻域像素 Fig.7 Current pixel and its corresponding empty back- Pawcs算法在Dataset20l2数据库、Camera-Para- ground 8 neighborhood pixels meter数据库和LightSwitch数据库进行比较。由 改进的背景差分法计算方法为 于建模阶段经常在场景中出现目标,为了验证算 dif(x.y)=arg min(lf(x,y)- 法可以有效剔除背景模型中的目标像素,所用场 Bg(x+my+n0m,n=-1,0,1 (3) 景背景建模时的每一帧都存在目标。表1 改进的背景差分法使像素fx,y)与其对应的 中为测试用的场景起始帧和测试帧在数据库中的 背景像素及其8邻域像素作差并取绝对值,形成 帧位置。 表1测试场景信息 Table 1 The information of test scenes 场景 起始帧 测试帧 场景 起始帧 测试帧 Camera parameter 1102 1160 Sofa 2685 2734 Light switch 673 695 Cubicle 6945 7059 Pedestrians 607 667 Copy machine 1445 1551 Office 595 671 People In shade 842 968 PETS2006 40 300 Backdoor 1657 1968 BusStation 935 1099
素,图 (c) 中矩形框为使用联合建模采集的背景像 素。阈值 T 可以按照实验时所能接受的建模帧数 上限设置,本文设置建模所用帧数阈值 T=200 帧。若建模帧数小于 T 时,则只用通道一完成背 景建模;否则采用通道一与通道二联合建模。因 为建模帧数不小于 T 说明通道一存在无法采集的 背景像素。如图 6 中示例场景由于人群密集导致 在建模帧数上限内存在无法采集的背景像素 (图 (b) 矩形框内的黑色像素),所以将无法采集的背 景像素利用通道二多帧平均法填补。通过通道一 建模和双通道联合建模对比可发现,双通道联合 建模填补了缺失的背景像素。 3 目标分割 f(x, y) Bg(x, y) f(x, y) Bg(x, y) GMMT 使用背景差分法将人体与背景分离, 这样可以使算法快速地实现目标检测。传统的背 景差分法只考虑了单个像素,没有考虑像素邻域 的相关性。像素邻域的分布是比较相似的,可以 借助像素邻域之间的相似性提高算法的鲁棒性。 如图 7 所示为像素 与背景相同位置的像素 及其 8 邻域像素,箭头表示 需要和 像素运算。 f(x, y) Bg(x, y) 图 7 当前像素和与其对应的空背景 8 邻域像素 Fig. 7 Current pixel and its corresponding empty background 8 neighborhood pixels 改进的背景差分法计算方法为 dif(x, y) = argmin(| f(x, y)− Bg(x+m, y+n)|) m,n = −1,0,1 (3) 改进的背景差分法使像素 f(x, y) 与其对应的 背景像素及其 8 邻域像素作差并取绝对值,形成 差值序列,然后取序列的最小值赋值给 dif(x, y)。 这样可以改善目标像素偏移造成的误检测。经实 验发现,改进后的背景差分法可以适应动态的背 景,比如风吹动树叶、横幅等小幅摆动并且还可 以快速地消除“鬼影”。图 8(a)~(c) 为改进的背景 差分法处理动态背景,可以发现改进后的背景差 分法的检测结果中无条幅出现,提高了算法的鲁 棒性。由于改进的背景差分法考虑了像素的邻域 信息,所以“鬼影”区域会由外到内逐渐更新为背 景。图 8(d)~(f) 为改进的差分法消除“鬼影”,经 过 114 帧“鬼影”区域就完全消除。 (a) 原图 (b) 传统背景差分 检测结果 (c) 改进背景差分 检测结果 (d) 空背景 (e) 第 201 帧检测结果 (f) 第 315 帧检测结果 图 8 改进的背景差分法处理动态背景和消除“鬼影” Fig. 8 Improved background difference method deals with dynamic background and eliminates “ghosts” 4 实验结果及分析 为了验证 GMMT 可以在建模时准确地剔除 目标像素,本文与文献 [21] CodeBook 算法、文献 [23] Vibe 算法、文献 [27]Subsense 算法和文献 [28] Pawcs 算法在 Dataset2012 数据库、Camera- Parameter 数据库和 LightSwitch 数据库进行比较。由 于建模阶段经常在场景中出现目标,为了验证算 法可以有效剔除背景模型中的目标像素,所用场 景背景建模时的每一帧都存在目标。 表 1 中为测试用的场景起始帧和测试帧在数据库中的 帧位置。 表 1 测试场景信息 Table 1 The information of test scenes 场景 起始帧 测试帧 场景 起始帧 测试帧 Camera parameter 1102 1 160 Sofa 2685 2 734 Light switch 673 695 Cubicle 6945 7 059 Pedestrians 607 667 Copy machine 1445 1 551 Office 595 671 People In shade 842 968 PETS2006 40 300 Backdoor 1657 1 968 BusStation 935 1 099 ·298· 智 能 系 统 学 报 第 16 卷
第2期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·299· 从图9中每种算法在不同场景下的建模效果 产生了较多的“鬼影”,Subsense产生了较少的“鬼 对比可以看出,Codebook、Vibe、Subsense和Paw- 影”,Pawcs和GMMT没有产生“鬼影”。因为Sub cs背景模型中包含了大量的目标像素,而GMMT sense和Pawcs算法背景更新速度快,所以经过 建立的背景模型剔除了目标像素,建立的背景更 段时间更新后可以消除“鬼影”,但是过快的更新 符合真实场景。 会使运动缓慢或静止的目标更新进背景内,会使 图10为算法在各场景中的检测结果,从图10 目标检测不完整。GMMT在背景建模阶段就消 中可以看出Codebook和Vibe算法在检测结果中 除了目标像素,使检测结果没产生“鬼影”。 Camera Light Copy People in parameter switch Pedestrians Office PETS2006 BusStation Sofa Cubicle machine shade Backdoor Codebook Vibe Subsense Pawcs GMMT 图9算法在不同场景下的建模效果 Fig.9 Modeling effect of the algorithm in different scenes 起始帧 测试帧 基准图Codebook Vibe Subsense Pawcs GMMT Camera parameter Light switch Pedestrians Office 不 PETS2006 BusStation Sofa Cubicle Copy machine People in shade Backdoo 图10算法在不同场景中的检测结果 Fig.10 Result of algorithms in each scene
从图 9 中每种算法在不同场景下的建模效果 对比可以看出,Codebook、Vibe、Subsense 和 Pawcs 背景模型中包含了大量的目标像素,而 GMMT 建立的背景模型剔除了目标像素,建立的背景更 符合真实场景。 图 10 为算法在各场景中的检测结果,从图 10 中可以看出 Codebook 和 Vibe 算法在检测结果中 产生了较多的“鬼影”,Subsense 产生了较少的“鬼 影”,Pawcs 和 GMMT 没有产生“鬼影”。因为 Subsense 和 Pawcs 算法背景更新速度快,所以经过一 段时间更新后可以消除“鬼影”,但是过快的更新 会使运动缓慢或静止的目标更新进背景内,会使 目标检测不完整。GMMT 在背景建模阶段就消 除了目标像素,使检测结果没产生“鬼影”。 Camera parameter Pedestrians Light switch Office PETS2006 BusStation Sofa Cubicle Copy machine GMMT Codebook Vibe Subsense Pawcs People in shade Backdoor 图 9 算法在不同场景下的建模效果 Fig. 9 Modeling effect of the algorithm in different scenes Camera parameter Pedestrians Light switch Office PETS2006 BusStation Sofa Cubicle Copy machine People in shade Backdoor 起始帧 测试帧 基准图 Codebook Vibe Subsense Pawcs GMMT 图 10 算法在不同场景中的检测结果 Fig. 10 Result of algorithms in each scene 第 2 期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·299·
·300· 智能系统学报 第16卷 “鬼影”像素为F像素(背景像素误划分为目 通过计算得到Subsense、Pawcs和GMMT的在数 标像素的个数),从表2中可以看出,Codebook和 据集上的平均召回率分别为0.7811、0.7202和 Vibe算法由于“鬼影”的影响F。像素数量很高, 0.8219。从召回率中可看出GMMT在抑制鬼 而Subsense、Pawcs和GMMT算法的Fp像素数量 影"”的同时召回率高于Subsense和Pawcs算法。 一直保持在较低水平。Subsense和Pawcs算法利 最后,本文对各算法的运行效率进行分析。 用快速更新的方法降低了F。像素的数量。为了 本文所用的实验环境为WTN764位、Inter Core i5- 进一步验证GMMT消除“鬼影”时不会使目标检 3230MCPU、VS2017搭配OpenCV2.4.9。如表3 测不完整,本文利用召回率(R)将GMMT与Sub- 所示为各算法在数据库上的平均运行时间,可以 sense和Pawcs算法进行对比。召回率可以衡量 看出GMMT在保证检测效果的基础上有较高的 算法对真实目标像素的检测能力,R=T/(Tp+Fw)。 运行效率,算法复杂度较低。 表2算法在各场景的检测结果中F像素数量 Table 2 Number of Fp pixels detected by the algorithm in each scene 算法 Codebook Vibe Subsense Pawcs GMMT Camera parameter 1031 4627 451 6 70 Light switch 814 1615 103 24 123 Pedestrians 92 1372 5 21 32 Office 2357 2095 189 234 125 PETS2006 424 4712 29 29 154 BusStation 3422 4307 694 457 374 Sofa 458 900 37 11 133 Cubicle 1164 2212 47 34 267 Copy machine 5454 6000 179 503 2955 People In shade 2822 3652 4 4 8 Backdoor 1388 785 477 58 208 表3在数据集上不同算法处理的图像数量 Table 3 Average number of images processed by the algorithm per second on the dataset 帧s 算法 Codebook Vibe Subsense Pawcs GMMT 运行效率 60 17 9 19 5结束语 变化问题;2)背景会不断发生变化的动态背景问 题;3)背景中物体、运动目标等形成的阴影问题: GMMT算法使用双通道建模方式和改进的 4)由视频采集设备造成的噪声问题。这些问题都 背景差分法实现背景建模和目标分割。通道一利 会影响背景建模和目标检测的效果,所以算法需 用混合高斯模型预检测和拓扑结构连接分散区域 要适应多模态的背景、相机抖动和PTZ相机等复 的方式剔除目标像素,通道二采用多帧平均法。 杂环境,这是以后需要努力的方向。 双通道建模保证了算法在复杂背景下完成建模并 且有效地剔除目标像素抑制“鬼影”。改进的背景 参考文献: 差分法可快速分割目标并利用邻域信息消除“鬼 [1]昝孟恩,周航,韩丹,等.粒子波目标跟踪算法综述[ 影”。通过与Codebook、Vibe、Subsense和Paw- 计算机工程与应用,2019,55(5):8-17. cs的对比,证明了GMMT算法的有效性。算法有 ZAN Mengen,ZHOU Hang,HAN Dan,et al.Survey of 效地抑制了“鬼影”并且保持了较高召回率。 particle filter target tracking algorithms[J].Computer en- 背景建模会受多种因素的影响,现阶段主要 gineering and applications,2019,55(5):8-17. 可以概括为4个方面:1)光照的缓慢变化和突然 [2]李明杰,刘小飞,张福泉,等.基于粒子滤波和背景诚除
FP FP FP FP R = TP/(TP + FN) “鬼影”像素为 像素 (背景像素误划分为目 标像素的个数),从表 2 中可以看出,Codebook 和 Vibe 算法由于“鬼影”的影响 像素数量很高, 而 Subsense、Pawcs 和 GMMT 算法的 像素数量 一直保持在较低水平。Subsense 和 Pawcs 算法利 用快速更新的方法降低了 像素的数量。为了 进一步验证 GMMT 消除“鬼影”时不会使目标检 测不完整,本文利用召回率 (R) 将 GMMT 与 Subsense 和 Pawcs 算法进行对比。召回率可以衡量 算法对真实目标像素的检测能力, 。 通过计算得到 Subsense、Pawcs 和 GMMT 的在数 据集上的平均召回率分别为 0.781 1、0.720 2 和 0.821 9。从召回率中可看出 GMMT 在抑制“鬼 影”的同时召回率高于 Subsense 和 Pawcs 算法。 最后,本文对各算法的运行效率进行分析。 本文所用的实验环境为 WIN7 64 位、Inter Core i5- 3230M CPU、VS2017 搭配 OpenCV2.4.9。如表 3 所示为各算法在数据库上的平均运行时间,可以 看出 GMMT 在保证检测效果的基础上有较高的 运行效率,算法复杂度较低。 表 2 算法在各场景的检测结果中 FP 像素数量 Table 2 Number of FP pixels detected by the algorithm in each scene 算法 Codebook Vibe Subsense Pawcs GMMT Camera parameter 1 031 4627 451 36 70 Light switch 814 1615 103 24 123 Pedestrians 92 1372 5 21 32 Office 2 357 2095 189 234 125 PETS2006 424 4712 29 29 154 BusStation 3 422 4307 694 457 374 Sofa 458 900 37 11 133 Cubicle 1 164 2212 47 34 267 Copy machine 5 454 6000 179 503 2955 People In shade 2 822 3652 4 4 8 Backdoor 1 388 785 477 58 208 表 3 在数据集上不同算法处理的图像数量 Table 3 Average number of images processed by the algorithm per second on the dataset 帧/s 算法 Codebook Vibe Subsense Pawcs GMMT 运行效率 60 17 9 5 19 5 结束语 GMMT 算法使用双通道建模方式和改进的 背景差分法实现背景建模和目标分割。通道一利 用混合高斯模型预检测和拓扑结构连接分散区域 的方式剔除目标像素,通道二采用多帧平均法。 双通道建模保证了算法在复杂背景下完成建模并 且有效地剔除目标像素抑制“鬼影”。改进的背景 差分法可快速分割目标并利用邻域信息消除“鬼 影”。通过与 Codebook、Vibe、Subsense 和 Pawcs 的对比,证明了 GMMT 算法的有效性。算法有 效地抑制了 “鬼影”并且保持了较高召回率。 背景建模会受多种因素的影响,现阶段主要 可以概括为 4 个方面:1) 光照的缓慢变化和突然 变化问题;2) 背景会不断发生变化的动态背景问 题;3) 背景中物体、运动目标等形成的阴影问题; 4) 由视频采集设备造成的噪声问题。这些问题都 会影响背景建模和目标检测的效果,所以算法需 要适应多模态的背景、相机抖动和 PTZ 相机等复 杂环境,这是以后需要努力的方向。 参考文献: 昝孟恩, 周航, 韩丹, 等. 粒子滤波目标跟踪算法综述 [J]. 计算机工程与应用, 2019, 55(5): 8–17. ZAN Mengen, ZHOU Hang, HAN Dan, et al. Survey of particle filter target tracking algorithms[J]. Computer engineering and applications, 2019, 55(5): 8–17. [1] [2] 李明杰, 刘小飞, 张福泉, 等. 基于粒子滤波和背景减除 ·300· 智 能 系 统 学 报 第 16 卷
第2期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·301· 的多目标检测与跟踪算法).计算机应用研究,2018, 651-656 35(8):2506-2509 [12]刘晓芳,周航,韩权,等.基于视觉的步态识别研究综 LI Mingjie,LIU Xiaofei,ZHANG Fuquan,et al.Multi tar- 述).小型微型计算机系统,2018,39(8):1685-1692. get detection and tracking algorithm based on particle fil- LIU Xiaofang,ZHOU Hang,HAN Quan,et al.Survey of tering and background subtraction[J].Application research vision-based gait recognition[J].Journal of Chinese com- of computers,2018,35(8):2506-2509. puter systems,2018,39(8):1685-1692 [3]杜鹃,吴芬芬.高斯混合模型的运动目标检测与跟踪算 [13]刘相锋,周航.步态识别技术及其在视频监控中的应 法).南京理工大学学报,2017,41(1):41-46. 用).电视技术,2011,35(1):119-121. DU Juan,WU Fenfen.Movement target tracking al- LIU Xiangfeng,ZHOU Hang.Gait recognition techno- gorithm by using Gaussian mixture model[J].Journal of logy and application in video surveillance[J].Video en- Nanjing University of Science and Technology,2017, gineering,2011,35(1):119-121. 41(1):41-46 [14]金静,党建武,王阳萍,等.一种基于鲁棒局部纹理特征 [4]陈聪,杨忠,宋佳蓉,等。一种改进的卷积神经网络行人 的背景差分方法.计算机工程与科学,2017,39(8): 识别方法[.应用科技,2019,46(3):51-57 1513-1519. CHEN Cong,YANG Zhong,SONG Jiarong,at al.An im- JIN Jing,DANG Jianwu,WANG Yangping,et al.A proved pedestrian detection method based on convolution- background subtraction method based on robust local tex- al neural network[J].Applied science and technology, ture features[J].Computer engineering science,2017. 2019,46(3):51-57 39(8):1513-1519 [5]丁哲,陆文总.基于Vibe背景建模的运动目标检测算 [15]孙挺,齐迎春,耿国华.基于帧间差分和背景差分的运 法).计算机系统应用,2019,28(4):187-191 动目标检测算法.吉林大学学报(工学版),2016, DING Zhe,LU Wenzong.Moving target detection al- 46(4):1325-1329. gorithm based on vibe background modeling[J].Computer SUN Ting,QI Yingchun,GENG Guohua.Moving object systems applications,2019,28(4):187-191. detection algorithm based on frame difference and back- [6]左军辉,贾振红,杨杰.基于改进背景减法的视频图像运 ground subtraction[J].Journal of Jilin University (Engin- 动目标检测[J].计算机工程与设计,2020,44(5): eering and Technology Edition),2016,46(4):1325-1329. 1367-1372. [16]SHAHBAZ A.KURNIANGGOROL,WAHYONO,et al. ZUO Junhui,JIA Zhenhong,YANG Jie.Moving object de- Recent advances in the field of foreground detection:an tection in video image based on improved background sub- overview[M]//KROL D,NGUYEN N T,SHIRAI K.Ad- traction[J].Computer engineering and design,2020,44(5): vanced Topics in Intelligent Information and Database 1367-1372 Systems.Cham:Springer,2017:261-269. [7]YANG Dan,ZHAO Chenqiu,ZHANG Xiaohong,at al. [17]WREN C R,AZARBAYEJANI A,DARRELL T,et al. Background modeling by stability of adaptive features in Pfinder:real-time tracking of the human body[J].IEEE complex scenes[J].IEEE transactions on image processing, transactions on pattern analysis and machine intelligence. 2018,27(3):1112-1125 1997,19(7):780-785 [8]MOUDGOLLYA R.MIDYA A.SUNANIYA A K,et al. [18]YONG Hongwei,MENG Deyu,ZUO Wangmeng,et al. Dynamic background modeling using intensity and orienta- Robust online matrix factorization for dynamic back- tion distribution of video sequence[J].Multimedia tools ground subtraction[J].IEEE transactions on pattern ana- and applications,2019,78(4):22537-22554 lysis and machine intelligence,2018,40(7):1726-1740. [9]ZHOU Anran,XIE Weixin,PEI Jihong.Background mod- [19]STAUFFER C,GRIMSON W E L.Adaptive background eling in the Fourier domain for maritime infrared target de- mixture models for real-time tracking[C]//Proceedings of tection[J].IEEE transactions on circuits and systems for 1999 IEEE Computer Society Conference on Computer video technology,2020,30(8):2634-2649. Vision and Pattern Recognition.Fort Collins,USA.1999: [10]HUYNH-THE T.HUA C H,TU N A,et al.Locally stat- 246-252. istical dual-mode background subtraction approach[J]. [20]ZIVKOVIC Z.Improved adaptive Gaussian mixture mod- IEEE access,2019,7:9769-9782 el for background subtraction[Cl//Proceedings of the 17th [11]DEWAN P,KUMAR R.Detection of object in motion us- International Conference on Pattern Recognition.Cam- ing improvised background subtraction algorithm[C]// bridge,UK.2004:28-31. Proceedings of 2017 International Conference on Trends [21]KIM K,CHALIDABHONGSE T H,HARWOOD D,et al in Electronics and Informatics.Tirunelveli,India,2017: Real-time foreground-background segmentation using
的多目标检测与跟踪算法 [J]. 计算机应用研究, 2018, 35(8): 2506–2509. LI Mingjie, LIU Xiaofei, ZHANG Fuquan, et al. Multi target detection and tracking algorithm based on particle filtering and background subtraction[J]. Application research of computers, 2018, 35(8): 2506–2509. 杜鹃, 吴芬芬. 高斯混合模型的运动目标检测与跟踪算 法 [J]. 南京理工大学学报, 2017, 41(1): 41–46. DU Juan, WU Fenfen. Movement target tracking algorithm by using Gaussian mixture model[J]. Journal of Nanjing University of Science and Technology, 2017, 41(1): 41–46. [3] 陈聪, 杨忠, 宋佳蓉, 等. 一种改进的卷积神经网络行人 识别方法 [J]. 应用科技, 2019, 46(3): 51–57. CHEN Cong, YANG Zhong, SONG Jiarong, at al. An improved pedestrian detection method based on convolutional neural network[J]. Applied science and technology, 2019, 46(3): 51–57. [4] 丁哲, 陆文总. 基于 Vibe 背景建模的运动目标检测算 法 [J]. 计算机系统应用, 2019, 28(4): 187–191. DING Zhe, LU Wenzong. Moving target detection algorithm based on vibe background modeling[J]. Computer systems & applications, 2019, 28(4): 187–191. [5] 左军辉, 贾振红, 杨杰. 基于改进背景减法的视频图像运 动目标检测 [J]. 计算机工程与设计, 2020, 44(5): 1367–1372. ZUO Junhui, JIA Zhenhong, YANG Jie. Moving object detection in video image based on improved background subtraction[J]. Computer engineering and design, 2020, 44(5): 1367–1372. [6] YANG Dan, ZHAO Chenqiu, ZHANG Xiaohong, at al. Background modeling by stability of adaptive features in complex scenes[J]. IEEE transactions on image processing, 2018, 27(3): 1112–1125. [7] MOUDGOLLYA R, MIDYA A, SUNANIYA A K, et al. Dynamic background modeling using intensity and orientation distribution of video sequence[J]. Multimedia tools and applications, 2019, 78(4): 22537–22554. [8] ZHOU Anran, XIE Weixin, PEI Jihong. Background modeling in the Fourier domain for maritime infrared target detection[J]. IEEE transactions on circuits and systems for video technology, 2020, 30(8): 2634–2649. [9] HUYNH-THE T, HUA C H, TU N A, et al. Locally statistical dual-mode background subtraction approach[J]. IEEE access, 2019, 7: 9769–9782. [10] DEWAN P, KUMAR R. Detection of object in motion using improvised background subtraction algorithm[C] // Proceedings of 2017 International Conference on Trends in Electronics and Informatics. Tirunelveli, India, 2017: [11] 651−656. 刘晓芳, 周航, 韩权, 等. 基于视觉的步态识别研究综 述 [J]. 小型微型计算机系统, 2018, 39(8): 1685–1692. LIU Xiaofang, ZHOU Hang, HAN Quan, et al. Survey of vision-based gait recognition[J]. Journal of Chinese computer systems, 2018, 39(8): 1685–1692. [12] 刘相锋, 周航. 步态识别技术及其在视频监控中的应 用 [J]. 电视技术, 2011, 35(1): 119–121. LIU Xiangfeng, ZHOU Hang. Gait recognition technology and application in video surveillance[J]. Video engineering, 2011, 35(1): 119–121. [13] 金静, 党建武, 王阳萍, 等. 一种基于鲁棒局部纹理特征 的背景差分方法 [J]. 计算机工程与科学, 2017, 39(8): 1513–1519. JIN Jing, DANG Jianwu, WANG Yangping, et al. A background subtraction method based on robust local texture features[J]. Computer engineering & science, 2017, 39(8): 1513–1519. [14] 孙挺, 齐迎春, 耿国华. 基于帧间差分和背景差分的运 动目标检测算法 [J]. 吉林大学学报(工学版), 2016, 46(4): 1325–1329. SUN Ting, QI Yingchun, GENG Guohua. Moving object detection algorithm based on frame difference and background subtraction[J]. Journal of Jilin University (Engineering and Technology Edition), 2016, 46(4): 1325–1329. [15] SHAHBAZ A, KURNIANGGORO L, WAHYONO, et al. Recent advances in the field of foreground detection: an overview[M]//KRÓL D, NGUYEN N T, SHIRAI K. Advanced Topics in Intelligent Information and Database Systems. Cham: Springer, 2017: 261−269. [16] WREN C R, AZARBAYEJANI A, DARRELL T, et al. Pfinder: real-time tracking of the human body[J]. IEEE transactions on pattern analysis and machine intelligence, 1997, 19(7): 780–785. [17] YONG Hongwei, MENG Deyu, ZUO Wangmeng, et al. Robust online matrix factorization for dynamic background subtraction[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 40(7): 1726–1740. [18] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]//Proceedings of 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins, USA, 1999: 246−252. [19] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C]//Proceedings of the 17th International Conference on Pattern Recognition. Cambridge, UK, 2004: 28−31. [20] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Real-time foreground–background segmentation using [21] 第 2 期 许国梁,等:利用混合高斯和拓扑结构的人体“鬼影”抑制算法 ·301·
·302· 智能系统学报 第16卷 codebook model[J].Real-time imaging,2005,11(3): Universal background subtraction using word consensus 172-185 models[J].IEEE transactions on image processing,2016, [22]BARNICH O,VAN DROOGENBROECK M.ViBE:A 25(10:4768-4781 powerful random technique to estimate the background in [29]朱海滨.网络拓扑发现技术探析几.网络安全技术与应 video sequences[C]//2009 IEEE International Confer- 用,2017(3):26-27 ence on Acoustics,Speech and Signal Processing.Taipei, ZHU Haibin.Analysis of network topology discovery China,2009:945-948. [23]BARNICH O,VAN DROOGENBROECK M.ViBe:a technology[J].Network security technology applica- universal background subtraction algorithm for video se- tion,2017(3):26-27 quences[J].IEEE transactions on image processing,2011. 作者简介: 20(6):1709-1724 [24]杨丹,戴芳.运动目标检测的ViBe算法改进U].中国 许国梁,硕土研究生,主要研究方 图象图形学报,2018.23(12:1813-1828. 向为智能图像处理。 YANG Dan,DAI Fang.Improved ViBe algorithm for de- tection of moving objects[J.Journal of image and graph- ics,2018.23(12):1813-1828 [25]LIU Shanyi.An improved ViBe moving object detection algorithm based on spatial-temporal gradient of image[C]//Proceedings of 2016 International Conference 周航,副教授,主要研究方向为智 on Progress in Informatics and Computing.Shanghai, 能图像处理、目标检测和跟踪、步态识 China,2016:192-197. 别、智能交通系统的信息与控制技 [26]MIN Weidong,FAN Mengdan,GUO Xiaoguang,et al.A 术。发表学术论文40余篇。 new approach to track multiple vehicles with the combin- ation of robust detection and two classifiers[J].IEEE transactions on intelligent transportation systems,2018, 19(1)174-186. 袁良友,硕士研究生,主要研究方 [27]ST-CHARLES P L,BILODEAU G A,BERGEVIN R. 向为智能图像处理。 SuBSENSE:a universal change detection method with local adaptive sensitivity[J].IEEE transactions on image processing,.2015,241)359-373. [28]ST-CHARLES P L,BILODEAU G A,BERGEVIN R
codebook model[J]. Real-time imaging, 2005, 11(3): 172–185. BARNICH O, VAN DROOGENBROECK M. ViBE: A powerful random technique to estimate the background in video sequences[C]// 2009 IEEE International Conference on Acoustics, Speech and Signal Processing. Taipei, China, 2009: 945−948. [22] BARNICH O, VAN DROOGENBROECK M. ViBe: a universal background subtraction algorithm for video sequences[J]. IEEE transactions on image processing, 2011, 20(6): 1709–1724. [23] 杨丹, 戴芳. 运动目标检测的 ViBe 算法改进 [J]. 中国 图象图形学报, 2018, 23(12): 1813–1828. YANG Dan, DAI Fang. Improved ViBe algorithm for detection of moving objects[J]. Journal of image and graphics, 2018, 23(12): 1813–1828. [24] LIU Shanyi. An improved ViBe moving object detection algorithm based on spatial-temporal gradient of image[C]//Proceedings of 2016 International Conference on Progress in Informatics and Computing. Shanghai, China, 2016: 192−197. [25] MIN Weidong, FAN Mengdan, GUO Xiaoguang, et al. A new approach to track multiple vehicles with the combination of robust detection and two classifiers[J]. IEEE transactions on intelligent transportation systems, 2018, 19(1): 174–186. [26] ST-CHARLES P L, BILODEAU G A, BERGEVIN R. SuBSENSE: a universal change detection method with local adaptive sensitivity[J]. IEEE transactions on image processing, 2015, 24(1): 359–373. [27] [28] ST-CHARLES P L, BILODEAU G A, BERGEVIN R. Universal background subtraction using word consensus models[J]. IEEE transactions on image processing, 2016, 25(10): 4768–4781. 朱海滨. 网络拓扑发现技术探析 [J]. 网络安全技术与应 用, 2017(3): 26–27. ZHU Haibin. Analysis of network topology discovery technology[J]. Network security technology & application, 2017(3): 26–27. [29] 作者简介: 许国梁,硕士研究生,主要研究方 向为智能图像处理。 周航,副教授,主要研究方向为智 能图像处理、目标检测和跟踪、步态识 别、智能交通系统的信息与控制技 术。发表学术论文 40 余篇。 袁良友,硕士研究生,主要研究方 向为智能图像处理。 ·302· 智 能 系 统 学 报 第 16 卷