【机器感知与模式识别】改进光流法和GMM融合的车辆实时检测算法研究.pdf_大学文库

第16卷第2期智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992tis.201907051 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20200715.1800.008.html 改进光流法和GMM融合的车辆实时检测算法研究陈立潮，解丹，曹建芳2，张睿 (1.太原科技大学计算机科学与技术学院，山西太原030024：2.忻州师范学院计算机科学与技术系，山西析州034000) 摘要：针对传统光流算法受光照影响较大和在不同场景中检测效果差别较大等问题，提出一种改进的光流法与混合高斯背景模型相融合的运动车辆实时检测算法(improved optical flow and gaussian mixture model, IOFGMM)。首先，在光流算法中加人限制条件使得不同梯度点处采用不同约束：其次，融合高斯混合背景模型 (gaussian mixture model,.GMM);最后，采用提出的融合算法比较目标框的数量和目标框之间的重叠面积，从而在监控视频中显示出融合后的车辆检测信息。实验结果表明：该算法在3种不同场景视频上的检测效果达到了84.80%的平均准确率，84.79%的平均召回率以及84.63%的平均F1值。与经典的光流法和高斯混合背景模型及基于这两种理论的算法相比，IOFGMM算法的各项指标平均有37%的提高，具有良好的检测效果。关键词：IOFGMM检测算法；光流法；高斯混合背景模型；信息融合；实时检测；梯度；光照；约束中图分类号：TP391文献标志码：A文章编号：1673-4785(2021)02-0271-08 中文引用格式：陈立潮，解丹，曹建芳，等.改进光流法和GMM融合的车辆实时检测算法研究J.智能系统学报，2021， 16(2):271-278. 英文引用格式：CHEN Lichao,,XIE Dan,CAO Jianfang,etal.Research on vehicle real-time detection algorithm based on im- proved optical flow method and GMMIJ].CAAI transactions on intelligent systems,2021,16(2):271-278. Research on vehicle real-time detection algorithm based on improved optical flow method and GMM CHEN Lichao',XIE Dan',CAO Jianfang"2,ZHANG Rui' (1.School of Computer Science and Technology,Taiyuan University of Science and Technology,Taiyuan 030024,China;2.Depart- ment of Computer Science and Technology,Xinzhou Teachers University,Xinzhou 034000,China) Abstract:To solve the problem of the optical flow algorithm being greatly affected by illumination and the highly vari- able detection effect in different scenes,in this paper,we propose an improved optical flow and Gaussian mixture mod- el(IOFGMM)algorithm for the real-time detection of moving vehicles.First,a restriction is added to the optical flow al- gorithm whereby different constraints are used at different points.Then,a Gaussian mixture model(GMM)is fused.Fi- nally,the number of target boxes and the area in which the target boxes overlap are compared by the proposed fusion al- gorithm.The vehicle detection information after fusion is displayed in the surveillance video.Experimental results show that the detection performance of the IOFGMM algorithm achieved an average accuracy rate of 84.80%,an average re- call rate of 84.79%,and an average F value of 84.63%for videos of three different scenes.Compared with the classical optical flow method,the GMM,and the algorithm based on these two theories,the IOFGMM algorithm shows an aver- age improvement of 37%in each metric.Therefore,we can conclude that the IOFGMM algorithm has good detection performance. Keywords:IOFGMM detection algorithm;optical flow method:gaussian mixture background model;Information fu- sion;real-time detection:gradient:illumination;constraint 收稿日期：2019-07-29.网络出版日期：2020-07-16. 基金项目：山西省自然科学基金项目(201801D221179, 近年来随着交通监控系统的日益普及，以视 201701D121059):太原科技大学校博士科研启动基金项目(20162036)：山西省高等学校人文社会科学频为基础的车辆检测已成为智能交通领域的研究重点研究基地项目(20190130)：忻州市平台和人才专项(20180601). 热点。当前，车辆检测方法大致可以分为两类，通信作者：曹建芳.E-mail:kexdj1222@126.com 类是光流法(optical flow.,OF)回、帧差法、背景

DOI: 10.11992/tis.201907051 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20200715.1800.008.html 改进光流法和 GMM 融合的车辆实时检测算法研究陈立潮1 ，解丹1 ，曹建芳1,2，张睿1 （1. 太原科技大学计算机科学与技术学院，山西太原 030024; 2. 忻州师范学院计算机科学与技术系，山西忻州 034000）摘要：针对传统光流算法受光照影响较大和在不同场景中检测效果差别较大等问题，提出一种改进的光流法与混合高斯背景模型相融合的运动车辆实时检测算法（improved optical flow and gaussian mixture model， IOFGMM）。首先，在光流算法中加入限制条件使得不同梯度点处采用不同约束；其次，融合高斯混合背景模型（gaussian mixture model，GMM）；最后，采用提出的融合算法比较目标框的数量和目标框之间的重叠面积，从而在监控视频中显示出融合后的车辆检测信息。实验结果表明：该算法在 3 种不同场景视频上的检测效果达到了 84.80% 的平均准确率，84.79% 的平均召回率以及 84.63% 的平均 F1 值。与经典的光流法和高斯混合背景模型及基于这两种理论的算法相比，IOFGMM 算法的各项指标平均有 37% 的提高，具有良好的检测效果。关键词：IOFGMM 检测算法；光流法；高斯混合背景模型；信息融合；实时检测；梯度；光照；约束中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2021)02−0271−08 中文引用格式：陈立潮, 解丹, 曹建芳, 等. 改进光流法和 GMM 融合的车辆实时检测算法研究 [J]. 智能系统学报, 2021, 16(2): 271–278. 英文引用格式：CHEN Lichao, XIE Dan, CAO Jianfang, et al. Research on vehicle real-time detection algorithm based on improved optical flow method and GMM[J]. CAAI transactions on intelligent systems, 2021, 16(2): 271–278. Research on vehicle real-time detection algorithm based on improved optical flow method and GMM CHEN Lichao1 ，XIE Dan1 ，CAO Jianfang1,2 ，ZHANG Rui1 (1. School of Computer Science and Technology, Taiyuan University of Science and Technology, Taiyuan 030024, China; 2. Department of Computer Science and Technology, Xinzhou Teachers University, Xinzhou 034000, China) Abstract: To solve the problem of the optical flow algorithm being greatly affected by illumination and the highly variable detection effect in different scenes, in this paper, we propose an improved optical flow and Gaussian mixture model (IOFGMM) algorithm for the real-time detection of moving vehicles. First, a restriction is added to the optical flow algorithm whereby different constraints are used at different points. Then, a Gaussian mixture model (GMM) is fused. Finally, the number of target boxes and the area in which the target boxes overlap are compared by the proposed fusion algorithm. The vehicle detection information after fusion is displayed in the surveillance video. Experimental results show that the detection performance of the IOFGMM algorithm achieved an average accuracy rate of 84.80%, an average recall rate of 84.79%, and an average F1 value of 84.63% for videos of three different scenes. Compared with the classical optical flow method, the GMM, and the algorithm based on these two theories, the IOFGMM algorithm shows an average improvement of 37% in each metric. Therefore, we can conclude that the IOFGMM algorithm has good detection performance. Keywords: IOFGMM detection algorithm; optical flow method; gaussian mixture background model; Information fusion; real-time detection; gradient; illumination; constraint 近年来随着交通监控系统的日益普及，以视频为基础的车辆检测已成为智能交通领域的研究热点[1]。当前，车辆检测方法大致可以分为两类，一类是光流法（optical flow，OF） [2] 、帧差法[3] 、背景收稿日期：2019−07−29. 网络出版日期：2020−07−16. 基金项目：山西省自然科学基金项目 (201801D221179 ， 201701D121059)；太原科技大学校博士科研启动基金项目 (20162036)；山西省高等学校人文社会科学重点研究基地项目 (20190130)；忻州市平台和人才专项 (20180601). 通信作者：曹建芳. E-mail：kcxdj122@126.com. 第 16 卷第 2 期智能系统学报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021

·272· 智能系统学报第16卷差分法这类经典的车辆实时检测方法；另一类 I(x,y,),Horn-Schunck将光流求解归结为式(1)所是随着深度学习的出现而发展起来的Fast- 示的极值问题。 RCNNISI、Faster-RCNN等区域建议检测方法和 S=∬[，u+,v++G+G+v+dd() YOLOII、YOLOV22懰等无区域建议的检测方法。式中山、I,、,分别为(xy,)在x、y、t处的偏导数，鉴于深度学习算法需要很高的硬件配置和大量数分别代表像素点的灰度值随x、y、1的变化率。入据集，实验条件较为严格，因而尽管光流法等实表示对图像数据及平滑约束的置信度，它的取值时检测算法出现较早，但目前仍是研究的热点。和图像中的噪声相关，当图像中的噪声较少时， 2017年Sengar等9采用一种基于双向光流块的说明图像数据本身的置信度较高，此时需要较小运动目标检测方法，该方法首先估计当前帧与上的入，以减小对光流约束的依赖。反之，当图像中一帧和下一帧之间的双向光流场，并经过处理后的噪声较多时，需要较大的。4、，和yx、y,分以二值化的形式检测到运动对象。其在固定场景别为光流的水平速度u和垂直速度v在x、y处的的视频中测试了该方法的有效性，但对于变化的偏导数。经推导+++的值可用k(-“)+ 场景而言，该算法的性能较差。同年，Pan等o提 k(-)代替，其中k为3，和分别表示出一种ViBe背景模型以解决光照变化而导致的 4,邻域和y邻域的均值，原算法中采用8个领域背景变化。ViBe背景模型的核心是根据已定义的加权平均值：的两种车辆检测误差及其对应的误差函数，确定合理的评价条件、调整不合理的阈值以保证背景模型的自适应更新。此方法虽然提高了前景分割 1 的准确率，但是在背景模型更新的过程中，检测 2--1+4-11+4+1+4+ (2) 效果仍有待提高。相比国外而言，国内学者对光 =后-山+1+++i)+ 流法的研究较少。 1 上述方法也存在一定的缺陷，如：光流法很容 2-Ln1+-l+41++-i）易受到噪声、光源以及阴影变化的影响，从而影式中：下标i是图像中y方向的坐标，下标j是图响检测结果。帧差法检测到的目标轮廓通常比实像中x方向的坐标。际的轮廓要大，且随着车辆运动速度的增加，误 1.2高斯混合背景模型差也会逐渐变大。背景差分法在实际应用中具有高斯混合背景模型(gaussian mixture model, 局限性，背景模型的建立以及更新对场景变化比 GMM)2I是一种经典的背景建模方法。其用K 较敏感，这在很大程度上会影响检测结果。但光个高斯模型表示图像中各像素点的特征，通过对流法检测较其他两种方法较为准确，背景差分法每个分布中的均值、方差、权重参数进行学习更能很好地利用帧间信息，基于此，本文针对光流新。假设图像中某像素点(x,y)在t时刻的像素值算法和背景差分法的优缺点提出一种改进光流法为I(x,y,),此点的概率密度函数为K个高斯模型与高斯混合背景模型相融合的算法(improved op- 概率密度的加权和P(I(x,y,),计算公式为 tical flow and gaussian mixture model,IOFGMM) P(I(x.y,t))= 了n(Ix,y,t),4oa) (3) 改善实时性检测算法在不同场景中的检测效果。式中：K为高斯分布的个数；①u、u、、分别 1相关理论为t时刻第i个高斯分量的权值、概率密度函数、 1.1光流法平均值、协方差矩阵。光流包含运动物体的运动信息和三维结构信根据ω/o的值大小，将一个像素点的K 息。光流为图像中每个像素点设置一个速度矢个高斯分量降序排列，符合式(4)的前B个高斯量，该速度矢量用于分析图像。当光流矢量的变分布被认为是背景模型。T为背景模型在高斯分化连续时，图像中不含运动信息；否则，图像中含布中所占的最小比例，是一个阈值，取值范围为有运动信息即有运动的物体出现。光流算法有很 0.5~1.0,实验时T取0.7。多，Horn-Schunck!是一种基于梯度的全局约束 B=argmin wi> (4) 光流算法，本文算法在此算法上进行改进，利用稠密的光流信息检测视频中的运动目标。假设图若像素点x,y,)的值与前B个高斯分布均像中某像素点(x,y)在1时刻的灰度值表示为不匹配，则该像素被认为是前景，此时用一个新

差分法[4] 这类经典的车辆实时检测方法；另一类是随着深度学习的出现而发展起来的 FastRCNN[5] 、Faster-RCNN[6] 等区域建议检测方法和 YOLO[7] 、YOLOv2[8] 等无区域建议的检测方法。鉴于深度学习算法需要很高的硬件配置和大量数据集，实验条件较为严格，因而尽管光流法等实时检测算法出现较早，但目前仍是研究的热点。 2017 年 Sengar 等 [9] 采用一种基于双向光流块的运动目标检测方法，该方法首先估计当前帧与上一帧和下一帧之间的双向光流场，并经过处理后以二值化的形式检测到运动对象。其在固定场景的视频中测试了该方法的有效性，但对于变化的场景而言，该算法的性能较差。同年，Pan 等 [10] 提出一种 ViBe 背景模型以解决光照变化而导致的背景变化。ViBe 背景模型的核心是根据已定义的两种车辆检测误差及其对应的误差函数，确定合理的评价条件、调整不合理的阈值以保证背景模型的自适应更新。此方法虽然提高了前景分割的准确率，但是在背景模型更新的过程中，检测效果仍有待提高。相比国外而言，国内学者对光流法的研究较少。上述方法也存在一定的缺陷，如：光流法很容易受到噪声、光源以及阴影变化的影响，从而影响检测结果。帧差法检测到的目标轮廓通常比实际的轮廓要大，且随着车辆运动速度的增加，误差也会逐渐变大。背景差分法在实际应用中具有局限性，背景模型的建立以及更新对场景变化比较敏感，这在很大程度上会影响检测结果。但光流法检测较其他两种方法较为准确，背景差分法能很好地利用帧间信息，基于此，本文针对光流算法和背景差分法的优缺点提出一种改进光流法与高斯混合背景模型相融合的算法（improved optical flow and gaussian mixture model，IOFGMM）以改善实时性检测算法在不同场景中的检测效果。 1 相关理论 1.1 光流法 (x, y) t 光流包含运动物体的运动信息和三维结构信息。光流为图像中每个像素点设置一个速度矢量，该速度矢量用于分析图像。当光流矢量的变化连续时，图像中不含运动信息；否则，图像中含有运动信息即有运动的物体出现。光流算法有很多，Horn-Schunck[11] 是一种基于梯度的全局约束光流算法，本文算法在此算法上进行改进，利用稠密的光流信息检测视频中的运动目标。假设图像中某像素点在时刻的灰度值表示为 I(x, y,t)，Horn-Schunck 将光流求解归结为式（1）所示的极值问题。 S = x [ (Ixu+ Iyv+ It) 2 +λ(u 2 x +u 2 y +v 2 x +v 2 y ) ] dxdy (1)λ λ λ u 2 x +u 2 y +v 2 x +v 2 y k(ui, j −ui, j)+ k(vi, j −vi, j) ui, j vi, j 式中:Ix、Iy、It 分别为 I(x,y,t) 在 x、y、t 处的偏导数，分别代表像素点的灰度值随 x、y、t 的变化率。表示对图像数据及平滑约束的置信度，它的取值和图像中的噪声相关，当图像中的噪声较少时，说明图像数据本身的置信度较高，此时需要较小的，以减小对光流约束的依赖。反之，当图像中的噪声较多时，需要较大的。ux、uy 和 vx、vy 分别为光流的水平速度 u 和垂直速度 v 在 x、y 处的偏导数。经推导的值可用代替，其中 k 为 3, 和分别表示 ui,j 邻域和 vi,j 邻域的均值，原算法中采用 8 个领域的加权平均值：    ui, j = 1 6 (ui−1, j +ui, j+1 +ui+1, j +ui, j−1)+ 1 12 (ui−1, j−1 +ui−1, j+1 +ui+1, j+1 +ui+1 j−1) vi, j = 1 6 (vi−1, j +vi, j+1 +vi+1, j +vi, j−1)+ 1 12 (vi−1, j−1 +vi−1, j+1 +vi+1, j+1 +vi+1 j−1) (2) i y j x 式中:下标是图像中方向的坐标，下标是图像中方向的坐标。 1.2 高斯混合背景模型 K (x, y) t I(x, y,t) K P(I(x, y,t)) 高斯混合背景模型（gaussian mixture model， GMM） [12] 是一种经典的背景建模方法。其用个高斯模型表示图像中各像素点的特征，通过对每个分布中的均值、方差、权重参数进行学习更新。假设图像中某像素点在时刻的像素值为，此点的概率密度函数为个高斯模型概率密度的加权和，计算公式为 P(I(x, y,t)) = ∑K i=1 ωi,tηi,t(I(x, y,t), µi,tσi,t) (3) ωi,t ηi,t µi,t σi,t t i 式中：K 为高斯分布的个数；、、、分别为时刻第个高斯分量的权值、概率密度函数、平均值、协方差矩阵。 ωi,t/ σi,t K B 根据的值大小，将一个像素点的个高斯分量降序排列，符合式（4）的前个高斯分布被认为是背景模型。T 为背景模型在高斯分布中所占的最小比例，是一个阈值，取值范围为 0.5~1.0，实验时 T 取 0.7。 B = argmin b   ∑b i=1 ωi,t > T   (4) 若像素点 I(x, y,t) 的值与前 B 个高斯分布均不匹配，则该像素被认为是前景，此时用一个新 ·272· 智能系统学报第 16 卷

第2期陈立潮，等：改进光流法和GMM融合的车辆实时检测算法研究 ·273· 的高斯分布取代权值最小的那个高斯分布，并为 B,…,B}。信息融合的具体步骤是：其初始化一个较大的方差和较小的权重值。反 1)比较count1、count2。若count,,≥count2,执之，该像素被认为是背景。行2)；否则，执行5)： 2)从图A中遍历中心点{A,A2,…,A},遍历 2 IOFGMM算法未完成时，执行3)~4)：否则，执行8)： 2.1参数引入 3)计算A图中的中心点与B图中的所有中为了增强光流算法的准确性，提出一种改进心点{B,B2,…,B}的距离，取最小的（若有两个及的光流算法(improved optical flow,IOF)。具体做以上相等，则都取)距离所对应的目标框BoxB: 法是在光流计算中加入一个限制条件（参数）使 4)计算BoxA,和BoxB,的重叠面积(intersec- 得在梯度较大的点处使用亮度恒常性约束，在梯 tion area,IA),若IA=O,则记录IA的中心点坐标及长和宽；若IA>O,则取值最大的IA的中心点坐度较小的点处使用光流场一致性约束。因而定义标及长和宽：式(5)的二值加权函数。 5)从图B中遍历中心点{B1,B2,…,B,},遍历 0,+>V 6(x,y)= (5) 未完成时，执行6)~7)；否则，执行8)； 1,其他 6)计算B图中的中心点{B,B2,…,B}与A图式中：V为一个阈值，实验中V取0.5，当与的中的所有中心点的距离，取最小的（若有两个及和大于所设定的阈值时，函数值为0；其他情况，以上相等，则都取)距离所对应的目标框BoxA: 函数值为1。加入限制条件以后，由式(1)和式 7)计算BoxB,和BoxA,的IA,若IA=O,则记 (5)可得到：录IA的中心点坐标及长和宽；若IA>0,则取值最 S=∬6ex,)-.u+,v+02+G+G++dd 大的IA的中心点坐标及长和宽； (6) 8)将IA所对应的矩形框标注在图像中，并记实验中用式(6)计算光流矢量。式中++ 录矩形框的总数量，其为IOFGMM检测的结果。 2+可用k-)+k(-)代替，其中k为 2.3算法描述 3,和是一个四邻域均值，一方面为了便于 IOFGMM算法的流程如图1所示。主要步骤计算，另一方面根据图像的空间相关性可保证所包括读取视频的图像序列、处理视频的图像序列取的值具有普遍性。具体计算如式(7)所示和在图像上绘制检测结果。其中处理视频图像序列是核心步骤，包括确定感兴趣区域、获取光流 4 (7) 信息、获取前景和背景信息、形态学操作、图像分阿=4-w++1+) 割及信息融合。首先，从磁盘中读取处理好的视 2.2信息融合频数据集，之后获取所读入视频的信息，获取到经实验发现OF和GMM的检测结果各有优的视频帧进入一个循环中，当视频帧未读取完缺点，OF能够在未知场景的状况下检测到独立的时，对每帧图像进行光流矢量及相关值的计算以及前景和背景信息的获取，并对所获取的信息进运动车辆，但容易受噪声、光照等的影响；IOF虽行二值化的阈值分割，从而分割出运动的车辆目然稳定，但光照强度变化很大时，仍检测不到目标，接着进行腐蚀和膨胀的形态学操作，以清除标；而GMM容易在背景建模和背景更新的过程残留的小噪声并平滑被分割的车辆边缘，最后绘中检测不到车辆，但即使光照变化很大时，背景制目标框并根据2.2节所描述的方法将信息融建模仍有较好的效果。因此，将IOF和GMM的合，进一步绘制校准后的目标区域，计算目标框信息相融合。个数并输出结果。将IOF检测结果的某一帧图像称为A图，将整个IOFGMM算法由一个判断、一个遍历和 GMM检测结果的某一帧图像称为B图。A图中若干个处理操作组成，具体的算法描述如下：检测到的车辆数量记为county,所有的目标框的输入视频数据集集合为{BoxA,BoxA2,·,BoxA},对应的中心点输出具有检测信息的视频和检测后视频中的集合为{4，A2,…,A}。同理，B图中检测到的车的每帧图像辆数量记为count2,目标框的集合记为{BoxB, 1)读取视频帧并获取视频信息； BoxB2,…,BoxB},对应的中心点的集合为{B1, 2)if视频帧数未读取完then

的高斯分布取代权值最小的那个高斯分布，并为其初始化一个较大的方差和较小的权重值。反之，该像素被认为是背景。 2 IOFGMM 算法 2.1 参数引入为了增强光流算法的准确性，提出一种改进的光流算法（improved optical flow，IOF）。具体做法是在光流计算中加入一个限制条件（参数）使得在梯度较大的点处使用亮度恒常性约束，在梯度较小的点处使用光流场一致性约束。因而定义式（5）的二值加权函数。 δ(x, y) =    0, I 2 x + I 2 y > V 1, 其他 (5) I 2 x I 2 式中 y :V 为一个阈值，实验中 V 取 0.5，当与的和大于所设定的阈值时，函数值为 0；其他情况，函数值为 1。加入限制条件以后，由式（1）和式（5）可得到： S = x [ δ(x, y)·(Ixu+ Iyv+ It) 2 +λ(u 2 x +u 2 y +v 2 x +v 2 y ) ] dxdy (6) u 2 x +u 2 y+ v 2 x +v 2 y k(ui, j −ui, j)+k(vi, j −vi, j) ui, j vi, j 实验中用式 (6) 计算光流矢量。式中可用代替，其中 k 为 3, 和是一个四邻域均值，一方面为了便于计算，另一方面根据图像的空间相关性可保证所取的值具有普遍性。具体计算如式（7）所示    ui, j = 1 4 (ui−1, j +ui+1, j +ui, j−1 +ui, j+1) vi, j = 1 4 (vi−1, j +vi+1, j +vi, j−1 +vi, j+1) (7) 2.2 信息融合经实验发现 OF 和 GMM 的检测结果各有优缺点，OF 能够在未知场景的状况下检测到独立的运动车辆，但容易受噪声、光照等的影响；IOF 虽然稳定，但光照强度变化很大时，仍检测不到目标；而 GMM 容易在背景建模和背景更新的过程中检测不到车辆，但即使光照变化很大时，背景建模仍有较好的效果。因此，将 IOF 和 GMM 的信息相融合。将 IOF 检测结果的某一帧图像称为 A 图，将 GMM 检测结果的某一帧图像称为 B 图。A 图中检测到的车辆数量记为 count1，所有的目标框的集合为{BoxA1 , BoxA2 ,…, BoxAi}，对应的中心点的集合为{A1 , A2 ,…, Ai}。同理，B 图中检测到的车辆数量记为 count2，目标框的集合记为{BoxB1 , BoxB2 ,…, BoxBi}，对应的中心点的集合为{B1 , B2 ,…, Bi}。信息融合的具体步骤是： 1）比较 count1、count2。若 count1≥count2，执行 2）；否则，执行 5）； 2）从图 A 中遍历中心点{A1 , A2 ,…, Ai}，遍历未完成时，执行 3）~4）；否则，执行 8）； 3）计算 A 图中的中心点与 B 图中的所有中心点{B1 , B2 ,…, Bi}的距离，取最小的（若有两个及以上相等，则都取）距离所对应的目标框 BoxBi； 4）计算 BoxAi 和 BoxBi 的重叠面积（intersection area, IA），若 IA=0，则记录 IA 的中心点坐标及长和宽；若 IA>0，则取值最大的 IA 的中心点坐标及长和宽； 5）从图 B 中遍历中心点{B1 , B2 ,…, Bi}，遍历未完成时，执行 6）~7）；否则，执行 8）； 6）计算 B 图中的中心点{B1 , B2 ,…, Bi}与 A 图中的所有中心点的距离，取最小的（若有两个及以上相等，则都取）距离所对应的目标框 BoxAi； 7）计算 BoxBi 和 BoxAi 的 IA，若 IA=0，则记录 IA 的中心点坐标及长和宽；若 IA>0，则取值最大的 IA 的中心点坐标及长和宽； 8）将 IA 所对应的矩形框标注在图像中，并记录矩形框的总数量，其为 IOFGMM 检测的结果。 2.3 算法描述 IOFGMM 算法的流程如图 1 所示。主要步骤包括读取视频的图像序列、处理视频的图像序列和在图像上绘制检测结果。其中处理视频图像序列是核心步骤，包括确定感兴趣区域、获取光流信息、获取前景和背景信息、形态学操作、图像分割及信息融合。首先，从磁盘中读取处理好的视频数据集，之后获取所读入视频的信息，获取到的视频帧进入一个循环中，当视频帧未读取完时，对每帧图像进行光流矢量及相关值的计算以及前景和背景信息的获取，并对所获取的信息进行二值化的阈值分割，从而分割出运动的车辆目标，接着进行腐蚀和膨胀的形态学操作，以清除残留的小噪声并平滑被分割的车辆边缘，最后绘制目标框并根据 2.2 节所描述的方法将信息融合，进一步绘制校准后的目标区域，计算目标框个数并输出结果。整个 IOFGMM 算法由一个判断、一个遍历和若干个处理操作组成，具体的算法描述如下：输入视频数据集输出具有检测信息的视频和检测后视频中的每帧图像 1) 读取视频帧并获取视频信息; 2) if 视频帧数未读取完 then 第 2 期陈立潮，等：改进光流法和 GMM 融合的车辆实时检测算法研究 ·273·

·274· 智能系统学报第16卷 3)for i=1,2,,video.length do Windows100操作系统的MATLAB R2014b。整个算 4)确定感兴趣区；法通过创建计算机视觉工具箱的对象进行编写。 5)计算光流矢量及相关值；算法的性能在真实的车辆视频上进行评估， 6)获取前景、背景信息；数据集采用公共数据集CDnet.2014),该数据集 7分割图像；包含多个数据类别且每个类别中包含4~6个视频 8)形态学处理序列，可登录网站ChangeDetection.net”免费下 9)记录目标框；载。本实验研究运动车辆的检测，所以选用CD 10)融合信息； net20l4中的Highway、IntermittenPan、Street- 11)绘制融合信息后的目标框，并对每帧目标 CornerAtNight视频序列。3个视频序列的信息如框计数；表1所示。 12)return 表1用于检测的视频序列信息 13)end for Table 1 Video sequence information for detection 14)end if 图像分辨率/ 数量 l5)if视频帧数读取完then 视频序列描述 (PX) 16)break 晴天，有阴影， 320×240 1700 17)end if Highway 有树木晴天，有树木，开始 IntermittenPan 560×368 3500 光线变化读入视频 StreetCornerAtNight 595×245 5200晚上，光线变化获取视频信息这3个视频序列的图像格式均是位深度为 24的RGB图像。由于彩色图像信息量多，处理视頫帧数读取完？复杂，故读取每张图像后，将彩色图像转换为灰度图像，即将三通道的RGB图像变为单通道的灰 N 度图像。此外，采用自动白平衡算法去除图像中的灰度突变、平滑图像。实际中采集到的一般读取视频图像序列为视频而非视频序列，故将所有的视频序列合成视频，对这3个合成的视频进行车辆的检测。确定感兴趣区 3.2结果分析光流计算 3.2.1车辆检测视觉效果获取前、背景信息在3个不同场景下的监控视频上检测车辆的入视觉效果如表2~4所示。表中第1列说明了该行信息处理所对应的为第几帧图像，第2列是输入的图像，第3列是对应图像的背景，第4列是对应图像的信息融合前景，第5列是对应图像的光流可视化，最后一列标定和统计是最后检测的结果。 (结束表2是白天高速公路上的车辆检测视觉效果。可以看出，由于是晴天，背景被树木的阴影图1 IOFGMM算法流程图和车辆的阴影遮挡，一定的时间段内，光照不会 Fig.1 Flow chart of the IOFGMM method 有太大变化。由于在背景建模时已经将带有树木 3实验结果及分析阴影的车辆场景视为背景，因此不会将树木阴影误认为运动目标，又因为在前景信息的获取时进 3.1实验环境与数据来源行了角点检测，而且融合信息的缘故，所以部分实验的硬件环境为Intel i7-4770,3.40GHz的车辆阴影没有被误认为是车辆目标。四核CPU;l2GB的内存；1GB的AMD Radeon 表3是PTZ(Pan/Tilt/Zoom)相机拍摄的城镇 HD8490显卡和120GB的固态硬盘。软件环境为道路上的视频序列的检测效果。由于云台的上

3) for i=1, 2, ···, video.length do 4) 确定感兴趣区; 5) 计算光流矢量及相关值; 6) 获取前景、背景信息; 7) 分割图像; 8) 形态学处理; 9) 记录目标框; 10) 融合信息; 11) 绘制融合信息后的目标框，并对每帧目标框计数; 12) return 13) end for 14) end if 15) if 视频帧数读取完 then 16) break 17) end if 开始读入视频视频帧数读取完？获取视频信息读取视频图像序列确定感兴趣区信息处理信息融合标定和统计结束 N Y 获取前、背景信息光流计算图 1 IOFGMM 算法流程图 Fig. 1 Flow chart of the IOFGMM method 3 实验结果及分析 3.1 实验环境与数据来源实验的硬件环境为 Intel i7-4 770，3.40 GHz 的四核 CPU；12 GB 的内存；1 GB 的 AMD Radeon HD8490 显卡和 120 GB 的固态硬盘。软件环境为 Windows10 操作系统的 MATLAB R2014b。整个算法通过创建计算机视觉工具箱的对象进行编写。算法的性能在真实的车辆视频上进行评估，数据集采用公共数据集 CDnet2014[13] ，该数据集包含多个数据类别且每个类别中包含 4~6 个视频序列，可登录网站“ChangeDetection.net”免费下载。本实验研究运动车辆的检测，所以选用 CDnet2014 中的 Highway、IntermittenPan、StreetCornerAtNight 视频序列。3 个视频序列的信息如表 1 所示。表 1 用于检测的视频序列信息 Table 1 Video sequence information for detection 视频序列图像分辨率/ （PX）数量描述 Highway 320×240 1700 晴天，有阴影，有树木 IntermittenPan 560×368 3500 晴天，有树木，光线变化 StreetCornerAtNight 595×245 5200 晚上，光线变化这 3 个视频序列的图像格式均是位深度为 24 的 RGB 图像。由于彩色图像信息量多，处理复杂，故读取每张图像后，将彩色图像转换为灰度图像，即将三通道的 RGB 图像变为单通道的灰度图像。此外，采用自动白平衡算法[14] 去除图像中的灰度突变、平滑图像。实际中采集到的一般为视频而非视频序列，故将所有的视频序列合成视频，对这 3 个合成的视频进行车辆的检测。 3.2 结果分析 3.2.1 车辆检测视觉效果在 3 个不同场景下的监控视频上检测车辆的视觉效果如表 2~4 所示。表中第 1 列说明了该行所对应的为第几帧图像，第 2 列是输入的图像，第 3 列是对应图像的背景，第 4 列是对应图像的前景，第 5 列是对应图像的光流可视化，最后一列是最后检测的结果。表 2 是白天高速公路上的车辆检测视觉效果。可以看出，由于是晴天，背景被树木的阴影和车辆的阴影遮挡，一定的时间段内，光照不会有太大变化。由于在背景建模时已经将带有树木阴影的车辆场景视为背景，因此不会将树木阴影误认为运动目标，又因为在前景信息的获取时进行了角点检测，而且融合信息的缘故，所以部分车辆阴影没有被误认为是车辆目标。表 3 是 PTZ（Pan/Tilt/Zoom）相机拍摄的城镇道路上的视频序列的检测效果。由于云台的上 ·274· 智能系统学报第 16 卷

第2期陈立潮，等：改进光流法和GMM融合的车辆实时检测算法研究 ·277· 光流信息和背景建模信息互相补充，从而检测到 vehicle detection in surveillance video based on deep 了与背景灰度信息相似的深色车辆、距离较远的 learning[J].Journal of computer application,2019,39(3): 车辆、距离较近的车辆，且标注出的目标框比较 700-705. 准确。此外，每帧图像中左上角的计数数量与实 [2]WULFF J,SEVILLA-LARA L.BLACK M J.Optical flow 际的车辆数量相同。 in mostly rigid scenes[Cl//Proceedings of 2017 IEEE Con- 3种算法检测在该视频上的检测结果如表6。 ference on Computer Vision and Pattern Recognition.Hon- 可以看出，3种算法的准确率相差较小，召回率相 olulu.,USA,2017:6911-6920. 差较大，且IOFGMM算法的准确率、召回率及 [3]于晓明，李思颖，史胜楠.混合高斯融合三帧差的运动目 F1值均高于Corola和BBOF。因而，实际场景中标检测改进算法J.红外技术，2019,41(3)：256-261 IOFGMM算法也具有良好的检测效果。 YU Xiaoming,LI Siying,SHI Shengnan.An improved al- 表6 IOFGMM与Corola、BBOF的实验对比 gorithm for moving target detection using a Gaussian mix- Table 6 Experimental comparison of IOFGMM,Corola ture with three-frame difference[J].Infrared technology, and BBOF 2019,41(3):256-261 方法 P R F [4]范文超，李晓宇，魏凯，等.基于改进的高斯混合模型的 Corola 0.968 0.793 0.872 运动目标检测U.计算机科学，2015,42(5：286-288， BBOF 0.936 0.619 0.745 319 IOFGMM 0.954 FAN Wenchao,LI Xiaoyu,WEI Kai,et al.Moving target 0.873 0.912 detection based on improved Gaussian mixture model[J]. Computer science,2015,42(5):286-288,319. 4结束语 [5]GIRSHICK R.Fast R-CNN[C]/Proceedings of 2015 IEEE 针对光流算法受光照影响较大和在不同场景 International Conference on Computer Vision.Santiago, 中检测效果差别较大等问题，提出了IOFGMM检 Chile,2015:1440-1448. 测算法对车辆进行实时检测。该算法在改进 [6]REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster OF算法的基础上融入GMM,将检测到的目标信 R-CNN:towards real-time object detection with region 息相融合，最终显示出具有检测信息的车辆监控 proposal networks[J].IEEE transactions on pattern analys- 视频。在公共数据集CDnet22014上对该算法进行 is and machine intelligence,2017,39(6):1137-1149. [7]REDMON J,DIVVALA S,GIRSHICK R,et al.You only 验证，实验结果表明，该算法的P、R和FI值最高 look once:unified,real-time object detection[Cl//Proceed- 可达96.32%、94.81%、95.59%；最低为62.65%、 ings of 2016 IEEE Conference on Computer Vision and 72.26%、67.11%,但是无论是最高还是最低都比 Pattern Recognition.Las Vegas,USA,2016:779-788. 同样场景下的Corola等车辆检测算法的效果好。 [8]REDMON J,FARHADI A.YOLO9000:better,faster, 因此，该算法在不同场景下均能获得较好的效 stronger[C]//Proceedings of 2017 IEEE Conference on 果，对于智能交通的发展具有重要意义。但是由 Computer Vision and Pattern Recognition.Honolulu,USA, 于同一算法的同种参数应用于不同场景时会产生 2017:6517-6525 一些差别，从而影响算法的性能，故之后可以将 [9]SENGAR SS,MUKHOPADHYAY S.Motion detection 级联机制引入IOFGMM算法中，预先判断场景， using block based bi-directional optical flow method[J]. 并根据场景选用不同参数，从而提高多场景下的 Journal of visual communication and image representation, 车辆检测的准确率和召回率。另一方面，IOFGMM 2017,49:89-103 算法却乏主动学习的机制，因而下一步可以在光 [10]PAN Chengyi,ZHU Zhou,JIANG Liangwei,et al.Ad- 流场中引入神经网络，使得算法能够主动学习车 aptive ViBe background model for vehicle 辆特征，提高车辆的检测效果。 detection[C]//Proceedings of the 2nd Advanced Informa- 参考文献： tion Technology,Electronic and Automation Control Conference.Chongqing,China,2017:1301-1305 [1]徐子豪，黄伟泉，王胤.基于深度学习的监控视频中多类 [11]HORN B K P,SCHUNCK B G.Determining optical 别车辆检测U.计算机应用，2019,39(3)700-705 flow[J].Artificial intelligence,1980,17(1/2/3):185-203. XU Zihao,HUANG Weiquan,WANG Yin.Multi-class [12]LIU Xiong,PAN Li,SUN Xiaoliang.Real-time traffic

光流信息和背景建模信息互相补充，从而检测到了与背景灰度信息相似的深色车辆、距离较远的车辆、距离较近的车辆，且标注出的目标框比较准确。此外，每帧图像中左上角的计数数量与实际的车辆数量相同。 3 种算法检测在该视频上的检测结果如表 6。可以看出，3 种算法的准确率相差较小，召回率相差较大，且 IOFGMM 算法的准确率、召回率及 F1 值均高于 Corola 和 BBOF。因而，实际场景中 IOFGMM 算法也具有良好的检测效果。表 6 IOFGMM 与 Corola、BBOF 的实验对比 Table 6 Experimental comparison of IOFGMM, Corola and BBOF 方法 P R F1 Corola 0.968 0.793 0.872 BBOF 0.936 0.619 0.745 IOFGMM 0.954 0.873 0.912 4 结束语针对光流算法受光照影响较大和在不同场景中检测效果差别较大等问题，提出了 IOFGMM 检测算法对车辆进行实时检测。该算法在改进 OF 算法的基础上融入 GMM，将检测到的目标信息相融合，最终显示出具有检测信息的车辆监控视频。在公共数据集 CDnet2014 上对该算法进行验证，实验结果表明，该算法的 P、R 和 F1 值最高可达 96.32%、94.81%、95.59%；最低为 62.65%、 72.26%、67.11%，但是无论是最高还是最低都比同样场景下的 Corola 等车辆检测算法的效果好。因此，该算法在不同场景下均能获得较好的效果，对于智能交通的发展具有重要意义。但是由于同一算法的同种参数应用于不同场景时会产生一些差别，从而影响算法的性能，故之后可以将级联机制引入 IOFGMM 算法中，预先判断场景，并根据场景选用不同参数，从而提高多场景下的车辆检测的准确率和召回率。另一方面，IOFGMM 算法却乏主动学习的机制，因而下一步可以在光流场中引入神经网络，使得算法能够主动学习车辆特征，提高车辆的检测效果。参考文献：徐子豪, 黄伟泉, 王胤. 基于深度学习的监控视频中多类别车辆检测 [J]. 计算机应用, 2019, 39(3): 700–705. XU Zihao, HUANG Weiquan, WANG Yin. Multi-class [1] vehicle detection in surveillance video based on deep learning[J]. Journal of computer application, 2019, 39(3): 700–705. WULFF J, SEVILLA-LARA L, BLACK M J. Optical flow in mostly rigid scenes[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA, 2017: 6911−6920. [2] 于晓明, 李思颖, 史胜楠. 混合高斯融合三帧差的运动目标检测改进算法 [J]. 红外技术, 2019, 41(3): 256–261. YU Xiaoming, LI Siying, SHI Shengnan. An improved algorithm for moving target detection using a Gaussian mixture with three-frame difference[J]. Infrared technology, 2019, 41(3): 256–261. [3] 范文超, 李晓宇, 魏凯, 等. 基于改进的高斯混合模型的运动目标检测 [J]. 计算机科学, 2015, 42(5): 286–288, 319. FAN Wenchao, LI Xiaoyu, WEI Kai, et al. Moving target detection based on improved Gaussian mixture model[J]. Computer science, 2015, 42(5): 286–288, 319. [4] GIRSHICK R. Fast R-CNN[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 1440−1448. [5] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137–1149. [6] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA, 2016: 779−788. [7] REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA, 2017: 6517−6525. [8] SENGAR S S, MUKHOPADHYAY S. Motion detection using block based bi-directional optical flow method[J]. Journal of visual communication and image representation, 2017, 49: 89–103. [9] PAN Chengyi, ZHU Zhou, JIANG Liangwei, et al. Adaptive ViBe background model for vehicle detection[C]//Proceedings of the 2nd Advanced Information Technology, Electronic and Automation Control Conference. Chongqing, China, 2017: 1301−1305. [10] HORN B K P, SCHUNCK B G. Determining optical flow[J]. Artificial intelligence, 1980, 17(1/2/3): 185–203. [11] [12] LIU Xiong, PAN Li, SUN Xiaoliang. Real-time traffic 第 2 期陈立潮，等：改进光流法和 GMM 融合的车辆实时检测算法研究 ·277·

·278· 智能系统学报第16卷 status classification based on Gaussian mixture [18]SHAKERI M,ZHANG Hong.COROLA:a sequential model[C]//Proceedings of IEEE 1st International Confer- solution to moving object detection using low-rank ap- ence on Data Science in Cyberspace.Changsha,China, proximation[J].Computer vision and image understand- 2016:573-578. ing,2016,146:27-39 [13]魏超，贺光辉.基于直方图的白平衡算法的研究).微作者简介：电子学与计算机，2018,35(6)：75-78. 陈立潮，教授，博士，中国计算机 WEI Chao,HE Guanghui.Automatic white balance al- 学会高级会员，主要研究方向为智能 gorithm based on histogram[J].Microelectronics com- 信息处理。主持省部级科技项目 puter,2018,35(6):75-78 20余项、获山西省科学技术奖二等奖 [14]WANG Yi,JODOIN P M,PORIKLI F,et al.CDnet 2项。发表学术论文120余篇。 2014:an expanded change detection benchmark dataset[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus, 解丹，硕士研究生，中国计算机学 USA,2014:393-400. 会会员，主要研究方向为图像处理与模式识别。 [15]YANG Honghong,QU Shiru.Real-time vehicle detec- tion and counting in complex traffic scenes using back- ground subtraction model with low-rank decomposition [J].IET intelligent transport systems,2018,12(1):75-85 [16]STAUFFER C,GRIMSON W E L.Adaptive background 曹建芳，教授，博士，中国计算机 mixture models for real-time tracking[C]//Proceedings of 学会高级会员，主要研究方向为数字 1999 IEEE Conference on Computer Vision and Pattern 图像理解、大数据技术。近5年来，主 Recognition.Fort Collins,USA,1999:246-252. 持省部级项目11项，获山西省高等学校科学研究优秀成果（科学技术）自然 [17]RODRIGUEZ P,WOHLBERG B.Incremental principal 科学奖二等奖1项、山西省优秀学术 component pursuit for video background modeling[J]. 论文二等奖2项、忻州市科学技术奖 Journal of mathematical imaging and vision,2016,55(1): (自然科学类)二等奖2项、三等奖1项。发表学术论文 1-18. 30余篇，出版学术专著2部

status classification based on Gaussian mixture model[C]//Proceedings of IEEE 1st International Conference on Data Science in Cyberspace. Changsha, China, 2016: 573−578. 魏超, 贺光辉. 基于直方图的白平衡算法的研究 [J]. 微电子学与计算机, 2018, 35(6): 75–78. WEI Chao, HE Guanghui. Automatic white balance algorithm based on histogram[J]. Microelectronics & computer, 2018, 35(6): 75–78. [13] WANG Yi, JODOIN P M, PORIKLI F, et al. CDnet 2014: an expanded change detection benchmark dataset[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014: 393−400. [14] YANG Honghong, QU Shiru. Real-time vehicle detection and counting in complex traffic scenes using background subtraction model with low-rank decomposition [J]. IET intelligent transport systems, 2018, 12(1): 75–85. [15] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]//Proceedings of 1999 IEEE Conference on Computer Vision and Pattern Recognition. Fort Collins, USA, 1999: 246−252. [16] RODRIGUEZ P, WOHLBERG B. Incremental principal component pursuit for video background modeling[J]. Journal of mathematical imaging and vision, 2016, 55(1): 1–18. [17] SHAKERI M, ZHANG Hong. COROLA: a sequential solution to moving object detection using low-rank approximation[J]. Computer vision and image understanding, 2016, 146: 27–39. [18] 作者简介：陈立潮，教授，博士，中国计算机学会高级会员，主要研究方向为智能信息处理。主持省部级科技项目 20 余项、获山西省科学技术奖二等奖 2 项。发表学术论文 120 余篇。解丹，硕士研究生，中国计算机学会会员，主要研究方向为图像处理与模式识别。曹建芳，教授，博士，中国计算机学会高级会员，主要研究方向为数字图像理解、大数据技术。近 5 年来，主持省部级项目 11 项，获山西省高等学校科学研究优秀成果（科学技术）自然科学奖二等奖 1 项、山西省优秀学术论文二等奖 2 项、忻州市科学技术奖（自然科学类）二等奖 2 项、三等奖 1 项。发表学术论文 30 余篇，出版学术专著 2 部。 ·278· 智能系统学报第 16 卷