第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202005027 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20210412.1132.004html 相关滤波的运动目标抗遮挡再跟踪技术 戴煜彤，陈志国，傅毅 (1.江南大学人工智能与计算机学院，江苏无锡214122：2.无锡环境科学与工程研究中心，江苏无锡 214153) 摘要：针对相关滤波在抗遮挡方面效果不佳的问题，本文在ECO_HC(efficient convolution operators handcraft)的基础上提出了一种多特征融合的抗遮挡相关滤波算法。在相关滤波算法的框架下，将目标 ULBP(uniform local binary pattern)纹理特征和目标HOG(histogram of oriented gridients)特征进行线性加权融合； 在模型建立与更新阶段通过高斯掩码函数缓解循环移位造成的边界效应：通过计算目标最大响应值的峰值均 值比来判断目标状态，并将卡尔曼算法作为目标被遮挡后重定位策略。实验结果显示，在16个视频序列上，该 文算法的平均精确度达到87.3%.成功率达到76.5%.相比基线算法.分别提升了27.7%和23.7%。 关键词：目标跟踪：相关滤波；特征融合；ULBP:高斯掩码；参数峰值均值比；卡尔曼预测：抗遮挡 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2021)04-0630-11 中文引用格式：戴煜形，陈志国，傅毅.相关滤波的运动目标抗遮挡再跟踪技术J.智能系统学报，2021,16(4)：630-640. 英文引用格式：DAI Yutong,.CHEN Zhiguo,FUYi.Anti-occlusion retracking technology for a moving target based on correlation filtering J CAAI transactions on intelligent systems,2021,16(4):630-640. Anti-occlusion retracking technology for a moving target based on correlation filtering DAI Yutong',CHEN Zhiguo',FU Yi2 (1.School of Artificial Intelligence and Computer,Jiangnan University,Wuxi 214122,China;2.Wuxi Research Center of Environ mental Science and Engineering,Wuxi 214153,China) Abstract:To address the poor anti-occlusion effect of correlation filtering,this paper proposes an anti-occlusion correla- tion filtering algorithm by means of multifeature fusion based on efficient convolution operators handcraft.First,based on the framework of correlation filtering,a method of linearly weighted fusion is adopted to deal with the target uni- form local binary pattern texture feature and the target histogram of oriented gradients feature.Second,the Gaussian mask function is used during the model establishment and update phase to ease the boundary effect caused by cyclic shift.Lastly,the target state is judged by calculating the peak-to-average ratio of the target maximum response value, and the Kalman algorithm is utilized as the relocation strategy after the target is blocked.Experimental results show that the average accuracy of the proposed algorithm reaches 87.3%,and the success rate reaches 76.5%on 16 test sequences, which are 27.7%and 23.7%higher than those of the baseline algorithm,respectively. Keywords:object tracking;correlation filter;multi-feature fusion;ULBP;Gaussian mask;peak-to-average ratio;Kal- man prediction;anti-occlusion 目标跟踪山近年来因其横跨视频监控、无人 收稿日期：2010-05-21.网络出版日期：2021-04-12. 驾驶、无人飞行器、医学图像分析、空中预警等诸 基金项目：江苏省高等学校自然科学研究面上项目 (17KJB520039):江苏省“333高层次人才培养工程科 多领域而迅速成为计算机视觉研究的热点之一。 研项目”(BRA2018147):江苏省高校“青蓝工程”项 目(2020年). 日标跟踪的主流方法目前正由生成类方法逐渐转 通信作者：陈志国.E-mail:427533@qq.com 向判别式方法，其中基于相关滤波的目标跟踪算
DOI: 10.11992/tis.202005027 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210412.1132.004.html 相关滤波的运动目标抗遮挡再跟踪技术 戴煜彤1 ，陈志国1 ，傅毅2 （1. 江南大学 人工智能与计算机学院，江苏 无锡 214122; 2. 无锡环境科学与工程研究中心，江苏 无锡 214153） 摘 要 ：针对相关滤波在抗遮挡方面效果不佳的问题，本文在 ECO_HC(efficient convolution operators handcraft) 的基础上提出了一种多特征融合的抗遮挡相关滤波算法。在相关滤波算法的框架下，将目标 ULBP(uniform local binary pattern) 纹理特征和目标 HOG(histogram of oriented gridients) 特征进行线性加权融合； 在模型建立与更新阶段通过高斯掩码函数缓解循环移位造成的边界效应；通过计算目标最大响应值的峰值均 值比来判断目标状态，并将卡尔曼算法作为目标被遮挡后重定位策略。实验结果显示，在 16 个视频序列上，该 文算法的平均精确度达到 87.3%，成功率达到 76.5%，相比基线算法，分别提升了 27.7% 和 23.7%。 关键词：目标跟踪；相关滤波；特征融合；ULBP；高斯掩码；参数峰值均值比；卡尔曼预测；抗遮挡 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2021)04−0630−11 中文引用格式：戴煜彤, 陈志国, 傅毅. 相关滤波的运动目标抗遮挡再跟踪技术 [J]. 智能系统学报, 2021, 16(4): 630–640. 英文引用格式：DAI Yutong, CHEN Zhiguo, FU Yi. Anti-occlusion retracking technology for a moving target based on correlation filtering[J]. CAAI transactions on intelligent systems, 2021, 16(4): 630–640. Anti-occlusion retracking technology for a moving target based on correlation filtering DAI Yutong1 ，CHEN Zhiguo1 ，FU Yi2 (1. School of Artificial Intelligence and Computer, Jiangnan University, Wuxi 214122, China; 2. Wuxi Research Center of Environmental Science and Engineering, Wuxi 214153, China) Abstract: To address the poor anti-occlusion effect of correlation filtering, this paper proposes an anti-occlusion correlation filtering algorithm by means of multifeature fusion based on efficient convolution operators handcraft. First, based on the framework of correlation filtering, a method of linearly weighted fusion is adopted to deal with the target uniform local binary pattern texture feature and the target histogram of oriented gradients feature. Second, the Gaussian mask function is used during the model establishment and update phase to ease the boundary effect caused by cyclic shift. Lastly, the target state is judged by calculating the peak-to-average ratio of the target maximum response value, and the Kalman algorithm is utilized as the relocation strategy after the target is blocked. Experimental results show that the average accuracy of the proposed algorithm reaches 87.3%, and the success rate reaches 76.5% on 16 test sequences, which are 27.7% and 23.7% higher than those of the baseline algorithm, respectively. Keywords: object tracking; correlation filter; multi-feature fusion; ULBP; Gaussian mask; peak-to-average ratio; Kalman prediction; anti-occlusion 目标跟踪[1] 近年来因其横跨视频监控、无人 驾驶、无人飞行器、医学图像分析、空中预警等诸 多领域而迅速成为计算机视觉研究的热点之一。 目标跟踪的主流方法目前正由生成类方法逐渐转 向判别式方法，其中基于相关滤波的目标跟踪算 收稿日期：2010−05−21. 网络出版日期：2021−04−12. 基金项目：江苏省高等学校自然科学研究面上项 目 (17KJB520039)；江苏省“333 高层次人才培养工程科 研项目”(BRA2018147)；江苏省高校“青蓝工程”项 目 (2020 年). 通信作者：陈志国. E-mail：427533@qq.com. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021
第4期 戴煜形，等：相关滤波的运动目标抗遮挡再跟踪技术 ·631· 法发展尤为快速回。 1 ECO HC跟踪基本原理 相关滤波算法由Bolm等提出的最小输出误 差平方和(minimum output sum of squared error,. 相关滤波器2的核心是通过当前帧和前序 MOSSE)引入目标跟踪领域。Henriques等采用 帧训练的滤波器判定跟踪目标在下一帧的位置。 了HOG特征和循环移位采样方式，提出了核相 ECO HC算法首先在第一帧中选定跟踪目标，获 关滤波器(kernelized correlation filter,KCF)跟踪 取其在图片帧中的实际位置及其他特征信息用以 算法，大大提高了跟踪算法的准确率。Martin 初始化训练跟踪器，后续帧中根据跟踪器中预测 Danelljan等在MOSSE的基础上增加了一个尺度 的位置对其周围进行采样点响应，取最高响应值 滤波器用以应对尺度变换的情况，提出了DSST 的位置为跟踪的目标所在位置，并对跟踪器进行 (discriminative scale space tracking)算法。循环移 更新。相关滤波是根据前序帧训练的模型去预测 位策略的应用使得基于相关滤波的目标跟踪算法 跟踪目标下一帧的位置，当跟踪目标发生剧烈变 化，比如产生形变或者遮挡时，模型就会学习到 会受到边缘效应的影响，Martin Danellja提出的 错误的信息，受到污染，导致后续帧容易跟踪失 SRDCF(spatially regularized discriminant correla- 败。此外，相关滤波采用了循环移位来丰富样 tion filter)采用空间正则化惩罚系数取得了一定 本，这就导致在训练的图像块中，只有万分之一 的效果。之后，Danelljan在2016年提出了C-C0T 的图像块是真实的样本，因此，解决边界效应对 (continuous convolution operators for visual tracking) 提高模型的准确度有着至关重要的作用。 算法，通过差值函数，将不同分辨率的特征图映 1.1相关滤波 射到连续的空间域上，计算机效率却降低了。随 相关滤波的核心思想如下：若滤波器为h,输 后，Danelljan于2017年在CVPR上提出了ECo例 入的图像为∫，对二者做相关运算求得响应值g: (efficient convolution operators),该算法分为手工特 8=f⑧h (1) 征算法(efficient convolution operators handcraft,. 响应值g越大，则f和h的相关度越高。当输 ECO HC)和卷积特征算法两个版本。ECO使用 出的响应值取最大值时，该响应值对应的位置即 高效卷积操作融合多个特征获取特征图，从模型 为当前跟踪目标的位置。为了提高计算速度，可 的大小、训练集的更新策略以及模型更新的频率 将式(1)利用快速傅里叶变换转至频域计算： 3个方面对C-COT改进，极大地提高了算法的时 F(g)=F(fh)F(f)F(h)" (2) 间与空间效率。2018年，Li等9在CVPR上发表 式中：()表示共轭，上述公式可简化为 了Siam-RPN(siamese-region proposal network)网络 G=FOH (3) 架构算法。为了解决Siam-RPN网络架构算法在 对于每一个样本图像∫都存在与其对应的 使用训练好的深层网络时出现的跟踪算法精度下 8,则式(3)可变换为 降问题，Li等11在2019年CVPR上又提出了 Hi-F (4) Siam-RPN+算法。Fan等为了解决大的尺度问 H*的更新公式为 题，在CVPR20I9上提出了多级tracking网络La- FOG SOT(large-scale single object tracking)算法。 (5) 本文针对ECO HC在遮挡方面的不足提出了 多特征融合的抗遮挡相关滤波跟踪算法。将 最后，对式（⑤）进行傅里叶逆变换即可求得滤 FHOG特征和ULBP特征进行自适应加权融合， 波器h。 实现了对目标更精确地定位。再利用高斯掩码函 1.2因式分解的卷积操作 数过滤掉一部分负样本，用以解决循环移位造成 ECO HC是在C-COT算法的基础上进行改 的边界效应，缓解模型漂移的情况。最后，根据 进的，C-COT通过学习一个含有M个训练样本的 最大响应值计算的峰值均值比判断目标是否被遮 集合x“cx获得一个卷积滤波器，其中每一个通 挡，若目标处于正常跟踪状态，则修正卡尔曼滤 道d的特征层x∈R都有独立的分辨率N。通过 波器预测的跟踪目标坐标；若目标处于被遮挡状 引入运算符J给出的插值模型，将特征通过插值 态，则启动目标重定位策略，使用卡尔曼算法预 操作转至连续空间域t(t∈[0，T): 测得出目标位置，并停止模型更新，回溯到之前 (6 模型未被污染的状态
法发展尤为快速[2]。 相关滤波算法由 Bolm 等提出的最小输出误 差平方和[3] (minimum output sum of squared error, MOSSE) 引入目标跟踪领域。Henriques 等采用 了 HOG 特征和循环移位采样方式，提出了核相 关滤波器[4] (kernelized correlation filter, KCF) 跟踪 算法，大大提高了跟踪算法的准确率。Martin Danelljan 等在 MOSSE 的基础上增加了一个尺度 滤波器用以应对尺度变换的情况，提出了 DSST (discriminative scale space tracking) 算法[5]。循环移 位策略的应用使得基于相关滤波的目标跟踪算法 会受到边缘效应的影响，Martin Danellja 提出的 SRDCF[6] (spatially regularized discriminant correlation filter) 采用空间正则化惩罚系数取得了一定 的效果。之后，Danelljan 在 2016 年提出了 C-COT[7] (continuous convolution operators for visual tracking) 算法，通过差值函数，将不同分辨率的特征图映 射到连续的空间域上，计算机效率却降低了。随 后，Danelljan 于 2017 年在 CVPR 上提出了 ECO[8] (efficient convolution operators)，该算法分为手工特 征算法 (efficient convolution operators handcraft, ECO_HC) 和卷积特征算法两个版本。ECO 使用 高效卷积操作融合多个特征获取特征图，从模型 的大小、训练集的更新策略以及模型更新的频率 3 个方面对 C-COT 改进，极大地提高了算法的时 间与空间效率。2018 年，Li 等 [9] 在 CVPR 上发表 了 Siam-RPN(siamese-region proposal network) 网络 架构算法。为了解决 Siam-RPN 网络架构算法在 使用训练好的深层网络时出现的跟踪算法精度下 降问题，Li 等 [ 1 0 ] 在 2019 年 CVPR 上又提出了 Siam-RPN++算法。Fan 等 [11] 为了解决大的尺度问 题，在 CVPR 2019 上提出了多级 tracking 网络 LaSOT(large-scale single object tracking) 算法。 本文针对 ECO_HC 在遮挡方面的不足提出了 多特征融合的抗遮挡相关滤波跟踪算法。将 FHOG 特征和 ULBP 特征进行自适应加权融合， 实现了对目标更精确地定位。再利用高斯掩码函 数过滤掉一部分负样本，用以解决循环移位造成 的边界效应，缓解模型漂移的情况。最后，根据 最大响应值计算的峰值均值比判断目标是否被遮 挡，若目标处于正常跟踪状态，则修正卡尔曼滤 波器预测的跟踪目标坐标；若目标处于被遮挡状 态，则启动目标重定位策略，使用卡尔曼算法预 测得出目标位置，并停止模型更新，回溯到之前 模型未被污染的状态。 1 ECO_HC 跟踪基本原理 相关滤波器[12-18] 的核心是通过当前帧和前序 帧训练的滤波器判定跟踪目标在下一帧的位置。 ECO_HC 算法首先在第一帧中选定跟踪目标，获 取其在图片帧中的实际位置及其他特征信息用以 初始化训练跟踪器，后续帧中根据跟踪器中预测 的位置对其周围进行采样点响应，取最高响应值 的位置为跟踪的目标所在位置，并对跟踪器进行 更新。相关滤波是根据前序帧训练的模型去预测 跟踪目标下一帧的位置，当跟踪目标发生剧烈变 化，比如产生形变或者遮挡时，模型就会学习到 错误的信息，受到污染，导致后续帧容易跟踪失 败。此外，相关滤波采用了循环移位来丰富样 本，这就导致在训练的图像块中，只有万分之一 的图像块是真实的样本，因此，解决边界效应对 提高模型的准确度有着至关重要的作用。 1.1 相关滤波 相关滤波的核心思想如下：若滤波器为 h，输 入的图像为 f，对二者做相关运算求得响应值 g： g=f ⊗h (1) 响应值 g 越大，则 f 和 h 的相关度越高。当输 出的响应值取最大值时，该响应值对应的位置即 为当前跟踪目标的位置。为了提高计算速度，可 将式 (1) 利用快速傅里叶变换转至频域计算： F (g)=F (f ⊗h)=F (f)⊙ F (h) ∗ (2) ( ∗ 式中： ) 表示共轭，上述公式可简化为 G=F ⊙ H ∗ (3) 对于每一个样本图像 fi 都存在与其对应的 gi，则式 (3) 可变换为 Hi ∗= Gi Fi (4) H*的更新公式为 H ∗= ∑ i Fi⊙Gi ∗ ∑ i Fi⊙Fi ∗ (5) 最后，对式 (5) 进行傅里叶逆变换即可求得滤 波器 h。 1.2 因式分解的卷积操作 { xj }M 1 ⊂ χ x d j ∈ R Nd Jd t ∈ [0,T) ECO_HC 是在 C-COT 算法的基础上进行改 进的，C-COT 通过学习一个含有 M 个训练样本的 集合 获得一个卷积滤波器，其中每一个通 道 d 的特征层 都有独立的分辨率 Nd。通过 引入运算符 给出的插值模型，将特征通过插值 操作转至连续空间域 t( )： Jd { x d } (t) = N∑d−1 n=0 x d [n]bd ( t− T Nd n ) (6) 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·631·
·632· 智能系统学报 第16卷 式中：b是周期为T(T>0)的插值内核，所得插值 取的峰值响应值计算参数峰值均值比(peak-to-av- 特征层J{x是一个连续的周期为T的函数。在 erage ration,PAR),使用PAR对目标是否被遮挡 C-COT中，使用J{x表示整个插值特征图，将其 进行判断。若PAR大于一个固定的阈值，说明目 与训练的一个连续的周期为T的多通道卷积滤波 标此时处于正常跟踪状态，根据ECO HC算法预 器f=(f,f尸，…，P)进行相关运算，得到的响应分 测的目标位置，修正Kalman算法预测的目标位 数S{x为 置，并更新滤波器模型；若PAR小于一个固定的 阈值，则说明目标处于遮挡或失踪状态，此时采 Sy(x)=f*Jx)= (7) =1 取目标再定位机制，使用Kalman滤波器预测出当 C-COT对于每个维度的特征都训练了一个对 前目标的位置，并回溯到之前未被污染的模型来 应的滤波器，但是其中很多滤波器的贡献不大。 更新模型。 因此，ECO HC在特征提取的阶段使用了原来特 2.1ULBP特征提取 征的子集，对于D维特征，ECO HC选取了其中 本文使用ULBP提取的特征来加强FHOG提 贡献较大的C个滤波器(C<D)。P是一个D×C的 取的特征。ULBP算法是对LBP(local binary pat- 矩阵，则求得的新的检测函数为 tern)算法的一种改进，是单维度的特征表述， Sy=Pf*Jd=∑Pafr*aK=f*PJ闭(8) LBP描述的是图像局部纹理特征。LBP算子是对 样本中的每个像素点，选取其为中心的3×3邻域， 式中：P为D×C的系数矩阵；PT为线性降维算子； 在该邻域内，将其周围的8个像素值与之比较，大 P:f是特征层为c的滤波器的线性组合：P 于该像素点的值置1，否则置0，然后按照顺时针 方向组合即可产生8位二进制数，即2种模式。 滤波器的学习系数。 但是，过多的二进制模式对于纹理的表达是不利 1.3生成样本空间模型 的，过于复杂且较大的信息量，对快速提取目标 ECO HC更改了训练集的样本更新策略，用 特征信息是不利的，因此需要的是尽可能少且具 高斯混合模型(gaussian mixture model,.GMM生成 有代表性的一些目标特征。因此本文采取了uni- 不同的分量，每个分量是一组相似度较高的样 form LBP(ULBP),其核心思想是对LBP进行降 本，分量之间差异较大。GMM的建模如下： 维，绝大多数LBP模式只包含两次从1到0或者 p)= 2πN(x4;D (9) 从0到1的跳变，并将最多有两次跳变的归为一 个等价模式类，其余的归为混合模式类，通过这 式中：L是高斯分量N(x::D的数量；π是高斯分 样改进，3×3的邻域的二进制模式就由2模式减 量的先验权重；是高斯分量的平均值；单位矩阵 少为58种，并且不会丢失任何信息，也能减少高 I是协方差矩阵。起初，每一个新样本x,都初始 频噪声的影响。 化一个新的分量m: 在FHOG提取得到的一个31通道的梯度直 πm=y,Hm=X (10) 方图M的基础上，用ULBP得到的一维特征MLBr y为学习速率，当分量个数超过设定好的上 与M,的每个通道进行线性加权融合，得到特征 限L时，如果有一组分量的权重π小于设定的阈 图M。通过大量实验，融合系数λ取值为0.01： 值，则丢弃该分量；否则，将两个最相似的分量 M2=M+A.MULBP (12) k与1合并为一个公共分量： 2.2高斯掩码函数 元，=+m,=4+4 (11) 本文在模型更新时采用高斯掩码函数，对跟 πk十π1 对于4：一l,即两组之间的距离是在傅里叶 踪目标的中心取较大的系数，边缘取较小的系 域使用帕斯瓦尔定理进行计算的。 数，保留一定的背景信息，缓解边缘不连续性造 成的影响，以提高模型的准确性。 2再定位基本原理 二维高斯函数将正态分布应用于图像处理 中，随着中心点到边缘的距离增大，取得的加权 本文算法是基于ECO HC实现的目标遮挡后 平均值越小。若(u,)表示像素点坐标，则二维高 的再定位技术19.2。首先，将FHOG特征和UL 斯函数的定义为 BP特征进行自适应加权融合；其次，加人高斯形 1 状的掩码函数解决边缘效应，并保留更多的背景 F(u.)--2m (13) 信息，减少模型漂移；最后，本算法根据每一帧获 因为目标中心位置的样本信息比边界位置上
Jd { x d } Jd {x} f = ( f 1 , f 2 ,··· , f D ) S f {x} 式中：bd 是周期为 T(T>0) 的插值内核，所得插值 特征层 是一个连续的周期为 T 的函数。在 C-COT 中，使用 表示整个插值特征图，将其 与训练的一个连续的周期为 T 的多通道卷积滤波 器 进行相关运算，得到的响应分 数 为 S f {x} = f ∗ J {x} = ∑D d=1 f d ∗ Jd { x d } (7) D×C C-COT 对于每个维度的特征都训练了一个对 应的滤波器，但是其中很多滤波器的贡献不大。 因此，ECO_HC 在特征提取的阶段使用了原来特 征的子集，对于 D 维特征，ECO_HC 选取了其中 贡献较大的 C 个滤波器 (C<D)。P 是一个 的 矩阵，则求得的新的检测函数为 S P f {x} = P f ∗ J {x} = ∑ c,d pd,c f c ∗Jd { x d } = f ∗ P T J {x} (8) D×C P T ∑ c,d pd,c f c pd,c 式中：P 为 的系数矩阵； 为线性降维算子； 是特征层为 c 的滤波器的线性组合； 为 滤波器的学习系数。 1.3 生成样本空间模型 ECO_HC 更改了训练集的样本更新策略，用 高斯混合模型 (gaussian mixture model, GMM) 生成 不同的分量，每个分量是一组相似度较高的样 本，分量之间差异较大。GMM 的建模如下： p(x) = ∑L i=1 πlN (x;µl ;I) (9) N (x;µl ;I) πl µl 式中：L 是高斯分量 的数量； 是高斯分 量的先验权重； 是高斯分量的平均值；单位矩阵 I 是协方差矩阵。起初，每一个新样本 xj 都初始 化一个新的分量 m： πm = γ , µm = xj (10) γ πl 为学习速率，当分量个数超过设定好的上 限 L 时，如果有一组分量的权重 小于设定的阈 值，则丢弃该分量；否则，将两个最相似的分量 k 与 l 合并为一个公共分量 n： πn = πk +πl , µn = πkµk +πlµl πk +πl (11) 对于 ∥µk −µl∥ ，即两组之间的距离是在傅里叶 域使用帕斯瓦尔定理进行计算的。 2 再定位基本原理 本文算法是基于 ECO_HC 实现的目标遮挡后 的再定位技术[19-20]。首先，将 FHOG 特征和 ULBP 特征进行自适应加权融合；其次，加入高斯形 状的掩码函数解决边缘效应，并保留更多的背景 信息，减少模型漂移；最后，本算法根据每一帧获 取的峰值响应值计算参数峰值均值比 (peak-to-average ration，PAR)，使用 PAR 对目标是否被遮挡 进行判断。若 PAR 大于一个固定的阈值，说明目 标此时处于正常跟踪状态，根据 ECO_HC 算法预 测的目标位置，修正 Kalman 算法预测的目标位 置，并更新滤波器模型；若 PAR 小于一个固定的 阈值，则说明目标处于遮挡或失踪状态，此时采 取目标再定位机制，使用 Kalman 滤波器预测出当 前目标的位置，并回溯到之前未被污染的模型来 更新模型。 2.1 ULBP 特征提取 本文使用 ULBP 提取的特征来加强 FHOG 提 取的特征。ULBP 算法是对 LBP(local binary pattern) 算法的一种改进，是单维度的特征表述， LBP 描述的是图像局部纹理特征。LBP 算子是对 样本中的每个像素点，选取其为中心的 3×3 邻域， 在该邻域内，将其周围的 8 个像素值与之比较，大 于该像素点的值置 1，否则置 0，然后按照顺时针 方向组合即可产生 8 位二进制数，即 2 8 种模式。 但是，过多的二进制模式对于纹理的表达是不利 的，过于复杂且较大的信息量，对快速提取目标 特征信息是不利的，因此需要的是尽可能少且具 有代表性的一些目标特征。因此本文采取了 uniform LBP(ULBP)，其核心思想是对 LBP 进行降 维，绝大多数 LBP 模式只包含两次从 1 到 0 或者 从 0 到 1 的跳变，并将最多有两次跳变的归为一 个等价模式类，其余的归为混合模式类，通过这 样改进，3×3 的邻域的二进制模式就由 2 8 模式减 少为 58 种，并且不会丢失任何信息，也能减少高 频噪声的影响。 λ 在 FHOG 提取得到的一个 31 通道的梯度直 方图 M1 的基础上，用 ULBP 得到的一维特征 MULBP 与 M1 的每个通道进行线性加权融合，得到特征 图 M2。通过大量实验，融合系数 取值为 0.01： M2=M1+λ · MULBP (12) 2.2 高斯掩码函数 本文在模型更新时采用高斯掩码函数，对跟 踪目标的中心取较大的系数，边缘取较小的系 数，保留一定的背景信息，缓解边缘不连续性造 成的影响，以提高模型的准确性。 (u,v) 二维高斯函数将正态分布应用于图像处理 中，随着中心点到边缘的距离增大，取得的加权 平均值越小。若 表示像素点坐标，则二维高 斯函数的定义为 F (u,v) = − 1 2πσ2 e − u 2+v 2 2σ2 (13) 因为目标中心位置的样本信息比边界位置上 ·632· 智 能 系 统 学 报 第 16 卷
第4期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·633· 的信息更加重要，所以本文对高斯函数做了相应 为多个不明显的峰值状态，为了解决目标此状态 的改进，使得函数由中心点随着目标框的形状呈 下容易跟踪失败的问题，本算法引入再跟踪机 椭圆形向图像边缘发散，结合掩码函数，对图像 制。由PAR判断跟踪目标在当前帧中的状态，若 边缘不连续性的地方至0，其余地方至改进过后 PAR不小于阈值O,说明目标处于正常跟踪状态； 的高斯函数值。然后将此构造好的掩码矩阵左乘 而当PAR小于阈值0，说明目标处于遮挡状态，开 循环移位样本，得以增加真实训练的样本比例， 始执行再跟踪机制。PAR的定义为 得到的函数如图l(d)所示。定义如下： max(f(i)) PAR= (15) r2 2 i-1 1 2 max(f (n)) g tei-d G(u,v)= W-w H-h 式中：max(f)表示第i帧的最大响应值；PAR即 e 2r2 l≤ 2 为跟踪目标在1帧的最大响应值与前g帧的最大 0. 其他 响应值均值的比值，本文q的值为20。通过大量 (14) 式中：假设原始样本的长宽分别为W与H,则 实验，阈值0取值为0.55。 w与h分别为目标框的长与宽，则只有在 当跟踪目标处于正常跟踪状态时，PAR的值 :-日≤时天与-≤制号时.会发生边缘不 Ww」 H 处于一种相对稳定的波动状态而当目标处于遮挡 状态时，max(f)会突然变小，因而PAR的值也会 连续性的情况，如图1(b)所示。参数σ控制函数 随之变小，见图2。因此，PAR可以判断目标目前 径向作用范围，即控制样本权重衰减的速度。本 的跟踪状态。 文将二维高斯函数分解成两个一维的高斯函数， 先从水平方向对图像进行卷积操作，将所得结果 3.0 再对竖直方向进行操作，提高了算法的效率。图1b) 和图1(c)对比看出，加了高斯掩码函数之后，边 界效应得到了有效的缓解。 750 1500 帧数 图2视频序列Girlmov的PAR时刻值 (a)原图 (b)循环移位示意图 Fig.2 PAR time value of Girlmov -250 200 2.4目标重定位 1S0 卡尔曼滤波四结合前序帧与当前帧可递推地 100 推测下一帧跟踪目标的位置，从而预测出日标被 遮挡后在图片中的位置。若PAR小于阈值O,则 00 25020015010050 目标被遮挡，此时启动目标重定位机制，将卡尔 (c)高斯掩码示意图 (d)高斯掩码函数 曼滤波器预测的目标位置传给核相关滤波器，并 图1高斯掩码示意 回溯至之前未被污染的模型去更新模型；若 Fig.1 Illustration of the mask PAR大于阈值0，则使用ECO算法中目标的位置 2.3参数峰值均值比 修正卡尔曼滤波预测的目标位置。为了提高计算 本文在模型更新时使用参数峰值均值比 效率，将目标中心点的横纵坐标分两步更新。假 (peak to-average-ratio,.PAR)来判断当前目标是否 设是系统噪声，是观测噪声，皆服从高斯分布， 处于遮挡状态。ECO主要采用连续空间域中的 则根据式(16)、(17构造第i帧的横坐标4，状态预 卷积算子对训练样本进行隐式差值，通过对一组 测方程和系统的观测方程： 卷积滤波器来产生目标的连续域置信度图，该图 ui Aiui-1+ri+Bisi (16) 中的最高响应值即为目标位置。而当目标处于遮 Zi=pos,+Vi (17) 挡状态的时候，置信度图则会由一个很高峰值变 式中：为预测的第i帧目标中心点横坐标；s为
的信息更加重要，所以本文对高斯函数做了相应 的改进，使得函数由中心点随着目标框的形状呈 椭圆形向图像边缘发散，结合掩码函数，对图像 边缘不连续性的地方至 0，其余地方至改进过后 的高斯函数值。然后将此构造好的掩码矩阵左乘 循环移位样本，得以增加真实训练的样本比例， 得到的函数如图 1(d) 所示。定义如下： G(u,v) = e − u 2 (w 2 )2 + v 2 ( h 2 )2 2σ2 , |u| ⩽ W −w 2 ,|v| ⩽ H −h 2 0, 其他 (14) W 2 − w 2 ⩽ |u| ⩽ W 2 H 2 − h 2 ⩽ |v| ⩽ H 2 σ 式中：假设原始样本的长宽分别为 W 与 H，则 w 与 h 分别为目标框的长与宽，则只有在 与 时，会发生边缘不 连续性的情况，如图 1(b) 所示。参数 控制函数 径向作用范围，即控制样本权重衰减的速度。本 文将二维高斯函数分解成两个一维的高斯函数， 先从水平方向对图像进行卷积操作，将所得结果 再对竖直方向进行操作，提高了算法的效率。图 1(b) 和图 1(c) 对比看出，加了高斯掩码函数之后，边 界效应得到了有效的缓解。 250 200 150 100 50 0 300 250 200 150 100 50 0 (a) 原图 (b) 循环移位示意图 (c) 高斯掩码示意图 (d) 高斯掩码函数 图 1 高斯掩码示意 Fig. 1 Illustration of the mask 2.3 参数峰值均值比 本文在模型更新时使用参数峰值均值 比 (peak to-average-ratio，PAR) 来判断当前目标是否 处于遮挡状态。ECO 主要采用连续空间域中的 卷积算子对训练样本进行隐式差值，通过对一组 卷积滤波器来产生目标的连续域置信度图，该图 中的最高响应值即为目标位置。而当目标处于遮 挡状态的时候，置信度图则会由一个很高峰值变 θ θ 为多个不明显的峰值状态，为了解决目标此状态 下容易跟踪失败的问题，本算法引入再跟踪机 制。由 PAR 判断跟踪目标在当前帧中的状态，若 PAR 不小于阈值 ，说明目标处于正常跟踪状态； 而当 PAR 小于阈值 ，说明目标处于遮挡状态，开 始执行再跟踪机制。PAR 的定义为 PAR = max(f (i)) 1 q ∑i−1 n=i−q max(f (n)) (15) max(f(i)) θ 式中： 表示第 i 帧的最大响应值；PAR 即 为跟踪目标在 i 帧的最大响应值与前 q 帧的最大 响应值均值的比值,本文 q 的值为 20。通过大量 实验，阈值 取值为 0.55。 max(f(i)) 当跟踪目标处于正常跟踪状态时，PAR 的值 处于一种相对稳定的波动状态而当目标处于遮挡 状态时， 会突然变小，因而 PAR 的值也会 随之变小，见图 2。因此，PAR 可以判断目标目前 的跟踪状态。 3.0 750 1 500 PAR 帧数 1.5 0 图 2 视频序列 Girlmov 的 PAR 时刻值 Fig. 2 PAR time value of Girlmov 2.4 目标重定位 θ θ ri vi 卡尔曼滤波[21] 结合前序帧与当前帧可递推地 推测下一帧跟踪目标的位置，从而预测出目标被 遮挡后在图片中的位置。若 PAR 小于阈值 ，则 目标被遮挡，此时启动目标重定位机制，将卡尔 曼滤波器预测的目标位置传给核相关滤波器，并 回溯至之前未被污染的模型去更新模型； 若 PAR 大于阈值 ，则使用 ECO 算法中目标的位置 修正卡尔曼滤波预测的目标位置。为了提高计算 效率，将目标中心点的横纵坐标分两步更新。假 设 是系统噪声， 是观测噪声，皆服从高斯分布， 则根据式 (16)、(17) 构造第 i 帧的横坐标 ui 状态预 测方程和系统的观测方程： ui = Aiui−1 +ri + Bisi (16) zi = posi +vi (17) bu − i 式中： 为预测的第 i 帧目标中心点横坐标； si为 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·633·
·634· 智能系统学报 第16卷 第i帧的系统控制量；z为第1帧的观测向量。 =+K (-N) (21) A为状态转移矩阵，B为控制输入矩阵。 C=C-KNC (22) i立=A-1+Bs (18) 式(20)(22)是状态更新方程，其中K是卡尔 C=A:C-1A+ (19) 曼增益矩阵，C是卡尔曼增益矩阵的误差值，N是 式(18)和式(19)是状态预测方程和误差协方 修正后的状态转移矩阵，R为修正后的协方差矩 差预测方程。上述两个方程中C是根据前一帧中 阵。式(21)是修正过后的目标中心点的横坐标 的噪声协方差矩阵递推计算出的第i帧的预测的 值。目标中心点纵坐标的预测和更新与横坐标一 误差。Q为协方差矩阵。 致，如若启动重定位机制，则将卡尔曼滤波器预 CN 测的位置传回原滤波器，并停止模型更新。 K=NCN:+R. (20) 本文改进算法的具体流程如图3所示。 开始 创建并初始化卡 结束 尔曼滤波器 读取视频帧 读完视频帧 ULBP和FHOG N如果PAR 更新ECO模型 Y 卡尔曼滤波器 训练卡尔曼和 如果PAR>T N 使用第í帧的模型 预测位置 ECO模型 获得中心点位置 并且修正卡尔曼 高斯掩码 滤波器 图3算法整体流程图 Fig.3 Algorithm overall flow char 3实验结果及分析 rix、Basketball、Boat_ce2。除了与ECO HC进行 对比之外，本文还选取了DSSTIS1、KCF] 3.1实验环境及参数 SRDCE、STRCF四、LDES1和SAMF2进行比 本算法的测试平台为Matlab2018b,所有实验 较。本文分别从精确度、成功率、覆盖率和中心 均在Intel(R)Core(TM)）i5-825 OU CPU with NVIDIA 误差对算法进行分析。精确度DP=m/W(distance GeForce MX1502G,主频1.6GHz.8GB内存配置 precision,DP),成功率SR=Sn/W(success rate,SR), 的windows1064 bit PC系统上完成的。本文算法 中心误差CLE=V,-xo}+,-yoP(center loca-- 仍保留ECO HC算法的基本参数，并在所有测试 tion error,CLE) 视频上保持一致，高斯标签带宽σ的值为0.0625， score =area(R,nRa)/area(R,URa) 学习率为0.009，存储的最大训练样本的数量为30。 为跟踪目标覆盖率，R为跟踪得到的目标窗 3.2性能评估方法 口，R:为真实目标窗口，area是区域面积。Sn为成 为了验证本算法对抗遮挡问题的有效性，本 功的次数，当score>0.5时，Sn加1。(x,y)是第i帧 文选用了数据集Temple Color128中l6个不同程 滤波器得到的目标中心位置，(x00)是目标在第 度遮挡的视频进行测试，16个视频分别为Air- i帧的真实中心位置。N是视频帧总数。 port_ce、Busstation_cel、Coke、Face_ce2、Girlmov、 3.3抗遮挡实验结果 Motorbike_ce、Soccer、Suitcase_ce、Surf_ce3、 3.3.1本文算法与基线ECO HC算法比较 Tiger22、Busstation_cel、Jogging2、Kite_ce2、Mat- 首先将本算法与ECO HC算法在16组有不
第 i 帧的系统控制量； zi为第 i 帧的观测向量。 A 为状态转移矩阵，B 为控制输入矩阵。 uˆ − i = Ai · ui−1 + Bisi (18) C − i = AiCi−1Ai ′ +Qi (19) C − i 式 (18) 和式 (19) 是状态预测方程和误差协方 差预测方程。上述两个方程中 是根据前一帧中 的噪声协方差矩阵递推计算出的第 i 帧的预测的 误差。Q 为协方差矩阵。 Ki = CiNi ′ NiCiNi ′ + Ri (20) uˆi = uˆ − i + Ki(zi − Niuˆ − i−1 ) (21) Ci = C − i − KiNiC − i (22) 式 (20)~(22) 是状态更新方程，其中 K 是卡尔 曼增益矩阵，C 是卡尔曼增益矩阵的误差值，N 是 修正后的状态转移矩阵，R 为修正后的协方差矩 阵。式 (21) 是修正过后的目标中心点的横坐标 值。目标中心点纵坐标的预测和更新与横坐标一 致，如若启动重定位机制，则将卡尔曼滤波器预 测的位置传回原滤波器，并停止模型更新。 本文改进算法的具体流程如图 3 所示。 开始 创建并初始化卡 尔曼滤波器 结束 Y Y Y 读取视频帧 N N N 读完视频帧 ULBP 和 FHOG 如果 PAR>T 如果 PAR>T 更新 ECO 模型 卡尔曼滤波器 预测位置 训练卡尔曼和 ECO 模型 使用第 i 帧的模型 获得中心点位置 并且修正卡尔曼 滤波器 高斯掩码 图 3 算法整体流程图 Fig. 3 Algorithm overall flow char 3 实验结果及分析 3.1 实验环境及参数 σ 本算法的测试平台为 Matlab2018b，所有实验 均在 Intel(R) Core(TM) i5-8250U CPU with NVIDIA GeForce MX150 2G，主频 1.6 GHz，8 GB 内存配置 的 windows10 64bit PC 系统上完成的。本文算法 仍保留 ECO_HC 算法的基本参数，并在所有测试 视频上保持一致，高斯标签带宽 的值为 0.062 5， 学习率为 0.009，存储的最大训练样本的数量为 30。 3.2 性能评估方法 为了验证本算法对抗遮挡问题的有效性，本 文选用了数据集 Temple Color 128 中 16 个不同程 度遮挡的视频进行测试，16 个视频分别为 Airport_ce、Busstation_ce1、Coke、Face_ce2、Girlmov、 Motorbike_ce、Soccer、Suitcase_ce、Surf_ce3、 Tiger2、Busstation_ce1、Jogging2、Kite_ce2、MatDP = m/N SR = S n/N CLE = √ (xt − xt0) 2 +(yt −yt0) 2 rix、Basketball、Boat_ce2。除了与 ECO_HC[8] 进行 对比之外，本文还选取 了 DSST [ 5 ] 、 KCF [ 4 ] 、 SRDCF[6] 、STRCF[22] 、LDES[23] 和 SAMF[24] 进行比 较。本文分别从精确度、成功率、覆盖率和中心 误差对算法进行分析。精确度 (distance precision，DP)，成功率 (success rate，SR)， 中心误差 (center location error, CLE)。 score = area ( Rt ∩Rgt) /area ( Rt ∪Rgt) Rt Rgt area S n score > 0.5 S n (xi , yi) (xi0, yi0) N 为跟踪目标覆盖率， 为跟踪得到的目标窗 口， 为真实目标窗口， 是区域面积。 为成 功的次数，当 时， 加 1。 是第 i 帧 滤波器得到的目标中心位置， 是目标在第 i 帧的真实中心位置。 是视频帧总数。 3.3 抗遮挡实验结果 3.3.1 本文算法与基线 ECO_HC 算法比较 首先将本算法与 ECO_HC 算法在 16 组有不 ·634· 智 能 系 统 学 报 第 16 卷
第4期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·635· 同程度遮挡问题的视频上针对抗遮挡问题进行对 法进行性能对比，测评结果如图4所示。在视频 比实验，以验证本文算法的有效性。表1中显示 序列Airport ce上，目标受到颜色相同的干扰物 了本文算法与ECO HC在精确度和成功率两个 遮挡时，DSST、SRDCF、ECO HC随着遮挡物发 评价指标上的测试结果，可以看出本文算法性能 生了偏移，例如第80帧、90帧、100帧。在视频 较好。在这10个视频集中，本文算法的平均精确 序列Busstation_cel上，第60帧显示的是目标处 度为87.3%，成功率为76.5%，相比基线算法 于较长时间的全遮挡后的位置，只有本文的算法 EC0HC,分别提升了27.7%和23.7%。由此可 跟上了目标，而其余的7种算法均丢失了跟踪目 见，本文改进后的算法产生了积极的作用。 标。在视频序列Girlmov中，目标发生完全遮挡 表1在视频集上的精确度和成功率 后，其他几种算法都随着遮挡物发生了漂移，例 Table 1 Precision and success rate on the videos 如第110帧、第120帧、第130帧、第140帧。在 DP SR 视频集 视频序列Motorbike ce中，当目标发生遮挡又重 ECO HC本文算法ECO HC本文算法 新出现之后，本文算法跟踪准确，而其他算法发 Airport ce 0.459 0.946 0.466 0.953 生了不同程度的偏移。在视频序列Suitcase_ce Busstation ce2 0.110 1.000 0.099 0.989 中，目标的尺度较小，而遮挡物的尺度较大，遮挡 Coke 0.911 0.921 0.526 0.615 情况比较严重，本文算法较准确地预测出了行李 Face ce2 0.622 0.831 0.480 0.791 Girlmov 0.073 0.997 0.068 0.850 箱的位置，ECO HC与SRDCF发生了严重的漂 Motorbike_ce 0.347 0.806 0.350 0.863 移，其余算法则停留在目标被遮挡前的位置，例 Soccer 0.232 0.801 0.212 0.327 如第170帧。综合这5个测试视频中的跟踪效 Suitcase_ce 0.397 0.967 0.397 0.929 果，可见本文算法较好地预测了目标被遮挡后的 Surf ce3 0.491 0.581 0.541 0.634 位置，并且较好地学习了背景信息，优化了模型 Tiger2 0.912 0.907 0.663 0.688 污染造成的漂移问题，而其他7种算法在处理遮 Busstation_cel 0.899 1.000 0.911 0.962 挡问题上效果不佳，本文算法的效果较好。 Jogging2 0.997 1.000 0.993 0.997 图5显示了本文算法与其他7种在视频序列 Kite_ce2 1.000 1.000 0.962 0.889 上的精确度。在受部分遮挡的视频序列Coke、Ti- Matrix 0.310 0.410 0.200 0.210 ger2中，除了KCF和DSST外，其他几种算法效 Basketball 0.983 0.990 0.946 0.956 果差不多。而当目标遮挡情况严重一点时，比如 Boat ce2 0.786 0.816 0.626 0.595 Soccer和Face ce2中，LDES、SAMF、ECO HC的 AVERAGE 0.596 0.873 0.528 0.765 精度些许偏低。但是当目标处于一段时间的完全 3.3.2抗遮挡性能的定性分析 遮挡，比如视频序列Airport_ce和Busstation_cel, 本实验选用DSST、ECO HCI、KCF、SRD- 本文算法的重定位机制以及改进的模型更新算法 CF、STRCF2、LDES2I、SAMF2共7种跟踪算 起到了有效的作用。 DSST -LDES SAMF SRDCF. STRCF Ours 图4目标遮挡部分效果 Fig.4 Part of target occlusion results
同程度遮挡问题的视频上针对抗遮挡问题进行对 比实验，以验证本文算法的有效性。表 1 中显示 了本文算法与 ECO_HC 在精确度和成功率两个 评价指标上的测试结果，可以看出本文算法性能 较好。在这 10 个视频集中，本文算法的平均精确 度为 87.3%，成功率为 76.5%，相比基线算法 ECO_HC，分别提升了 27.7% 和 23.7%。由此可 见，本文改进后的算法产生了积极的作用。 表 1 在视频集上的精确度和成功率 Table 1 Precision and success rate on the videos 视频集 DP SR ECO_HC 本文算法 ECO_HC 本文算法 Airport_ce 0.459 0.946 0.466 0.953 Busstation_ce2 0.110 1.000 0.099 0.989 Coke 0.911 0.921 0.526 0.615 Face_ce2 0.622 0.831 0.480 0.791 Girlmov 0.073 0.997 0.068 0.850 Motorbike_ce 0.347 0.806 0.350 0.863 Soccer 0.232 0.801 0.212 0.327 Suitcase_ce 0.397 0.967 0.397 0.929 Surf_ce3 0.491 0.581 0.541 0.634 Tiger2 0.912 0.907 0.663 0.688 Busstation_ce1 0.899 1.000 0.911 0.962 Jogging2 0.997 1.000 0.993 0.997 Kite_ce2 1.000 1.000 0.962 0.889 Matrix 0.310 0.410 0.200 0.210 Basketball 0.983 0.990 0.946 0.956 Boat_ce2 0.786 0.816 0.626 0.595 AVERAGE 0.596 0.873 0.528 0.765 3.3.2 抗遮挡性能的定性分析 本实验选用 DSST[5] 、ECO_HC[8] 、KCF[4] 、SRDCF[6] 、STRCF[22] 、LDES[23] 、SAMF[24] 共 7 种跟踪算 法进行性能对比，测评结果如图 4 所示。在视频 序列 Airport_ce 上，目标受到颜色相同的干扰物 遮挡时，DSST、SRDCF、ECO_HC 随着遮挡物发 生了偏移，例如第 80 帧、90 帧、100 帧。在视频 序列 Busstation_ce1 上，第 60 帧显示的是目标处 于较长时间的全遮挡后的位置，只有本文的算法 跟上了目标，而其余的 7 种算法均丢失了跟踪目 标。在视频序列 Girlmov 中，目标发生完全遮挡 后，其他几种算法都随着遮挡物发生了漂移，例 如第 110 帧、第 120 帧、第 130 帧、第 140 帧。在 视频序列 Motorbike_ce 中，当目标发生遮挡又重 新出现之后，本文算法跟踪准确，而其他算法发 生了不同程度的偏移。在视频序列 Suitcase_ce 中，目标的尺度较小，而遮挡物的尺度较大，遮挡 情况比较严重，本文算法较准确地预测出了行李 箱的位置，ECO_HC 与 SRDCF 发生了严重的漂 移，其余算法则停留在目标被遮挡前的位置，例 如第 170 帧。综合这 5 个测试视频中的跟踪效 果，可见本文算法较好地预测了目标被遮挡后的 位置，并且较好地学习了背景信息，优化了模型 污染造成的漂移问题，而其他 7 种算法在处理遮 挡问题上效果不佳，本文算法的效果较好。 图 5 显示了本文算法与其他 7 种在视频序列 上的精确度。在受部分遮挡的视频序列 Coke、Tiger2 中，除了 KCF 和 DSST 外，其他几种算法效 果差不多。而当目标遮挡情况严重一点时，比如 Soccer 和 Face_ce2 中，LDES、SAMF、ECO_HC 的 精度些许偏低。但是当目标处于一段时间的完全 遮挡，比如视频序列 Airport_ce 和 Busstation_ce1， 本文算法的重定位机制以及改进的模型更新算法 起到了有效的作用。 DSST ECO KCF LDES SAMF SRDCF STRCF Ours 图 4 目标遮挡部分效果 Fig. 4 Part of target occlusion results 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·635·
·636· 智能系统学报 第16卷 1.0 1.0 1.0 -DSST 0.8 Q8 0.8 0.6 0.6 0.6 04 04 0.4 DSST SAMF 本文算法 AME 0.2 ECO KCF ◆-STRCE 02 。一本文算法 文算法 10 1520253035404550 5 101520253035404550 101520253035404550 位置误差阚值 位置误差阅值 位置误差圆值 (a)Airport ce (b)Busstation cel (c)Coke 1.0 1.0 1.0 0.8 0.8 -DSST DSST 0.8 -DSST ECO FCO 0.6 ECO KCF 0.6 KCF 0.6 KCF LDES LDES ★-LDES SAME SAME samf 0.4 0.4 0.4 SRDCE SRDCE 0.2 本文算法 0.2 文算法 0.2 -STRC 本文算法 5101520253035404550 0 5101520253035404550 5101520253035404550 位置误差阚值 位置误差阅值 位置误差圆值 (d)Face ce2 (e)Girlmov (f)Motorbike ce 0 DSST -STRCF 1.0 本文算法 0.8 0.8 0.8 0.6 0.6 0.6 0.4 04 0.4 本文算法 0.2 0.2 DSST 0.2 DSST- +一ECO◆STRCF ECO KCF ·一本文算法 101520253035404550 0 5101520253035404550 5 101520253035404550 位置误差阈值 位置误差國值 位置误差圆值 (g)Soccer (h)Surf ce3 (①)Tiger.2 图5不同算法在不同视频集上的精确度图 Fig.5 Distance precison diagram of different trackers on different videos 表2展示了几种算法在这几个视频序列上的 和52.6%。在余下几个遮挡严重的视频序列中， 跟踪结果。本文提出的算法在Coke、Tiger2这几 KCF算法基本都没有跟上目标，SAMF和STRCF 个发生较轻微遮挡的视频序列中，精确度与其他 效果好些，精确度分别为60.9%和63.2%，EC0HC 算法仅相差0.1%与0.05%，均高于90.7%，而 算法的精确度也达到了59.6%，本文算法的优势 STRCF在这两个视频序列上的结果仅为89.7% 较为明显，平均精确度能达到87.3%。 表2不同算法在视频序列上的结果 Table 2 Results of the videos via different methods 视频序列 DSST ECO HC KCF SRDCF LDES SAMF STRCF 本文算法 Airport ce 0.480 0.459 0.392 0.446 0.453 0.432 0.493 0.946 Busstation cel 0.118 0.110 0.113 0.105 0.124 0.124 0.113 1.000 Coke 0.931 0.911 0.838 0.808 0.952 0.935 0.897 0.921 Face ce2 0.426 0.622 0.095 0.243 0.649 0.824 0.520 0.831 Girlmov 0.071 0.073 0.075 0.074 0.071 0.857 0.881 0.997 Motorbike ce 0.347 0.347 0.347 0.347 0.940 0.347 0.347 0.806 Soccer 0.684 0.232 0.793 0.949 0.240 0.202 0.709 0.801 Suitcase_ce 0.821 0.397 0.815 0.799 0.799 0.810 0.391 0.967
1.0 5 10 15 20 25 30 35 40 45 50 精度 (a) Airport_ce (b) Busstation_ce1 (c) Coke (d) Face_ce2 (e) Girlmov (f) Motorbike_ce (g) Soccer (h) Surf_ce3 (i) Tiger2 位置误差阈值 位置误差阈值 位置误差阈值 位置误差阈值 位置误差阈值 位置误差阈值 位置误差阈值 位置误差阈值 位置误差阈值 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 1.0 5 10 15 20 25 30 35 40 45 50 精度 0.8 0.6 0.4 0.2 0 DSST ECO KCF LDES DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 SAMF SRDCF STRCF 本文算法 DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 DSST ECO KCF LDES SAMF SRDCF STRCF 本文算法 图 5 不同算法在不同视频集上的精确度图 Fig. 5 Distance precison diagram of different trackers on different videos 表 2 展示了几种算法在这几个视频序列上的 跟踪结果。本文提出的算法在 Coke、Tiger2 这几 个发生较轻微遮挡的视频序列中，精确度与其他 算法仅相差 0.1% 与 0.05%，均高于 90.7%，而 STRCF 在这两个视频序列上的结果仅为 89.7% 和 52.6%。在余下几个遮挡严重的视频序列中， KCF 算法基本都没有跟上目标，SAMF 和 STRCF 效果好些，精确度分别为 60.9% 和 63.2%，ECO_HC 算法的精确度也达到了 59.6%，本文算法的优势 较为明显，平均精确度能达到 87.3%。 表 2 不同算法在视频序列上的结果 Table 2 Results of the videos via different methods 视频序列 DSST ECO_HC KCF SRDCF LDES SAMF STRCF 本文算法 Airport_ce 0.480 0.459 0.392 0.446 0.453 0.432 0.493 0.946 Busstation_ce1 0.118 0.110 0.113 0.105 0.124 0.124 0.113 1.000 Coke 0.931 0.911 0.838 0.808 0.952 0.935 0.897 0.921 Face_ce2 0.426 0.622 0.095 0.243 0.649 0.824 0.520 0.831 Girlmov 0.071 0.073 0.075 0.074 0.071 0.857 0.881 0.997 Motorbike_ce 0.347 0.347 0.347 0.347 0.940 0.347 0.347 0.806 Soccer 0.684 0.232 0.793 0.949 0.240 0.202 0.709 0.801 Suitcase_ce 0.821 0.397 0.815 0.799 0.799 0.810 0.391 0.967 ·636· 智 能 系 统 学 报 第 16 卷
第4期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·637· 续表2 视频序列 DSST ECO HC KCF SRDCF LDES SAMF STRCF 本文算法 Surf_ce3 0.125 0.491 0.093 0.240 0.240 0.326 0.254 0.581 Tiger2 0.301 0.912 0.390 0.734 0.584 0.532 0.526 0.907 Busstation ce2 0.944 0.899 0.997 1.000 0.997 0.246 0.992 1.000 Jogging2 0.186 0.997 0.163 0.993 0.958 1.000 1.000 1.000 Kite_ce2 1.000 1.000 0.594 0.989 1.000 1.000 1.000 1.000 Matrix 0.180 0.310 0.170 0.370 0.370 0.370 0.280 0.410 Basketball 0.823 0.983 0.923 0.321 0.977 0.988 0.971 0.990 Boat_ce2 0.745 0.786 0.745 0.655 0.706 0.748 0.740 0.816 AVERAGE 0.511 0.596 0.472 0.567 0.629 0.609 0.632 0.873 表3显示了中心误差位置这一评价指标的测 40。SAMF与STRCF的中心位置误差较小，分别 试结果，由于存在部分视频序列跟丢的情况，因 为30.10和32.78。本文算法的中心误差远小于其 此7种算法的表现不是很好。DSST、ECO HC、 他几种算法，平均中心误差为8.71，说明本文算法 KCF、SRDCF、LDES的平均中心误差都超过了 的表现较好。 表3不同算法在视频序列上的中心误差值 Table 3 Center location error of the videos via different methods 视频序列 DSST ECO HC KCF SRDCF LDES SAMF STRCF 本文算法 Airport_ce 46.90 19.40 54.19 19.47 11.58 16.86 46.58 6.78 Busstation cel 145.39 177.80 176.57 212.76 166.74 166.48 173.49 3.48 Coke 9.89 11.93 10.93 12.32 9.76 10.13 11.38 10.45 Face ce2 18.37 13.87 107.51 16.95 11.72 11.72 15.92 12.44 Girlmov 252.51 203.07 105.52 201.68 219.06 67.03 53.58 6.26 Motorbike ce 62.70 97.96 71.05 81.42 17.18 69.49 68.78 8.95 Soccer 18.79 77.26 13.73 7.74 109.13 41.92 16.93 16.25 Suitcase_ce 5.16 23.30 5.58 8.01 9.18 5.63 27.85 3.78 Surf_ce3 37.63 19.09 103.37 7928 79.28 26.19 26.29 16.27 Tiger2 27.69 9.90 27.43 11.13 13.28 13.28 13.27 8.16 Busstation_ce2 3.59 4.05 4.09 28.65 4.25 3.86 4.30 3.87 Jogging2 82.10 3.49 83.36 6.74 6.87 3.58 3.32 2.64 Kite_ce2 2.42 2.71 10.98 5.25 3.23 3.02 2.51 2.61 Matrix 34.70 48.22 37.32 27.23 29.59 25.89 39.11 24.70 Basketball 11.99 6.10 11.21 16.65 7.22 7.82 11.42 5.97 Boat_ce2 9.44 8.85 9.02 12.73 11.32 8.76 9.81 6.71 AVERAGE 48.08 45.44 51.99 46.75 44.34 30.10 32.78 8.71 表4显示了8种算法在这16个视频序列上 抗遮挡性能表现良好。 的成功率情况，ECO HC、KCF、SAMF跟丢的情 由于视频序列Matrix只有100帧，所以在绘 况出现的较多，成功率偏低，分别为0.528、 制图6的平均中心误差和平均覆盖率评价曲线 0.450和0.507。SRDCF与STRCF这两个算法对 时，截取了16个视频序列的前100帧进行对比。 模型污染有较好的效果，在目标被遮挡的情况下 图中红色曲线为本文算法的效果曲线，虽然本算 表现的效果稍好，平均成功率分别为0.589和 法在覆盖率这一评价指标的前50帧效果一般，但 0.541。LDES在这7种算法中表现较好，平均成 总体效果优势明显，对ECO HC算法的改进成效 功率达到63.6%。而本文算法的成功率76.5%，较 不错。由上可知，本文改进的算法相较基线算法 基线方法ECO HC优势明显。因此，本文算法的 在抗遮挡方面有较强的鲁棒性
表 3 显示了中心误差位置这一评价指标的测 试结果，由于存在部分视频序列跟丢的情况，因 此 7 种算法的表现不是很好。DSST、ECO_HC、 KCF、SRDCF、LDES 的平均中心误差都超过了 40。SAMF 与 STRCF 的中心位置误差较小,分别 为 30.10 和 32.78。本文算法的中心误差远小于其 他几种算法，平均中心误差为 8.71，说明本文算法 的表现较好。 表 3 不同算法在视频序列上的中心误差值 Table 3 Center location error of the videos via different methods 视频序列 DSST ECO_HC KCF SRDCF LDES SAMF STRCF 本文算法 Airport_ce 46.90 19.40 54.19 19.47 11.58 16.86 46.58 6.78 Busstation_ce1 145.39 177.80 176.57 212.76 166.74 166.48 173.49 3.48 Coke 9.89 11.93 10.93 12.32 9.76 10.13 11.38 10.45 Face_ce2 18.37 13.87 107.51 16.95 11.72 11.72 15.92 12.44 Girlmov 252.51 203.07 105.52 201.68 219.06 67.03 53.58 6.26 Motorbike_ce 62.70 97.96 71.05 81.42 17.18 69.49 68.78 8.95 Soccer 18.79 77.26 13.73 7.74 109.13 41.92 16.93 16.25 Suitcase_ce 5.16 23.30 5.58 8.01 9.18 5.63 27.85 3.78 Surf_ce3 37.63 19.09 103.37 79.28 79.28 26.19 26.29 16.27 Tiger2 27.69 9.90 27.43 11.13 13.28 13.28 13.27 8.16 Busstation_ce2 3.59 4.05 4.09 28.65 4.25 3.86 4.30 3.87 Jogging2 82.10 3.49 83.36 6.74 6.87 3.58 3.32 2.64 Kite_ce2 2.42 2.71 10.98 5.25 3.23 3.02 2.51 2.61 Matrix 34.70 48.22 37.32 27.23 29.59 25.89 39.11 24.70 Basketball 11.99 6.10 11.21 16.65 7.22 7.82 11.42 5.97 Boat_ce2 9.44 8.85 9.02 12.73 11.32 8.76 9.81 6.71 AVERAGE 48.08 45.44 51.99 46.75 44.34 30.10 32.78 8.71 表 4 显示了 8 种算法在这 16 个视频序列上 的成功率情况，ECO_HC、KCF、SAMF 跟丢的情 况出现的较多，成功率偏低，分别 为 0.528、 0.450 和 0.507。SRDCF 与 STRCF 这两个算法对 模型污染有较好的效果，在目标被遮挡的情况下 表现的效果稍好，平均成功率分别为 0.589 和 0.541。LDES 在这 7 种算法中表现较好，平均成 功率达到 63.6%。而本文算法的成功率 76.5%，较 基线方法 ECO_HC 优势明显。因此，本文算法的 抗遮挡性能表现良好。 由于视频序列 Matrix 只有 100 帧，所以在绘 制图 6 的平均中心误差和平均覆盖率评价曲线 时，截取了 16 个视频序列的前 100 帧进行对比。 图中红色曲线为本文算法的效果曲线，虽然本算 法在覆盖率这一评价指标的前 50 帧效果一般，但 总体效果优势明显，对 ECO_HC 算法的改进成效 不错。由上可知，本文改进的算法相较基线算法 在抗遮挡方面有较强的鲁棒性。 续表 2 视频序列 DSST ECO_HC KCF SRDCF LDES SAMF STRCF 本文算法 Surf_ce3 0.125 0.491 0.093 0.240 0.240 0.326 0.254 0.581 Tiger2 0.301 0.912 0.390 0.734 0.584 0.532 0.526 0.907 Busstation_ce2 0.944 0.899 0.997 1.000 0.997 0.246 0.992 1.000 Jogging2 0.186 0.997 0.163 0.993 0.958 1.000 1.000 1.000 Kite_ce2 1.000 1.000 0.594 0.989 1.000 1.000 1.000 1.000 Matrix 0.180 0.310 0.170 0.370 0.370 0.370 0.280 0.410 Basketball 0.823 0.983 0.923 0.321 0.977 0.988 0.971 0.990 Boat_ce2 0.745 0.786 0.745 0.655 0.706 0.748 0.740 0.816 AVERAGE 0.511 0.596 0.472 0.567 0.629 0.609 0.632 0.873 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·637·
·638· 智能系统学报 第16卷 表4不同算法在视频序列上的成功率 Table 4 Success rate of the videos via different methods 视频序列 DSST ECO HC KCF SRDCF LDES SAMF STRCF 本文算法 Airport_ce 0.480 0.466 0.426 0.446 0.608 0.000 0.486 0.953 Busstation_cel 0.102 0.099 0.105 0.105 0.102 0.102 0.102 0.989 Coke 0.832 0.526 0.729 0.643 0.952 0.818 0.722 0.615 Face_ce2 0.527 0.480 0.101 0.757 0.939 0.878 0.669 0.791 Girlmov 0.069 0.068 0.074 0.074 0.072 0.744 0.723 0.850 Motorbike ce 0.347 0.350 0.347 0.347 0.940 0.000 0.347 0.863 Soccer 0.388 0.212 0.390 0.582 0.189 0.163 0.612 0.327 Suitcase_ce 0.690 0.397 0.804 0.766 0.783 0.793 0.391 0.929 Surf_ce3 0.154 0.541 0.104 0.409 0.283 0.000 0.194 0.634 Tiger2 0.296 0.663 0.364 0.953 0.553 0.501 0.490 0.688 Busstation_ce2 0.922 0.911 0.873 0.992 0.959 0.238 0.924 0.962 Jogging2 0.182 0.993 0.160 0.993 0.958 1.000 0.997 0.997 Kite_ce2 0.681 0.962 0.553 0.948 0.840 0.927 0.986 0.889 Matrix 0.180 0.200 0.130 0.370 0.340 0.320 0.280 0.210 Basketball 0.698 0.946 0.901 0.412 0.963 0.956 0.101 0.956 Boat_ce2 0.655 0.626 0.449 0.621 0.692 0.672 0.626 0.595 AVERAGE 0.450 0.528 0.407 0.589 0.636 0.507 0.541 0.765 1.0 40 0.9 0.8 0.7 30 0.6 0.5 20 0.4 15 0.3 0 0.2 0 5 101520253035 404550 102030405060708090100 位置误差國值 帧数 (a)平均精度 (b)平均中心误差 1.0 0.9 0.8 1.2 0.7 0.6 1.0 0.5 0.4 0.8 0.3 0.6 0.2 0.1 0.4 0102030405060708090100 00.10.20.30.40.50.60.70.80.91.0 帧数 重叠國值 (c)平均覆盖率 (d平均成功率 图616个视频序列上的平均精确度、平均中心误差、平均覆盖率和平均成功率 Fig.6 Average distance precision,average center location error,average cover rate and average success rate on 16 videos
表 4 不同算法在视频序列上的成功率 Table 4 Success rate of the videos via different methods 视频序列 DSST ECO_HC KCF SRDCF LDES SAMF STRCF 本文算法 Airport_ce 0.480 0.466 0.426 0.446 0.608 0.000 0.486 0.953 Busstation_ce1 0.102 0.099 0.105 0.105 0.102 0.102 0.102 0.989 Coke 0.832 0.526 0.729 0.643 0.952 0.818 0.722 0.615 Face_ce2 0.527 0.480 0.101 0.757 0.939 0.878 0.669 0.791 Girlmov 0.069 0.068 0.074 0.074 0.072 0.744 0.723 0.850 Motorbike_ce 0.347 0.350 0.347 0.347 0.940 0.000 0.347 0.863 Soccer 0.388 0.212 0.390 0.582 0.189 0.163 0.612 0.327 Suitcase_ce 0.690 0.397 0.804 0.766 0.783 0.793 0.391 0.929 Surf_ce3 0.154 0.541 0.104 0.409 0.283 0.000 0.194 0.634 Tiger2 0.296 0.663 0.364 0.953 0.553 0.501 0.490 0.688 Busstation_ce2 0.922 0.911 0.873 0.992 0.959 0.238 0.924 0.962 Jogging2 0.182 0.993 0.160 0.993 0.958 1.000 0.997 0.997 Kite_ce2 0.681 0.962 0.553 0.948 0.840 0.927 0.986 0.889 Matrix 0.180 0.200 0.130 0.370 0.340 0.320 0.280 0.210 Basketball 0.698 0.946 0.901 0.412 0.963 0.956 0.101 0.956 Boat_ce2 0.655 0.626 0.449 0.621 0.692 0.672 0.626 0.595 AVERAGE 0.450 0.528 0.407 0.589 0.636 0.507 0.541 0.765 1.0 5 10 15 20 25 30 35 40 45 50 0 20 30 40 50 60 70 80 90 100 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 10 10 20 30 40 50 60 70 80 90 100 精度 中心误差 覆盖率 成功率 位置误差阈值 帧数 帧数 重叠阈值 (a) 平均精度 (b) 平均中心误差 (c) 平均覆盖率 (d) 平均成功率 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 40 35 30 25 20 15 10 5 0 1.6 1.4 1.2 1.0 0.8 0.6 0.4 0 1.0 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 DSST ECO KCF LDES SAMF SRDCF STRCF Ours DSST ECO KCF LDES SAMF SRDCF STRCF Ours DSST ECO KCF LDES SAMF SRDCF STRCF Ours DSST ECO KCF LDES SAMF SRDCF STRCF Ours 图 6 16 个视频序列上的平均精确度、平均中心误差、平均覆盖率和平均成功率 Fig. 6 Average distance precision, average center location error, average cover rate and average success rate on 16 videos ·638· 智 能 系 统 学 报 第 16 卷
第4期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·639· 4结束语 The Netherlands:Springer,2016:472-488. [8]DANELLJAN M,BHAT G,SHAHBAZ KHAN F,et al. 本文针对ECO HC算法容易被遮挡以及遮挡 ECO:efficient convolution operators for tracking[Cl//Pro- 后模型污染等情况干扰而导致算法效果不佳的问 ceedings of 2017 IEEE Conference on Computer Vision 题，提出了一种融合ULBP特征的目标重定位机 and Pattern Recognition.Honolulu,HI,USA:IEEE,2017: 制相关滤波算法，有效地解决了由于遮挡因素带 6638-6646. 来的模型漂移问题，提高了算法跟踪的精度。在 [9]LI Bo.YAN Junjie,WU Wei,et al.High performance 视频序列集上的结果显示，本文算法在覆盖率、 visual tracking with Siamese region proposal 跟踪成功率、中心误差等评价指标下较其他算法 network[C]//Proceedings of 2018 IEEE/CVF Computer 性能较好，具有较强的鲁棒性。本文算法在面对 Vision and Pattern Recognition.Salt Lake City,UT,USA: 目标发生快速移动时表现效果较差，因此对目标 EEE,2018:6638-6646. 行动轨迹的预测仍需进一步的改进与研究。 [10]LI Bo,WU Wei,WANG Qiang,et al.SiamRPN++:evol- ution of Siamese visual tracking with very deep 参考文献： networks[C]//Proceedings of 2019 Computer Vision and Pattern Recognition(CVPR).Long Beach,CA,USA: [1]吴小俊，徐天阳，须文波.基于相关滤波的视频目标跟踪 IEEE,2019. 算法综述).指挥信息系统与技术，2017,8(3)：1-5. [11]FAN Heng,LIN Liting,YANG Fan,et al.LaSOT:a high- WU Xiaojun,XU Tianyang,XU Wenbo.Review of target quality benchmark for large-scale single object tracking algorithms in video based on correlation filter[J]. tracking[C]//Proceedings of 2019 IEEE/CVF Computer Command information system and technology,2017,8(3): Vision and Pattern Recognition(CVPR).Long Beach, 1-5 CA,USA:IEEE,2019. [2]张微，康宝生.相关滤波目标跟踪进展综述仞中国图象 [12]HENRIQUES J F,CASEIRO R,MARTINS P,et al.Ex- 图形学报，2017,22(8)：1017-1033 ploiting the Circulant structure of tracking by detection ZHANG Wei,KANG Baosheng.Recent advances in cor- with kernels[C]//Proceedings of the 12th European Con- relation filter-based object tracking:a review[J].Journal of ference on Computer Vision.Florence,Italy:Springer, image and graphics,2017,22(8):1017-1033. 2012:702-715. [3]BOLME D S,BEVERIDGE J R,DRAPER B A,et al. [13]COMANICIU D,MEER P.Mean shift:a robust ap- Visual object tracking using adaptive correlation proach toward feature space analysis[J].IEEE transac- filters[C]//Proceedings of 2010 IEEE Computer Society tions on pattern analysis and machine intelligence,2002. Conference on Computer Vision and Pattern Recognition. 24(5):603-619 San Francisco,CA,USA:IEEE,2010:2544-2550. [14]MEI Xue,LING Haibin.Robust visual tracking and [4]HENRIQUES J F,CASEIRO R,MARTINS P,et al.High- vehicle classification via sparse representation[J].IEEE speed tracking with kernelized correlation filters[J].IEEE transactions on pattern analysis and machine intelligence. transactions on pattern analysis and machine intelligence, 2011,33(11):2259-2272. 2015,37(3):583-596. [15]GRABNER H.GRABNER M.BISCHOF M.Real-time [5]DANELLJAN M.HAGER G.KHAN F S.et al.Accurate tracking via on-line boosting[C]//Proceedings of 2006 scale estimation for robust visual tracking[Cl/British Ma- British Machine Vision Conference.Edinburgh,UK:BM- chine Vision Conference.Nottingham,UK:BMVA Press, VC,2006:47-56 2014. [16]DANELLJAN M,SHAHBAZ KHAN F,FELSBERG M. [6]DANELLJAN M,HAGER G,SHAHBAZ KHAN F,et al. et al.Adaptive color attributes for real-time visual track- Learning spatially regularized correlation filters for visual ing[C]//Proceedings of 2014 IEEE Conference on Com- tracking[Cl//Proceedings of 2015 IEEE International Con- puter Vision and Pattern Recognition.Columbus,OH, ference on Computer Vision.Santiago,Chile:IEEE,2015: USA:IEEE,2014:1090-1097 4310-4318 [17]BERTINETTO L.VALMADRE J.GOLODETZ S,et al. [7]DANELLJAN M,ROBINSON A,KHAN F S,et al.Bey- Staple:complementary learners for real-time ond correlation filters:learning continuous convolution op- tracking[C]//Proceedings of 2016 IEEE Conference on erators for visual tracking[C]//Proceedings of the 14th Computer Vision and Pattern Recognition.Las Vegas, European Conference on Computer Vision.Amsterdam, NV,USA:IEEE.2016:1401-1409
4 结束语 本文针对 ECO_HC 算法容易被遮挡以及遮挡 后模型污染等情况干扰而导致算法效果不佳的问 题，提出了一种融合 ULBP 特征的目标重定位机 制相关滤波算法，有效地解决了由于遮挡因素带 来的模型漂移问题，提高了算法跟踪的精度。在 视频序列集上的结果显示，本文算法在覆盖率、 跟踪成功率、中心误差等评价指标下较其他算法 性能较好，具有较强的鲁棒性。本文算法在面对 目标发生快速移动时表现效果较差，因此对目标 行动轨迹的预测仍需进一步的改进与研究。 参考文献： 吴小俊, 徐天阳, 须文波. 基于相关滤波的视频目标跟踪 算法综述 [J]. 指挥信息系统与技术, 2017, 8(3): 1–5. WU Xiaojun, XU Tianyang, XU Wenbo. Review of target tracking algorithms in video based on correlation filter[J]. Command information system and technology, 2017, 8(3): 1–5. [1] 张微, 康宝生. 相关滤波目标跟踪进展综述 [J]. 中国图象 图形学报, 2017, 22(8): 1017–1033. ZHANG Wei, KANG Baosheng. Recent advances in correlation filter-based object tracking: a review[J]. Journal of image and graphics, 2017, 22(8): 1017–1033. [2] BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA: IEEE, 2010: 2544−2550. [3] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Highspeed tracking with kernelized correlation filters[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(3): 583–596. [4] DANELLJAN M, HÄGER G, KHAN F S, et al. Accurate scale estimation for robust visual tracking[C]//British Machine Vision Conference. Nottingham, UK: BMVA Press, 2014. [5] DANELLJAN M, HÄGER G, SHAHBAZ KHAN F, et al. Learning spatially regularized correlation filters for visual tracking[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 4310−4318. [6] DANELLJAN M, ROBINSON A, KHAN F S, et al. Beyond correlation filters: learning continuous convolution operators for visual tracking[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, [7] The Netherlands: Springer, 2016: 472−488. DANELLJAN M, BHAT G, SHAHBAZ KHAN F, et al. ECO: efficient convolution operators for tracking[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 6638−6646. [8] LI Bo, YAN Junjie, WU Wei, et al. High performance visual tracking with Siamese region proposal network[C]//Proceedings of 2018 IEEE/CVF Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 6638−6646. [9] LI Bo, WU Wei, WANG Qiang, et al. SiamRPN++: evolution of Siamese visual tracking with very deep networks[C]//Proceedings of 2019 Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019. [10] FAN Heng, LIN Liting, YANG Fan, et al. LaSOT: a highquality benchmark for large-scale single object tracking[C]//Proceedings of 2019 IEEE/CVF Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019. [11] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the Circulant structure of tracking by detection with kernels[C]//Proceedings of the 12th European Conference on Computer Vision. Florence, Italy: Springer, 2012: 702−715. [12] COMANICIU D, MEER P. Mean shift: a robust approach toward feature space analysis[J]. IEEE transactions on pattern analysis and machine intelligence, 2002, 24(5): 603–619. [13] MEI Xue, LING Haibin. Robust visual tracking and vehicle classification via sparse representation[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(11): 2259–2272. [14] GRABNER H, GRABNER M. BISCHOF M. Real-time tracking via on-line boosting[C]//Proceedings of 2006 British Machine Vision Conference. Edinburgh, UK: BMVC, 2006: 47−56. [15] DANELLJAN M, SHAHBAZ KHAN F, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE, 2014: 1090−1097. [16] BERTINETTO L, VALMADRE J, GOLODETZ S, et al. Staple: complementary learners for real-time tracking[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 1401−1409. [17] 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·639·