第4期 戴煜形，等：相关滤波的运动目标抗遮挡再跟踪技术 ·631· 法发展尤为快速回。 1 ECO HC跟踪基本原理 相关滤波算法由Bolm等提出的最小输出误 差平方和(minimum output sum of squared error,. 相关滤波器2的核心是通过当前帧和前序 MOSSE)引入目标跟踪领域。Henriques等采用 帧训练的滤波器判定跟踪目标在下一帧的位置。 了HOG特征和循环移位采样方式，提出了核相 ECO HC算法首先在第一帧中选定跟踪目标，获 关滤波器(kernelized correlation filter,KCF)跟踪 取其在图片帧中的实际位置及其他特征信息用以 算法，大大提高了跟踪算法的准确率。Martin 初始化训练跟踪器，后续帧中根据跟踪器中预测 Danelljan等在MOSSE的基础上增加了一个尺度 的位置对其周围进行采样点响应，取最高响应值 滤波器用以应对尺度变换的情况，提出了DSST 的位置为跟踪的目标所在位置，并对跟踪器进行 (discriminative scale space tracking)算法。循环移 更新。相关滤波是根据前序帧训练的模型去预测 位策略的应用使得基于相关滤波的目标跟踪算法 跟踪目标下一帧的位置，当跟踪目标发生剧烈变 化，比如产生形变或者遮挡时，模型就会学习到 会受到边缘效应的影响，Martin Danellja提出的 错误的信息，受到污染，导致后续帧容易跟踪失 SRDCF(spatially regularized discriminant correla- 败。此外，相关滤波采用了循环移位来丰富样 tion filter)采用空间正则化惩罚系数取得了一定 本，这就导致在训练的图像块中，只有万分之一 的效果。之后，Danelljan在2016年提出了C-C0T 的图像块是真实的样本，因此，解决边界效应对 (continuous convolution operators for visual tracking) 提高模型的准确度有着至关重要的作用。 算法，通过差值函数，将不同分辨率的特征图映 1.1相关滤波 射到连续的空间域上，计算机效率却降低了。随 相关滤波的核心思想如下：若滤波器为h,输 后，Danelljan于2017年在CVPR上提出了ECo例 入的图像为∫，对二者做相关运算求得响应值g: (efficient convolution operators),该算法分为手工特 8=f⑧h (1) 征算法(efficient convolution operators handcraft,. 响应值g越大，则f和h的相关度越高。当输 ECO HC)和卷积特征算法两个版本。ECO使用 出的响应值取最大值时，该响应值对应的位置即 高效卷积操作融合多个特征获取特征图，从模型 为当前跟踪目标的位置。为了提高计算速度，可 的大小、训练集的更新策略以及模型更新的频率 将式(1)利用快速傅里叶变换转至频域计算： 3个方面对C-COT改进，极大地提高了算法的时 F(g)=F(fh)F(f)F(h)" (2) 间与空间效率。2018年，Li等9在CVPR上发表 式中：()表示共轭，上述公式可简化为 了Siam-RPN(siamese-region proposal network)网络 G=FOH (3) 架构算法。为了解决Siam-RPN网络架构算法在 对于每一个样本图像∫都存在与其对应的 使用训练好的深层网络时出现的跟踪算法精度下 8,则式(3)可变换为 降问题，Li等11在2019年CVPR上又提出了 Hi-F (4) Siam-RPN+算法。Fan等为了解决大的尺度问 H*的更新公式为 题，在CVPR20I9上提出了多级tracking网络La- FOG SOT(large-scale single object tracking)算法。 (5) 本文针对ECO HC在遮挡方面的不足提出了 多特征融合的抗遮挡相关滤波跟踪算法。将 最后，对式（⑤）进行傅里叶逆变换即可求得滤 FHOG特征和ULBP特征进行自适应加权融合， 波器h。 实现了对目标更精确地定位。再利用高斯掩码函 1.2因式分解的卷积操作 数过滤掉一部分负样本，用以解决循环移位造成 ECO HC是在C-COT算法的基础上进行改 的边界效应，缓解模型漂移的情况。最后，根据 进的，C-COT通过学习一个含有M个训练样本的 最大响应值计算的峰值均值比判断目标是否被遮 集合x“cx获得一个卷积滤波器，其中每一个通 挡，若目标处于正常跟踪状态，则修正卡尔曼滤 道d的特征层x∈R都有独立的分辨率N。通过 波器预测的跟踪目标坐标；若目标处于被遮挡状 引入运算符J给出的插值模型，将特征通过插值 态，则启动目标重定位策略，使用卡尔曼算法预 操作转至连续空间域t(t∈[0，T): 测得出目标位置，并停止模型更新，回溯到之前 (6 模型未被污染的状态。法发展尤为快速[2]。 相关滤波算法由 Bolm 等提出的最小输出误 差平方和[3] (minimum output sum of squared error, MOSSE) 引入目标跟踪领域。Henriques 等采用 了 HOG 特征和循环移位采样方式，提出了核相 关滤波器[4] (kernelized correlation filter, KCF) 跟踪 算法，大大提高了跟踪算法的准确率。Martin Danelljan 等在 MOSSE 的基础上增加了一个尺度 滤波器用以应对尺度变换的情况，提出了 DSST (discriminative scale space tracking) 算法[5]。循环移 位策略的应用使得基于相关滤波的目标跟踪算法 会受到边缘效应的影响，Martin Danellja 提出的 SRDCF[6] (spatially regularized discriminant correla￾tion filter) 采用空间正则化惩罚系数取得了一定 的效果。之后，Danelljan 在 2016 年提出了 C-COT[7] (continuous convolution operators for visual tracking) 算法，通过差值函数，将不同分辨率的特征图映 射到连续的空间域上，计算机效率却降低了。随 后，Danelljan 于 2017 年在 CVPR 上提出了 ECO[8] (efficient convolution operators)，该算法分为手工特 征算法 (efficient convolution operators handcraft, ECO_HC) 和卷积特征算法两个版本。ECO 使用 高效卷积操作融合多个特征获取特征图，从模型 的大小、训练集的更新策略以及模型更新的频率 3 个方面对 C-COT 改进，极大地提高了算法的时 间与空间效率。2018 年，Li 等 [9] 在 CVPR 上发表 了 Siam-RPN(siamese-region proposal network) 网络 架构算法。为了解决 Siam-RPN 网络架构算法在 使用训练好的深层网络时出现的跟踪算法精度下 降问题，Li 等 [ 1 0 ] 在 2019 年 CVPR 上又提出了 Siam-RPN++算法。Fan 等 [11] 为了解决大的尺度问 题，在 CVPR 2019 上提出了多级 tracking 网络 La￾SOT(large-scale single object tracking) 算法。 本文针对 ECO_HC 在遮挡方面的不足提出了 多特征融合的抗遮挡相关滤波跟踪算法。将 FHOG 特征和 ULBP 特征进行自适应加权融合， 实现了对目标更精确地定位。再利用高斯掩码函 数过滤掉一部分负样本，用以解决循环移位造成 的边界效应，缓解模型漂移的情况。最后，根据 最大响应值计算的峰值均值比判断目标是否被遮 挡，若目标处于正常跟踪状态，则修正卡尔曼滤 波器预测的跟踪目标坐标；若目标处于被遮挡状 态，则启动目标重定位策略，使用卡尔曼算法预 测得出目标位置，并停止模型更新，回溯到之前 模型未被污染的状态。 1 ECO_HC 跟踪基本原理 相关滤波器[12-18] 的核心是通过当前帧和前序 帧训练的滤波器判定跟踪目标在下一帧的位置。 ECO_HC 算法首先在第一帧中选定跟踪目标，获 取其在图片帧中的实际位置及其他特征信息用以 初始化训练跟踪器，后续帧中根据跟踪器中预测 的位置对其周围进行采样点响应，取最高响应值 的位置为跟踪的目标所在位置，并对跟踪器进行 更新。相关滤波是根据前序帧训练的模型去预测 跟踪目标下一帧的位置，当跟踪目标发生剧烈变 化，比如产生形变或者遮挡时，模型就会学习到 错误的信息，受到污染，导致后续帧容易跟踪失 败。此外，相关滤波采用了循环移位来丰富样 本，这就导致在训练的图像块中，只有万分之一 的图像块是真实的样本，因此，解决边界效应对 提高模型的准确度有着至关重要的作用。 1.1 相关滤波 相关滤波的核心思想如下：若滤波器为 h，输 入的图像为 f，对二者做相关运算求得响应值 g： g=f ⊗h (1) 响应值 g 越大，则 f 和 h 的相关度越高。当输 出的响应值取最大值时，该响应值对应的位置即 为当前跟踪目标的位置。为了提高计算速度，可 将式 (1) 利用快速傅里叶变换转至频域计算： F (g)=F (f ⊗h)=F (f)⊙ F (h) ∗ (2) ( ∗ 式中： ) 表示共轭，上述公式可简化为 G=F ⊙ H ∗ (3) 对于每一个样本图像 fi 都存在与其对应的 gi，则式 (3) 可变换为 Hi ∗= Gi Fi (4) H*的更新公式为 H ∗= ∑ i Fi⊙Gi ∗ ∑ i Fi⊙Fi ∗ (5) 最后，对式 (5) 进行傅里叶逆变换即可求得滤 波器 h。 1.2 因式分解的卷积操作 { xj }M 1 ⊂ χ x d j ∈ R Nd Jd t ∈ [0,T) ECO_HC 是在 C-COT 算法的基础上进行改 进的，C-COT 通过学习一个含有 M 个训练样本的 集合 获得一个卷积滤波器，其中每一个通 道 d 的特征层 都有独立的分辨率 Nd。通过 引入运算符 给出的插值模型，将特征通过插值 操作转至连续空间域 t( )： Jd { x d } (t) = N∑d−1 n=0 x d [n]bd ( t− T Nd n ) (6) 第 4 期 戴煜彤，等：相关滤波的运动目标抗遮挡再跟踪技术 ·631·