第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992tis.201912010 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20200715.1745.004html 结合模糊特征检测的鲁棒核相关滤波跟踪法 林椹尠，郑兴宁2，吴成茂3 (1.西安邮电大学理学院，陕西西安710121；2.西安邮电大学通信与信息工程学院，陕西西安710121,3.西安 邮电大学电子工程学院，陕西西安710121) 摘要：针对跟踪领域内由于图像模糊而导致跟踪失败的问题，提出一种结合模糊特征检测的鲁棒核相关滤 波kernelized correlation filter,KCF)跟踪法。首先，将尺度不变特征变换(scale invariant feature transform,SIFT)描 述子与局部二值模式(local binary pattern,,LBP)算法结合，提取模糊图像中的特征点，并采用圆形邻域描述该特 征点，以降低特征向量的维度，综合构建出模糊特征检测器。其次，设置图像清晰度阈值，若当前图像清晰度 低于阈值，则启动模糊特征检测器，通过特征向量间的匹配，得出跟踪目标的位置：否则，通过传统的核相关滤 波法预测目标位置。最后，在公开数据集OTB-2013和OTB-2015中的测试结果表明：与其他实验算法相比，该 算法可对模糊图像中的目标进行有效跟踪且精度较高。 关键词：计算机视觉：目标跟踪；核相关滤波法：尺度不变特征变换；局部二值模式：模糊特征检测器：图像清晰 度评价：特征匹配 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2021)02-0323-07 中文引用格式：林椹尠，郑兴宁，吴成茂.结合模糊特征检测的鲁棒核相关滤波跟踪法小.智能系统学报，2021,16(2)： 323-329. 英文引用格式：LIN Zhenxian,ZHENG Xingning,WU Chengmao..Robust KCF tracking algorithm combined with fuzzy feature detection[Jl.CAAI transactions on intelligent systems,2021,16(2):323-329. Robust KCF tracking algorithm combined with fuzzy feature detection LIN Zhenxian',ZHENG Xingning',WU Chengmao (1.School of Science,Xi'an University of Post and Telecommunications,Xi'an 710121,China:2.School of Communication and In- formation Engineering,Xi'an University of Post and Telecommunications,Xi'an 710121,China;3.School of Electronic Engineering, Xi'an University of Post and Telecommunications,Xi'an 710121,China) Abstract:To address the tracking failure problem caused by image blur in the tracking field,we propose a robust ker- nelized correlation filter(KCF)tracking algorithm combined with fuzzy feature detection.First,the scale invariant fea- ture transform descriptor is combined with the local binary pattern algorithm to extract the feature points in the fuzzy image,and the circular neighborhood is used to describe the feature points and reduce the dimensions of the feature vec- tor.Thus,the fuzzy feature detector is constructed.Next,the image definition threshold is set.If the definition of the current image is lower than the threshold,fuzzy feature detection is initiated to obtain the tracking target position by matching the feature vectors.Otherwise,the target position is predicted by the traditional KCF algorithm.The test res- ults on the open data sets OTB-2013 and OTB-2015 show that the proposed algorithm can effectively track targets in fuzzy images with higher accuracy than other experimental algorithms Keywords:computer vision;visual tracking;kernel correlation filter(KCF);scale invariant feature transform(SIFT); local binary pattern(LBP);fuzzy feature detector;image definition evaluation function;feature matching 收稿日期：2019-12-09.网络出版日期：2020-07-16. 目标跟踪指通过目标检测或人工标记来确定 基金项目：国家自然科学基金项目(61671377)：陕西省自然科学 基金项目(2018JM4018). 目标在第一帧中的尺寸、位置，然后利用跟踪算 通信作者：郑兴宁.E-mail:1393608820@qq.com 法继续获取下一帧中目标的尺寸、位置，进而预
DOI: 10.11992/tis.201912010 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20200715.1745.004.html 结合模糊特征检测的鲁棒核相关滤波跟踪法 林椹尠1 ，郑兴宁2 ，吴成茂3 （1. 西安邮电大学 理学院，陕西 西安 710121; 2. 西安邮电大学 通信与信息工程学院，陕西 西安 710121; 3. 西安 邮电大学 电子工程学院，陕西 西安 710121） 摘 要：针对跟踪领域内由于图像模糊而导致跟踪失败的问题，提出一种结合模糊特征检测的鲁棒核相关滤 波 (kernelized correlation filter, KCF) 跟踪法。首先，将尺度不变特征变换 (scale invariant feature transform, SIFT) 描 述子与局部二值模式 (local binary pattern, LBP) 算法结合，提取模糊图像中的特征点，并采用圆形邻域描述该特 征点，以降低特征向量的维度，综合构建出模糊特征检测器。其次，设置图像清晰度阈值，若当前图像清晰度 低于阈值，则启动模糊特征检测器，通过特征向量间的匹配，得出跟踪目标的位置；否则，通过传统的核相关滤 波法预测目标位置。最后，在公开数据集 OTB-2013 和 OTB-2015 中的测试结果表明：与其他实验算法相比，该 算法可对模糊图像中的目标进行有效跟踪且精度较高。 关键词：计算机视觉；目标跟踪；核相关滤波法；尺度不变特征变换；局部二值模式；模糊特征检测器；图像清晰 度评价；特征匹配 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2021)02−0323−07 中文引用格式：林椹尠, 郑兴宁, 吴成茂. 结合模糊特征检测的鲁棒核相关滤波跟踪法 [J]. 智能系统学报, 2021, 16(2): 323–329. 英文引用格式：LIN Zhenxian, ZHENG Xingning, WU Chengmao. Robust KCF tracking algorithm combined with fuzzy feature detection[J]. CAAI transactions on intelligent systems, 2021, 16(2): 323–329. Robust KCF tracking algorithm combined with fuzzy feature detection LIN Zhenxian1 ，ZHENG Xingning2 ，WU Chengmao3 (1. School of Science, Xi’an University of Post and Telecommunications, Xi’an 710121, China; 2. School of Communication and Information Engineering, Xi’an University of Post and Telecommunications, Xi’an 710121, China; 3. School of Electronic Engineering, Xi’an University of Post and Telecommunications, Xi’an 710121, China) Abstract: To address the tracking failure problem caused by image blur in the tracking field, we propose a robust kernelized correlation filter (KCF) tracking algorithm combined with fuzzy feature detection. First, the scale invariant feature transform descriptor is combined with the local binary pattern algorithm to extract the feature points in the fuzzy image, and the circular neighborhood is used to describe the feature points and reduce the dimensions of the feature vector. Thus, the fuzzy feature detector is constructed. Next, the image definition threshold is set. If the definition of the current image is lower than the threshold, fuzzy feature detection is initiated to obtain the tracking target position by matching the feature vectors. Otherwise, the target position is predicted by the traditional KCF algorithm. The test results on the open data sets OTB-2013 and OTB-2015 show that the proposed algorithm can effectively track targets in fuzzy images with higher accuracy than other experimental algorithms Keywords: computer vision; visual tracking; kernel correlation filter (KCF); scale invariant feature transform (SIFT); local binary pattern (LBP); fuzzy feature detector; image definition evaluation function; feature matching 目标跟踪指通过目标检测或人工标记来确定 目标在第一帧中的尺寸、位置，然后利用跟踪算 法继续获取下一帧中目标的尺寸、位置，进而预 收稿日期：2019−12−09. 网络出版日期：2020−07−16. 基金项目：国家自然科学基金项目 (61671377);陕西省自然科学 基金项目 (2018JM4018). 通信作者：郑兴宁. E-mail: 1393608820@qq.com. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021
·324· 智能系统学报 第16卷 测目标的运动轨迹·。它是计算机视觉领域中重 min (f)y 要的研究方向，在视频监控和军事领域等方面应 (1) 用广泛四。 式中：w为分类器权重向量；入是防止过拟合的正 生成式跟踪法)主要根据目标的外观特征建 则化参数。利用最小二乘法进行求解： 立复杂跟踪模型，但它忽略了背景信息，当跟踪 w=(XX+ADXy (2) 目标和背景信息较相似时，容易导致跟踪失败， 式中：X表示样本循环矩阵；y是列向量，每个元 并且该方法计算复杂度较高，实时性相对较差。 素代表一个样本标签；I是单位矩阵。 而判别式跟踪法结合了目标和背景信息来训 针对非线性问题，将样本x映射到非线性的 练分类器，在跟踪过程中通过分类器预测目标运 特征空间p(x),将权重向量w表示为样本的线性 动轨迹，其表现更为鲁棒。 组合，即w=∑ap(x,为第i个样本的权重系数。 核相关滤波法(kernelized correlation filter. KCF)属于判别式跟踪法，其高效的计算能力受 利用核函数p'(x)p(x')=k(x,x)进行样本间的 到国内外研究者的青睐。KC℉算法将目标样本 点积计算，计算结果保存在核循环矩阵K= 进行循环移位采集到大量训练样本，通过循环矩 C(k(x,x)中，其元素K=k(x,x)。求得系数向量 阵的性质将时域中的矩阵求逆转化为频域中的点 α=(K+)~y,利用循环矩阵性质得出系数向量 积运算，降低了计算复杂度⑧，并通过引入核函数 的傅里叶变换形式： 将非线性问题转化为线性问题，使得该算法满足 a= 大多数实际应用场景的需求。但是KCF算法难 R+入 (3) 以解决运动目标发生形变、尺度变化、遮挡和运 式中：A表示傅里叶变换域的值；k“为核循环矩 阵K的第一行元素组成的向量。本文使用的核函 动模糊等情况下的跟踪问题。近几年，CN(color name)DSST(accurate scale estimation for robust 数为高斯核，表达式如下所示： visual tracking)SAMF(scale adaptive with mul- k(x,x')=exp Ix+llx'-2f-(*o) (4) 2 tiple features)SRDCF(spatially regularized correl- 式中：σ表示高斯核的带宽；⊙表示向量间的点乘 ation filters)CFLB (correlation filters with lim- 运算；F表示傅里叶逆变换。 ited boundaries)w等算法相继提出，分别从颜色特 12预测目标位置 征、多尺度变化、特征融合和降低边界效应等方 计算当前图像中所有待检测样本z的回归响 面不断将跟踪法进行优化，来提高算法的跟踪 应值，计算公式为 精度。 f(z)=ko (5) 然而，对模糊图像中的目标进行有效跟踪仍 式中：k表示训练样本x与检测样本z生成的互相 是跟踪领域内的一个难题。为此，本文在KC℉算 关核向量。最大响应值的位置就是当前图像中目 法的基础上引入了尺度不变特征变换描述子 标的可能位置。 (scale invariant feature transform,SIFT)i1,通过结 1.3参数更新 合局部二值模式(local binary pattern,LBP)II算法 为了防止模型发生剧烈变化，需不断地更新 使得SIFT描述子可从模糊图像中提取到更多的 当前图像中的目标模板以及分类器权重向量d, 目标特征点，并采用圆形邻域对特征点进行描述 更新的目标模板和权重向量： 以降低特征向量的维度，综合构建出高效模糊特 ￡pe=(1-p)te+Bt (6) 征检测器，并通过0TB-20131M和OTB-20151数 @update=(1-B)apre +Ba (7) 据集对所提算法进行分析与验证。 式中：B是更新参数的学习率；下标pre和update 1KCF跟踪法 分别表示上一帧和当前图像更新后的参数向量。 将训练和检测交替进行，实现目标的持续跟踪。 1.1训练分类器 传统的KCF算法同时结合了目标和背景信 KCF算法通过循环移位目标样本采集到大量 息，并且引人了循环矩阵和核函数，算法运行速 训练样本，(x,)为第i个训练样本与其对应的标 度快，可以满足实时跟踪的需求。但是该算法在 签。该算法的核心是岭回归，目的是找到一个回 面对模糊图像时，容易出现跟踪失败的现象。本 归函数fx)=wx,通过最小化样本与标签之间的 文在KC℉算法基础上结合了模糊特征检测器，通 误差平方和，求得权重向量w。计算方法如下： 过在模糊图像上提取特征点来计算跟踪目标的
测目标的运动轨迹[1]。它是计算机视觉领域中重 要的研究方向，在视频监控和军事领域等方面应 用广泛[2]。 生成式跟踪法[3] 主要根据目标的外观特征建 立复杂跟踪模型，但它忽略了背景信息，当跟踪 目标和背景信息较相似时，容易导致跟踪失败， 并且该方法计算复杂度较高，实时性相对较差。 而判别式跟踪法[4-5] 结合了目标和背景信息来训 练分类器，在跟踪过程中通过分类器预测目标运 动轨迹，其表现更为鲁棒。 核相关滤波法 (kernelized correlation filter, KCF) [6] 属于判别式跟踪法，其高效的计算能力受 到国内外研究者的青睐[7]。KCF 算法将目标样本 进行循环移位采集到大量训练样本，通过循环矩 阵的性质将时域中的矩阵求逆转化为频域中的点 积运算，降低了计算复杂度[8] ，并通过引入核函数 将非线性问题转化为线性问题，使得该算法满足 大多数实际应用场景的需求。但是 KCF 算法难 以解决运动目标发生形变、尺度变化、遮挡和运 动模糊等情况下的跟踪问题。近几年，CN(color name)[9] 、DSST(accurate scale estimation for robust visual tracking)[10] 、SAMF(scale adaptive with multiple features)[11] 、SRDCF (spatially regularized correlation filters)[12-13] 和 CFLB (correlation filters with limited boundaries)[14] 等算法相继提出，分别从颜色特 征、多尺度变化、特征融合和降低边界效应等方 面不断将跟踪法进行优化，来提高算法的跟踪 精度。 然而，对模糊图像中的目标进行有效跟踪仍 是跟踪领域内的一个难题。为此，本文在 KCF 算 法的基础上引入了尺度不变特征变换描述子 (scale invariant feature transform, SIFT) [15] ，通过结 合局部二值模式 (local binary pattern, LBP) [16] 算法 使得 SIFT 描述子可从模糊图像中提取到更多的 目标特征点，并采用圆形邻域对特征点进行描述 以降低特征向量的维度，综合构建出高效模糊特 征检测器，并通过 OTB-2013[17] 和 OTB-2015[18] 数 据集对所提算法进行分析与验证。 1 KCF 跟踪法 1.1 训练分类器 xi yi i f(x) = w T x w KCF 算法通过循环移位目标样本采集到大量 训练样本，( , ) 为第 个训练样本与其对应的标 签。该算法的核心是岭回归，目的是找到一个回 归函数 ，通过最小化样本与标签之间的 误差平方和，求得权重向量 。计算方法如下： min w ∑n i=1 (f(xi)−yi) 2 +λ∥w∥ 2 (1) 式中： w 为分类器权重向量； λ 是防止过拟合的正 则化参数。利用最小二乘法进行求解： w = (X TX+λI) −1 X T y (2) X y I 式中： 表示样本循环矩阵； 是列向量，每个元 素代表一个样本标签； 是单位矩阵。 xi φ(xi) w w = ∑ i αiφ(xi) αi i 针对非线性问题，将样本 映射到非线性的 特征空间 ，将权重向量 表示为样本的线性 组合，即 ， 为第 个样本的权重系数。 φ T (x)φ(x ′ ) = k(x, x ′ ) K = C(k(x, x ′ )) Ki j = k(xi , xj) α = (K +λI) −1 y 利用核函数 进行样本间的 点积计算，计算结果保存在核循环矩阵 中，其元素 。求得系数向量 ，利用循环矩阵性质得出系数向量 的傅里叶变换形式： αˆ = yˆ kˆ xx +λ (3) ∧ k xx K 式中： 表示傅里叶变换域的值； 为核循环矩 阵 的第一行元素组成的向量。本文使用的核函 数为高斯核，表达式如下所示： k(x, x ′ ) = exp( − ∥x∥ 2 +∥x ′ ∥ 2 −2F −1 (xˆ ∗ ⊙ xˆ ′ ) σ2 ) (4) σ ⊙ F −1 式中： 表示高斯核的带宽； 表示向量间的点乘 运算； 表示傅里叶逆变换。 1.2 预测目标位置 计算当前图像中所有待检测样本 z 的回归响 应值，计算公式为 ˆf(z) = kˆ xz ⊙αˆ (5) k xz 式中： 表示训练样本 x 与检测样本 z 生成的互相 关核向量。最大响应值的位置就是当前图像中目 标的可能位置。 1.3 参数更新 xˆ αˆ 为了防止模型发生剧烈变化，需不断地更新 当前图像中的目标模板 以及分类器权重向量 ， 更新的目标模板和权重向量： xˆupdate= (1−β)xˆpre +βxˆ (6) aˆ update= (1−β)aˆ pre +βaˆ (7) 式中： β 是更新参数的学习率；下标 pre 和 update 分别表示上一帧和当前图像更新后的参数向量。 将训练和检测交替进行，实现目标的持续跟踪。 传统的 KCF 算法同时结合了目标和背景信 息，并且引入了循环矩阵和核函数，算法运行速 度快，可以满足实时跟踪的需求。但是该算法在 面对模糊图像时，容易出现跟踪失败的现象。本 文在 KCF 算法基础上结合了模糊特征检测器，通 过在模糊图像上提取特征点来计算跟踪目标的 ·324· 智 能 系 统 学 报 第 16 卷
第2期 林椹尠，等：结合模糊特征检测的鲁棒核相关滤波跟踪法 ·325· 位置，进一步提高KC℉算法的跟踪精确度和成 金字塔中寻找极值点。 功率。 2)降低特征描述符向量的维度 跟踪过程中目标可能会发生旋转，为使描述 2结合模糊特征检测的KC℉跟踪法 子依旧具有旋转不变性，本文将特征点的矩形邻 跟踪过程中，若出现模糊图像，会造成跟踪模 域改为圆形邻域2)，并将特征点邻域像素的梯度 板被污染，导致KCF算法跟踪失败。本文在传统 幅值根据像素点与特征点的距离进行高斯加权， KCF算法的基础上，提出一种结合模糊特征检测 提高算法的精确度。通过扩大特征点邻域范围， 的鲁棒KCF跟踪法。该算法通过在模糊图像上 使新形成的圆形描述符在降维的同时满足跟踪过 提取大量特征点并进行特征向量匹配来确定当前 程中所需的目标匹配精度。圆形描述符的具体模 图像中跟踪目标的位置，进而提高KCF算法在模 型为 (9) 糊图像中的精确度和准确率。 (x-)2+y-%)2≤r2 式中：(oy)为特征点位置；(x,y)为圆形邻域中像 2.1目标特征点检测 素点的位置；r为同心圆区域的半径。 SIFT描述子是一种多尺度的局部特征描述 以特征点为圆心，形成n个同心圆子区域，在 算法，对光照变化、视觉变换等具有一定的稳定 性。算法主要分为4个部分：1)在原始图像的 每个子区域中计算t个方向的梯度累加值。然后 将每个子区域中计算出的t维向量进行循环左 基础上，通过高斯滤波形成高斯尺度空间，将相 移，使得梯度方图中的最大值始终为向量的第 邻高斯图像相减形成高斯差分金字塔，检测图像 1个元素，确保描述符向量具有选择不变性。最 的局部极值点；2)确定极值点的精确位置并输出 后将生成的n×t=w维描述符向量进行归一化， 稳定的特征点；3)计算特征点邻域像素点的梯度 减少光照变化的影响。 幅值和梯度方向，根据邻域像素点的梯度方向分 构建的高效模糊特征检测器，可以在模糊图 布，得出梯度直方图，为特征点指定主方向；4)通 像中提取到大量稳定特征点，并且不需要计算特 常在特征点周围构建16×16像素大小的矩形邻 征点的主方向，同时降低了特征描述符向量的维 域，并将其划分为4×4个子区域，在每个子区域 度，可减少后续特征点匹配的时间。 中计算8个方向的梯度累加值，形成4×4×8= 128维的特征描述符向量P0。 2.2目标特征点匹配 从上一帧图像中选出跟踪目标，生成k个模 但是，现有的SIFT描述子存在两方面的问 板特征向量m,=(m1,m2,…,mc,…,m,其中ie[1,k, 题：1)SIFT描述子丢弃了一些边缘上的点和低对 c∈[1，w且w为每个特征向量的维度。并从当 比度的点，导致该描述子在边缘光滑或模糊图像 前模糊图像中提取p个待匹配特征向量 中提取的特征点数量较少，或提取的特征点不准 n=(n1,m2,…,ne,…,ne),其中j∈[1，p],c∈[1，w]。利 确；2)SIFT描述子生成了128维的特征描述符向 量，高纬度的特征向量造成该描述子运行时间过 用公式D,=m.-n.lje(1,p》分别计算每个模 长。针对现有SFT描述子的不足之处，本文通过 板特征向量与p个待匹配特征向量之间的绝对距 构建高效模糊特征检测器来提高特征点的数量和 离。若一组特征向量最近邻绝对距离与次近邻绝 精确度。 对距离的比值小于所给阈值，则接着计算两个特 1)在模糊图像中提取稳定特征点 征向量之间的余弦相似度，若所得相似度值大于 LBP算法用于提取图像的局部纹理特征，当 经验阈值，将这两个特征向量视为匹配对；否则， 图像变得模糊时，LBP图像可以保留原始图像的 进行下一组特征向量的计算。最后得出当前图像 结构信息和空间信息，具有旋转不变性和灰度不 中所有匹配点的重心位置，将此位置视为跟踪目 变性。并且该算法参数设置较少，计算公式为 标的中心位置。 Bow）=丁2Pt,-) 2.31 预测目标最终位置 (8) 根据所给的视频序列，设置清晰度阈值，若当 p=0 式中：B(xo,%)表示特征点的LBP值；V表示特征 前图像清晰度高于阈值，则使用传统的KC℉算法 点的灰度值；V,表示邻域像素点的灰度值；s为符 预测目标位置；若当前图像清晰度低于阈值，则 1,x≥0 启动模糊特征检测器，通过计算当前图像上所有 号函数，且={0.<O。将LBP算法与SIFT 匹配点的重心位置来得到目标的中心位置，最后 描述子结合，新形成的描述子在LBP图像的差分 标定跟踪目标，进行后续的检测。模糊图像中的
位置，进一步提高 KCF 算法的跟踪精确度和成 功率。 2 结合模糊特征检测的 KCF 跟踪法 跟踪过程中，若出现模糊图像，会造成跟踪模 板被污染，导致 KCF 算法跟踪失败。本文在传统 KCF 算法的基础上，提出一种结合模糊特征检测 的鲁棒 KCF 跟踪法。该算法通过在模糊图像上 提取大量特征点并进行特征向量匹配来确定当前 图像中跟踪目标的位置，进而提高 KCF 算法在模 糊图像中的精确度和准确率。 2.1 目标特征点检测 16×16 4×4 4×4×8 = 128 SIFT 描述子是一种多尺度的局部特征描述 算法，对光照变化、视觉变换等具有一定的稳定 性。算法主要分为 4 个部分[19] ：1) 在原始图像的 基础上，通过高斯滤波形成高斯尺度空间，将相 邻高斯图像相减形成高斯差分金字塔，检测图像 的局部极值点；2) 确定极值点的精确位置并输出 稳定的特征点；3) 计算特征点邻域像素点的梯度 幅值和梯度方向，根据邻域像素点的梯度方向分 布，得出梯度直方图，为特征点指定主方向；4) 通 常在特征点周围构建 像素大小的矩形邻 域，并将其划分为 个子区域，在每个子区域 中计算 8 个方向的梯度累加值，形成 维的特征描述符向量[20]。 但是，现有的 SIFT 描述子存在两方面的问 题：1)SIFT 描述子丢弃了一些边缘上的点和低对 比度的点，导致该描述子在边缘光滑或模糊图像 中提取的特征点数量较少，或提取的特征点不准 确；2)SIFT 描述子生成了 128 维的特征描述符向 量，高纬度的特征向量造成该描述子运行时间过 长。针对现有 SIFT 描述子的不足之处，本文通过 构建高效模糊特征检测器来提高特征点的数量和 精确度。 1) 在模糊图像中提取稳定特征点 LBP 算法用于提取图像的局部纹理特征，当 图像变得模糊时，LBP 图像可以保留原始图像的 结构信息和空间信息，具有旋转不变性和灰度不 变性[21]。并且该算法参数设置较少，计算公式为 B(x0 , y0) = ∑7 p=0 2 p s(vp −vc) (8) B(x0, y0) vc vp s s(x) = 1, x ⩾ 0 0, x < 0 式中： 表示特征点的 LBP 值； 表示特征 点的灰度值； 表示邻域像素点的灰度值； 为符 号函数，且 。将 LBP 算法与 SIFT 描述子结合，新形成的描述子在 LBP 图像的差分 金字塔中寻找极值点。 2) 降低特征描述符向量的维度 跟踪过程中目标可能会发生旋转，为使描述 子依旧具有旋转不变性，本文将特征点的矩形邻 域改为圆形邻域[22] ，并将特征点邻域像素的梯度 幅值根据像素点与特征点的距离进行高斯加权， 提高算法的精确度。通过扩大特征点邻域范围， 使新形成的圆形描述符在降维的同时满足跟踪过 程中所需的目标匹配精度。圆形描述符的具体模 型为 (x− x0) 2 +(y−y0) 2 ⩽ r 2 (9) (x0, y0) (x, y) r 式中： 为特征点位置； 为圆形邻域中像 素点的位置； 为同心圆区域的半径。 n t t n×t = w 以特征点为圆心，形成 个同心圆子区域，在 每个子区域中计算 个方向的梯度累加值。然后 将每个子区域中计算出的 维向量进行循环左 移，使得梯度方图中的最大值始终为向量的第 1 个元素，确保描述符向量具有选择不变性。最 后将生成的 维描述符向量进行归一化， 减少光照变化的影响。 构建的高效模糊特征检测器，可以在模糊图 像中提取到大量稳定特征点，并且不需要计算特 征点的主方向，同时降低了特征描述符向量的维 度，可减少后续特征点匹配的时间。 2.2 目标特征点匹配 k mi = (m1,m2,··· ,mc ,··· ,mw) i ∈ [1, k], c ∈ [1,w] w p nj=(n1,n2,··· ,nc ,··· ,nw) j ∈ [1, p] , c ∈ [1,w] Dj = ∑w c=1 |mc −nc | (j ∈ (1, p)) p 从上一帧图像中选出跟踪目标，生成 个模 板特征向量 ，其中 且 为每个特征向量的维度。并从当 前模糊图像中提取 个待匹配特征向量 ，其中 。利 用公式 分别计算每个模 板特征向量与 个待匹配特征向量之间的绝对距 离。若一组特征向量最近邻绝对距离与次近邻绝 对距离的比值小于所给阈值，则接着计算两个特 征向量之间的余弦相似度，若所得相似度值大于 经验阈值，将这两个特征向量视为匹配对；否则， 进行下一组特征向量的计算。最后得出当前图像 中所有匹配点的重心位置，将此位置视为跟踪目 标的中心位置。 2.3 预测目标最终位置 根据所给的视频序列，设置清晰度阈值，若当 前图像清晰度高于阈值，则使用传统的 KCF 算法 预测目标位置；若当前图像清晰度低于阈值，则 启动模糊特征检测器，通过计算当前图像上所有 匹配点的重心位置来得到目标的中心位置，最后 标定跟踪目标，进行后续的检测。模糊图像中的 第 2 期 林椹尠，等：结合模糊特征检测的鲁棒核相关滤波跟踪法 ·325·
·326· 智能系统学报 第16卷 目标匹配结果如图1所示。 0.1,更新参数的学习率B为0.02，高斯核函数的 方差为0.5。低对比度阈值设置为170，主曲率阈 值设置为18。经实验分析，圆形邻域最大半径设 为9，将特征点圆形邻域分为6个同心圆子区域， 梯度方向t=8,绝对距离阈值设为0.6，余弦相似 度阈值设为0.95，并且在实验过程中所有参数值 固定不变。 实验环境为Intel(R)Core(TMi5-520 OU CPU @2.20GH处理器，4GB运行内存，MATLABR2014a 平台。 3.2定性分析 为了更直观的对比各算法在模糊图像上的跟 踪效果，从OTB-2013和OTB-2015数据集中选取 图1模糊图像匹配结果 Fig.1 Matching result of fuzzy image 了4组代表性的视频序列，分别为Coke、Jogging、 改进算法的整体流程图如图2所示。 Couple和Jump序列，并将所选序列随机地进行 模糊化处理。视频序列跟踪结果如图3所示，视 开始 频图中的数字表示帧数，绿色框、蓝色框、紫红色 框、黑色框和红色框分别代表KCF、DSSTUO 选定目标 SRDCEU2、人工标注和本文算法的跟踪框。 更新训练集 实验1：OTB-2015数据集中的Coke序列受到 训练分类器 不均匀的光照以及绿色树叶的遮挡。跟踪结果如 读取下一桢帧图像 图3(a)所示：第17帧，视频图像清晰，跟踪目标受 到轻微光照的影响，4种算法均能正确跟踪到目 计算图像清晰度 标物体。从第68帧到141帧，视频图像变得模 糊，导致跟踪目标外观不清晰，KCF算法出现跟 否 踪失败的现象，DSST算法虽然能跟踪到目标，但 、清晰度>闯值 是跟踪框包含了大量的背景信息，只有本文算法 t 根据上一帧目标位置提 和SRDCF算法可以正确定位到跟踪目标的位置。 提取当前帧的特征点 取检测样本 第281帧，视频图像由模糊变得清晰，本文算法 与目标模板进行特征点 和SRDCF算法依旧可以顺利跟踪到目标，并且不 计算位置滤波器的响应 匹配 受光照变化的影响，而其余两种算法均跟踪失败。 预测目标位置 实验2：0TB-2015数据集中的Jogging序列， 跟踪目标与背景较相似，并且在跟踪过程中目标 受到较长时间的遮挡。跟踪结果如图3(b)所示： 否 最后一帧 第66帧，视频图像清晰，4种算法均能正确跟踪 到目标物体。从第86帧到116帧，跟踪目标受到 是 了连续几帧的模糊和遮挡，本文算法依旧可以正 结束 确预测到跟踪目标的位置，而其余3种算法均跟 图2改进算法流程图 踪失败。 Fig.2 Flowchart of the improved algorithm 实验3：OTB-2013数据集中的Couple序列受 3实验结果与分析 到了光照变化的影响，并且运动速度较快。图3(c) 中，第21帧和第89帧的可视化跟踪结果显示：本 3.1实验设置 文算法可以对模糊图像中的目标进行有效跟踪， 采用0TB-2013m和0TB-2015数据集测试 而SRDCF算法出现跟踪丢失的现象，DSST算法 本文算法的性能，它们分别含有50和100个标注 刚开始可以跟踪到目标，之后跟踪模板被污染， 完整的视频序列。实验中设置目标搜索区域面积 同样出现了跟踪失败的现象。直到第125帧，视 为跟踪框的2.5倍，正则化参数0.0001，空间带宽 频图像再次变得清晰，但是此时跟踪目标受到了
目标匹配结果如图 1 所示。 图 1 模糊图像匹配结果 Fig. 1 Matching result of fuzzy image 改进算法的整体流程图如图 2 所示。 开始 选定目标 读取下一帧图像 清晰度>阈值 根据上一帧目标位置提 取检测样本 计算位置滤波器的响应 提取当前帧的特征点 与目标模板进行特征点 匹配 预测目标位置 结束 是 否 更新训练集 训练分类器 计算图像清晰度 最后一帧 否 是 图 2 改进算法流程图 Fig. 2 Flowchart of the improved algorithm 3 实验结果与分析 3.1 实验设置 采用 OTB-2013[17] 和 OTB-2015[18] 数据集测试 本文算法的性能，它们分别含有 50 和 100 个标注 完整的视频序列。实验中设置目标搜索区域面积 为跟踪框的 2.5 倍，正则化参数 0.000 1，空间带宽 β t = 8 0.1，更新参数的学习率 为 0.02，高斯核函数的 方差为 0.5。低对比度阈值设置为 170，主曲率阈 值设置为 18。经实验分析，圆形邻域最大半径设 为 9，将特征点圆形邻域分为 6 个同心圆子区域， 梯度方向 ，绝对距离阈值设为 0.6，余弦相似 度阈值设为 0.95，并且在实验过程中所有参数值 固定不变。 实验环境为 Intel(R) Core(TM) i5-5200U CPU @2.20 GHz 处理器，4 GB 运行内存，MATLABR2014a 平台。 3.2 定性分析 为了更直观的对比各算法在模糊图像上的跟 踪效果，从 OTB-2013 和 OTB-2015 数据集中选取 了 4 组代表性的视频序列，分别为 Coke、Jogging、 Couple 和 Jump 序列，并将所选序列随机地进行 模糊化处理。视频序列跟踪结果如图 3 所示，视 频图中的数字表示帧数，绿色框、蓝色框、紫红色 框、黑色框和红色框分别代表 KCF[6] 、DSST[10] 、 SRDCF[12] 、人工标注和本文算法的跟踪框。 实验 1：OTB-2015 数据集中的 Coke 序列受到 不均匀的光照以及绿色树叶的遮挡。跟踪结果如 图 3(a) 所示：第 17 帧，视频图像清晰，跟踪目标受 到轻微光照的影响，4 种算法均能正确跟踪到目 标物体。从第 68 帧到 141 帧，视频图像变得模 糊，导致跟踪目标外观不清晰，KCF 算法出现跟 踪失败的现象，DSST 算法虽然能跟踪到目标，但 是跟踪框包含了大量的背景信息，只有本文算法 和 SRDCF 算法可以正确定位到跟踪目标的位置。 第 281 帧，视频图像由模糊变得清晰，本文算法 和 SRDCF 算法依旧可以顺利跟踪到目标，并且不 受光照变化的影响，而其余两种算法均跟踪失败。 实验 2：OTB-2015 数据集中的 Jogging 序列， 跟踪目标与背景较相似，并且在跟踪过程中目标 受到较长时间的遮挡。跟踪结果如图 3(b) 所示： 第 66 帧，视频图像清晰，4 种算法均能正确跟踪 到目标物体。从第 86 帧到 116 帧，跟踪目标受到 了连续几帧的模糊和遮挡，本文算法依旧可以正 确预测到跟踪目标的位置，而其余 3 种算法均跟 踪失败。 实验 3：OTB-2013 数据集中的 Couple 序列受 到了光照变化的影响，并且运动速度较快。图 3(c) 中，第 21 帧和第 89 帧的可视化跟踪结果显示：本 文算法可以对模糊图像中的目标进行有效跟踪， 而 SRDCF 算法出现跟踪丢失的现象，DSST 算法 刚开始可以跟踪到目标，之后跟踪模板被污染， 同样出现了跟踪失败的现象。直到第 125 帧，视 频图像再次变得清晰，但是此时跟踪目标受到了 ·326· 智 能 系 统 学 报 第 16 卷
第2期 林椹尠，等：结合模糊特征检测的鲁棒核相关滤波跟踪法 ·327· 强烈光照的影响，本文算法可以跟踪到目标，而 列。跟踪结果如图3()所示：视频图像第20帧和 其余3种算法均出现跟踪丢失的现象。 第62帧，跟踪目标外观模糊、发生旋转并且所在 背景杂乱，本文算法可通过启动模糊特征检测 68 器，在模糊图像中提取到大量稳定的特征点，从 而正确跟踪到目标，而其他3种算法均出现跟踪 丢失的现象。 3.3定量分析 281 为进一步验证本文所提算法在各视频序列中 的跟踪性能，将跟踪精确度和成功率作为算法的 评价指标。其中，跟踪精确度定义为预测的目标 位置与人工标注的目标位置之间的欧式距离小于 (a)Coke序列 所给阈值的帧数占总帧数的比值2；跟踪成功率 定义为预测的目标框的面积与人工标注的目标框 #66 的面积的重叠率大于给定阈值的帧数占总帧数的 比值。采用经典实验数据值，将精确度阈值设为 20像素，成功率阈值设为0.5。 1)跟踪序列精确度和成功率分析 #116 #165 4种算法对Coke、Jogging、Couple和Jump序 列的跟踪精确度和成功率值如表1~2所示：与其 他3种实验算法相比，本文算法的精确度和成功 率均为最高或次高值。说明虽然图像模糊导致跟 踪目标的边缘信息丢失，但是本文算法可通过模 (b)Jogging序列 糊特征检测器，从模糊图像中提取出大量特征 点，从而跟踪到目标，并且跟踪框包含着大量的 目标信息，使得跟踪精度和准确率较高。而 KCF算法、DSST算法和SRDCF算法由于不具备 抗模糊性，在模糊图像中导致跟踪模板被污染， 出现跟踪失败的现象。 表1跟踪序列精确度对比 Table 1 Comparison of accuracy 视频序列 KCF DSST SRDCF 本文 Coke 0.278 0.564 0.896 0.773 (c)Couplel序列 Jogging 0.231 0.228 0.231 0.704 #20 Couple 0.093 0.107 0.592 0.686 Jump 0.057 0.082 0.033 0.443 表2跟踪序列成功率对比 Table 2 Comparison of success rate 104 视频序列 KCF DSST SRDCF 本文 Coke 0.265 0.498 0.848 0.756 Jogging 0.225 0.225 0.222 0.827 (d)Jump序列 Couple 0.086 0.107 0.542 0.614 Jump 0.057 0.082 0.033 0.358 图3视频序列跟踪结果 Fig.3 Tracking results of video sequence 2)模糊序列精确度和成功率分析 实验4：选取OTB-2013数据集中的Jump序 为验证本文算法在其他视频序列上的适用
强烈光照的影响，本文算法可以跟踪到目标，而 其余 3 种算法均出现跟踪丢失的现象。 (a) Coke序列 (b) Jogging序列 (c) Couple序列 (d) Jump序列 图 3 视频序列跟踪结果 Fig. 3 Tracking results of video sequence 实验 4：选取 OTB-2013 数据集中的 Jump 序 列。跟踪结果如图 3(d) 所示：视频图像第 20 帧和 第 62 帧，跟踪目标外观模糊、发生旋转并且所在 背景杂乱，本文算法可通过启动模糊特征检测 器，在模糊图像中提取到大量稳定的特征点，从 而正确跟踪到目标，而其他 3 种算法均出现跟踪 丢失的现象。 3.3 定量分析 为进一步验证本文所提算法在各视频序列中 的跟踪性能，将跟踪精确度和成功率作为算法的 评价指标。其中，跟踪精确度定义为预测的目标 位置与人工标注的目标位置之间的欧式距离小于 所给阈值的帧数占总帧数的比值[23] ；跟踪成功率 定义为预测的目标框的面积与人工标注的目标框 的面积的重叠率大于给定阈值的帧数占总帧数的 比值。采用经典实验数据值，将精确度阈值设为 20 像素，成功率阈值设为 0.5。 1) 跟踪序列精确度和成功率分析 4 种算法对 Coke、Jogging、Couple 和 Jump 序 列的跟踪精确度和成功率值如表 1~2 所示：与其 他 3 种实验算法相比，本文算法的精确度和成功 率均为最高或次高值。说明虽然图像模糊导致跟 踪目标的边缘信息丢失，但是本文算法可通过模 糊特征检测器，从模糊图像中提取出大量特征 点，从而跟踪到目标，并且跟踪框包含着大量的 目标信息，使得跟踪精度和准确率较高。 而 KCF 算法、DSST 算法和 SRDCF 算法由于不具备 抗模糊性，在模糊图像中导致跟踪模板被污染， 出现跟踪失败的现象。 表 1 跟踪序列精确度对比 Table 1 Comparison of accuracy 视频序列 KCF DSST SRDCF 本文 Coke 0.278 0.564 0.896 0.773 Jogging 0.231 0.228 0.231 0.704 Couple 0.093 0.107 0.592 0.686 Jump 0.057 0.082 0.033 0.443 表 2 跟踪序列成功率对比 Table 2 Comparison of success rate 视频序列 KCF DSST SRDCF 本文 Coke 0.265 0.498 0.848 0.756 Jogging 0.225 0.225 0.222 0.827 Couple 0.086 0.107 0.542 0.614 Jump 0.057 0.082 0.033 0.358 2) 模糊序列精确度和成功率分析 为验证本文算法在其他视频序列上的适用 第 2 期 林椹尠，等：结合模糊特征检测的鲁棒核相关滤波跟踪法 ·327·
·328· 智能系统学报 第16卷 性，从OTB-2015数据集中选取大量不同属性的 糊图像上提取大量的目标特征点，并将降维后的 视频，并将其进行不同程度的模糊化处理。跟踪 目标特征向量进行匹配，提高了KCF算法的性 精确度和成功率曲线如图4~5所示：本文算法的 能。视频序列可视化跟踪结果显示，本文算法在 精确度和成功率均居第一。本文算法的精确度 模糊图像上可以顺利跟踪到目标，且其精确度和 为68.2%，在经典KC℉算法的基础上提高了18.1%， 成功率均高于对比算法，由此可说明本文算法具 比次优的SRDCF算法提高了5.7%：本文算法的 有抗模糊性和光照不变性，适用于大部分模糊图 成功率为49.5%，在经典KC℉算法的基础上提高 像的跟踪场景。但是，与经典的KC℉算法相比 了19.2%，比次优的SRDCF算法提高了2.3%。实 本文算法由于引入了LBP算法，在提高精度的同 验数据说明，本文算法通过启动模糊特征检测 时也增加了计算量，导致跟踪速度较低。下一步 器，可以在模糊图像上提取到大量目标特征点， 研究的目标是在不影响算法精度的情况下进一步 并通过绝对距离和余弦相似度进行目标特征向量 提高算法的运行速度。 匹配，进而成功定位到目标的位置，由此提高了 KC℉算法在模糊图像上的精确度和成功率。 参考文献： 0.9 [1]杨亚光，尚振宏.相关滤波融合卷积残差学习的目标跟 0.8 踪算法).激光与光电子学进展，2020,57(12)：121012. 0.7 YANG Yaguang,SHANG Zhenhong.Object tracking al- 0.6 o0自站结6G666时时 gorithm based on correlation filtering and convolution re- siduals learning[J].Laser optoelectronics progress,2020, 0.3 一本文 57(12y:121012. 0.2 KCF 0.1 -e-DSST [2]孟绿，杨旭.目标跟踪算法综述[仞.自动化学报，2019， -+-SRDCF 45(7):1244-1260 20 30 40 50 中心位置误差國值 MENG Lu,YANG Xu.A survey of object tracking al- gorithms[J].Acta automatica sinica,2019,45(7): 图4平均精确度曲线 1244-1260 Fig.4 Curve of average accuracy [3]ORON S,BAR-HILLEL A,LEVI D,et al.Locally order- 1.0 0.9 本文 less tracking[J].International journal of computer vision. KCF 0.8 --DSST 2015,111(2):213-228. 7 -+-SRDCF [4]BABENKO B,YANG M H,BELONGIE S.Robust object 06 tracking with online multiple instance learning[J].IEEE transactions on pattern analysis and machine intelligence, 0.3 2011,33(8):1619-1632 0.2 [5]尹宏鹏，陈波，柴毅，等.基于视觉的目标检测与跟踪综 01 述[J.自动化学报，2016,42(10)：1466-1489 0 0.2 0.40.60.8 1.0 YIN Hongpeng,CHEN Bo,CHAI Yi,et al.Vision-based 重叠率國值 object detection and tracking:a review[J.Acta automatica 图5平均成功率曲线 sinica.2016,42(10):1466-1489 Fig.5 Curve of average success rate [6]HENRIQUES J F.CASEIRO R.MARTINS P.et al.High- 另外，模糊化处理OTB-2013数据集里的视频 speed tracking with kernelized correlation filters[J].IEEE 序列，并将其用于本文算法的测试中。测试结果 transactions on pattern analysis and machine intelligence, 表明，与现有的KCF算法相比，本文算法可以对 2015,37(3):583-596 模糊图像中的目标进行有效跟踪，且其精确度较 [7]宁欣，李卫军，田伟娟，等.一种自适应模板更新的判别 高，从而进一步说明本文算法具有普适性。 式KCF跟踪方法[.智能系统学报，2019,14(1)： 121-126. 4结束语 NING Xin,LI Weijun,TIAN Weijuan,et al.Adaptive tem- plate update of discriminant KCF for visual tracking[J]. 对模糊图像中的目标进行有效跟踪是跟踪领 CAAI transactions on intelligent systems,2019,14(1): 域内的一个难点，本文在KCF算法的基础上，提 121-126. 出了一种结合模糊特征检测的鲁棒KC跟踪 [8]张微，康宝生.相关滤波目标跟踪进展综述).中国图象 法。该算法通过启动模糊特征检测器，可以在模 图形学报，2017,22(8)：1017-1033
性，从 OTB-2015 数据集中选取大量不同属性的 视频，并将其进行不同程度的模糊化处理。跟踪 精确度和成功率曲线如图 4~5 所示：本文算法的 精确度和成功率均居第一。本文算法的精确度 为 68.2%，在经典 KCF 算法的基础上提高了 18.1%， 比次优的 SRDCF 算法提高了 5.7%；本文算法的 成功率为 49.5%，在经典 KCF 算法的基础上提高 了 19.2%，比次优的 SRDCF 算法提高了 2.3%。实 验数据说明，本文算法通过启动模糊特征检测 器，可以在模糊图像上提取到大量目标特征点， 并通过绝对距离和余弦相似度进行目标特征向量 匹配，进而成功定位到目标的位置，由此提高了 KCF 算法在模糊图像上的精确度和成功率。 0 10 20 30 40 50 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 中心位置误差阈值 精确度 本文 KCF DSST SRDCF 图 4 平均精确度曲线 Fig. 4 Curve of average accuracy 本文 KCF DSST SRDCF 0 0.2 0.4 0.6 0.8 1.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 重叠率阈值 成功率 图 5 平均成功率曲线 Fig. 5 Curve of average success rate 另外，模糊化处理 OTB-2013 数据集里的视频 序列，并将其用于本文算法的测试中。测试结果 表明，与现有的 KCF 算法相比，本文算法可以对 模糊图像中的目标进行有效跟踪，且其精确度较 高，从而进一步说明本文算法具有普适性。 4 结束语 对模糊图像中的目标进行有效跟踪是跟踪领 域内的一个难点，本文在 KCF 算法的基础上，提 出了一种结合模糊特征检测的鲁棒 KCF 跟踪 法。该算法通过启动模糊特征检测器，可以在模 糊图像上提取大量的目标特征点，并将降维后的 目标特征向量进行匹配，提高了 KCF 算法的性 能。视频序列可视化跟踪结果显示，本文算法在 模糊图像上可以顺利跟踪到目标，且其精确度和 成功率均高于对比算法，由此可说明本文算法具 有抗模糊性和光照不变性，适用于大部分模糊图 像的跟踪场景。但是，与经典的 KCF 算法相比， 本文算法由于引入了 LBP 算法，在提高精度的同 时也增加了计算量，导致跟踪速度较低。下一步 研究的目标是在不影响算法精度的情况下进一步 提高算法的运行速度。 参考文献： 杨亚光, 尚振宏. 相关滤波融合卷积残差学习的目标跟 踪算法 [J]. 激光与光电子学进展, 2020, 57(12): 121012. YANG Yaguang, SHANG Zhenhong. Object tracking algorithm based on correlation filtering and convolution residuals learning[J]. Laser & optoelectronics progress, 2020, 57(12): 121012. [1] 孟琭, 杨旭. 目标跟踪算法综述 [J]. 自动化学报, 2019, 45(7): 1244–1260. MENG Lu, YANG Xu. A survey of object tracking algorithms[J]. Acta automatica sinica, 2019, 45(7): 1244–1260. [2] ORON S, BAR-HILLEL A, LEVI D, et al. Locally orderless tracking[J]. International journal of computer vision, 2015, 111(2): 213–228. [3] BABENKO B, YANG M H, BELONGIE S. Robust object tracking with online multiple instance learning[J]. IEEE transactions on pattern analysis and machine intelligence, 2011, 33(8): 1619–1632. [4] 尹宏鹏, 陈波, 柴毅, 等. 基于视觉的目标检测与跟踪综 述 [J]. 自动化学报, 2016, 42(10): 1466–1489. YIN Hongpeng, CHEN Bo, CHAI Yi, et al. Vision-based object detection and tracking: a review[J]. Acta automatica sinica, 2016, 42(10): 1466–1489. [5] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Highspeed tracking with kernelized correlation filters[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(3): 583–596. [6] 宁欣, 李卫军, 田伟娟, 等. 一种自适应模板更新的判别 式 KCF 跟踪方法 [J]. 智能系统学报, 2019, 14(1): 121–126. NING Xin, LI Weijun, TIAN Weijuan, et al. Adaptive template update of discriminant KCF for visual tracking[J]. CAAI transactions on intelligent systems, 2019, 14(1): 121–126. [7] 张微, 康宝生. 相关滤波目标跟踪进展综述 [J]. 中国图象 图形学报, 2017, 22(8): 1017–1033. [8] ·328· 智 能 系 统 学 报 第 16 卷
第2期 林椹尠，等：结合模糊特征检测的鲁棒核相关滤波跟踪法 ·329· ZHANG Wei,KANG Baosheng.Recent advances in cor- ant keypoints[J].International journal of computer vision, relation filter-based object tracking:a review[J].Journal of 2004,60(2:91-110. image and graphics,2017,22(8):1017-1033 [20]孙雪强，黄旻，张桂峰，等.基于改进SIFT的多光谱图 [9]DANELLJAN M.KHAN F S.FELSBERG M,et al.Ad- 像匹配算法[).计算机科学，2019,46(4)：280-284. aptive color attributes for real-time visual tracking[Cl/Pro- SUN Xueqiang,HUANG Min,ZHANG Guifeng,et al. ceedings of 2014 IEEE Conference on Computer Vision Multispectral image matching algorithm based on im- and Pattern Recognition.Columbus,USA,2014: proved SIFT[J].Computer science,2019,46(4):280-284. 1090-1097. [21]唐国良.抗模糊的图像局部特征描述子).西安电子科 [10]DANELLJAN M,HAGER G,KHAN F S,et al.Accur- 技大学学报，2019,46(1)：39-45. ate scale estimation for robust visual tracking[Cl//Pro- TANG Guoliang.Anti-fuzzy local feature descriptor on ceedings of British Machine Vision Conference.Notting- images[J].Journal of Xidian University,2019,46(1): ham.UK,2014:65.1-65.11. 39-45. [11]LI Yang,ZHU Jianke.A scale adaptive kernel correlation [22]韩字，宗群，邢娜.基于改进SIFT的无人机航拍图像快 filter tracker with feature integration[C]//Proceedings of 速匹配).南开大学学报（自然科学版），2019,52(1)： European Conference on Computer Vision.Zurich, 5-9 Switzerland.2014:254-265. [12]DANELLJAN M.HAGER G,KHAN F S,et al.Learn- HAN Yu,ZONG Qun,XIN Na.Fast matching of UAV ing spatially regularized correlation filters for visual aerial image based on SIFT[].Acta Scientiarum Naturali- tracking[Cl//Proceedings of 2015 IEEE International Con- um Universitatis Nankaiensis(Natural Science Edition), ference on Computer Vision.Santiago,Chile,2015: 2019,52(1)5-9. 4310-4318. [23]刘延飞，何燕辉，姜柯，等.采用异常值检测及重定位改 [13]杨德东，毛宁，杨福才，等.利用最佳伙伴相似性的改进 进的KCF跟踪算法].计算机工程与应用，2018 空间正则化判别相关滤波目标跟踪刀.光学精密工程， 5420):166-171 2018,26(2:492-502. LIU Yanfei,HE Yanhui,JIANG Ke,et al.Improved KCF YANG DD,MAO N,YANG F C,et al.Improved SRD- tracking algorithm using outlier detection and CF object tracking via the Best-Buddies Similarity[J].Op- relocation[J].Computer engineering and applications, tics and precision engineering,2018,26(2):492-502 2018.54(20):166-171 [14]GALOOGAHI H K,SIM T,LUCEY S.Correlation fil- 作者简介： ters with limited boundaries[C]//Proceedings of 2015 林椹尠，教授，博士，主要研究方 IEEE Conference on Computer Vision and Pattern Recog- 向为小波理论及其在信号、图像处理 nition.Boston.USA.2015:4630-4638. 中的应用。发表学术论文近30篇。 [15]NI Zhensheng.B-SIFT:a binary sift based local image feature descriptor[Cl//Proceedings of the 2012 4th Inter- national Conference on Digital Home.Guangzhou,China. 2012:117-121. [16]杨娇，陈强，周玲，等.基于LBP的TLD目标跟踪改进 郑兴宁，硕土研究生，主要研究方 算法).传感器与微系统，2019,36(11少：136-138,143. 向为图像处理、目标跟踪。 YANG Jiao,CHEN Qiang,ZHOU Ling,et al.Improved TLD target tracking algorithm based on LBP[J].Trans- ducer and microsystem technologies,2019,36(11): 136-138,143 [17]WU Yi,LIM J,YANG M H.Online object tracking:a benchmark[C]//Proceedings of 2013 IEEE conference on 吴成茂，高级工程师，主要研究方 Computer Vision and Pattern Recognition.Portland, 向为模式分析与智能信息处理、图像 USA,2013:2411-2418. 处理与信息安全。发表学术论文 [18]WU Yi,LIM J,YANG M H.Object tracking 200余篇。 benchmark[J].IEEE transactions on pattern analysis and machine intelligence,2015,37(9):1834-1848. [19]LOWE D G.Distinctive image features from scale-invari-
ZHANG Wei, KANG Baosheng. Recent advances in correlation filter-based object tracking: a review[J]. Journal of image and graphics, 2017, 22(8): 1017–1033. DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014: 1090−1097. [9] DANELLJAN M, HÄGER G, KHAN F S, et al. Accurate scale estimation for robust visual tracking[C]//Proceedings of British Machine Vision Conference. Nottingham, UK, 2014: 65.1−65.11. [10] LI Yang, ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]//Proceedings of European Conference on Computer Vision. Zurich, Switzerland, 2014: 254−265. [11] DANELLJAN M, HÄGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile, 2015: 4310−4318. [12] 杨德东, 毛宁, 杨福才, 等. 利用最佳伙伴相似性的改进 空间正则化判别相关滤波目标跟踪 [J]. 光学 精密工程, 2018, 26(2): 492–502. YANG D D, MAO N, YANG F C, et al. Improved SRDCF object tracking via the Best-Buddies Similarity[J]. Optics and precision engineering, 2018, 26(2): 492–502. [13] GALOOGAHI H K, SIM T, LUCEY S. Correlation filters with limited boundaries[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 4630−4638. [14] NI Zhensheng. B-SIFT: a binary sift based local image feature descriptor[C]//Proceedings of the 2012 4th International Conference on Digital Home. Guangzhou, China, 2012: 117−121. [15] 杨娇, 陈强, 周玲, 等. 基于 LBP 的 TLD 目标跟踪改进 算法 [J]. 传感器与微系统, 2019, 36(11): 136–138, 143. YANG Jiao, CHEN Qiang, ZHOU Ling, et al. Improved TLD target tracking algorithm based on LBP[J]. Transducer and microsystem technologies, 2019, 36(11): 136–138, 143. [16] WU Yi, LIM J, YANG M H. Online object tracking: a benchmark[C]//Proceedings of 2013 IEEE conference on Computer Vision and Pattern Recognition. Portland, USA, 2013: 2411−2418. [17] WU Yi, LIM J, YANG M H. Object tracking benchmark[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(9): 1834–1848. [18] [19] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91–110. 孙雪强, 黄旻, 张桂峰, 等. 基于改进 SIFT 的多光谱图 像匹配算法 [J]. 计算机科学, 2019, 46(4): 280–284. SUN Xueqiang, HUANG Min, ZHANG Guifeng, et al. Multispectral image matching algorithm based on improved SIFT[J]. Computer science, 2019, 46(4): 280–284. [20] 唐国良. 抗模糊的图像局部特征描述子 [J]. 西安电子科 技大学学报, 2019, 46(1): 39–45. TANG Guoliang. Anti-fuzzy local feature descriptor on images[J]. Journal of Xidian University, 2019, 46(1): 39–45. [21] 韩宇, 宗群, 邢娜. 基于改进 SIFT 的无人机航拍图像快 速匹配 [J]. 南开大学学报(自然科学版), 2019, 52(1): 5–9. HAN Yu, ZONG Qun, XIN Na. Fast matching of UAV aerial image based on SIFT[J]. Acta Scientiarum Naturalium Universitatis Nankaiensis (Natural Science Edition), 2019, 52(1): 5–9. [22] 刘延飞, 何燕辉, 姜柯, 等. 采用异常值检测及重定位改 进的 KCF 跟踪算法 [J]. 计算机工程与应用, 2018, 54(20): 166–171. LIU Yanfei, HE Yanhui, JIANG Ke, et al. Improved KCF tracking algorithm using outlier detection and relocation[J]. Computer engineering and applications, 2018, 54(20): 166–171. [23] 作者简介： 林椹尠，教授，博士，主要研究方 向为小波理论及其在信号、图像处理 中的应用。发表学术论文近 30 篇。 郑兴宁，硕士研究生，主要研究方 向为图像处理、目标跟踪。 吴成茂，高级工程师，主要研究方 向为模式分析与智能信息处理、图像 处理与信息安全。发表学术论文 200 余篇。 第 2 期 林椹尠，等：结合模糊特征检测的鲁棒核相关滤波跟踪法 ·329·