第14卷第3期 智能系统学报 Vol.14 No.3 2019年5月 CAAI Transactions on Intelligent Systems May 2019 D0:10.11992/tis.201711037 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180426.1510.009html 采用相关滤波的水下海参目标跟踪 刘吉伟，魏鸿磊，裴起潮'，邢利然2 (1.大连工业大学机械工程与自动化学院，辽宁大连116034；2.华北理工大学机械学院，河北唐山063210) 摘要：针对在使用水下机器人采捕时需要实时跟踪定位海参耳标的问题，提出了一种基于核相关滤波器的海 参目标追踪算法。在初始帧中，根据已知的海参目标的外形特征，将海参整体分为九宫格块，通过边界块与中 心块的比较定位海参的两头部位置：使用KC℉算法在后续帧中追踪海参两个头部，通过两个模块之间的距离 变化来估计海参尺度并计算出目标海参的位置。实验结果表明：在追踪水下海参时，该追踪算法的精确度、运 行速度、成功率均高于其他实验算法。 关键词：视觉追踪；循环矩阵；离散傅里叶变换；核方法；岭回归；相关滤波器；海参采捕；尺度估计 中图分类号：TP391 文献标志码：A文章编号：1673-4785(2019)03-0525-08 中文引用格式：刘吉伟，魏鸿磊，裴起潮，等.采用相关滤波的水下海参目标跟踪J.智能系统学报，2019,14(3)：525-532. 英文引用格式：LIU Jiwei,VEI Honglei,,PEI Qichao,et al.Underwater sea cucumber target tracking algorithm based on correla-. tion filteringlJ.CAAI transactions on intelligent systems,2019,14(3):525-532. Underwater sea cucumber target tracking algorithm based on correlation filtering LIU Jiwei,WEI Honglei',PEI Qichao',XING Liran2 (1.Institute of Mechanical Engineering and Automation,Dalian Polytechnic University,Dalian 116034,China;2.College of Mech- anical Engineering,North China University of Science and Technology,Tangshan 063210,China) Abstract:This study proposes a type of sea cucumber target tracking algorithm based on the kernel correlation filter (KCF)to find a solution for real-time tracking while capturing a sea cucumber using an underwater robot.In the initial frame,the image block that contains the target sea cucumber is divided into nine sub-blocks based on the characteristics of the sea cucumber,including its appearance and the positioning of its two heads by comparing the boundary blocks with the central block.Further,the KCF algorithm is used to track the two heads of the sea cucumber in the subsequent frames,estimate the scale,and calculate the location of the sea cucumber based on the distance variation between the two modules.The experimental results exhibit that the accuracy,running speed,and success rate of the tracking al- gorithm are higher than those of other experimental algorithms. Keywords:visual tracking;circulant matrices;discrete Fourier transform;kernel methods;ridge regression;correlation filters:capturing sea cucumbers;scale estimation 随着生活水平的提高，人们对海参等海珍品 量低，养殖企业迫切需要自动化的装备以替代人 的需求量越来越大。底播养殖是海参的主要养殖 工采捕山。目前水下机器人广泛应用于水下检 方式，即将海参苗播撒在海底进行养殖，待长成 测、识别等海洋活动中2，应用带有机器视觉的 后再进行捕捞。由于海参无法采用拖网捕捞，主 水下机器人进行海参采捕也是可行的方式，但由 要以人工下潜作业的方式采捕，劳动强度大、产 于水下光照、悬浮物、水对光线的吸收和散射等 等原因，水下图像通常对比度低，质量差，因此应 收稿日期：2017-11-29.网络出版日期：2018-04-26 基金项目：辽宁省自然科学基金项目(2015020027). 用机器视觉技术对海参目标进行识别和跟踪抓捕 通信作者：魏鸿磊.E-mail:wehl2005@163.com. 非常困难
DOI: 10.11992/tis.201711037 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180426.1510.009.html 采用相关滤波的水下海参目标跟踪 刘吉伟1 ，魏鸿磊1 ，裴起潮1 ，邢利然2 （1. 大连工业大学 机械工程与自动化学院，辽宁 大连 116034; 2. 华北理工大学 机械学院，河北 唐山 063210） 摘 要：针对在使用水下机器人采捕时需要实时跟踪定位海参目标的问题，提出了一种基于核相关滤波器的海 参目标追踪算法。在初始帧中，根据已知的海参目标的外形特征，将海参整体分为九宫格块，通过边界块与中 心块的比较定位海参的两头部位置；使用 KCF 算法在后续帧中追踪海参两个头部，通过两个模块之间的距离 变化来估计海参尺度并计算出目标海参的位置。实验结果表明：在追踪水下海参时，该追踪算法的精确度、运 行速度、成功率均高于其他实验算法。 关键词：视觉追踪；循环矩阵；离散傅里叶变换；核方法；岭回归；相关滤波器；海参采捕；尺度估计 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2019)03−0525−08 中文引用格式：刘吉伟, 魏鸿磊, 裴起潮, 等. 采用相关滤波的水下海参目标跟踪[J]. 智能系统学报, 2019, 14(3): 525–532. 英文引用格式：LIU Jiwei, WEI Honglei, PEI Qichao, et al. Underwater sea cucumber target tracking algorithm based on correlation filtering[J]. CAAI transactions on intelligent systems, 2019, 14(3): 525–532. Underwater sea cucumber target tracking algorithm based on correlation filtering LIU Jiwei1 ，WEI Honglei1 ，PEI Qichao1 ，XING Liran2 (1. Institute of Mechanical Engineering and Automation, Dalian Polytechnic University, Dalian 116034, China; 2. College of Mechanical Engineering, North China University of Science and Technology, Tangshan 063210, China) Abstract: This study proposes a type of sea cucumber target tracking algorithm based on the kernel correlation filter (KCF) to find a solution for real-time tracking while capturing a sea cucumber using an underwater robot. In the initial frame, the image block that contains the target sea cucumber is divided into nine sub-blocks based on the characteristics of the sea cucumber, including its appearance and the positioning of its two heads by comparing the boundary blocks with the central block. Further, the KCF algorithm is used to track the two heads of the sea cucumber in the subsequent frames, estimate the scale, and calculate the location of the sea cucumber based on the distance variation between the two modules . The experimental results exhibit that the accuracy, running speed, and success rate of the tracking algorithm are higher than those of other experimental algorithms. Keywords: visual tracking; circulant matrices; discrete Fourier transform; kernel methods; ridge regression; correlation filters; capturing sea cucumbers; scale estimation 随着生活水平的提高，人们对海参等海珍品 的需求量越来越大。底播养殖是海参的主要养殖 方式，即将海参苗播撒在海底进行养殖，待长成 后再进行捕捞。由于海参无法采用拖网捕捞，主 要以人工下潜作业的方式采捕，劳动强度大、产 量低，养殖企业迫切需要自动化的装备以替代人 工采捕[1]。目前水下机器人广泛应用于水下检 测、识别等海洋活动中[2-4] ，应用带有机器视觉的 水下机器人进行海参采捕也是可行的方式，但由 于水下光照、悬浮物、水对光线的吸收和散射等 等原因，水下图像通常对比度低，质量差，因此应 用机器视觉技术对海参目标进行识别和跟踪抓捕 非常困难。 收稿日期：2017−11−29. 网络出版日期：2018−04−26. 基金项目：辽宁省自然科学基金项目 (2015020027). 通信作者：魏鸿磊. E-mail：weihl2005@163.com. 第 14 卷第 3 期 智 能 系 统 学 报 Vol.14 No.3 2019 年 5 月 CAAI Transactions on Intelligent Systems May 2019
·526· 智能系统学报 第14卷 目前针对目标跟踪问题，已经提出了许多算 1KCF跟踪方法 法，主要分为生成式跟踪算法和判别式跟踪算法 两类。生成式跟踪算法通过搜索与目标外观模型 KCF算法(Kernel correlation filters)通过核化 最相似的区域以实现跟踪。判别式跟踪算法将目 岭回归分析方法解决目标追踪问题。在相关滤波 标跟踪看作二值分类问题，通过对目标进行机器 方法的基础上，利用基准样本的循环位移方法构 学习生成的分类器将视场中的目标和背景区分 造训练集训练分类器，而且在训练和检测时利用 开，分类器置信度最大的位置就是目标位置。考 快速傅里叶变换将耗时的矩阵运算转换到频域求 虑到水下特殊的光学环境，判别式跟踪算法不需 解，显著提高了跟踪精度和效率。 要生成准确的目标模型特征，因此更有优势。判 1.1 循环矩阵 别式算法中的相关滤波跟踪算法由于速度快、精 按图1所示方法，将1×n的基础向量x循环 度高，近年来成为目标跟踪领域的研究热点1。 移位可以得到n×n的循环矩阵C(x),即 David S.Bolme等首先将相关滤波方法应用到视 觉跟踪领域，提出平方输出误差总和最小(MOSSE) X1 X2 …Xn- 的相关滤波器的追踪方法。Henriques等m利用对 X=C(x)= Xn-1 Xn1.. Xn-2 单张目标图像循环移位的方法进行密集采样，并 用核岭回归分析方法训练滤波器，即CSK滤波 X2 X3 器，分类器的训练和检测都利用快速傅里叶变换 转换到频域实现，追踪速度很快。在CSK基础 上，Henriques等I提出了核相关滤波方法(KCF), 引入了梯度方向直方图(HOG)特征，有效提升了 算法性能。杨德东等9在KC℉的基础上，引入空 间正则化和在线SVM分类器重定位组件，以解 决KCF跟踪器在跟踪过程中目标因严重遮挡、相 图1循环矩阵 似目标干扰和移出视野等因素而造成的跟踪失败 Fig.1 Illustration of a circulant matrix 问题。Zhang等o提出了STC方法，利用了置信 循环矩阵可以通过傅里叶变换对角化： 图和快速傅里叶变换减少了图像中目标区域在图 C(x)=Fdiag(F (1) 像模糊时对目标识别与定位的影响，提高了目标 式中：：是基础向量的离散傅里叶变换；H表示矩 定位的准确度和追踪效率。张雷等通过对正则 阵的共轭；F是离散傅里叶变换矩阵(DFT),该矩 化最小二乘分类器学习获得位置和尺度核相关滤 阵的性质为 波器，并通过寻找位置和尺度核相关滤波器输出 =Fx 响应的最大值实现目标位置和尺度的检测。段伟 F =FH=F- 伟等提出一种分块核化相关滤波跟踪算法，根 (2) F=FT 据目标外观特性对目标进行子块划分，单独跟踪 每个目标子块，并根据子块的跟踪结果确定整体 1.2 训练样本的建立 的位置信息。邢运龙等提出了基于相位特征的 在视频第一帧图像中，在给出的目标位置选 高斯核相关算子增强算法对光照强度变化的适应 取大小为M×N的图像块x作为基准输入样本， 能力，并融合kalman滤波器提高系统在目标遮挡 利用式(3)计算得到的相同大小高斯响应图像作 时的准确性。 为基准输出样本y,如图2所示。 大多数的追踪方法，如MOSSE、CSK、KCF (i-w)2+G-h)2 yii exp (3) 等都仅限于检测目标的移动，在检测目标尺度变 263 化时，追踪目标的效果不好。虽然有少数的跟踪 算法可以检测目标尺度变化46，但是运行速度 较慢，不能实现实时追踪要求。本文为实现利用 水下机器人进行海参采捕的要求，在KCF算法的 基础上，提出一种能够适应大尺度变化的海参目 标跟踪算法，主要思想是通过跟踪两个头部位置 图2基础输出样本 计算出目标海参的中心位置，并进行尺度估计。实 Fig.2 Basic output sample 验表明本文提出的算法可以有效地提高跟踪的准 把(x,y)所有循环移位得到的图像块(x,y)作 确性和效率。 为训练样本，如图3所示
目前针对目标跟踪问题，已经提出了许多算 法，主要分为生成式跟踪算法和判别式跟踪算法 两类。生成式跟踪算法通过搜索与目标外观模型 最相似的区域以实现跟踪。判别式跟踪算法将目 标跟踪看作二值分类问题，通过对目标进行机器 学习生成的分类器将视场中的目标和背景区分 开，分类器置信度最大的位置就是目标位置。考 虑到水下特殊的光学环境，判别式跟踪算法不需 要生成准确的目标模型特征，因此更有优势。判 别式算法中的相关滤波跟踪算法由于速度快、精 度高，近年来成为目标跟踪领域的研究热点[5-19]。 David S.Bolme 等 [6]首先将相关滤波方法应用到视 觉跟踪领域，提出平方输出误差总和最小 (MOSSE) 的相关滤波器的追踪方法。Henriques 等 [7]利用对 单张目标图像循环移位的方法进行密集采样，并 用核岭回归分析方法训练滤波器，即 CSK 滤波 器，分类器的训练和检测都利用快速傅里叶变换 转换到频域实现，追踪速度很快。在 CSK 基础 上，Henriques 等 [8]提出了核相关滤波方法 (KCF)， 引入了梯度方向直方图 (HOG) 特征,有效提升了 算法性能。杨德东等[9]在 KCF 的基础上，引入空 间正则化和在线 SVM 分类器重定位组件，以解 决 KCF 跟踪器在跟踪过程中目标因严重遮挡、相 似目标干扰和移出视野等因素而造成的跟踪失败 问题。Zhang 等 [10]提出了 STC 方法，利用了置信 图和快速傅里叶变换减少了图像中目标区域在图 像模糊时对目标识别与定位的影响，提高了目标 定位的准确度和追踪效率。张雷等[11]通过对正则 化最小二乘分类器学习获得位置和尺度核相关滤 波器，并通过寻找位置和尺度核相关滤波器输出 响应的最大值实现目标位置和尺度的检测。段伟 伟等[12]提出一种分块核化相关滤波跟踪算法，根 据目标外观特性对目标进行子块划分，单独跟踪 每个目标子块，并根据子块的跟踪结果确定整体 的位置信息。邢运龙等[13]提出了基于相位特征的 高斯核相关算子增强算法对光照强度变化的适应 能力，并融合 kalman 滤波器提高系统在目标遮挡 时的准确性。 大多数的追踪方法，如 MOSSE、CSK、KCF 等都仅限于检测目标的移动，在检测目标尺度变 化时，追踪目标的效果不好。虽然有少数的跟踪 算法可以检测目标尺度变化[14-16] ，但是运行速度 较慢，不能实现实时追踪要求。本文为实现利用 水下机器人进行海参采捕的要求，在 KCF 算法的 基础上，提出一种能够适应大尺度变化的海参目 标跟踪算法，主要思想是通过跟踪两个头部位置 计算出目标海参的中心位置，并进行尺度估计。实 验表明本文提出的算法可以有效地提高跟踪的准 确性和效率。 1 KCF 跟踪方法 KCF 算法 (Kernel correlation filters) 通过核化 岭回归分析方法解决目标追踪问题。在相关滤波 方法的基础上，利用基准样本的循环位移方法构 造训练集训练分类器，而且在训练和检测时利用 快速傅里叶变换将耗时的矩阵运算转换到频域求 解，显著提高了跟踪精度和效率。 1.1 循环矩阵 1×n x n×n C(x) 按图 1 所示方法，将 的基础向量 循环 移位可以得到 的循环矩阵 ，即 X = C(x) = x1 x2 x3 ··· xn xn x1 x2 ··· xn−1 xn−1 xn x1 ··· xn−2 . . . . . . . . . . . . x2 x3 x4 ··· x1 C ( )= 图 1 循环矩阵 Fig. 1 Illustration of a circulant matrix 循环矩阵可以通过傅里叶变换对角化： C(x) = F H diag(xˆ)F (1) 式中： xˆ 是基础向量的离散傅里叶变换； H 表示矩 阵的共轭；F 是离散傅里叶变换矩阵 (DFT)，该矩 阵的性质为 xˆ = Fx F ∗ = F H = F −1 F = F T (2) 1.2 训练样本的建立 M ×N x y 在视频第一帧图像中，在给出的目标位置选 取大小为 的图像块 作为基准输入样本， 利用式 (3) 计算得到的相同大小高斯响应图像作 为基准输出样本 ，如图 2 所示。 yi j = exp ( − (i−w) 2 +(j−h) 2 2δ 2 p ) (3) 图 2 基础输出样本 Fig. 2 Basic output sample (x, y) (xi 把 所有循环移位得到的图像块 , yi) 作 为训练样本，如图 3 所示。 ·526· 智 能 系 统 学 报 第 14 卷
第3期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·527· 输入x 输出y 离线训练的关键是求解分类器fz)=wz,使 得在输入样本：基础上计算得到的f(x)与输出 样本y的均方差最小，即求解式(4)所示目标函数： min∑fx)-y2+awf (4) (a)基准样本输入及输出 式中1为控制过拟合的正则化系数。式(4)存在 输入x 输出 闭式解： w=X(XXT+Y (5) 式中X和Y分别是由输人样本：和输出样本 组成的循环矩阵。令 a=(K+-Y (6) (b)基准样本左移90像素输入及输出 式中K=Xx,则分类问题由求解w转变为求解 输入x 输出y 对偶解α，即 w=Xa= (7) i=l 利用核技巧，即采用映射函数x→(x),以及 用核函数代替内积u,)→0)p(m),可在不显式 (©)基准样本右移90像素输入及输出 给出映射函数()的情况下，将训练样本x映射 到高维特征空间x,从而将线性分类问题推广为 图3利用基础样本的循环移位方法示例 Fig.3 Examples depicting the cyclic shifts of a base sample 非线性分类问题。则式（⑥中K=中T(x)(x)=K(x,x》 即K转化为核矩阵，可以证明当k采用高斯核函 1.3跟踪算法 数时K是循环矩阵，即K=C((x,x)。应用循环矩 KCF算法的基本流程分为离线训练和在线检 阵的性质即式(1)和式(2)可将式(6)对角化得到 测两步。在训练时，以初始帧中给出的目标图像 为输入信息，对应的高斯响应为输出信息，利用 a=x,x)+ (8) 离散傅里叶变换转换到频域求解滤波器。在线跟 式中x和y分别是组成X和Y的基础向量。 踪检测时，用滤波器对包含目标的图像进行滤波 (x,x)为高斯核函数的傅里叶变换，按式（⑨）计算： 可得到高斯型的响应面。响应面最大的位置就是 1 目标位置。KCF算法的基本流程如图4所示。 Rx,)=expD产+rD2-2F'住o到(9) 输入x 输出)y 式中：⊙表示两向量间对应元素乘运算：符号*表 示复共轭。 利用核技巧，对新输入的图像块，分类器的 响应为 傅里叶变换 ro-o-wo- (10) 滤波器 ..离线训练 aw(C.'a 在线跟踪 应用循环矩阵的性质，即式(1)和式(2)，式 傅里叶反变换 (10)可进一步转换到频域计算： f=F-((x,z)'⊙d) (11) 傅里叶变换 在响应∫中定位极大值位置即为目标位置。 式(11)中，d利用式(8)进行计算，(x,z)按式 (9)计算。在实际跟踪过程中，仅在第一帧图像中 以式(8)计算滤波器à，后续帧按式(12)在线更新 滤波器模型： 图4KCF算法的基本流程 d+1=(1-B)d-1+Ba (12) Fig.4 Schematic representation of the KCF method 为适应目标的变化，对目标模型也需要在线更新：
(a) 基准样本输入及输出 (b) 基准样本左移 90 像素输入及输出 (c) 基准样本右移 90 像素输入及输出 输入 xi 输出 yi 输入 xi 输出 yi 输入 xi 输出 yi 图 3 利用基础样本的循环移位方法示例 Fig. 3 Examples depicting the cyclic shifts of a base sample 1.3 跟踪算法 KCF 算法的基本流程分为离线训练和在线检 测两步。在训练时，以初始帧中给出的目标图像 为输入信息，对应的高斯响应为输出信息，利用 离散傅里叶变换转换到频域求解滤波器。在线跟 踪检测时，用滤波器对包含目标的图像进行滤波 可得到高斯型的响应面。响应面最大的位置就是 目标位置。KCF 算法的基本流程如图 4 所示。 输出 y 傅里叶变换 傅里叶变换 傅里叶反变换 离线训练 在线跟踪 滤波器 输入 x 图 4 KCF 算法的基本流程 Fig. 4 Schematic representation of the KCF method f(z) = w T z xi f(xi) yi 离线训练的关键是求解分类器 ，使 得在输入样本 基础上计算得到的 与输出 样本 的均方差最小,即求解式 (4) 所示目标函数： min w ∑ i (f(xi)−yi) 2 +λ ∥w∥ 2 (4) 式中 λ 为控制过拟合的正则化系数。式 (4) 存在 闭式解： w = X T (XXT +λI) −1Y (5) 式中 X 和 Y 分别是由输入样本 xi 和输出样本 yi 组成的循环矩阵。令 α = (K +λI) −1Y (6) K = XXT w α 式中 ，则分类问题由求解 转变为求解 对偶解 ，即 w = X Tα = ∑n i=1 αixi (7) x → φ(x ′ ) κ(u, v) → φ(u)φ(v) φ(·) x x ′ Ki j=ϕ T (xi)ϕ(xj)=κ(xi , xj) κ K = C(κ(x, x)) 利用核技巧，即采用映射函数 ，以及 用核函数代替内积 ，可在不显式 给出映射函数 的情况下，将训练样本 映射 到高维特征空间 ，从而将线性分类问题推广为 非线性分类问题。则式 (6) 中 ， 即 K 转化为核矩阵，可以证明当 采用高斯核函 数时 K 是循环矩阵,即 。应用循环矩 阵的性质即式 (1) 和式 (2) 可将式 (6) 对角化得到 αˆ ∗ = yˆ κˆ(x, x)+λ (8) κˆ(x, x ′ ) 式中 x 和 y 分别是组成 X 和 Y 的基础向量。 为高斯核函数的傅里叶变换，按式 (9) 计算： κˆ (x, x ′ ) = exp( − 1 σ2 (∥x∥) 2 +(∥x ′ ∥) 2 −2F −1 (xˆ ⊙ xˆ ′ ∗) ) (9) 式中： ⊙ 表示两向量间对应元素乘运算；符号 ∗ 表 示复共轭。 利用核技巧，对新输入的图像块 z，分类器的 响应为 f(z) = ∑n i=1 αiϕ(xi) T ϕ(z) = ∑n i=1 αiϕ T (xi)ϕ(z) = ∑n i=1 αiκ(xi ,z) = (C(κ(x,z)))Tα (10) 应用循环矩阵的性质，即式 (1) 和式 (2)，式 (10) 可进一步转换到频域计算： f = F −1 (κˆ(x,z) ∗ ⊙αˆ) (11) αˆ κˆ(x,z) αˆ 在响应 f 中定位极大值位置即为目标位置。 式 (11) 中 ， 利用式 (8) 进行计算， 按式 (9) 计算。在实际跟踪过程中，仅在第一帧图像中 以式 (8) 计算滤波器 ，后续帧按式 (12) 在线更新 滤波器模型： αˆt+1 = (1−β)αˆt−1 +βαˆt (12) 为适应目标的变化，对目标模型也需要在线更新： 第 3 期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·527·
·528· 智能系统学报 第14卷 41=(1-)元-1+β (13) 则海参中心位置卫为 式中：B为学习速率；1为帧数。 p=%+ 2 (15) 2 改进算法 尺度因子S为 在海参抓取过程中机器人相对目标位置不断 a-p剑 变化，导致目标尺度发生较大变化，直接应用 s=pa-P (16) KCF算法跟踪精度将大幅下降，不能满足任务要 式中：上标“1”代表第1帧，上标1代表第1帧。 求。对KCF算法进行改进，分别对两个头部位置 如图7(a)所示，目标尺寸变化大时KCF算法 进行局部跟踪，并利用两个头部之间的距离变化 不能估计目标尺度，跟踪效果明显不好；如图7b) 估计目标尺度，同时计算出目标的准确位置。 所示，改进算法则可以准确跟踪目标海参的位置 2.1海参头部定位 并正确检测其尺度。 海参在摄像机中显示的姿态可能有如图5所 示的3种情况，不能简单地根据给定的目标中心 位置确定两头部位置。将目标外包框等分成3×3 共9个子图像，标记为x,其中i=1,2,3和j=1,2,3 分别表示图像块的行号和列号。由于海参各部分 的颜色基本相同，且不论海参处于何种姿态，中 心块x22都是海参的中部，因此可通过周围块与中 心块的灰度偏差确定头部位置。两个头部位置xA (a)KCF算法跟踪效果 和x的可能组合有以下种情况（见图5）： (xA,xB)∈{x11,x33),(x12,X32),(x13,X31),(x21,x23)} (a)姿态I (b)姿态Ⅱ (c)姿态Ⅲ (b)改进算法跟踪效果 图5海参目标选点原理图 Fig.5 The target selection principle of a sea cucumber 图7追踪效果的比较 按式(14)计算各图像块组合与中心块的像素 Fig.7 Comparison of the tracking results 偏差，取偏差最小的组合为跟踪目标。 2.3改进算法流程 Dy=uy+ (14) 改进算法流程分为头部定位模块、训练模 式中符号表示对应图像块像素灰度值之差的 块、检测模块3个模块，如算法1所示。在头部定 2-范数。 位模块中，首先将海参目标图像分块，然后计算 2.2尺度和位置估计方法 各块与中心块像素灰度值的距离（即2-范数），选 由初始帧确定海参头部位置后开始跟踪，将 取距离最小的两块作为目标；在训练模块中，分 第t帧中两图像块中心分别记为p和，如图6 别用KC℉方法计算两块的滤波器：在检测模块 所示。 中，分别用KCF方法计算两块的位置，然后计算 目标中心和尺度因子。 算法1改进算法 输入初始目标的定位模块x,2: 输出目标的中心位置p,目标的尺度因子s。 1)当t=1时，根据初始条件计算目标位置p以 和pg,并截取图像块x、2,通过式(3)计算得出 图6海参尺度和位置估计示意 Fig.6 Schematic representation of the scale and location 基准输出样本y、；通过式(9)求核函数的傅氏 estimation for a sea cucumber 变换(x,x)和(x2,x2),并求输出样本的傅氏变
xˆt+1 = (1−β) xˆt−1 +βxˆt (13) 式中： β 为学习速率；t 为帧数。 2 改进算法 在海参抓取过程中机器人相对目标位置不断 变化，导致目标尺度发生较大变化，直接应用 KCF 算法跟踪精度将大幅下降，不能满足任务要 求。对 KCF 算法进行改进，分别对两个头部位置 进行局部跟踪，并利用两个头部之间的距离变化 估计目标尺度，同时计算出目标的准确位置。 2.1 海参头部定位 3×3 xi j i = 1,2,3 x22 xA xB 海参在摄像机中显示的姿态可能有如图 5 所 示的 3 种情况，不能简单地根据给定的目标中心 位置确定两头部位置。将目标外包框等分成 共 9 个子图像，标记为 ，其中 和 j = 1,2,3 分别表示图像块的行号和列号。由于海参各部分 的颜色基本相同，且不论海参处于何种姿态，中 心块 都是海参的中部，因此可通过周围块与中 心块的灰度偏差确定头部位置。两个头部位置 和 的可能组合有以下种情况 (见图 5)： (xA, xB) ∈ {(x11, x33),(x12, x32),(x13, x31),(x21, x23)} (a) 姿态Ⅰ (b) 姿态Ⅱ (c) 姿态Ⅲ 图 5 海参目标选点原理图 Fig. 5 The target selection principle of a sea cucumber 按式 (14) 计算各图像块组合与中心块的像素 偏差，取偏差最小的组合为跟踪目标。 Di j = xi j − x22 + x4−i,4−j − x22 (14) 式中符号 ∥·∥ 表示对应图像块像素灰度值之差的 2-范数。 2.2 尺度和位置估计方法 t p t A p t B 由初始帧确定海参头部位置后开始跟踪，将 第 帧中两图像块中心分别记为 和 ，如图 6 所示。 图 6 海参尺度和位置估计示意 Fig. 6 Schematic representation of the scale and location estimation for a sea cucumber p 则海参中心位置 t 为 p t = p t A + p t B 2 (15) 尺度因子 S 为 S = p t A − p t B p 1 A − p 1 B (16) 式中：上标“1”代表第 1 帧，上标 t 代表第 t 帧。 如图 7(a) 所示，目标尺寸变化大时 KCF 算法 不能估计目标尺度，跟踪效果明显不好；如图 7(b) 所示，改进算法则可以准确跟踪目标海参的位置 并正确检测其尺度。 (a) KCF 算法跟踪效果 (b) 改进算法跟踪效果 图 7 追踪效果的比较 Fig. 7 Comparison of the tracking results 2.3 改进算法流程 改进算法流程分为头部定位模块、训练模 块、检测模块 3 个模块，如算法 1 所示。在头部定 位模块中，首先将海参目标图像分块，然后计算 各块与中心块像素灰度值的距离 (即 2-范数)，选 取距离最小的两块作为目标；在训练模块中，分 别用 KCF 方法计算两块的滤波器；在检测模块 中，分别用 KCF 方法计算两块的位置,然后计算 目标中心和尺度因子。 算法 1 改进算法 输入 初始目标的定位模块 x1，x2； p t 输出 目标的中心位置 ，目标的尺度因子 s。 t = 1 p 1 A p 1 B x1 x2 y1 y2 κˆ (x1, x1) κˆ (x2, x2) 1) 当 时，根据初始条件计算目标位置 和 ，并截取图像块 、 ，通过式 (3) 计算得出 基准输出样本 、 ；通过式 (9) 求核函数的傅氏 变换 和 ，并求输出样本的傅氏变 ·528· 智 能 系 统 学 报 第 14 卷
第3期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·529· 换，和2。通过式(8)分别求解滤波器d,和d2。 #28 2)当t>1时，在当前帧图像位置p和p哈 截取图像块和，并通过式(9)求核函数的傅 氏变换(，)和(，)：通过式(11)计算响应 (a)视频1跟踪结果 面和分，并求响应面最大值得到两跟踪目标位 置p和pa;通过式(14)求出目标的中心位置卫， 通过式(15)求出目标尺度因子：通过式(12)更 新滤波器+和，并通过(13)更新目标外观模 型和。 (b)视频2跟踪结果 3实试验结果分析 在处理器为Intel Core i5-3317UCPU,主频 1.70GHz,内存为4 GB RAM的笔记本上进行跟 踪实验，采用MATLABR2014a软件编程。使用本 (C)视频3跟踪结果 文算法和4种性能优秀的相关滤波算法KCF劉 CSKm、STCo、DSST进行对比追踪测试，每种算 法均使用作者提供的源代码和预设参数。实验所 用视频为在海参养殖水域拍摄的7个水下监控视 (d视频4跟踪结果 频具体参数如表1所示。 表1视频参数 Table 1 Video parameters 分类 视频帧数 图像尺寸 (e)视频5跟踪结果 视频1 36 640×360 视频2 82 150 640×360 视频3 498 640×360 视频4 216 640×360 ()视频6跟踪结果 视频5 138 640×360 34 视频6 194 640×360 视频7 108 856×480 3.1定性分析 (g)视频7跟踪结果 5种对比算法中只有本文算法和DSST算法 OURS --DSST KCF --CSK --STC 具有尺度估计环节，另外3种算法KCF、CSK和 图85种算法的定性比较 STC均采用固定尺度跟踪。图8中7组视频的共 Fig.8 Qualitative evaluation of the five algorithms 同特点是：目标尺度变化大，且由于水下特殊的 3.2定量分析 成像环境导致图像质量较差。从跟踪结果可以看 为了评测本文跟踪算法的性能，采用了本领 出：KCF、CSK和STC3种算法追踪效果较差，而 域广泛应用的每秒运行帧数、距离精度和成功率 本文算法和DSST算法跟踪效果较好，可见对于 3种评测指标。 尺度变化大的应用来说，尺度估计环节非常重 1)跟踪速度 要。图8中视频1~7代表7组视频系列实验比较 通过每秒跟踪帧数可以对比跟踪算法的运行 结果。 速度。表2给出了5种算法的运算速度，其中下
换 yˆ1 和 yˆ2。通过式 (8) 分别求解滤波器 αˆ 1 和 αˆ 2。 t > 1 p t−1 A p t−2 B zˆ t 1 zˆ t 2 κˆ ( x t 1 ,z t 1 ) κˆ ( x t 2 ,z t 2 ) f t 1 f t 2 p t A p t B p t s t αˆ t+1 1 αˆ t+1 2 xˆ t+1 1 xˆ t+1 2 2) 当 时，在当前帧图像位置 和 截取图像块 和 ，并通过式 (9) 求核函数的傅 氏变换 和 ；通过式 (11) 计算响应 面 和 ，并求响应面最大值得到两跟踪目标位 置 和 ；通过式 (14) 求出目标的中心位置 ， 通过式 (15) 求出目标尺度因子 ；通过式 (12) 更 新滤波器 和 ，并通过 (13) 更新目标外观模 型 和 。 3 实试验结果分析 在处理器为 Intel Core i5-3317U CPU，主频 1.70 GHz，内存为 4 GB RAM 的笔记本上进行跟 踪实验，采用 MATLABR2014a 软件编程。使用本 文算法和 4 种性能优秀的相关滤波算法 KCF[8] 、 CSK[7] 、STC[10] 、DSST[9]进行对比追踪测试，每种算 法均使用作者提供的源代码和预设参数。实验所 用视频为在海参养殖水域拍摄的 7 个水下监控视 频具体参数如表 1 所示。 表 1 视频参数 Table 1 Video parameters 分类 视频帧数 图像尺寸 视频 1 36 640×360 视频 2 150 640×360 视频 3 498 640×360 视频 4 216 640×360 视频 5 138 640×360 视频 6 194 640×360 视频 7 108 856×480 3.1 定性分析 5 种对比算法中只有本文算法和 DSST 算法 具有尺度估计环节，另外 3 种算法 KCF、CSK 和 STC 均采用固定尺度跟踪。图 8 中 7 组视频的共 同特点是：目标尺度变化大，且由于水下特殊的 成像环境导致图像质量较差。从跟踪结果可以看 出：KCF、CSK 和 STC 3 种算法追踪效果较差，而 本文算法和 DSST 算法跟踪效果较好，可见对于 尺度变化大的应用来说，尺度估计环节非常重 要。图 8 中视频 1~7 代表 7 组视频系列实验比较 结果。 (a) 视频 1 跟踪结果 (b) 视频 2 跟踪结果 (c) 视频 3 跟踪结果 (d) 视频 4 跟踪结果 (e) 视频 5 跟踪结果 (f) 视频 6 跟踪结果 (g) 视频 7 跟踪结果 OURS DSST KCF CSK STC 图 8 5 种算法的定性比较 Fig. 8 Qualitative evaluation of the five algorithms 3.2 定量分析 为了评测本文跟踪算法的性能，采用了本领 域广泛应用的每秒运行帧数、距离精度和成功率 3 种评测指标[5]。 1) 跟踪速度 通过每秒跟踪帧数可以对比跟踪算法的运行 速度。表 2 给出了 5 种算法的运算速度，其中下 第 3 期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·529·
·530· 智能系统学报 第14卷 划线标出了最大的速度值。可见，在7个视频中， 取的两个头部有比较明显的突起等特征，更容易 本文算法有5个视频跟踪速度最快，平均达到了 实现准确跟踪，而其他算法直接以中心为跟踪目 111.44f1s,较排第二位的STC算法高出了 标。由于各算法为处理振铃效应对边界进行了平 33.61s。经分析，本文算法速度更快的原因在 滑处理，导致边界部位的突起特征弱化。 于：本文算法只取两个局部图像分别进行跟踪， 表3平均精度 计算量明显小于其他整体跟踪算法。DSST算法 Table 3 Average precision 跟踪速度最慢，仅为3.84s,原因是其尺度估计 类别 DSST KCF CSK STC OURS 环节非常耗时。 视频1 0.775 0.801 0.775 0.775 0.861 表2平均每秒运行帧数 视频2 0.967 0.987 1.000 1.000 1.000 Table 2 The average operation frames f/s 视频3 0.861 0.671 0.420 0.888 0.924 类别 DSST KCF CSK STC OURS 视频4 0.491 0.384 0.542 0.542 0.898 视频1 4.14 76.78 78.23 69.62 115.38 视频5 0.971 0.659 0.833 0.659 0.978 视频2 10.91 63.46 78.72 247.87 110.84 视频6 0.361 0.464 0.365 0.273 0.773 视频3 0.53 9.56 7.62 6.79 25.03 视频7 0.333 0.611 0.481 0.667 0.889 视频4 4.47 78.78 112.91 79.02 138.38 平均值 0.694 0.628 0.553 0.711 0.907 视频5 4.47 29.63 31.23 106.72 316.94 3)跟踪成功率 视频6 1.61 46.33 51.83 25.28 50.32 成功率SR为重叠率s大于选定阀值s的帧 视频7 0.72 10.33 10.67 9.54 23.19 数与总视频帧数的比值，即 平均值 3.84 44.98 53.03 77.83 111.44 SR=n≥0) (18) n 2)距离精度 其中重叠率s的计算方法为 衡量跟踪中心准确性的指标是距离精度，即 追踪到目标的中心偏离实际位置的距离d小于预 s-RUR ROR (19) 定阀值do的帧数与视频总帧数n的比值，即 式中：R,为人工标定目标框内的像素总数，R,为 D=nd≤d) (17) 算法追踪到目标框内像素总数。式(19)中分子为 n 两框重合区域内像素数量，分母是两框合并后总 图9是综合精确度曲线，表示随着阈值d。从 区域内像素数量。 0像素到50像素递增时算出的距离精度曲线。 图10是在7个视频上的综合成功率曲线，表 可见本文算法跟踪中心精度明显好于其他算法。 示随着重合率阈值s从0到1之间递增时，各算 1.0 法的综合成功率相应的变化。可见，本文算法略 0.9 好于DSST算法，但远好于其他3种算法。其原 0.8 0.7 因在于：DSST和本文算法都能根据目标大小调 0.6 整图像框大小，而其他算法采用固定图像框，因 0.5 此重叠率受目标尺度变化影响较大。 -0.907刀Ours 0.3 10.6941 DSST 1.0 0.2 j0.6281KCF 0.9 I0.5531CSK 0.1 [0.711]STC 0.8 07 10 20 30 40 50 位置偏差國值 解0.6 0.5 图9在7个序列上的综合精确度曲线 0.4 -I0.999]0urs Fig.9 Precision plot over all the seven sequences 0.3 [0.955DSST 0.2 [0.487]KCF 表3是阈值d。=20像素时各算法的精度值， 0 [0.487JCsK [0.524]sTC 其中最后一行是各算法在所有视频上按帧数的加 0.2 0.4 0.6 0.8 1.0 权平均值。从表3可见，本文算法在所有视频上 重复率國值 平均精确度达到了90.7%，较排名第2位的DSST 图10在7个序列上的综合成功率曲线 算法高出了27.6%。其原因在于：本文算法在选 Fig.10 Success plots over all the seven sequences
划线标出了最大的速度值。可见，在 7 个视频中， 本文算法有 5 个视频跟踪速度最快，平均达到了 111.44 f/s ，较排第二位 的 S TC 算法高出了 33.61 f/s。经分析，本文算法速度更快的原因在 于：本文算法只取两个局部图像分别进行跟踪， 计算量明显小于其他整体跟踪算法。DSST 算法 跟踪速度最慢，仅为 3.84 f/s，原因是其尺度估计 环节非常耗时。 表 2 平均每秒运行帧数 Table 2 The average operation frames f/s 类别 DSST KCF CSK STC OURS 视频 1 4.14 76.78 78.23 69.62 115.38 视频 2 10.91 63.46 78.72 247.87 110.84 视频 3 0.53 9.56 7.62 6.79 25.03 视频 4 4.47 78.78 112.91 79.02 138.38 视频 5 4.47 29.63 31.23 106.72 316.94 视频 6 1.61 46.33 51.83 25.28 50.32 视频 7 0.72 10.33 10.67 9.54 23.19 平均值 3.84 44.98 53.03 77.83 111.44 2) 距离精度 d d0 n 衡量跟踪中心准确性的指标是距离精度，即 追踪到目标的中心偏离实际位置的距离 小于预 定阀值 的帧数与视频总帧数 的比值，即 D = n(d ⩽ d0) n (17) 图 9 是综合精确度曲线，表示随着阈值 d0 从 0 像素到 50 像素递增时算出的距离精度曲线。 可见本文算法跟踪中心精度明显好于其他算法。 0 10 20 30 40 50 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 位置偏差阈值 位置精度 [0.907] Ours [0.694] DSST [0.628] KCF [0.553] CSK [0.711] STC 图 9 在 7 个序列上的综合精确度曲线 Fig. 9 Precision plot over all the seven sequences 表 3 是阈值 d0 = 20 像素时各算法的精度值， 其中最后一行是各算法在所有视频上按帧数的加 权平均值。从表 3 可见，本文算法在所有视频上 平均精确度达到了 90.7%，较排名第 2 位的 DSST 算法高出了 27.6%。其原因在于：本文算法在选 取的两个头部有比较明显的突起等特征，更容易 实现准确跟踪，而其他算法直接以中心为跟踪目 标。由于各算法为处理振铃效应对边界进行了平 滑处理，导致边界部位的突起特征弱化。 表 3 平均精度 Table 3 Average precision 类别 DSST KCF CSK STC OURS 视频 1 0.775 0.801 0.775 0.775 0.861 视频 2 0.967 0.987 1.000 1.000 1.000 视频 3 0.861 0.671 0.420 0.888 0.924 视频 4 0.491 0.384 0.542 0.542 0.898 视频 5 0.971 0.659 0.833 0.659 0.978 视频 6 0.361 0.464 0.365 0.273 0.773 视频 7 0.333 0.611 0.481 0.667 0.889 平均值 0.694 0.628 0.553 0.711 0.907 3) 跟踪成功率 成功率 SR 为重叠率 s 大于选定阀值 s0 的帧 数与总视频帧数的比值，即 SR = n(s ⩾ s0) n (18) 其中重叠率 s 的计算方法为 s = Rr ∩Rt Rr ∪Rt (19) 式中：Rr 为人工标定目标框内的像素总数，Rt 为 算法追踪到目标框内像素总数。式 (19) 中分子为 两框重合区域内像素数量，分母是两框合并后总 区域内像素数量。 s0 图 10 是在 7 个视频上的综合成功率曲线，表 示随着重合率阈值 从 0 到 1 之间递增时，各算 法的综合成功率相应的变化。可见，本文算法略 好于 DSST 算法，但远好于其他 3 种算法。其原 因在于：DSST 和本文算法都能根据目标大小调 整图像框大小，而其他算法采用固定图像框，因 此重叠率受目标尺度变化影响较大。 0 0.2 0.4 0.6 0.8 1.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 重复率阈值 成功率 [0.999] Ours [0.955] DSST [0.487] KCF [0.487] CSK [0.524] STC 图 10 在 7 个序列上的综合成功率曲线 Fig. 10 Success plots over all the seven sequences ·530· 智 能 系 统 学 报 第 14 卷
第3期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·531· 表4是当阈值s0选定为0.5时各算法的成功 管道检测[U.机器人，2010,32(5)592-600 率，其中最后一行是各算法在所有视频上按帧数 TANG Xudong,PANG Yongjie,ZHANG He,et al.Un- 的加权平均值。本文算法在所有视频上均取得了 derwater pipeline detection by AUV based on monocular 最高值，比DSST算法高4.4%，比排在第3位的 vision[J].Robot,,2010,32(5):592-600. STC算法高47.5%。虽然DSST算法跟踪成功率 [3]曾文静，徐玉如，万磊，等.自主式水下机器人的光视觉 与本文算法接近，但由表2可见该算法速度很慢， 管道探测跟踪系统).上海交通大学学报，2012,46(2)： 178-183,189. 在实时性要求较高的水下海参采捕中难以应用。 ZENG Wenjing,XU Yuru,WAN Lei,et al.Robotics vis- 表4平均成功率 ion-based system of autonomous underwater vehicle for an Table 4 Average success rate underwater pipeline tracker[J].Journal of Shanghai Jiao- 类别 DSST KCF CSK STC OURS tong University,2012,46(2:178-183,189 视频1 0.900 0.500 0.489 0.350 0.972 [4]吴利红，许文海，王利鹏.AUV水下终端对接目标识别 视频2 与定位技术U.大连海事大学学报，2014,40(2)：81-85. 1.000 0.407 0.406 0.307 1.000 WU Lihong,XU Wenhai,WANG Lipeng.Dock position 视频3 1.000 0.452 0.452 0.900 1.000 and pose estimation algorithm for AUV underwater termin- 视频4 0.741 0.338 0.337 0.139 0.955 al docking[J].Journal of Dalian Maritime University. 视频5 1.000 0.319 0.309 0.246 1.000 2014.40(2):81-85 视频6 1.000 0.639 0.634 0.320 1.000 [5]WU Yi,LIM J,YANG M H.Online object tracking:a benchmark[C]//Proceedings of 2013 IEEE Conference on 视频7 1.000 0.984 0.968 0.648 1.000 Computer Vision and Pattern Recognition.Portland,OR. 平均值 0.955 0.487 0.487 0.524 0.999 USA,2013:2411-2418 [6]BOLME D S,BEVERIDGE J R,DRAPER B A,et al. 4结束语 Visual object tracking using adaptive correlation filters[Cl//The Twenty-Third IEEE Conference on Com- 针对跟踪水下尺度变化的海参，在核相关滤 puter Vision and Pattern Recognition,CVPR 2010.San 波器基础上提出了一种可以追踪尺度变化海参的 Francisco.CA.USA.2010:13-18. 算法。首先把追踪模块合理地选择在海参的两头 [7]HENRIQUES J F,CASEIRO R,MARTINS P,et al.Ex- 部；然后用KCF算法追踪两个头部，通过两个模 ploiting the circulant structure of tracking-by-detection 块间距离来检测海参的尺度并计算出海参的中 with kernels[C]//Proceedings of the 12th European Confer- 心。通过对比实验，本文算法的跟踪速度、精度 ence on Computer Vision Computer Vision-ECCV 2012. 和成功率均高于其他其他算法，能较好地处理尺 Florence,Italy,2012:702-715. 度和旋转变化等问题。虽然DSST算法跟踪成功 [8]HENRIQUES J F,CASEIRO R,MARTINS P,et al.High 率与本文算法接近，但由于DSST算法跟踪速度 speed tracking with kernelized correlation filters[J].IEEE 很慢，不能满足对实时性要求较高的水下海参采 transactions on pattern analysis and machine intelligence, 2015,37(3)583-596. 捕的实际跟踪过程。下一步的工作：将算法应用 [9]杨德东，蔡玉柱，毛宁，等.采用核相关滤波器的长期目 到海参采捕水下机器人样机进行采捕实验，针对 标跟踪.光学精密工程，2016,24(8)：2037-2049 出现的问题进行更深入研究，以进一步提高跟踪 YANG Dedong,CAI Yuzhu,MAO Ning,et al.Long-term 算法的鲁棒性。 object tracking based on kernelized correlation Filters. 参考文献： Optics and precision engineering,2016,24(8):2037-2049 [10]ZHANG Kaihua,ZHANG Lei,LIU Qingshan,et al.Fast [1]郭传鑫，李振波，乔曦，等.基于融合显著图与GrabCut visual tracking via dense spatio-temporal context learn- 算法的水下海参图像分割).农业机械学报，2015(S1): ing[C]//Proceedings of the 13th European Conference on 147-152 Computer Vision.Zurich,Switzerland,2014:127-141. GUO Chuanxin,LI Zhenbo,QIAO Xi,et al.Image seg- [11]张雷，王延杰，刘艳滢，等.基于相关滤波器的视觉目标 mentation of underwater sea cucumber using GrabCut with 跟踪方法.光电子·激光，2015,26(7)：1349-1357. saliency map[J].Transactions of the Chinese society for ZHANG Lei,WANG Yanjie,LIU Yanying,et al.Visual agricultural machinery,2015(S1):147-152. object tracking algorithm based on correlation filters[]. [2]唐旭东，庞永杰，张赫，等.基于单目视觉的水下机器人 Journal of optoelectronics laser,2015,26(7):1349-1357
表 4 是当阈值 s0 选定为 0.5 时各算法的成功 率，其中最后一行是各算法在所有视频上按帧数 的加权平均值。本文算法在所有视频上均取得了 最高值，比 DSST 算法高 4.4%，比排在第 3 位的 STC 算法高 47.5%。虽然 DSST 算法跟踪成功率 与本文算法接近，但由表 2 可见该算法速度很慢， 在实时性要求较高的水下海参采捕中难以应用。 表 4 平均成功率 Table 4 Average success rate 类别 DSST KCF CSK STC OURS 视频 1 0.900 0.500 0.489 0.350 0.972 视频 2 1.000 0.407 0.406 0.307 1.000 视频 3 1.000 0.452 0.452 0.900 1.000 视频 4 0.741 0.338 0.337 0.139 0.955 视频 5 1.000 0.319 0.309 0.246 1.000 视频 6 1.000 0.639 0.634 0.320 1.000 视频 7 1.000 0.984 0.968 0.648 1.000 平均值 0.955 0.487 0.487 0.524 0.999 4 结束语 针对跟踪水下尺度变化的海参，在核相关滤 波器基础上提出了一种可以追踪尺度变化海参的 算法。首先把追踪模块合理地选择在海参的两头 部；然后用 KCF 算法追踪两个头部，通过两个模 块间距离来检测海参的尺度并计算出海参的中 心。通过对比实验，本文算法的跟踪速度、精度 和成功率均高于其他其他算法，能较好地处理尺 度和旋转变化等问题。虽然 DSST 算法跟踪成功 率与本文算法接近，但由于 DSST 算法跟踪速度 很慢，不能满足对实时性要求较高的水下海参采 捕的实际跟踪过程。下一步的工作：将算法应用 到海参采捕水下机器人样机进行采捕实验，针对 出现的问题进行更深入研究，以进一步提高跟踪 算法的鲁棒性。 参考文献： 郭传鑫, 李振波, 乔曦, 等. 基于融合显著图与 GrabCut 算法的水下海参图像分割[J]. 农业机械学报, 2015(S1): 147–152. GUO Chuanxin, LI Zhenbo, QIAO Xi, et al. Image segmentation of underwater sea cucumber using GrabCut with saliency map[J]. Transactions of the Chinese society for agricultural machinery, 2015(S1): 147–152. [1] [2] 唐旭东, 庞永杰, 张赫, 等. 基于单目视觉的水下机器人 管道检测[J]. 机器人, 2010, 32(5): 592–600. TANG Xudong, PANG Yongjie, ZHANG He, et al. Underwater pipeline detection by AUV based on monocular vision[J]. Robot, 2010, 32(5): 592–600. 曾文静, 徐玉如, 万磊, 等. 自主式水下机器人的光视觉 管道探测跟踪系统[J]. 上海交通大学学报, 2012, 46(2): 178–183, 189. ZENG Wenjing, XU Yuru, WAN Lei, et al. Robotics vision-based system of autonomous underwater vehicle for an underwater pipeline tracker[J]. Journal of Shanghai Jiaotong University, 2012, 46(2): 178–183, 189. [3] 吴利红, 许文海, 王利鹏. AUV 水下终端对接目标识别 与定位技术[J]. 大连海事大学学报, 2014, 40(2): 81–85. WU Lihong, XU Wenhai, WANG Lipeng. Dock position and pose estimation algorithm for AUV underwater terminal docking[J]. Journal of Dalian Maritime University, 2014, 40(2): 81–85. [4] WU Yi, LIM J, YANG M H. Online object tracking: a benchmark[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA, 2013: 2411–2418. [5] BOLME D S , BEVERIDGE J R , DRAPER B A , et al. Visual object tracking using adaptive correlation filters[C]//The Twenty-Third IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2010.San Francisco, CA, USA, 2010:13-18. [6] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//Proceedings of the 12th European Conference on Computer Vision Computer Vision-ECCV 2012. Florence, Italy, 2012: 702–715. [7] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Highspeed tracking with kernelized correlation filters[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(3): 583–596. [8] 杨德东, 蔡玉柱, 毛宁, 等. 采用核相关滤波器的长期目 标跟踪[J]. 光学精密工程, 2016, 24(8): 2037–2049. YANG Dedong, CAI Yuzhu, MAO Ning, et al. Long-term object tracking based on kernelized correlation Filters[J]. Optics and precision engineering, 2016, 24(8): 2037–2049. [9] ZHANG Kaihua, ZHANG Lei, LIU Qingshan, et al. Fast visual tracking via dense spatio-temporal context learning[C]//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland, 2014: 127–141. [10] 张雷, 王延杰, 刘艳滢, 等. 基于相关滤波器的视觉目标 跟踪方法[J]. 光电子·激光, 2015, 26(7): 1349–1357. ZHANG Lei, WANG Yanjie, LIU Yanying, et al. Visual object tracking algorithm based on correlation filters[J]. Journal of optoelectronics laser, 2015, 26(7): 1349–1357. [11] 第 3 期 刘吉伟，等：采用相关滤波的水下海参目标跟踪 ·531·
·532· 智能系统学报 第14卷 [12]段伟伟，杨学志，方帅，等.分块核化相关滤波目标跟踪 [18]朱齐丹，韩瑜，蔡成涛.全景视觉非线性核相关滤波目 [J].计算机辅助设计与图形学学报，2016,28(7)： 标跟踪技术J】.哈尔滨工程大学学报，2018,39(7)： 1160-1168 1220-1226. DUAN Weiwei,YANG Xuezhi,FANG Shuai,et al. ZHU Qidan,HAN Yu,CAI Chengtao.Omni-directional Block-based kernelized correlation filters object visual object tracking using nonlinear kernelized correla- tracking[J].Journal of computer-aided design and com- tion filters[J].Journal of Harbin Engineering University, puter graphics,,2016,28(7):1160-1168. 2018,39(7):1220-1226. [13]邢运龙，李艾华，崔智高，等.改进核相关滤波的运动目 [19]诸小熊，江加和.基于核相关滤波器的目标跟踪算法 标跟踪算法[J].红外与激光工程，2016,45(S1): 应用科技，2017,44(3少48-53. 214221. ZHU Xiaoxiong,JIANG Jiahe.Visual tracking algorithm XING Yunlong,LI Aihua,CUI Zhigao,et al.Moving tar- based on kernelized correlation filters[J].Applied science get tracking algorithm based on improved Kernelized cor- and technology,2017,44(3):48-53. relation filter[J].Infrared and laser engineering,2016, 45(S1214-221. 作者简介： [14]DANELLJAN M.HAGER G.KHAN F S.et al.Accur- 刘吉伟，男，1993年生，硕士研究 ate scale estimation for robust visual tracking[C]//Pro- 生，主要研究方向为机器视觉。 ceedings of the British Machine Vision Conference. Sweden,2014:65.1-65.11. [15]JIA Xu,LU Huchuan,YANG M H.Visual tracking via adaptive structural local sparse appearance model[C]// Proceedings of 2012 IEEE Conference on Computer Vis- ion and Pattern Recognition.Providence,RI.USA.2012: 魏鸿磊，男，1973年生，副教授， 主要研究方向为机器视觉、机电一体 1822-1829 化技术。主持省自然科学基金1项 [16]ZHONG Wei,LU Huchuan,YANG M H.Robust object 参与国家自然科学基金1项。发表学 tracking via sparsity-based collaborative model[C]//Pro- 术论文20余篇.被SCI、EI和ISTP检 ceedings of 2012 IEEE Conference on Computer Vision 索10余篇。 and Pattern Recognition.Providence,RI,USA,2012: 1838-1845. [17刀程子一，刘志林.改进的核相关滤波算法在自航模动态 裴起潮，女，1992年生，硕士研究 生，主要研究方向为视觉测量。 目标跟踪应用.应用科技，2019,46(1)：36-42 CHENG Ziyi,LIU Zhilin.Application of improved ker- nel correlation filtering algorithm in small ship dynamic target tracking[J].Applied science and technology, 2019.46(1):36-42
段伟伟, 杨学志, 方帅, 等. 分块核化相关滤波目标跟踪 [J]. 计算机辅助设计与图形学学报, 2016, 28(7): 1160–1168. DUAN Weiwei, YANG Xuezhi, FANG Shuai, et al. Block-based kernelized correlation filters object tracking[J]. Journal of computer-aided design and computer graphics, 2016, 28(7): 1160–1168. [12] 邢运龙, 李艾华, 崔智高, 等. 改进核相关滤波的运动目 标跟踪算法[J]. 红外与激光工程, 2016, 45(S1): 214–221. XING Yunlong, LI Aihua, CUI Zhigao, et al. Moving target tracking algorithm based on improved Kernelized correlation filter[J]. Infrared and laser engineering, 2016, 45(S1): 214–221. [13] DANELLJAN M, HÄGER G, KHAN F S, et al. Accurate scale estimation for robust visual tracking[C]//Proceedings of the British Machine Vision Conference. Sweden, 2014: 65.1–65.11. [14] JIA Xu, LU Huchuan, YANG M H. Visual tracking via adaptive structural local sparse appearance model[C]// Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA, 2012: 1822–1829. [15] ZHONG Wei, LU Huchuan, YANG M H. Robust object tracking via sparsity-based collaborative model[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI, USA, 2012: 1838–1845. [16] 程子一, 刘志林. 改进的核相关滤波算法在自航模动态 目标跟踪应用[J]. 应用科技, 2019, 46(1): 36-42. CHENG Ziyi, LIU Zhilin． Application of improved kernel correlation filtering algorithm in small ship dynamic target tracking[J]. Applied science and technology, 2019,46(1): 36-42． [17] 朱齐丹, 韩瑜, 蔡成涛. 全景视觉非线性核相关滤波目 标跟踪技术[J]. 哈尔滨工程大学学报, 2018, 39(7): 1220–1226. ZHU Qidan, HAN Yu, CAI Chengtao. Omni-directional visual object tracking using nonlinear kernelized correlation filters[J]. Journal of Harbin Engineering University, 2018, 39(7): 1220–1226. [18] 诸小熊, 江加和. 基于核相关滤波器的目标跟踪算法[J]. 应用科技, 2017, 44(3): 48–53. ZHU Xiaoxiong, JIANG Jiahe. Visual tracking algorithm based on kernelized correlation filters[J]. Applied science and technology, 2017, 44(3): 48–53. [19] 作者简介： 刘吉伟，男，1993 年生，硕士研究 生，主要研究方向为机器视觉。 魏鸿磊，男，1973 年生，副教授， 主要研究方向为机器视觉、机电一体 化技术。主持省自然科学基金 1 项， 参与国家自然科学基金 1 项。发表学 术论文 20 余篇，被 SCI、EI 和 ISTP 检 索 10 余篇。 裴起潮，女，1992 年生，硕士研究 生，主要研究方向为视觉测量。 ·532· 智 能 系 统 学 报 第 14 卷