第14卷第4期 智能系统学报 Vol.14 No.4 2019年7月 CAAI Transactions on Intelligent Systems Jul.2019 D0:10.11992/tis.201807029 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20181218.1639.009html 联合外形响应的深度目标追踪器 孙海宇，陈秀宏，肖汉雄 （江南大学数字媒体学院，江苏无锡214122) 摘要：针对追踪器使用卷积网络提取出来的特征模板进行目标位置匹配时，易产生响应噪声的问题，本文提 出一种联合外形响应和卷积响应的深度目标追踪方法。在当前帧中，由前一帧提供的目标信息先分别提取卷 积特征和外形信息，然后获得相应的卷积位置响应和外形位置响应：最后利用外形位置响应对卷积位置响应进 行修正，从而有效地抑制响应噪声。实验表明：这种方法具有较高的位置精度，能够提高目标跟踪的准确性。 关键词：目标追踪：神经网络；卷积特征；相关滤波：位置响应；外形信息：噪声抑制：修正：深度学习 中图分类号：TP391 文献标志码：A文章编号：1673-4785(2019)04-0725-08 中文引用格式：孙海宇，陈秀宏，肖汉雄.联合外形响应的深度目标追踪器J智能系统学报，2019,14(4)：725-732. 英文引用格式：SUN Haiyu,.CHEN Xiuhong,.XIAO Hanxiong.A deep object tracker with outline response mapJ.CAAI transac- tions on intelligent systems,2019,14(4):725-732. A deep object tracker with outline response map SUN Haiyu,CHEN Xiuhong,XIAO Hanxiong (School of Digital Media,Jiangnan University,Wuxi 214122,China) Abstract:When convolutional neural network is used as a template to locate target,noise may be unavoidable in the fi- nal location response.To solve this problem,we developed a deep object tracker by combining the convolutional posi- tion response with the outline position response.For example,in the current frame,after extracting convolutional fea- tures and the outline information from the predicted target in the previous frame,we obtained the corresponding convo- lutional position response and the outline position response,and the latter was used to rectify the former in controlling the noise generated in the convolutional position response.The favorable results of our deep tracker on the benchmark show that the method of integrating the outline position response into the convolutional position response can greatly improve the precision and accuracy of the tracker. Keywords:object tracking;neural network;convolutional features;correlation filter,position response;outline informa- tion;noise suppression;rectify;deep learning 单目标跟踪是一项基础而又重要的计算机视 ation,,SV)、遮挡(occlusion,.OCC)、变形(deforma- 觉任务。通常所讲的单目标跟踪是指：在视频的 tion,DEF)、运动模糊(motion blur,MB)、快速运动 首帧，给定目标的初始状态（如：位置、大小），然 (fast motion,FM)、平面内旋转(in-plane rotation, 后在视频的后续帧中估计出目标的状态"。估计 IPR)、平面外旋转(out-of-plane rotation,OPR)、部 一个对象的运动轨迹)可以达到目标跟踪的目 分显示(out-of-view,OV)、背景杂乱(background 的，但是目标轨迹的估计在多种干扰因素的影响 clutters,BC)、目标像素过少(low-resolution,.LR)等。 下易有较大的误差。常见的干扰因素有：光照变 实际上，目标跟踪就是要在当前帧中确定与目标 化((illumination variation,IV)、大小变化(scale vari- 相关的两大要素：位置以及大小。有很多方法可 以实现该目的，其中，检测就是一种比较流行的 收稿日期：2018-07-26.网络出版日期：2018-12-20 基金项目：江苏省研究生科研与实践创新计划项目(1232050205185680) 方法。若在基于检测的目标跟踪方法中采用前背 通信作者：孙海宇.E-mail:616l610009@vip,jiangnan.edu.cn. 景分类器，这种追踪方法又称作基于判别式模型DOI: 10.11992/tis.201807029 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20181218.1639.009.html 联合外形响应的深度目标追踪器 孙海宇，陈秀宏，肖汉雄 （江南大学 数字媒体学院，江苏 无锡 214122） 摘 要：针对追踪器使用卷积网络提取出来的特征模板进行目标位置匹配时，易产生响应噪声的问题，本文提 出一种联合外形响应和卷积响应的深度目标追踪方法。在当前帧中，由前一帧提供的目标信息先分别提取卷 积特征和外形信息，然后获得相应的卷积位置响应和外形位置响应；最后利用外形位置响应对卷积位置响应进 行修正，从而有效地抑制响应噪声。实验表明：这种方法具有较高的位置精度，能够提高目标跟踪的准确性。 关键词：目标追踪；神经网络；卷积特征；相关滤波；位置响应；外形信息；噪声抑制；修正；深度学习 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2019)04−0725−08 中文引用格式：孙海宇, 陈秀宏, 肖汉雄. 联合外形响应的深度目标追踪器 [J]. 智能系统学报, 2019, 14(4): 725–732. 英文引用格式：SUN Haiyu, CHEN Xiuhong, XIAO Hanxiong. A deep object tracker with outline response map[J]. CAAI transac￾tions on intelligent systems, 2019, 14(4): 725–732. A deep object tracker with outline response map SUN Haiyu，CHEN Xiuhong，XIAO Hanxiong (School of Digital Media, Jiangnan University, Wuxi 214122, China) Abstract: When convolutional neural network is used as a template to locate target, noise may be unavoidable in the fi￾nal location response. To solve this problem, we developed a deep object tracker by combining the convolutional posi￾tion response with the outline position response. For example, in the current frame, after extracting convolutional fea￾tures and the outline information from the predicted target in the previous frame, we obtained the corresponding convo￾lutional position response and the outline position response, and the latter was used to rectify the former in controlling the noise generated in the convolutional position response. The favorable results of our deep tracker on the benchmark show that the method of integrating the outline position response into the convolutional position response can greatly improve the precision and accuracy of the tracker. Keywords: object tracking; neural network; convolutional features; correlation filter; position response; outline informa￾tion; noise suppression; rectify; deep learning 单目标跟踪是一项基础而又重要的计算机视 觉任务。通常所讲的单目标跟踪是指：在视频的 首帧，给定目标的初始状态 (如：位置、大小)，然 后在视频的后续帧中估计出目标的状态[1]。估计 一个对象的运动轨迹[2] 可以达到目标跟踪的目 的，但是目标轨迹的估计在多种干扰因素的影响 下易有较大的误差。常见的干扰因素有：光照变 化 (illumination variation，IV)、大小变化 (scale vari￾ation，SV)、遮挡 (occlusion，OCC)、变形 (deforma￾tion，DEF)、运动模糊 (motion blur，MB)、快速运动 (fast motion，FM)、平面内旋转 (in-plane rotation， IPR)、平面外旋转 (out-of-plane rotation，OPR)、部 分显示 (out-of-view，OV)、背景杂乱 (background clutters，BC)、目标像素过少 (low-resolution，LR) 等 [3]。 实际上，目标跟踪就是要在当前帧中确定与目标 相关的两大要素：位置以及大小。有很多方法可 以实现该目的，其中，检测就是一种比较流行的 方法。若在基于检测的目标跟踪方法中采用前背 景分类器，这种追踪方法又称作基于判别式模型[4] 收稿日期：2018−07−26. 网络出版日期：2018−12−20. 基金项目：江苏省研究生科研与实践创新计划项目(1232050205185680) 通信作者：孙海宇. E-mail：6161610009@vip.jiangnan.edu.cn. 第 14 卷第 4 期 智 能 系 统 学 报 Vol.14 No.4 2019 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2019