第4期 孙海宇，等：联合外形响应的深度目标追踪器 ·727· 式中：G、牙代表了式(1)中G、F的离散傅里叶变 式中：P表示位置响应图，响应值最大的位置为目 换，下标*代表取该对象的复共轭，。表示哈达玛 标的位置；D为离散傅里叶变换的逆变换；Z是 积。将式(2)中g.oF记作A(t表示第t时刻)， 新的一帧中的特征，与式(1)中的F相对应。 将分母中加号前的部分记作B,那么第1时刻的 1.3目标外形信息 分子分母可用式(3)和式(4)近似更新，而第一个 在人类视觉中，目标的外形信息具有重要的 时刻的H可由式(2)获得。 意义，倘若缺少了目标的外形信息，人类就会产 A=(1-a)A+aG. (3) 生‘一叶障目'的视觉障碍，因此在过去的几十年 d 中，学者们对于目标的外形信息有着大量的研 B,=(1-m)B1+a∑FoT (4) 究2心-21。目标的外形信息一般存在于目标与背景 式中α为学习率，则新的目标位置响应可计算 之间，能够有效地突出目标物，为双眼提供一个 得到： 良好的聚焦区域。由于目标与背景在外形上存在 较大的差异，因而学者们常常使用微分的方式来 检测目标的外形信息，常见的方式有Canny、So- P=I D-(H.Z) (5) B+1 bel、Roberts、Scharr、Prewitt、Hog,此外，还有小波 变换等方式，其检测效果如图2所示。 上c2 (a)原图(b)Canny (c)Sobel (d)Roberts (e)Scharr (f)Prewitt (g)Gabor (h)Hog 图2外形信息检测方法 Fig.2 The samples of methods to detect outlines 2联合外形响应的深度目标追踪器 的结构如图4所示，它由两个部分组成，一个是由 卷积网络所构成的位置匹配部分，这个部分主要 本文在可视化卷积网络特征后，观察到其与 使用卷积网络提取的目标特征进行位置匹配，称 文献[24]所述的局部性、方向性的特征具有相似 性后（如图3），更加验证了本文联合外形信息的想 之为卷积匹配部分，另一个是利用外形信息使用 相关滤波进行位置匹配，称之为滤波匹配部分。 法。图3(a)为卷积网络所提取的特征，图3(b) 为稀疏编码所求得的基，可以发现图3(a)的特征 与未完全处理的基具有很高的相似性。如前所 述，提取目标外轮廓信息有相当多的方法，鉴于 方向梯度直方图在追踪问题上的广泛应用，本文 选择使用方向梯度直方图来提取外形信息。 取外形精息 图4本文目标追踪器结构 Fig.4 The architecture of the proposed deep tracker 2.1.1卷积匹配部分 在追踪器的卷积匹配部分仅使用卷积网络提 中品中出品 取的特征进行目标位置的匹配，同时融合了尺度 (a)卷积网络特征 (b)局部性、方向性特征 考虑，同文献[12]中所表示的那样，本文仅使用 图3特征对比 了3种尺度，追踪器的输入同文献[12]一样是一 Fig.3 Features comparison 对样本，一个是在初始帧中标记出来的目标，用Z 2.1网络结构 来表示，其维度是H×W:×3,另一个是在当前帧 本文提出的联合外形响应的深度目标追踪器 中，以上一帧目标中心为中心的包含背景的目标G F G F ∗ ◦ G∗ ◦ F i A i t t t Bt t H 式中： 、 代表了式 (1) 中 、 的离散傅里叶变 换，下标 代表取该对象的复共轭， 表示哈达玛 积。将式 (2) 中 记作 ( 表示第 时刻)， 将分母中加号前的部分记作 ，那么第 时刻的 分子分母可用式 (3) 和式 (4) 近似更新，而第一个 时刻的 可由式 (2) 获得。 A i t = (1−α) A i t−1 +αG t ∗ ◦ F i t (3) Bt = (1−α)Bt−1 +α ∑d k=1 F k t∗◦F k t (4) 式中α 为学习率，则新的目标位置响应可计算 得到： P = D −1    ∑d i=1 A i ∗ ◦ Z i B+λ    = D −1 {H∗ ◦ Z} (5) P D −1 Z F 式中： 表示位置响应图，响应值最大的位置为目 标的位置； 为离散傅里叶变换的逆变换； 是 新的一帧中的特征，与式 (1) 中的 相对应。 1.3 目标外形信息 在人类视觉中，目标的外形信息具有重要的 意义，倘若缺少了目标的外形信息，人类就会产 生‘一叶障目’的视觉障碍，因此在过去的几十年 中，学者们对于目标的外形信息有着大量的研 究 [20-23]。目标的外形信息一般存在于目标与背景 之间，能够有效地突出目标物，为双眼提供一个 良好的聚焦区域。由于目标与背景在外形上存在 较大的差异，因而学者们常常使用微分的方式来 检测目标的外形信息，常见的方式有 Canny、So￾bel、Roberts、Scharr、Prewitt、Hog，此外，还有小波 变换等方式，其检测效果如图 2 所示。 (a) 原图 (b) Canny (c) Sobel (d) Roberts (e) Scharr (f) Prewitt (g) Gabor (h) Hog 图 2 外形信息检测方法 Fig. 2 The samples of methods to detect outlines 2 联合外形响应的深度目标追踪器 本文在可视化卷积网络特征后，观察到其与 文献 [24] 所述的局部性、方向性的特征具有相似 性后 (如图 3)，更加验证了本文联合外形信息的想 法。图 3(a) 为卷积网络所提取的特征，图 3(b) 为稀疏编码所求得的基，可以发现图 3(a) 的特征 与未完全处理的基具有很高的相似性。如前所 述，提取目标外轮廓信息有相当多的方法，鉴于 方向梯度直方图在追踪问题上的广泛应用，本文 选择使用方向梯度直方图来提取外形信息。 (a) 卷积网络特征 (b) 局部性、方向性特征 图 3 特征对比 Fig. 3 Features comparison 2.1 网络结构 本文提出的联合外形响应的深度目标追踪器 的结构如图 4 所示，它由两个部分组成，一个是由 卷积网络所构成的位置匹配部分，这个部分主要 使用卷积网络提取的目标特征进行位置匹配，称 之为卷积匹配部分，另一个是利用外形信息使用 相关滤波进行位置匹配，称之为滤波匹配部分。 初始化 A 和 B f 提取外形信息 首帧 后续帧 Zf Xf 修正 Rconv Routl Rrev 图 4 本文目标追踪器结构 Fig. 4 The architecture of the proposed deep tracker 2.1.1 卷积匹配部分 Z Hz ×Wz ×3 在追踪器的卷积匹配部分仅使用卷积网络提 取的特征进行目标位置的匹配，同时融合了尺度 考虑，同文献 [12] 中所表示的那样，本文仅使用 了 3 种尺度，追踪器的输入同文献 [12] 一样是一 对样本，一个是在初始帧中标记出来的目标，用 来表示，其维度是 ，另一个是在当前帧 中，以上一帧目标中心为中心的包含背景的目标 第 4 期 孙海宇，等：联合外形响应的深度目标追踪器 ·727·