·390· 智能系统学报 第13卷 1.2基于深度学习的跟踪算法 参数由v变为α，因此，核正则化最小二乘分类器 深度学习在跟踪领域面临两个重要问题：1)深 (kernelized regularized least square,KRLS)具有一个 度学习网络在训练阶段需要大量的样本，而跟踪领 简单的闭式解，即 域仅能够提供第一帧的目标进行训练，面临训练样 a=(K+AI)-y (2) 本缺少问题；2)采用深度学习的网络模型运算时间 式中：K是核函数矩阵，矩阵元素为K=k(xx:I是 复杂度大，跟踪实时性低。 单位矩阵；向量y的元素为yo由于K为循环矩阵，则 针对以上问题，NY.Wang等提出DLT算法 式(2)可转换到DFT域，即 首次将深度学习算法应用到跟踪领域，在ImageNet d=×(+) (3) 数据集上使用栈式降噪自编码器离线预训练来获得 式中：“是核函数矩阵K的第一行元素组成的向 通用的物体表征能力，并在跟踪过程中更新自编码 量，符号λ表示傅里叶变换。KRLS分类器的闭式解 器实现跟踪；K.Zhang等11结合人脑视觉处理系 可利用FFT快速得到。 统，简化了卷积网络结构，使用目标区域中随机提 2.2特征提取 取的归一化图像块作为卷积神经网络的滤波器，从 本文利用卷积网络设计一个分层的目标表示结 而实现了不用训练卷积神经网络的快速特征提取。 构。在第1帧中，将目标归一化到n×n大小，从中随 文献[19]中的MDNet算法提出将训练方法和训练 机选取一部分重叠的小图像块组成一系列滤波器， 数据交叉运用的思路，在检测任务中重点关注背景 用于同第帧候选目标框中所有抽取的图像块进行 中的难点样本，显著减轻了跟踪器漂移问题。 卷积，得到一系列局部特征的映射，提高候选日标 深度学习算法需要搭建专用的深度学习硬件平 全局特性的鲁棒性。 台，通过大量的前期预训练来训练神经网络提取深 简单层特征，通过预处理将图像归一化到 度特征，面临样本缺少，算法时间复杂度高，硬件运 n×n大小，对目标区域利用w×w大小的滑动窗口进 行平台要求高，跟踪实时性低等显著缺点。本文结 行采样，得到长度为L的图像块组X,然后用K 合卷积神经网络在特征提取时能够获得一定的平 means聚类的方法从L=(m-w+1)2个图像块中聚类 移、尺度和旋转不变性且能够大幅降低神经网络规 出d个图像块滤波器作为卷积核，记作F。= 模的特性，结合文献18]提出的无需训练的卷积特 {F,F,…,FcX。输人图像I对应的响应为 征提取方法，采用两层前馈处理方式简化卷积网络 S9=F⑧L,SE RIm-w+ir (4) 结构，通过分层滤波器卷积来抽取目标的高维抽象 跟踪目标周围的上下文可为区分目标和背景提 特征，利用高斯核函数进行运算加速，提出一种快 供大量有用信息，对目标周围的区域随机采样出 速卷积神经网络跟踪算法。 个样本，同样进行K-means聚类获得一组背景模板： F={F,F的，…，F (5) 2高斯核函数卷积神经网络跟踪算法 最后，由目标卷积核减去背景卷积核与输入图 针对卷积计算时间复杂度过高问题，本文引入 像！做卷积得到简单层的特征表达： 高斯核函数进行变换，对算法的卷积运算实现加 S:=S9-S=(F-F的⑧L,ie{1,2,…,d (6) 速；针对深度学习算法训练样本缺少的问题，本文 复杂层特征，为了加强对目标的特征表达，本 文将d个简单层的特征进行堆叠，构成一个3维张 采用简单两层前馈处理网络实现一种无需训练的特 量来表示目标的复杂层特征，记作： 征提取方法。 C∈Rn-w+Hxm-s+1xd (7) 2.1核函数卷积 这种特征具有平移不变特性，由于图像归一化 本文的卷积运算采用高斯核函数进行变换加速 后，使得特征对目标的尺度具有鲁棒性，且复杂层 运算，文献[15]采用子窗口高斯核函数k(x,x')的快速 特征保留不同尺度目标的局部几何信息。文献[20] 计算方法，其向量表达式为 表明可以通过一个浅层的神经机制实现跟踪，因此 kx,x)=exp(-P+rT-2F'(∑'o》() 本文没有使用高层次的对象模型而是利用一个简单 的模板匹配方案，结合粒子滤波实现跟踪。 式中：“*”表示复共轭，d表示滤波器的个数。 2.3粒子滤波 假设(x)是一个高维核希尔伯特空间的映射， 本文基于粒子滤波框架，设第帧时总的观测序 则核函数k(x,x)=(p(x),(x)》,权重可表示为v= 列为Z,={31,z2,…,z},则跟踪主要是求出后验概率 ∑ap(x),系数向量为a,其元素为a,最终要求解的 p的最大值，根据贝叶斯理论，可知：1.2 基于深度学习的跟踪算法 深度学习在跟踪领域面临两个重要问题：1) 深 度学习网络在训练阶段需要大量的样本，而跟踪领 域仅能够提供第一帧的目标进行训练，面临训练样 本缺少问题；2) 采用深度学习的网络模型运算时间 复杂度大，跟踪实时性低。 针对以上问题， N.Y. Wang 等 [17]提出 DLT 算法 首次将深度学习算法应用到跟踪领域，在 ImageNet 数据集上使用栈式降噪自编码器离线预训练来获得 通用的物体表征能力，并在跟踪过程中更新自编码 器实现跟踪；K. Zhang 等 [18]结合人脑视觉处理系 统，简化了卷积网络结构，使用目标区域中随机提 取的归一化图像块作为卷积神经网络的滤波器，从 而实现了不用训练卷积神经网络的快速特征提取。 文献[19]中的 MDNet 算法提出将训练方法和训练 数据交叉运用的思路，在检测任务中重点关注背景 中的难点样本，显著减轻了跟踪器漂移问题。 深度学习算法需要搭建专用的深度学习硬件平 台，通过大量的前期预训练来训练神经网络提取深 度特征，面临样本缺少，算法时间复杂度高，硬件运 行平台要求高，跟踪实时性低等显著缺点。本文结 合卷积神经网络在特征提取时能够获得一定的平 移、尺度和旋转不变性且能够大幅降低神经网络规 模的特性，结合文献[18]提出的无需训练的卷积特 征提取方法，采用两层前馈处理方式简化卷积网络 结构，通过分层滤波器卷积来抽取目标的高维抽象 特征，利用高斯核函数进行运算加速，提出一种快 速卷积神经网络跟踪算法。 2 高斯核函数卷积神经网络跟踪算法 针对卷积计算时间复杂度过高问题，本文引入 高斯核函数进行变换，对算法的卷积运算实现加 速；针对深度学习算法训练样本缺少的问题，本文 采用简单两层前馈处理网络实现一种无需训练的特 征提取方法。 2.1 核函数卷积 k(x, x ′ ) 本文的卷积运算采用高斯核函数进行变换加速 运算，文献[15]采用子窗口高斯核函数 的快速 计算方法，其向量表达式为 k(x, x ′ ) = exp(− 1 σ2 (∥x∥ 2 +∥x ′ ∥ 2 −2F −1 ( ∑ d xˆ ∗ ⊙ xˆ ′ ))) (1) 式中：“*”表示复共轭， d 表示滤波器的个数。 φ(x) k(x, x ′ ) = ⟨φ(x),(x ′ )⟩ ∑ i aiφ(xi) α ai 假设 是一个高维核希尔伯特空间的映射， 则核函数 ，权重可表示为 v = ，系数向量为 ，其元素为 ，最终要求解的 参数由 v 变为 α ，因此，核正则化最小二乘分类器 (kernelized regularized least square，KRLS) 具有一个 简单的闭式解，即 α = (K +λI) −1 y (2) K Ki, j = k(xi , xj) I y yi K 式中： 是核函数矩阵，矩阵元素为 ； 是 单位矩阵；向量 的元素为 。由于 为循环矩阵，则 式 (2) 可转换到 DFT 域，即 αˆ ∗ = yˆ ×(kˆ xx′ +λ) −1 (3) kˆ xx′ K ∧ 式中： 是核函数矩阵 的第一行元素组成的向 量，符号 表示傅里叶变换。KRLS 分类器的闭式解 可利用 FFT 快速得到。 2.2 特征提取 n×n t 本文利用卷积网络设计一个分层的目标表示结 构。在第 1 帧中，将目标归一化到 大小，从中随 机选取一部分重叠的小图像块组成一系列滤波器， 用于同第 帧候选目标框中所有抽取的图像块进行 卷积，得到一系列局部特征的映射，提高候选目标 全局特性的鲁棒性。 n×n w×w L X L = (n−w+1)2 d { F o 1 ,F o 2 ,··· ,F o d } ⊂ X 简单层特征，通过预处理将图像归一化到 大小，对目标区域利用 大小的滑动窗口进 行采样，得到长度为 的图像块组 ，然后用 K￾means 聚类的方法从 个图像块中聚类 出 个图像块滤波器作为卷积核，记 作 F d = 。输入图像 I 对应的响应为 S o i = F o i ⊗ I, S o i ∈ R (n−w+1)2 (4)l 跟踪目标周围的上下文可为区分目标和背景提 供大量有用信息，对目标周围的区域随机采样出 个样本，同样进行 K-means 聚类获得一组背景模板： Fl = { F b 1 ,F b 2 ,··· ,F b l } (5) I 最后，由目标卷积核减去背景卷积核与输入图 像 做卷积得到简单层的特征表达： Si = S o i −S b i = (F o i − F b i )⊗ I, i ∈ {1,2,··· ,d} (6) d 复杂层特征，为了加强对目标的特征表达，本 文将 个简单层的特征进行堆叠，构成一个 3 维张 量来表示目标的复杂层特征，记作： C ∈ R (n−w+1)×(n−w+1)×d (7) 这种特征具有平移不变特性，由于图像归一化 后，使得特征对目标的尺度具有鲁棒性，且复杂层 特征保留不同尺度目标的局部几何信息。文献[20] 表明可以通过一个浅层的神经机制实现跟踪，因此 本文没有使用高层次的对象模型而是利用一个简单 的模板匹配方案，结合粒子滤波实现跟踪。 2.3 粒子滤波 t Zt = {z1,z2,··· ,zt} p 本文基于粒子滤波框架，设第 帧时总的观测序 列为 ，则跟踪主要是求出后验概率 的最大值，根据贝叶斯理论，可知： ·390· 智 能 系 统 学 报 第 13 卷