第3期 汪鸿翔，等：高斯核函数卷积神经网络跟踪算法 ·389· 过分析视频图片序列，对检测出的各个候选目标区 对。针对卷积神经网络具有强大的特征提取功能， 域实施匹配，定位跟踪目标在视频序列中的位置。 设计一种无需训练的卷积神经网络特征提取方法， 目前跟踪算法已经取得很多研究成果，但在实际中 在粒子滤波框架下，利用核函数加速卷积运算，实 应对各类复杂场景时仍面临很大挑战，例如面对遮 现了一种快速卷积神经网络跟踪算法，通过与其他 挡、形变、视频序列分辨率低等影响因素时，如何实 算法的对比分析，最终验证了所提出算法的有效性。 现更加鲁棒和准确的跟踪仍然是目前研究的核心。 视觉跟踪算法一般分为两部分：目标表观建模 1相关工作 和跟踪策略。 2013年以来，深度学习算法在跟踪领域已经取 1)目标表观建模 得了很大进展。如深度神经网络、卷积神经网络等 根据对目标表观的建模方式可分为判别式模型 深度学习方法能够挖掘出数据的多层表征，而高层 和生成式模型两类2)。判别式模型将跟踪问题建 级的表征更能够反映数据更深层的本质，相比传统 模为一个二分类问题，用以区分前景和背景。B.Ba 浅层学习特征，基于高层次特征的跟踪算法可以提 benko等提出多示例学习算法(ML),针对跟踪中 高目标的跟踪效率6。 训练样本不足的问题，引入多示例学习机制，有效 1.1CNN特征提取结构 抑制跟踪过程中跟踪器的漂移问题；文献[5]提出具 卷积神经网铬(convolutional neural network, 有元认知能力的粒子滤波MCPF)目标跟踪算法， CNN)的网络结构类似于生物神经网络，采用局部 通过监控到突变，快速调节决策机制，实现稳定的 连接、权值共享和时空下采样的思想降低了网络复 目标跟踪。生成式模型不考虑背景信息直接为目标 杂度，减少了权值数量，使得CNN在处理高维图像 进行建模。文献[6]提出了L1跟踪系统，用稀疏方 时更具优势。 法表示跟踪目标，但算法运算复杂度高；K.Zhang 卷积神经网络具有多层性，在传统神经网络的 等提出了压缩跟踪(CT),用一个稀疏的测量矩阵 基础上增加了特征提取的卷积层和保证位移不变的 提取特征以建立一个稀疏、健壮的目标表观模型， 下采样层。每层由多个二维平面特征映射层组成， 取得快速有效、鲁棒性好的跟踪效果；文献[8]引入 每个映射层由多个独立的神经元组成。卷积特征的 小波纹理特征，改善单纯依靠颜色特征不能很好适 提取首先对原始输入图像进行取片操作获取大量小 应环境变化的情况，与单一特征相比能够实现更加 的局部块，然后应用卷积网络模型对局部块进行训 稳健的跟踪。 练，得到结果为各个卷积层的神经元卷积滤波器， 2)跟踪策略 与新输入的样本图像进行卷积滤波，提取样本图的 采用运动模型来估计目标可能的位置，通过先 抽象卷积特征从而得到原始图像的深度特征。如 验知识来缩小搜索范围。代表性方法有隐马尔可夫 图1所示，给出了一个简单卷积特征提取结构，输 模型例、卡尔曼滤波、均值漂移算法和粒子滤 入图像卷积后在C1层产生若干特征映射图，然后特 波等。其中，粒子滤波算法因为对局部极小值相 征映射图中每组的若干像素再进行求和，加权值与 对不太敏感且计算非常有效而被广泛应用。另外， 偏置，通过一个激活函数(Sigmoid、Relu)得到S,层 近几年相关滤波跟踪算法在目标领域也取得不错 的特征映射图，这些映射图再经过滤波得到C3层， 的成绩。D.S.Bolme等首次将相关滤波引入跟踪 这个层级结构再和S,一样产生S4。最终，这些像素 领域，通过设计一个误差最小平方和滤波器MOSSE), 值全连接成一个向量输入到传统的神经网络，得到 输出。 在跟踪过程中寻找目标最大响应值来实现跟踪。 J.F.Henriques等提出的CSK算法使用循环矩阵 □☑ 结构进行相邻帧的相关性检测，利用灰度特征空间 提高了算法的准确性。文献[15]在CSK的基础上， 通过循环偏移构建分类器的训练样本，使数据矩阵 变成一个循环矩阵，同时引人HOG、颜色、灰度多 通道特征，提高了算法的速度和准确性。 Input输人 S,下采样层S下采样层Output输出 传统跟踪算法大多数直接使用视频图像序列中 C卷积层 C,卷积层 全连接层 的像素值特征进行建模，当跟踪过程中出现复杂场 图1卷积特征提取结构 景等较大挑战时，浅层的像素级特征无法很好应 Fig.1 Convolution feature extraction structure过分析视频图片序列，对检测出的各个候选目标区 域实施匹配，定位跟踪目标在视频序列中的位置。 目前跟踪算法已经取得很多研究成果，但在实际中 应对各类复杂场景时仍面临很大挑战，例如面对遮 挡、形变、视频序列分辨率低等影响因素时，如何实 现更加鲁棒和准确的跟踪仍然是目前研究的核心[1]。 视觉跟踪算法一般分为两部分：目标表观建模 和跟踪策略。 1) 目标表观建模 根据对目标表观的建模方式可分为判别式模型 和生成式模型两类[2-3]。判别式模型将跟踪问题建 模为一个二分类问题，用以区分前景和背景。B. Ba￾benko 等 [4]提出多示例学习算法 (MIL)，针对跟踪中 训练样本不足的问题，引入多示例学习机制，有效 抑制跟踪过程中跟踪器的漂移问题；文献[5]提出具 有元认知能力的粒子滤波 (MCPF) 目标跟踪算法， 通过监控到突变，快速调节决策机制，实现稳定的 目标跟踪。生成式模型不考虑背景信息直接为目标 进行建模。文献[6]提出了 L1 跟踪系统，用稀疏方 法表示跟踪目标，但算法运算复杂度高； K. Zhang 等 [7]提出了压缩跟踪 (CT)，用一个稀疏的测量矩阵 提取特征以建立一个稀疏、健壮的目标表观模型， 取得快速有效、鲁棒性好的跟踪效果；文献[8]引入 小波纹理特征，改善单纯依靠颜色特征不能很好适 应环境变化的情况，与单一特征相比能够实现更加 稳健的跟踪。 2) 跟踪策略 采用运动模型来估计目标可能的位置，通过先 验知识来缩小搜索范围。代表性方法有隐马尔可夫 模型[9] 、卡尔曼滤波[10] 、均值漂移算法[11]和粒子滤 波 [12]等。其中，粒子滤波算法因为对局部极小值相 对不太敏感且计算非常有效而被广泛应用。另外， 近几年相关滤波跟踪算法在目标领域也取得不错 的成绩。D.S. Bolme 等 [13]首次将相关滤波引入跟踪 领域，通过设计一个误差最小平方和滤波器 (MOSSE)， 在跟踪过程中寻找目标最大响应值来实现跟踪。 J.F. Henriques 等 [14]提出的 CSK 算法使用循环矩阵 结构进行相邻帧的相关性检测，利用灰度特征空间 提高了算法的准确性。文献[15]在 CSK 的基础上， 通过循环偏移构建分类器的训练样本，使数据矩阵 变成一个循环矩阵，同时引入 HOG、颜色、灰度多 通道特征，提高了算法的速度和准确性。 传统跟踪算法大多数直接使用视频图像序列中 的像素值特征进行建模，当跟踪过程中出现复杂场 景等较大挑战时，浅层的像素级特征无法很好应 对。针对卷积神经网络具有强大的特征提取功能， 设计一种无需训练的卷积神经网络特征提取方法， 在粒子滤波框架下，利用核函数加速卷积运算，实 现了一种快速卷积神经网络跟踪算法，通过与其他 算法的对比分析，最终验证了所提出算法的有效性。 1 相关工作 2013 年以来，深度学习算法在跟踪领域已经取 得了很大进展。如深度神经网络、卷积神经网络等 深度学习方法能够挖掘出数据的多层表征，而高层 级的表征更能够反映数据更深层的本质，相比传统 浅层学习特征，基于高层次特征的跟踪算法可以提 高目标的跟踪效率[16]。 1.1 CNN 特征提取结构 卷积神经网络 (convolutional neural network， CNN) 的网络结构类似于生物神经网络，采用局部 连接、权值共享和时空下采样的思想降低了网络复 杂度，减少了权值数量，使得 CNN 在处理高维图像 时更具优势。 卷积神经网络具有多层性，在传统神经网络的 基础上增加了特征提取的卷积层和保证位移不变的 下采样层。每层由多个二维平面特征映射层组成， 每个映射层由多个独立的神经元组成。卷积特征的 提取首先对原始输入图像进行取片操作获取大量小 的局部块，然后应用卷积网络模型对局部块进行训 练，得到结果为各个卷积层的神经元卷积滤波器， 与新输入的样本图像进行卷积滤波，提取样本图的 抽象卷积特征从而得到原始图像的深度特征。如 图 1 所示，给出了一个简单卷积特征提取结构，输 入图像卷积后在 C1 层产生若干特征映射图，然后特 征映射图中每组的若干像素再进行求和，加权值与 偏置，通过一个激活函数 (Sigmoid、Relu) 得到 S2 层 的特征映射图，这些映射图再经过滤波得到 C3 层， 这个层级结构再和 S2 一样产生 S4。最终，这些像素 值全连接成一个向量输入到传统的神经网络，得到 输出。 NN Input输入 C1卷积层 S2下采样层 C3卷积层 S4下采样层 全连接层 Output输出 图 1 卷积特征提取结构 Fig. 1 Convolution feature extraction structure 第 3 期 汪鸿翔，等：高斯核函数卷积神经网络跟踪算法 ·389·