·1198· 智能系统学报 第15卷 取网络，包含运动混合和特征迁移两个模块。检 动编码器学习运动前景块的时空特征，过滤冗余 测模型主要有分类和聚类10-川、误差值211和稀 背景信息。 疏表示47。Lu等6取消稀疏约束，提出稀疏组 13基于稀疏编码的异常检测 合学习算法，检测速度可达150fs。文献[17]提 基于稀释编码的异常检测3在训练阶段从 出将稀疏参数映射到层叠循环神经网络中，提高 正常特征数据X={x1,x2,…,xn}中学习稀疏约束 了检测速度。 的字典D。在测试阶段，给定测试样本x,计算稀 本文针对异常检测输入通常为视频帧或图像 疏重构误差值： 块的局限性，利用混合高斯算法提取运动前景像 minllx-D81l2,s.t.IBllos 素，以滑动窗口方式根据前景像素点占比获取运 动前景块，并设计3个自动编码器，分别以灰度图 式中：阝为稀疏编码；s用于控制稀疏度。稀疏编 和梯度作为输入，学习前景块的时空特征。最 码的优化较为耗时，文献[14]减小字典大小来提 后，采用改进的稀疏组合算法对特征建模，进行 升检测效率。Zhao等改用更快速的求解器，但 异常检测。 单帧检测仍需数秒时间。文献[16]提出取消稀疏 约束学习多个小字典，作者称之为稀疏组合学 1相关工作 习，可达到150s的检测效率。本文在此基础上 提出了一种自更新的稀疏组合学习方法，以权值 1.1背景建模 视频中的运动前景检测方法主要有：光流 的方式加入先验知识，并在线更新，提高稀疏组 法、帧间差分法和背景差分法3种。自适应混 合的灵活性。 合高斯算法是常用的前景提取方法，可自适应地 2基于运动前景快的特征表示 确定高斯数量，减少光照、噪声等带来的影响。 本文采用Zivkovict提出的自适应混合高斯算 2.1构建运动前景块 法，提取视频的运动前景。图1为运动前景提取 采用Zivkovic19叨方法，获取视频运动前景区 结果图。可以看到，即使光照不均、树叶轻微浮 域。以滑动窗口方式遍历视频帧，前景像素个数 动，运动前景区域分割效果依然很好。 占比超过阈值的窗口块为运动前景块。由于前景 检测结果中存在噪声点，通过该方式可过滤掉部 分噪声，还可保留前景像素点的空间相对位置关系。 具体方法为，假定窗口内的前景像素个数为 b,计算前景像素点的占比： (a)原图 (b)二值图 b p=- XW 图1自适应混合高斯背景建模算法提取运动前景 Fig.1 Extraction of moving foregrounds by adaptive 式中：w为窗口大小，本文为64。若p大于阈值 GMM 则当前窗口为运动前景块，否则为背景或噪声块。 1.2异常事件检测中的特征学习 2.2 基于卷积自动编码器的特征提取 特征学习是异常检测的基础和关键。Le等o 本文构建的3个卷积自动编码器提取时空特 考虑速度、方向和群体效应3种因素，采用Fameback 征，如图2所示。位于中间的自动编码器以灰度 算法0提取光流特征，并构建区域运动影响矩阵。 图作为输入，学习表观特征。另外两个的输入均 近年来，深度学习在计算机视觉领域取得了 为梯度，分别学习前后运动特征。3个自动编码 巨大成功。Xu等6首次将深度学习应用在异常 器采用相同的结构，其中编码器由3个卷积层和 检测任务，采用叠加去噪编码器提取特征。Has- 3个最大池化层构成，解码器为3个上采样层和 an等2设计了两个编码器，分别为全连接自动编 3个卷积层，以及输出层，具体参数如表1所示。 码器和三维全卷积前馈网络。此外，一些方法使 卷积自动编码器的输人输出均为64×64×1。卷 用预训练网络提取表观特征。如文献[21]采用 积层采用3×3滤波器，除输出层外均使用RLU ImageNet22数据集预训练的卷积网络提取特征。 激活函数。编码器的卷积层分别设有32、16、 该类方法受限于相关任务类型和模型跨领域问 8个滤波器，池化层的步长为2。解码器的第一个 题，检测准确率偏低。 卷积层为8个滤波器，随后两层设为16和32，上 与上述方法不同的是，本文提出采用卷积自 采样层将输入大小扩大一倍。取网络，包含运动混合和特征迁移两个模块。检 测模型主要有分类和聚类[10-11] 、误差值[12-13] 和稀 疏表示[14-17]。Lu 等 [16]取消稀疏约束，提出稀疏组 合学习算法，检测速度可达 150 f/s。文献 [17] 提 出将稀疏参数映射到层叠循环神经网络中，提高 了检测速度。 本文针对异常检测输入通常为视频帧或图像 块的局限性，利用混合高斯算法提取运动前景像 素，以滑动窗口方式根据前景像素点占比获取运 动前景块，并设计 3 个自动编码器，分别以灰度图 和梯度作为输入，学习前景块的时空特征。最 后，采用改进的稀疏组合算法对特征建模，进行 异常检测。 1 相关工作 1.1 背景建模 视频中的运动前景检测方法主要有：光流 法、帧间差分法和背景差分法 3 种 [18]。自适应混 合高斯算法是常用的前景提取方法，可自适应地 确定高斯数量，减少光照、噪声等带来的影响。 本文采用 Zivkovic[19] 提出的自适应混合高斯算 法，提取视频的运动前景。图 1 为运动前景提取 结果图。可以看到，即使光照不均、树叶轻微浮 动，运动前景区域分割效果依然很好。 (a) 原图 (b) 二值图 图 1 自适应混合高斯背景建模算法提取运动前景 Fig. 1 Extraction of moving foregrounds by adaptive GMM 1.2 异常事件检测中的特征学习 特征学习是异常检测的基础和关键。Lee 等 [10] 考虑速度、方向和群体效应 3 种因素，采用 Farneback 算法[20] 提取光流特征，并构建区域运动影响矩阵。 近年来，深度学习在计算机视觉领域取得了 巨大成功。Xu 等 [6] 首次将深度学习应用在异常 检测任务，采用叠加去噪编码器提取特征。Has￾an 等 [12] 设计了两个编码器，分别为全连接自动编 码器和三维全卷积前馈网络。此外，一些方法使 用预训练网络提取表观特征。如文献 [21] 采用 ImageNet[22] 数据集预训练的卷积网络提取特征。 该类方法受限于相关任务类型和模型跨领域问 题，检测准确率偏低。 与上述方法不同的是，本文提出采用卷积自 动编码器学习运动前景块的时空特征，过滤冗余 背景信息。 1.3 基于稀疏编码的异常检测 X = {x1, x2,··· , xn} 基于稀释编码的异常检测[13-16] 在训练阶段从 正常特征数据 中学习稀疏约束 的字典 D。在测试阶段，给定测试样本 x，计算稀 疏重构误差值： min β ∥x− Dβ∥ 2 2 , s.t. ∥β∥0 ⩽ s 式中：β 为稀疏编码；s 用于控制稀疏度。稀疏编 码的优化较为耗时，文献 [14] 减小字典大小来提 升检测效率。Zhao 等 [15] 改用更快速的求解器，但 单帧检测仍需数秒时间。文献 [16] 提出取消稀疏 约束学习多个小字典，作者称之为稀疏组合学 习，可达到 150 f/s 的检测效率。本文在此基础上 提出了一种自更新的稀疏组合学习方法，以权值 的方式加入先验知识，并在线更新，提高稀疏组 合的灵活性。 2 基于运动前景快的特征表示 2.1 构建运动前景块 采用 Zivkovic[19] 方法，获取视频运动前景区 域。以滑动窗口方式遍历视频帧，前景像素个数 占比超过阈值的窗口块为运动前景块。由于前景 检测结果中存在噪声点，通过该方式可过滤掉部 分噪声，还可保留前景像素点的空间相对位置关系。 b 具体方法为，假定窗口内的前景像素个数为 ，计算前景像素点的占比： p = b w×w 式中：w 为窗口大小，本文为 64。若 p 大于阈值 则当前窗口为运动前景块，否则为背景或噪声块。 2.2 基于卷积自动编码器的特征提取 64×64×1 3×3 本文构建的 3 个卷积自动编码器提取时空特 征，如图 2 所示。位于中间的自动编码器以灰度 图作为输入，学习表观特征。另外两个的输入均 为梯度，分别学习前后运动特征。3 个自动编码 器采用相同的结构，其中编码器由 3 个卷积层和 3 个最大池化层构成，解码器为 3 个上采样层和 3 个卷积层，以及输出层，具体参数如表 1 所示。 卷积自动编码器的输入输出均为 。卷 积层采用 滤波器，除输出层外均使用 ReLU 激活函数。编码器的卷积层分别设有 32、16、 8 个滤波器，池化层的步长为 2。解码器的第一个 卷积层为 8 个滤波器，随后两层设为 16 和 32，上 采样层将输入大小扩大一倍。 ·1198· 智 能 系 统 学 报 第 15 卷