【人工智能】深度自编码与自更新稀疏组合的异常事件检测算法

第15卷第6期 智能系统学报 Vol.15 No.6 2020年11月 CAAI Transactions on Intelligent Systems Nov.2020 D0L:10.11992tis.202007003 深度自编码与自更新稀疏组合的异常事件检测算法 王倩倩，苗夺谦，张远健 (同济大学嵌入式系统与服务计算教育部重点实验室，上海201804) 摘要：基于深度学习的异常检测算法输入通常为视频帧或光流图像，检测精度和速度较低。针对上述问题， 提出了一种以运动前景块为中心的卷积自动编码器和自更新稀疏组合学习(convolutional auto-encoders and self- updating sparse combination learning,CASSC)算法。首先，采用自适应混合高斯模型(gaussian mixture model,, GMM)提取视频前景，并以滑动窗口的方式根据前景像素点占比过滤噪声：其次，构建3个卷积自动编码器提 取运动前景块的时空特征；最后，使用自更新稀疏组合学习对特征进行重构，依据重构误差进行异常判断。实 验结果表明，与现有算法相比，该方法不仅有效地提高了异常事件检测的准确性，且可以满足实时检测需求。 关键词：深度学习：稀疏组合；自动编码器：自更新：异常事件检测；卷积神经网络：无监督学习；稀疏学习 中图分类号：TP391文献标志码：A文章编号：1673-4785(2020)06-1197-07 中文引用格式：王倩倩，苗夺谦，张远健.深度自编码与自更新稀疏组合的异常事件检测算法.智能系统学报，2020,15(6)： 1197-1203. 英文引用格式：VANG Qiangian,MIAO Duogian,ZHANG Yuanjian..Abnormal event detection method based on deep auto- encoder and self-updating sparse combinationJ.CAAI transactions on intelligent systems,2020,15(6):1197-1203. Abnormal event detection method based on deep auto-encoder and self-updating sparse combination WANG Qianqian,MIAO Duoqian,ZHANG Yuanjian (Key Laboratory of Embedded System and Service Computing,Tongji University,Shanghai 201804,China) Abstract:In the construction of a deep learning model for abnormal event detection,frames or optical flow are con- sidered but the resulting accuracy and speed are not satisfactory.To address these problems,we present an algorithm based on convolutional auto-encoders and self-updating sparse combination learning,which is centered on the move- ment of foreground blocks.First,we use an adaptive Gaussian mixture model to extract the foreground.Using a sliding window,the foreground blocks that are moving,are filtered based on the number of foreground pixels.Three convolu- tional auto-encoders are then constructed to extract the temporal and spatial features of the moving foreground blocks. Lastly,self-updating sparse combination learning is applied to reconstruct the features and identify abnormal events based on the reconstruction error.The experimental results show that compared with existing algorithms,the proposed method improves the accuracy of abnormality detection and enables real-time detection. Keywords:deep learning;sparse combination;auto-encoder,self-updating,abnormal event detection;convolution neur- al network;unsupervised learning:sparse representation 异常事件检测是指通过图像处理、模式识别和 因光照、背景和视角等因素的影响以及缺少异常数 计算机视觉等技术，分析视频中的有效信息，判断 据，异常事件检测仍是一项具有挑战性的任务②。 异常事件检测通常包含特征提取和建立检测 异常事件。作为智能视频监控系统的重要应用之 模型。特征分为底层和深度学习特征。底层特征 一，异常事件检测受到了国内外学者的广泛关注。 主要有方向梯度直方图)、三维时空梯度、光流 收稿日期：2020-07-01 基金项目：国家自然科学基金项目(61976158,61673301). 直方图的等。近年来，部分学者提出基于深度学 通信作者：苗夺谦.E-mail:dqmiao@tongji..edu.cn. 习的检测算法6-。Zhou等设计了一个特征提

DOI: 10.11992/tis.202007003 深度自编码与自更新稀疏组合的异常事件检测算法 王倩倩，苗夺谦，张远健 （同济大学 嵌入式系统与服务计算教育部重点实验室，上海 201804） 摘 要：基于深度学习的异常检测算法输入通常为视频帧或光流图像，检测精度和速度较低。针对上述问题， 提出了一种以运动前景块为中心的卷积自动编码器和自更新稀疏组合学习 (convolutional auto-encoders and self￾updating sparse combination learning, CASSC) 算法。首先，采用自适应混合高斯模型 (gaussian mixture model, GMM) 提取视频前景，并以滑动窗口的方式根据前景像素点占比过滤噪声；其次，构建 3 个卷积自动编码器提 取运动前景块的时空特征；最后，使用自更新稀疏组合学习对特征进行重构，依据重构误差进行异常判断。实 验结果表明，与现有算法相比，该方法不仅有效地提高了异常事件检测的准确性，且可以满足实时检测需求。 关键词：深度学习；稀疏组合；自动编码器；自更新；异常事件检测；卷积神经网络；无监督学习；稀疏学习 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)06−1197−07 中文引用格式：王倩倩, 苗夺谦, 张远健. 深度自编码与自更新稀疏组合的异常事件检测算法 [J]. 智能系统学报, 2020, 15(6): 1197–1203. 英文引用格式：WANG Qianqian, MIAO Duoqian, ZHANG Yuanjian. Abnormal event detection method based on deep auto￾encoder and self-updating sparse combination[J]. CAAI transactions on intelligent systems, 2020, 15(6): 1197–1203. Abnormal event detection method based on deep auto-encoder and self-updating sparse combination WANG Qianqian，MIAO Duoqian，ZHANG Yuanjian (Key Laboratory of Embedded System and Service Computing, Tongji University, Shanghai 201804, China) Abstract: In the construction of a deep learning model for abnormal event detection, frames or optical flow are con￾sidered but the resulting accuracy and speed are not satisfactory. To address these problems, we present an algorithm based on convolutional auto-encoders and self-updating sparse combination learning, which is centered on the move￾ment of foreground blocks. First, we use an adaptive Gaussian mixture model to extract the foreground. Using a sliding window, the foreground blocks that are moving, are filtered based on the number of foreground pixels. Three convolu￾tional auto-encoders are then constructed to extract the temporal and spatial features of the moving foreground blocks. Lastly, self-updating sparse combination learning is applied to reconstruct the features and identify abnormal events based on the reconstruction error. The experimental results show that compared with existing algorithms, the proposed method improves the accuracy of abnormality detection and enables real-time detection. Keywords: deep learning; sparse combination; auto-encoder; self-updating; abnormal event detection; convolution neur￾al network; unsupervised learning; sparse representation 异常事件检测是指通过图像处理、模式识别和 计算机视觉等技术，分析视频中的有效信息，判断 异常事件。作为智能视频监控系统的重要应用之 一，异常事件检测受到了国内外学者的广泛关注。 因光照、背景和视角等因素的影响以及缺少异常数 据，异常事件检测仍是一项具有挑战性的任务[1-2]。 异常事件检测通常包含特征提取和建立检测 模型。特征分为底层和深度学习特征。底层特征 主要有方向梯度直方图[3] 、三维时空梯度[4] 、光流 直方图[5] 等。近年来，部分学者提出基于深度学 习的检测算法[6-9]。Zhou 等 [8] 设计了一个特征提 收稿日期：2020−07−01. 基金项目：国家自然科学基金项目 (61976158，61673301). 通信作者：苗夺谦. E-mail：dqmiao@tongji.edu.cn. 第 15 卷第 6 期 智 能 系 统 学 报 Vol.15 No.6 2020 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2020

·1198· 智能系统学报 第15卷 取网络，包含运动混合和特征迁移两个模块。检 动编码器学习运动前景块的时空特征，过滤冗余 测模型主要有分类和聚类10-川、误差值211和稀 背景信息。 疏表示47。Lu等6取消稀疏约束，提出稀疏组 13基于稀疏编码的异常检测 合学习算法，检测速度可达150fs。文献[17]提 基于稀释编码的异常检测3在训练阶段从 出将稀疏参数映射到层叠循环神经网络中，提高 正常特征数据X={x1,x2,…,xn}中学习稀疏约束 了检测速度。 的字典D。在测试阶段，给定测试样本x,计算稀 本文针对异常检测输入通常为视频帧或图像 疏重构误差值： 块的局限性，利用混合高斯算法提取运动前景像 minllx-D81l2,s.t.IBllos 素，以滑动窗口方式根据前景像素点占比获取运 动前景块，并设计3个自动编码器，分别以灰度图 式中：阝为稀疏编码；s用于控制稀疏度。稀疏编 和梯度作为输入，学习前景块的时空特征。最 码的优化较为耗时，文献[14]减小字典大小来提 后，采用改进的稀疏组合算法对特征建模，进行 升检测效率。Zhao等改用更快速的求解器，但 异常检测。 单帧检测仍需数秒时间。文献[16]提出取消稀疏 约束学习多个小字典，作者称之为稀疏组合学 1相关工作 习，可达到150s的检测效率。本文在此基础上 提出了一种自更新的稀疏组合学习方法，以权值 1.1背景建模 视频中的运动前景检测方法主要有：光流 的方式加入先验知识，并在线更新，提高稀疏组 法、帧间差分法和背景差分法3种。自适应混 合的灵活性。 合高斯算法是常用的前景提取方法，可自适应地 2基于运动前景快的特征表示 确定高斯数量，减少光照、噪声等带来的影响。 本文采用Zivkovict提出的自适应混合高斯算 2.1构建运动前景块 法，提取视频的运动前景。图1为运动前景提取 采用Zivkovic19叨方法，获取视频运动前景区 结果图。可以看到，即使光照不均、树叶轻微浮 域。以滑动窗口方式遍历视频帧，前景像素个数 动，运动前景区域分割效果依然很好。 占比超过阈值的窗口块为运动前景块。由于前景 检测结果中存在噪声点，通过该方式可过滤掉部 分噪声，还可保留前景像素点的空间相对位置关系。 具体方法为，假定窗口内的前景像素个数为 b,计算前景像素点的占比： (a)原图 (b)二值图 b p=- XW 图1自适应混合高斯背景建模算法提取运动前景 Fig.1 Extraction of moving foregrounds by adaptive 式中：w为窗口大小，本文为64。若p大于阈值 GMM 则当前窗口为运动前景块，否则为背景或噪声块。 1.2异常事件检测中的特征学习 2.2 基于卷积自动编码器的特征提取 特征学习是异常检测的基础和关键。Le等o 本文构建的3个卷积自动编码器提取时空特 考虑速度、方向和群体效应3种因素，采用Fameback 征，如图2所示。位于中间的自动编码器以灰度 算法0提取光流特征，并构建区域运动影响矩阵。 图作为输入，学习表观特征。另外两个的输入均 近年来，深度学习在计算机视觉领域取得了 为梯度，分别学习前后运动特征。3个自动编码 巨大成功。Xu等6首次将深度学习应用在异常 器采用相同的结构，其中编码器由3个卷积层和 检测任务，采用叠加去噪编码器提取特征。Has- 3个最大池化层构成，解码器为3个上采样层和 an等2设计了两个编码器，分别为全连接自动编 3个卷积层，以及输出层，具体参数如表1所示。 码器和三维全卷积前馈网络。此外，一些方法使 卷积自动编码器的输人输出均为64×64×1。卷 用预训练网络提取表观特征。如文献[21]采用 积层采用3×3滤波器，除输出层外均使用RLU ImageNet22数据集预训练的卷积网络提取特征。 激活函数。编码器的卷积层分别设有32、16、 该类方法受限于相关任务类型和模型跨领域问 8个滤波器，池化层的步长为2。解码器的第一个 题，检测准确率偏低。 卷积层为8个滤波器，随后两层设为16和32，上 与上述方法不同的是，本文提出采用卷积自 采样层将输入大小扩大一倍

取网络，包含运动混合和特征迁移两个模块。检 测模型主要有分类和聚类[10-11] 、误差值[12-13] 和稀 疏表示[14-17]。Lu 等 [16]取消稀疏约束，提出稀疏组 合学习算法，检测速度可达 150 f/s。文献 [17] 提 出将稀疏参数映射到层叠循环神经网络中，提高 了检测速度。 本文针对异常检测输入通常为视频帧或图像 块的局限性，利用混合高斯算法提取运动前景像 素，以滑动窗口方式根据前景像素点占比获取运 动前景块，并设计 3 个自动编码器，分别以灰度图 和梯度作为输入，学习前景块的时空特征。最 后，采用改进的稀疏组合算法对特征建模，进行 异常检测。 1 相关工作 1.1 背景建模 视频中的运动前景检测方法主要有：光流 法、帧间差分法和背景差分法 3 种 [18]。自适应混 合高斯算法是常用的前景提取方法，可自适应地 确定高斯数量，减少光照、噪声等带来的影响。 本文采用 Zivkovic[19] 提出的自适应混合高斯算 法，提取视频的运动前景。图 1 为运动前景提取 结果图。可以看到，即使光照不均、树叶轻微浮 动，运动前景区域分割效果依然很好。 (a) 原图 (b) 二值图 图 1 自适应混合高斯背景建模算法提取运动前景 Fig. 1 Extraction of moving foregrounds by adaptive GMM 1.2 异常事件检测中的特征学习 特征学习是异常检测的基础和关键。Lee 等 [10] 考虑速度、方向和群体效应 3 种因素，采用 Farneback 算法[20] 提取光流特征，并构建区域运动影响矩阵。 近年来，深度学习在计算机视觉领域取得了 巨大成功。Xu 等 [6] 首次将深度学习应用在异常 检测任务，采用叠加去噪编码器提取特征。Has￾an 等 [12] 设计了两个编码器，分别为全连接自动编 码器和三维全卷积前馈网络。此外，一些方法使 用预训练网络提取表观特征。如文献 [21] 采用 ImageNet[22] 数据集预训练的卷积网络提取特征。 该类方法受限于相关任务类型和模型跨领域问 题，检测准确率偏低。 与上述方法不同的是，本文提出采用卷积自 动编码器学习运动前景块的时空特征，过滤冗余 背景信息。 1.3 基于稀疏编码的异常检测 X = {x1, x2,··· , xn} 基于稀释编码的异常检测[13-16] 在训练阶段从 正常特征数据 中学习稀疏约束 的字典 D。在测试阶段，给定测试样本 x，计算稀 疏重构误差值： min β ∥x− Dβ∥ 2 2 , s.t. ∥β∥0 ⩽ s 式中：β 为稀疏编码；s 用于控制稀疏度。稀疏编 码的优化较为耗时，文献 [14] 减小字典大小来提 升检测效率。Zhao 等 [15] 改用更快速的求解器，但 单帧检测仍需数秒时间。文献 [16] 提出取消稀疏 约束学习多个小字典，作者称之为稀疏组合学 习，可达到 150 f/s 的检测效率。本文在此基础上 提出了一种自更新的稀疏组合学习方法，以权值 的方式加入先验知识，并在线更新，提高稀疏组 合的灵活性。 2 基于运动前景快的特征表示 2.1 构建运动前景块 采用 Zivkovic[19] 方法，获取视频运动前景区 域。以滑动窗口方式遍历视频帧，前景像素个数 占比超过阈值的窗口块为运动前景块。由于前景 检测结果中存在噪声点，通过该方式可过滤掉部 分噪声，还可保留前景像素点的空间相对位置关系。 b 具体方法为，假定窗口内的前景像素个数为 ，计算前景像素点的占比： p = b w×w 式中：w 为窗口大小，本文为 64。若 p 大于阈值 则当前窗口为运动前景块，否则为背景或噪声块。 2.2 基于卷积自动编码器的特征提取 64×64×1 3×3 本文构建的 3 个卷积自动编码器提取时空特 征，如图 2 所示。位于中间的自动编码器以灰度 图作为输入，学习表观特征。另外两个的输入均 为梯度，分别学习前后运动特征。3 个自动编码 器采用相同的结构，其中编码器由 3 个卷积层和 3 个最大池化层构成，解码器为 3 个上采样层和 3 个卷积层，以及输出层，具体参数如表 1 所示。 卷积自动编码器的输入输出均为 。卷 积层采用 滤波器，除输出层外均使用 ReLU 激活函数。编码器的卷积层分别设有 32、16、 8 个滤波器，池化层的步长为 2。解码器的第一个 卷积层为 8 个滤波器，随后两层设为 16 和 32，上 采样层将输入大小扩大一倍。 ·1198· 智 能 系 统 学 报 第 15 卷

第6期 王倩倩，等：深度自编码与自更新稀疏组合的异常事件检测算法 ·1199· 编码器 解码器 后一帧 编码器 解码器 当前帧 编码器 解码器 上一帧 图2基于运动前景块的卷积自动编码器结构 Fig.2 Structure of convolutional automatic encoder 表1卷积自动编码器的具体结构 Table 1 Structure specifications of the convolutional auto-encoder 层名称 描述 参数 Input 输入层 64×64 Encoder-Conv1 卷积层 32个3×3的卷积核，stride=-l,padding=1 Encoder-Pooll 池化层 kernel size=2,stride=2 Encoder-Conv2 卷积层 l6个3×3的卷积核，stride=-l,padding=1 Encoder-Pool2 池化层 kernel size=2,stride=2 Encoder-Conv3 卷积层 8个3x3的卷积核，stride=l,padding=l Encoder-Pool3 池化层 kernel size=2,stride=2 Decoder-Pooll 上采样层 kernel size=2,stride=2 Decoder-Convl 卷积层 8个3x3的卷积核，stride=-l,padding=l Decoder-Pool2 上采样层 kernel size=2,stride=2 Decoder-Conv2 卷积层 16个3×3的卷积核，stride=1,padding=1 Decoder-Pool2 上采样层 kernel size=2,stride=2 Decoder-Conv3 卷积层 32个3×3的卷积核，stride=l,padding=l Conv 输出层 1个3×3的卷积核，stride=L,padding=l 采用Adam方法2对网络的参数进行优化， 据输出值大小判断是否为异常，同时选择置信度 损失函数为 较高的测试样本对权值进行更新。 1 LL,0) .-0 h,w台i 测试数据 式中：I和O分别为输入输出运动前景块；h、w为 运动前景块的高宽。训练数据为正常视频，自动 编码器学习正常运动目标的时空特征。将自动编 训练数据 码器的隐特征拼接作为运动前景块的时空特征。 因每个卷积编码器的隐特征为8×8×8，故运动前 景块的时空特征为1536维(8×8×8×3)0 3基于自更新稀疏组合异常检测算法 输出 自更新稀疏组合检测算法流程图如图3所 W1 W2 示，从训练数据中学习稀疏组合集合S=S1 图3基于自更新稀疏组合学习检测模型 S2,…,S},设定初始权值。给定测试数据，计算加 Fig.3 Self-updating sparse combination learning detec- 权最小二乘误差，选取最小值作为结果输出。根 tion model

后一帧 当前帧 上一帧 编码器 编码器 编码器 解码器 解码器 解码器 图 2 基于运动前景块的卷积自动编码器结构 Fig. 2 Structure of convolutional automatic encoder 表 1 卷积自动编码器的具体结构 Table 1 Structure specifications of the convolutional auto-encoder 层名称 描述 参数 Input 输入层 64×64 Encoder-Conv1 卷积层 32个3×3的卷积核，stride=1, padding=1 Encoder-Pool1 池化层 kernel_size=2, stride=2 Encoder-Conv2 卷积层 16个3×3的卷积核，stride=1, padding=1 Encoder-Pool2 池化层 kernel_size=2, stride=2 Encoder-Conv3 卷积层 8个3×3的卷积核，stride=1, padding=1 Encoder-Pool3 池化层 kernel_size=2, stride=2 Decoder-Pool1 上采样层 kernel_size=2, stride=2 Decoder-Conv1 卷积层 8个3×3的卷积核，stride=1, padding=1 Decoder-Pool2 上采样层 kernel_size=2, stride=2 Decoder-Conv2 卷积层 16个3×3的卷积核，stride=1, padding=1 Decoder-Pool2 上采样层 kernel_size=2, stride=2 Decoder-Conv3 卷积层 32个3×3的卷积核，stride=1, padding=1 Conv 输出层 1个3×3的卷积核，stride=1, padding=1 采用 Adam 方法[21]对网络的参数进行优化， 损失函数为 L(I,O) = 1 h,w ∑h i=1 ∑w j=1 ( Ii j −Oi j)2 8×8×8 8×8×8×3 式中：I 和 O 分别为输入输出运动前景块；h、w 为 运动前景块的高宽。训练数据为正常视频，自动 编码器学习正常运动目标的时空特征。将自动编 码器的隐特征拼接作为运动前景块的时空特征。 因每个卷积编码器的隐特征为 ，故运动前 景块的时空特征为 1536 维 ( )。 3 基于自更新稀疏组合异常检测算法 S = {S1, S2,··· ,Sk} 自更新稀疏组合检测算法流程图如图 3 所 示，从训练数据中学习稀疏组合集合 ，设定初始权值。给定测试数据，计算加 权最小二乘误差，选取最小值作为结果输出。根 据输出值大小判断是否为异常，同时选择置信度 较高的测试样本对权值进行更新。 训练数据 测试数据 输出 w1 w2 ... wk−1 wk E1 E2 ... Ek−1 Ek S1 S2 ... ... Sk−1 Sk 图 3 基于自更新稀疏组合学习检测模型 Fig. 3 Self-updating sparse combination learning detec￾tion model 第 6 期 王倩倩，等：深度自编码与自更新稀疏组合的异常事件检测算法 ·1199·

·1200· 智能系统学报 第15卷 3.1模型构造 33权值初始化和自更新 稀疏组合学习假定训练样本均可在稀疏组合 出现频率越高的稀疏组合所表示事件为正常 集合中找出能够以较小误差进行线性重构的组 的概率越高。为每个稀疏组合设定权值，值越高 合，表示为 重要性越大。在32节每轮训练结束后，统计 t=mi∑∑y-S =1的总数，记为。对S,的权值进行初始化： =1 (1) 方=1，￥=0.山 财-月 S.t. 测试阶段，选择重构误差值小于阈值μ的样 式中：S,为稀疏组合；x,为运动前景块的特征； 本对权值进行更新。给定测试特征x∈RP,计算 n为训练样本的总数；k为稀疏组合的个数； 稀疏组合的加权重构误差： y=y,Y2,…Ya以，Y=yy…,l,Y表示S,是否 e:=(1-w)×E 为特征x的最优稀疏组合；是稀疏组合S,用于 式中1≤i≤k。若min(e,e2,…,e)≤4，则对权值进 表示x的系数。 行更新，公式为 3.2模型参数求解 t+1,e=min(e1,e2,…,e) 为了提高检测效率，k值应尽可能小。引入 = ,其他 超参入，当训练数据的重构误差小于该值时，训练 (9) 结束。式()更新为 5=∑，-s-≤0 (2) 3.4自更新稀疏组合检测 s.t. ∑=l=@vie,2… 给定测试数据x,计算稀疏组合的最小二乘 采用迭代方式求解式(2)，可快速找到表征大 误差： 多数正常特征的稀疏组合。具体方法为，对于第 min-58 1轮，更新S。式(2)转化为 ∑-S6-) 式中：1≤i≤k;B的闭式解为 B=(STS)STx (3) S.t. =1.=0.山 则x与S,的加权重构误差为 1 式中2为当前训练数据X∈X的下标集合。同 1-w-sp=1-ws6Ss's-小 样采用迭代方式求解式(3)，分两步进行： 式中I。为p×p的单位矩阵。为每个稀疏组合定 1)固定y,更新S:和B。式(3)简化为二次方程： 义一个辅助矩阵H: LB,S)=∑Y-sPHB (4) H:=S:(SS)S-Ip 对所有y≠0，可求得最优B。B的闭式解为 最终只需对测试数据x,按照式(10)即可计 算出其与每个稀疏组合的加权重构误差： B=(STS)SIx, (5) E=x 通过块坐标下降法求得S,的最优解为 (10) e:=(1-w)E S:=ΠS-6,7sL(B,S)l (6) 式中6，设置为0.0001。 若存在e<T(1≤i≤k),x为正常，否则为异 2)根据{S),更新y。对x求解函数为 常。如果e<μ，则根据式(9)对权值进行更新，完 minlB s.t.=(0.1) (7) 成权值的在线更新。 易得y的闭式解为 4实验与分析 -{&9 (8) 41数据集 本文在数据集Avenuelis和UCSD21上进行 重复上述两个步骤，直至式(3)收敛，则第 了大量实验。Avenue数据集中共l6个训练视 i轮结束。x。为空时，整个训练结束。 频，21个测试视频。训练视频仅为正常事件，测

3.1 模型构造 稀疏组合学习假定训练样本均可在稀疏组合 集合中找出能够以较小误差进行线性重构的组 合，表示为 t = min S,γ,β ∑n j=1 ∑k i=1 γ i j xj −Siβ i j 2 2 s.t. ∑k i=1‘ γ i j = 1, γi j = {0,1} (1) γ = {γ1,γ2,··· ,γn} γj = {γ 1 j ,γ 2 j ,··· ,γ k j } γ i j β i j 式中：Si 为稀疏组合；xj 为运动前景块的特征； n 为训练样本的总数； k 为稀疏组合的个数； ， ， 表示 Si 是否 为特征 xj 的最优稀疏组合； 是稀疏组合 Si 用于 表示 xj 的系数。 3.2 模型参数求解 为了提高检测效率，k 值应尽可能小。引入 超参 λ，当训练数据的重构误差小于该值时，训练 结束。式 (1) 更新为 tj = ∑k i=1 γ i j { xj −Siβ i j 2 2 −λ } ⩽ 0 s.t. ∑k i=1‘ γ i j = 1, γ i j = {0,1} ∀ j ∈ {1,2,··· ,n} (2) 采用迭代方式求解式 (2)，可快速找到表征大 多数正常特征的稀疏组合。具体方法为，对于第 i 轮，更新 Si。式 (2) 转化为 min Si,γ,β ∑ j∈Ωc γ i j ( xj −Siβ i j 2 2 −λ ) s.t. ∑k i=1‘ γ i j = 1, γ i j = {0,1} (3) 式中 Ωc 为当前训练数据 Xc ∈ X 的下标集合。同 样采用迭代方式求解式 (3)，分两步进行： 1) 固定 γ ，更新 Si 和 β。式 (3) 简化为二次方程： L(β,Si) = ∑ j∈Ωc γ i j xj −Siβ i j 2 2 (4) γ i 对所有 j , 0 ，可求得最优 β。β 的闭式解为 β i j = ( S T i Si )−1 S T i xj (5) 通过块坐标下降法求得 Si 的最优解为 Si = Π[ Si −δt∇S iL(β,Si) ] (6) 式中 δt 设置为 0.0001。 2) 根据{Si , β}，更新 γ。对 xj 求解函数为 min γ i j γ i j xj −Siβ i j 2 2 −λγ i j , s.t. γ i j = {0,1} (7) γ i 易得 j 的闭式解为 γ i j =    1, xj −Siβ i j 2 2 < λ 0, 其他 (8) 重复上述两个步骤，直至式 (3) 收敛，则第 i 轮结束。xc 为空时，整个训练结束。 3.3 权值初始化和自更新 γ i j = 1 出现频率越高的稀疏组合所表示事件为正常 的概率越高。为每个稀疏组合设定权值，值越高 重要性越大。在 3.2 节每轮训练结束后，统计 的总数，记为 τi。对 Si 的权值进行初始化： w 0 i = τ 0 i n µ x ∈ R p 测试阶段，选择重构误差值小于阈值 的样 本对权值进行更新。给定测试特征 ，计算 稀疏组合的加权重构误差： ei = (1−wi)× Ei 式中 1 ⩽ i ⩽ k 。若 min(e1, e2,··· , ek) ⩽ µ ，则对权值进 行更新，公式为 τ t+1 i =    τ t i +1, ei = min(e1, e2,··· , ek) τ t i , 其他 w t+1 i = τ t+1 i ∑k j=1 τ t+1 j (9) 3.4 自更新稀疏组合检测 给定测试数据 x，计算稀疏组合的最小二乘 误差： min β x−Siβ i 2 2 式中： 1 ⩽ i ⩽ k ；β 的闭式解为 βˆ i = (S T i Si) −1S T i x 则 x 与 Si 的加权重构误差为 (1−wi) x−Siβ i 2 2 = (1−wi) ( Si ( S T i Si )−1 S T i − I p ) x 2 2 式中 Ip 为 p× p 的单位矩阵。为每个稀疏组合定 义一个辅助矩阵 Hi： Hi = Si(S T i Si) −1S T i − Ip 最终只需对测试数据 x，按照式 (10) 即可计 算出其与每个稀疏组合的加权重构误差： { Ei = ∥Hix∥ 2 2 ei = (1−wi)Ei (10) ei < T 1 ⩽ i ⩽ k ei < µ 若存在 ( )，x 为正常，否则为异 常。如果 ，则根据式 (9) 对权值进行更新，完 成权值的在线更新。 4 实验与分析 4.1 数据集 本文在数据集 Avenue[15] 和 UCSD[23] 上进行 了大量实验。Avenue 数据集中共 16 个训练视 频，21 个测试视频。训练视频仅为正常事件，测 ·1200· 智 能 系 统 学 报 第 15 卷

第6期 王倩倩，等：深度自编码与自更新稀疏组合的异常事件检测算法 ·1201· 试视频包含异常和正常事件。异常事件包含快速 最好与最差情况。最高检测率为视频03，包含两 奔跑、抛掷物品和蹦跳等，如图4所示。 个快速奔跑异常。视频07的异常为行人蹦跳，识 别率为90.2%，是21个测试视频中的最低值。对 Avenue 比两段视频，发现虽然两者都是速度上的异常， 但视频03中的运动状态变化远大于视频07，造 UCSD Ped 1 成两者识别率差异较大。 表2本文方法在Avenue测试视频上的实验结果 Table 2 Results of proposed method on Avenue test videos UCSD Ped 2 测试视频总帧数 正确帧数 错误帧数识别率/% 9 1424 1304 120 91.6 图4 Avenue和UCSD数据集异常图像示例 03 923 852 71 92.3 Fig.4 Abnormal images from the Avenue and UCSD datasets 07 605 546 90.2 UCSD数据集分为2个场景Pedl和Ped2。训 So 练数据为正常事件，测试数据涉及多种异常行 为了进一步验证本文算法的有效性，与其他 为，如行人道上骑车、出现货车、轮滑等，如图4 算法进行了比较，如表3所示。可以看到，相较于 所示。Ped1有34段训练视频和36段测试视频： 经典的稀疏组合算法6，本文算法提升了6.4%， Ped2视频包含16段训练视频和12段测试视频。 相较于最近的方法2凹，也有2.9%的提升。 4.2实验设置 表3在Avenue数据集上的结果对比 对于卷积自动编码器，每个数据集都进行 Table 3 Comparison of performance on Avenue data- 200轮训练，前100轮学习率设为0.001，后100轮 set with AUC 学习率设为0.0001，采用小批量方法训练。式(2) 算法 AUC 中的1设置为0.04，表示误差上限。实验均在 Schis] 80.9 Ubuntul6.04、NVIDIA CUDA8.0、PyTorchl.0、 Conv-AEI12] 70.2 OpenCVs3.0、Python环境下完成。 C2STPs] 84.4 4.3评价指标 CASSC 87.3 采用异常检测常用的帧级AUC评价指标 对于检测结果为异常的样本，若其标注中存在异 4.4.2UCSD数据集 常像素，则认为检测正确。AUC值为接收者操作 表4给出了本文算法与其他算法在UCSD数 特性曲线(receiver operating characteristic,ROC)下 据集上的AUC值。本文算法AUC为87.3%，比 包含的面积。 Conv-AE21提高了6.3%，与SC11相比提升了 4.4结果与分析 1.05%;在数据集Ped2上，本文算法比SCc1提高 4.4.1 Avenue数据集 了11.01%。说明基于运动前景块的特征提取方 图5为Avenue数据集测试视频O3的异常得 法有效，滤除了背景冗余信息。所构建的卷积自 分。图中灰色部分为标注的异常帧，横轴为帧序 动编码器可学到更高语义层次的特征，与手工提 号，纵轴为异常得分。可以看到灰色区间内的得 取特征相比，鲁棒性更强。 分较高而其他区域则偏小。说明本文方法可以检 表4在UCSD数据集上的AUC值对比 测出这两个异常事件。 Table 4 Comparison of performance on UCSD dataset with AUC % 1.0 算法 UCSD Ped1 UCSD Ped2 平均 SFR6] 74.46 68.49 71.47 0100200300400500600700800900 MIMIIO 80.22 90.87 85.54 帧号 SL-HOFRT 79.94 89.52 84.73 图5 Avenue数据集测试视频03重构误差值 Conv-AE12) 81.00 90.00 85.50 Fig.5 Reconstruction cost of Avenue dataset test video 03 Sclis] 86.25 80.67 83.46 表2列出了Avenue测试数据的检测结果，由 CASSO 87.30 91.38 89.34 于篇幅所限只列出了部分结果，所给结果中包含

试视频包含异常和正常事件。异常事件包含快速 奔跑、抛掷物品和蹦跳等，如图 4 所示。 Avenue UCSD Ped 1 UCSD Ped 2 图 4 Avenue 和 UCSD 数据集异常图像示例 Fig. 4 Abnormal images from the Avenue and UCSD datasets UCSD 数据集分为 2 个场景 Ped1 和 Ped2。训 练数据为正常事件，测试数据涉及多种异常行 为，如行人道上骑车、出现货车、轮滑等，如图 4 所示。Ped1 有 34 段训练视频和 36 段测试视频; Ped2 视频包含 16 段训练视频和 12 段测试视频。 4.2 实验设置 对于卷积自动编码器，每个数据集都进行 200 轮训练，前 100 轮学习率设为 0.001，后 100 轮 学习率设为 0.000 1，采用小批量方法训练。式 (2) 中的 λ 设置为 0.04，表示误差上限。实验均在 Ubuntu16.04、NVIDIA CUDA 8.0、PyTorch1.0、 OpenCVs 3.0、Python 环境下完成。 4.3 评价指标 采用异常检测常用的帧级 AUC 评价指标[24]。 对于检测结果为异常的样本，若其标注中存在异 常像素，则认为检测正确。AUC 值为接收者操作 特性曲线 (receiver operating characteristic, ROC) 下 包含的面积。 4.4 结果与分析 4.4.1 Avenue 数据集 图 5 为 Avenue 数据集测试视频 03 的异常得 分。图中灰色部分为标注的异常帧，横轴为帧序 号，纵轴为异常得分。可以看到灰色区间内的得 分较高而其他区域则偏小。说明本文方法可以检 测出这两个异常事件。 1.0 0.5 异常得分 0 100 200 300 400 500 帧号 600 700 800 900 图 5 Avenue 数据集测试视频 03 重构误差值 Fig. 5 Reconstruction cost of Avenue dataset test video 03 表 2 列出了 Avenue 测试数据的检测结果，由 于篇幅所限只列出了部分结果，所给结果中包含 最好与最差情况。最高检测率为视频 03，包含两 个快速奔跑异常。视频 07 的异常为行人蹦跳，识 别率为 90.2%，是 21 个测试视频中的最低值。对 比两段视频，发现虽然两者都是速度上的异常， 但视频 03 中的运动状态变化远大于视频 07，造 成两者识别率差异较大。 表 2 本文方法在 Avenue 测试视频上的实验结果 Table 2 Results of proposed method on Avenue test videos 测试视频 总帧数 正确帧数 错误帧数 识别率/% 01 1424 1304 120 91.6 03 923 852 71 92.3 07 605 546 59 90.2 为了进一步验证本文算法的有效性，与其他 算法进行了比较，如表 3 所示。可以看到，相较于 经典的稀疏组合算法[16] ，本文算法提升了 6.4%， 相较于最近的方法[25] ，也有 2.9% 的提升。 表 3 在 Avenue 数据集上的结果对比 Table 3 Comparison of performance on Avenue data￾set with AUC % 算法 AUC SC[15] 80.9 Conv-AE[12] 70.2 C2ST[25] 84.4 CASSC 87.3 4.4.2 UCSD 数据集 表 4 给出了本文算法与其他算法在 UCSD 数 据集上的 AUC 值。本文算法 AUC 为 87.3%，比 Conv-AE[12] 提高了 6.3%，与 SC[15] 相比提升了 1.05%；在数据集 Ped2 上，本文算法比 SC[15] 提高 了 11.01%。说明基于运动前景块的特征提取方 法有效，滤除了背景冗余信息。所构建的卷积自 动编码器可学到更高语义层次的特征，与手工提 取特征相比，鲁棒性更强。 表 4 在 UCSD 数据集上的 AUC 值对比 Table 4 Comparison of performance on UCSD dataset with AUC % 算法 UCSD Ped1 UCSD Ped2 平均 SF[26] 74.46 68.49 71.47 MIM[10] 80.22 90.87 85.54 SL-HOF[27] 79.94 89.52 84.73 Conv-AE[12] 81.00 90.00 85.50 SC[15] 86.25 80.67 83.46 CASSC 87.30 91.38 89.34 第 6 期 王倩倩，等：深度自编码与自更新稀疏组合的异常事件检测算法 ·1201·

·1202· 智能系统学报 第15卷 图6给出了UCSD数据集上正确检测的异常 3)将深度学习与改进的稀疏组合学习进行结 帧和未检测出的异常帧。图中左侧为部分正确检 合，提出了一个新的异常检测框架： 出的异常帧，可以看到本文算法可将骑行、轮滑 4)一系列监控场景数据的实验结果表明，本 以及巡逻车检出：右侧为未检测出的异常帧，异 文提出的异常检测算法可以准确高效地检测视频 常区域用红色圈标出，异常目标存在遮挡或与周 中的异常事件。 围行人产生交互的情况，算法未能将其识别为异常。 参考文献： [1]POPOOLA O P,WANG Kejun.Video-based abnormal hu- man behavior recognition-a review[J].IEEE transactions on systems,man,and cybernetics,part C (applications and reviews).2012,42(6):865-878. [2]MABROUK A B.ZAGROUBA E.Abnormal behavior re- cognition for intelligent video surveillance systems:A re- view[J].Expert systems with applications,2018,91: 480-491」 [3]ROSHTKHARI M J.LEVINE M D.Online dominant and anomalous behavior detection in videos[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland.USA.2013:2611-2618 [4]ZAHARESCU A,WILDES R.Anomalous behaviour de- (a)正确检出 (b)未检出 tection using spatiotemporal oriented energies,subset in- 图6UCSD数据集检测出的异常帧和未检出的异常帧 clusion histogram comparison and event-driven pro- Fig.6 Comparisons of abnormal frames with detected and cessing[C]//Proceedings of the 11th European Conference undetected abnormal frames on UCSD dataset on Computer Vision.Heraklion,Greece,2010:563-576. 4.4.3运行时间 [5]WANG Tian,SNOUSSI H.Histograms of optical flow ori- 表5中所列为本文算法和经典稀疏组合学习 entation for visual abnormal events detection[Cl//Proceed- 算法在数据集上每帧检测所需时间。本文算 ings of 2012 IEEE Ninth International Conference on Ad- 法虽慢于稀疏组合学习算法，但根据表3和表4 vanced Video and Signal-Based Surveillance.Beijing, 的结果，本文算法检测效果更优。监控视频帧率 China.2012:13-18 通常为25fs,而本文算法平均能达到100s,完 [6]XU Dan,YAN Yan,RICCI E,et al.Detecting anomalous 全可以满足实时检测的要求。 events in videos by learning deep representations of ap- pearance and motion[J].Computer vision and image under- 表5每帧处理时间 standing,2017,156:117-127. Table 5 Processing times per frame [7]李俊杰，刘成林，朱明.基于多任务CNN的监控视频中 算法 UCSD Pedl UCSD Ped2 Avenue 异常行人快速检测).计算机系统应用，2018,27(11)： SClst 0.006 0.007 0.007 78-83. CASSC 0.011 0.010 0.012 LI Junjie,LIU Chenglin,ZHU Ming.Fast abnormal pedes- trians detection based on multi-task CNN in surveillance video[J].Computer systems applications,2018,27(11): 5结束语 78-83. 本文提出了一种以无监督方式学习运动前景 [8]ZHOU J T,DU Jiawei,ZHU Hongyuan,et al.Anoma- 块的深度特征方法和自更新稀疏组合异常检测算 lyNet:an anomaly detection network for video surveil- lance[J].IEEE transactions on information forensics and 法。主要贡献包括4个方面： security,2019,1410):2537-2550. 1)提出了以无监督方法基于自动编码器提取 [9]NGUYEN T N.MEUNIER J.Anomaly detection in video 运动前景块的时空特征，过滤冗余背景信息，同 sequence with appearance-motion correspondence[C]//Pro- 时保留运动前景像素点的空间相对位置关系； ceedings of 2019 IEEE/CVF International Conference on 2)针对经典的稀疏组合学习缺乏灵活性的问 Computer Vision.Seoul,Korea(South),2019:1273-1283. 题，通过加入先验知识，提出了一种自更新稀疏 [10]LEE D G,SUK HI,LEE S W.Crowd behavior represent- 组合学习算法； ation using motion influence matrix for anomaly detec-

图 6 给出了 UCSD 数据集上正确检测的异常 帧和未检测出的异常帧。图中左侧为部分正确检 出的异常帧，可以看到本文算法可将骑行、轮滑 以及巡逻车检出；右侧为未检测出的异常帧，异 常区域用红色圈标出，异常目标存在遮挡或与周 围行人产生交互的情况，算法未能将其识别为异常。 (a) 正确检出 (b) 未检出 图 6 UCSD 数据集检测出的异常帧和未检出的异常帧 Fig. 6 Comparisons of abnormal frames with detected and undetected abnormal frames on UCSD dataset 4.4.3 运行时间 表 5 中所列为本文算法和经典稀疏组合学习 算法[15] 在数据集上每帧检测所需时间。本文算 法虽慢于稀疏组合学习算法，但根据表 3 和表 4 的结果，本文算法检测效果更优。监控视频帧率 通常为 25 f/s，而本文算法平均能达到 100 f/s，完 全可以满足实时检测的要求。 表 5 每帧处理时间 Table 5 Processing times per frame s 算法 UCSD Ped1 UCSD Ped2 Avenue SC[15] 0.006 0.007 0.007 CASSC 0.011 0.010 0.012 5 结束语 本文提出了一种以无监督方式学习运动前景 块的深度特征方法和自更新稀疏组合异常检测算 法。主要贡献包括 4 个方面： 1) 提出了以无监督方法基于自动编码器提取 运动前景块的时空特征，过滤冗余背景信息，同 时保留运动前景像素点的空间相对位置关系； 2) 针对经典的稀疏组合学习缺乏灵活性的问 题，通过加入先验知识，提出了一种自更新稀疏 组合学习算法； 3) 将深度学习与改进的稀疏组合学习进行结 合，提出了一个新的异常检测框架； 4) 一系列监控场景数据的实验结果表明，本 文提出的异常检测算法可以准确高效地检测视频 中的异常事件。 参考文献： POPOOLA O P, WANG Kejun. Video-based abnormal hu￾man behavior recognition—a review[J]. IEEE transactions on systems, man, and cybernetics, part C (applications and reviews), 2012, 42(6): 865–878. [1] MABROUK A B, ZAGROUBA E. Abnormal behavior re￾cognition for intelligent video surveillance systems: A re￾view[J]. Expert systems with applications, 2018, 91: 480–491. [2] ROSHTKHARI M J, LEVINE M D. Online dominant and anomalous behavior detection in videos[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA, 2013: 2611−2618. [3] ZAHARESCU A, WILDES R. Anomalous behaviour de￾tection using spatiotemporal oriented energies, subset in￾clusion histogram comparison and event-driven pro￾cessing[C]//Proceedings of the 11th European Conference on Computer Vision. Heraklion, Greece, 2010: 563−576. [4] WANG Tian, SNOUSSI H. Histograms of optical flow ori￾entation for visual abnormal events detection[C]//Proceed￾ings of 2012 IEEE Ninth International Conference on Ad￾vanced Video and Signal-Based Surveillance. Beijing, China, 2012: 13−18. [5] XU Dan, YAN Yan, RICCI E, et al. Detecting anomalous events in videos by learning deep representations of ap￾pearance and motion[J]. Computer vision and image under￾standing, 2017, 156: 117–127. [6] 李俊杰, 刘成林, 朱明. 基于多任务 CNN 的监控视频中 异常行人快速检测 [J]. 计算机系统应用, 2018, 27(11): 78–83. LI Junjie, LIU Chenglin, ZHU Ming. Fast abnormal pedes￾trians detection based on multi-task CNN in surveillance video[J]. Computer systems & applications, 2018, 27(11): 78–83. [7] ZHOU J T, DU Jiawei, ZHU Hongyuan, et al. Anoma￾lyNet: an anomaly detection network for video surveil￾lance[J]. IEEE transactions on information forensics and security, 2019, 14(10): 2537–2550. [8] NGUYEN T N, MEUNIER J. Anomaly detection in video sequence with appearance-motion correspondence[C]//Pro￾ceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South), 2019: 1273−1283. [9] LEE D G, SUK H I, LEE S W. Crowd behavior represent￾ation using motion influence matrix for anomaly detec- [10] ·1202· 智 能 系 统 学 报 第 15 卷

第6期 王倩倩，等：深度自编码与自更新稀疏组合的异常事件检测算法 ·1203· tion[C]//Proceedings of 2013 2nd IAPR Asian Confer- Conference on Image Analysis and Processing.Catania, ence on Pattern Recognition.Naha,Japan,2013: Italy,2017:779-789 110-114. [22]RUSSAKOVSKY O,DENG Jia,SU Hao,et al.ImageN- [11]胡正平，张乐，尹艳华.时空深度特征AP聚类的稀疏表 et large scale visual recognition challenge[J].Internation- 示视频异常检测算法[J].信号处理，2019,35(3) al journal of computer vision,2015,115(3):211-252. 386-395 [23]MAHADEVAN V.LI Weixin.BHALODIA V.et al.An- HU Zhengping,ZHANG Le,YIN Yanhua.Video anom- omaly detection in crowded scenes[C]//Proceedings of aly detection by AP clustering sparse representation based 2010 IEEE Computer Society Conference on Computer on spatial-temporal deep feature model[J].Journal of sig- Vision and Pattern Recognition.San Francisco,USA, nal processing,2019,35(3):386-395. 2010:1975-1981. [12]HASAN M,CHOI J,NEUMANN J,et al.Learning tem- [24]BRADLEY A P.The use of the area under the ROC curve poral regularity in video sequences[C]//Proceedings of the in the evaluation of machine learning algorithms[J].Pat- IEEE Conference on Computer Vision and Pattern Recog- tern recognition,1997,30(7):1145-1159 nition.Las Vegas,USA,2016:733-742. [25]LIU Yusha,LI Chunliang,POCZOS B.Classifier two- [13]WEI Hao,LI Kai,LI Haichang.et al.Detecting video an- sample test for video anomaly detections[C]//Proceedings omaly with a stacked convolutional LSTM framework[Cl// of the 29th British Machine Vision Conference.New- Proceedings of 12th International Conference on Com- castle.UK.2018:71 puter Vision Systems.Thessaloniki,Greece,2019: [26]MEHRAN R.OYAMA A.SHAH M.Abnormal crowd 330-342. behavior detection using social force model[C]//Proceed- [14]CONG Yang,YUAN Junsong,LIU Ji.Sparse reconstruc- ings of 2009 IEEE Conference on Computer Vision and tion cost for abnormal event detection[C]//Proceedings of Pattern Recognition.Miami,USA,2009:935-942. 2011 IEEE Conference on Computer Vision and Pattern [27]WANG Siqi,ZHU En,YIN Jianping,et al.Anomaly de- Recognition.Providence,USA,2011:3449-3456. tection in crowded scenes by SL-HOF descriptor and [15]ZHAO Bin,LI Feifei,XING E P.Online detection of un- foreground classification[C]//Proceedings of 2016 23rd usual events in videos via dynamic sparse coding[Cl//Pro- International Conference on Pattern Recognition.Cancun. ceedings of 2011 IEEE Conference on Computer Vision Mexico,.2016:3398-3403 and Pattern Recognition.Providence,USA,2011: 作者简介： 3313-3320. [16]LU Cewu,SHI Jianping,JIA Jiaya.Abnormal event de- 王倩倩，硕士研究生，主要研究方 tection at 150 FPS in MATLAB[C]//Proceedings of the 向为视频中的异常事件检测与行人重 IEEE International Conference on Computer Vision. 识别。 Sydney,Australia,2013:2720-2727. [17]LUO Weixin,LIU Wen,GAO Shenghua.A revisit of sparse coding based anomaly detection in stacked RNN framework[C]//Proceedings of the IEEE International Conference on Computer Vision.Venice,Italy,2017: 苗夺谦，教授，博士生导师，主要 341-349. 研究方向为人工智能、机器学习、大数 [18]SAJID H,CHEUNG S C S.Universal multimode back- 据分析、粒度计算。主持完成国家自 ground subtraction[J].IEEE transactions on image pro- 然科学基金项目6项，在研国家重点 cessing,2017,26(7):3249-3260. 研发计划项目1项、公安部重点计划 [19]ZIVKOVIC Z.Improved adaptive Gaussian mixture mod- 项目I项。荣获CAAI吴文俊人工智 el for background subtraction[Cl//Proceedings of the 17th 2 能自然科学奖二等奖、国家教学成果 International Conference on Pattern Recognition.Cam- 二等奖，授权专利12项。发表学术论文100余篇，出版教材 bridge,UK.2004:28-31. 和学术著作10部。 [20]FARNEBACK G.Two-frame motion estimation based on 张远健，博士研究生，主要研究方 polynomial expansion[C]//Proceedings of the 13th Scand- 向为粒度计算、不确定性。 inavian Conference on Image Analysis.Halmstad, Sweden.2003:363-370. [21]SMEUREANU S,IONESCU R T,POPESCU M,et al. Deep appearance features for abnormal behavior detec- tion in video[C]//Proceedings of the 19th International

tion[C]//Proceedings of 2013 2nd IAPR Asian Confer￾ence on Pattern Recognition. Naha, Japan, 2013: 110−114. 胡正平, 张乐, 尹艳华. 时空深度特征 AP 聚类的稀疏表 示视频异常检测算法 [J]. 信号处理, 2019, 35(3): 386–395. HU Zhengping, ZHANG Le, YIN Yanhua. Video anom￾aly detection by AP clustering sparse representation based on spatial-temporal deep feature model[J]. Journal of sig￾nal processing, 2019, 35(3): 386–395. [11] HASAN M, CHOI J, NEUMANN J, et al. Learning tem￾poral regularity in video sequences[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recog￾nition. Las Vegas, USA, 2016: 733−742. [12] WEI Hao, LI Kai, LI Haichang, et al. Detecting video an￾omaly with a stacked convolutional LSTM framework[C]// Proceedings of 12th International Conference on Com￾puter Vision Systems. Thessaloniki, Greece, 2019: 330−342. [13] CONG Yang, YUAN Junsong, LIU Ji. Sparse reconstruc￾tion cost for abnormal event detection[C]//Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA, 2011: 3449−3456. [14] ZHAO Bin, LI Feifei, XING E P. Online detection of un￾usual events in videos via dynamic sparse coding[C]//Pro￾ceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA, 2011: 3313−3320. [15] LU Cewu, SHI Jianping, JIA Jiaya. Abnormal event de￾tection at 150 FPS in MATLAB[C]//Proceedings of the IEEE International Conference on Computer Vision. Sydney, Australia, 2013: 2720−2727. [16] LUO Weixin, LIU Wen, GAO Shenghua. A revisit of sparse coding based anomaly detection in stacked RNN framework[C]//Proceedings of the IEEE International Conference on Computer Vision. Venice, Italy, 2017: 341−349. [17] SAJID H, CHEUNG S C S. Universal multimode back￾ground subtraction[J]. IEEE transactions on image pro￾cessing, 2017, 26(7): 3249–3260. [18] ZIVKOVIC Z. Improved adaptive Gaussian mixture mod￾el for background subtraction[C]//Proceedings of the 17th International Conference on Pattern Recognition. Cam￾bridge, UK, 2004: 28−31. [19] FARNEBÄCK G. Two-frame motion estimation based on polynomial expansion[C]//Proceedings of the 13th Scand￾inavian Conference on Image Analysis. Halmstad, Sweden, 2003: 363−370. [20] SMEUREANU S, IONESCU R T, POPESCU M, et al. Deep appearance features for abnormal behavior detec￾tion in video[C]//Proceedings of the 19th International [21] Conference on Image Analysis and Processing. Catania, Italy, 2017: 779−789. RUSSAKOVSKY O, DENG Jia, SU Hao, et al. ImageN￾et large scale visual recognition challenge[J]. Internation￾al journal of computer vision, 2015, 115(3): 211–252. [22] MAHADEVAN V, LI Weixin, BHALODIA V, et al. An￾omaly detection in crowded scenes[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA, 2010: 1975−1981. [23] BRADLEY A P. The use of the area under the ROC curve in the evaluation of machine learning algorithms[J]. Pat￾tern recognition, 1997, 30(7): 1145–1159. [24] LIU Yusha, LI Chunliang, PÓCZOS B. Classifier two￾sample test for video anomaly detections[C]//Proceedings of the 29th British Machine Vision Conference. New￾castle, UK, 2018: 71. [25] MEHRAN R, OYAMA A, SHAH M. Abnormal crowd behavior detection using social force model[C]//Proceed￾ings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA, 2009: 935−942. [26] WANG Siqi, ZHU En, YIN Jianping, et al. Anomaly de￾tection in crowded scenes by SL-HOF descriptor and foreground classification[C]//Proceedings of 2016 23rd International Conference on Pattern Recognition. Cancun, Mexico, 2016: 3398−3403. [27] 作者简介： 王倩倩，硕士研究生，主要研究方 向为视频中的异常事件检测与行人重 识别。 苗夺谦，教授，博士生导师，主要 研究方向为人工智能、机器学习、大数 据分析、粒度计算。主持完成国家自 然科学基金项目 6 项，在研国家重点 研发计划项目 1 项、公安部重点计划 项目 1 项。荣获 CAAI 吴文俊人工智 能自然科学奖二等奖、国家教学成果 二等奖，授权专利 12 项。发表学术论文 100 余篇，出版教材 和学术著作 10 部。 张远健，博士研究生，主要研究方 向为粒度计算、不确定性。 第 6 期 王倩倩，等：深度自编码与自更新稀疏组合的异常事件检测算法 ·1203·