【机器学习】联合加权重构轨迹与直方图熵的异常行为检测

第13卷第6期 智能系统学报 Vol.13 No.6 2018年12月 CAAI Transactions on Intelligent Systems Dec.2018 D0:10.11992/tis.201706070 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180410.1519.022.html 联合加权重构轨迹与直方图熵的异常行为检测 徐志通2，骆炎民2，柳培忠3 (1.华侨大学计算机科学与技术学院，福建厦门361021；2.华侨大学厦门市计算机视觉与模式识别重点实验 室，福建厦门361021；3.华侨大学工学院，福建泉州362021) 摘要：为解决多目标打斗、抢劫等异常行为检测精度不高的问题，提出一种联合加权重构轨迹与直方图嫡的 异常行为检测算法。首先，采用背景相减法结合宽高比提取行人目标；然后将卡尔曼滤波器及HOG特征融入 时空上下文算法中，实现短时间内被完全遮挡行人的鲁棒跟踪：最后对跟踪轨迹进行训练，构造正常行为字典 并稀疏重构待检测轨迹，通过联合加权最小重构残差和直方图熵，实现对异常行为的有效检测。通过对比实 验，表明该算法对于打斗和抢劫等异常行为具有较好的检测效果，在静态背景且无遮挡的情况下，检测率可达 92%以上。 关键词：异常行为检测：联合加权：重构轨迹：直方图嫡：卡尔曼滤波器；HOG特征；时空上下文：行为字典 中图分类号：TP39141文献标志码：A文章编号：1673-4785(2018)06-1015-12 中文引用格式：徐志通，骆炎民，柳培忠.联合加权重构轨迹与直方图熵的异常行为检测.智能系统学报，2018,13(6)： 1015-1026. 英文引用格式：XUZhitong,LUO Yanmin,LIU Peizhong.Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy CAAI transactions on intelligent systems,2018,13(6):1015-1026. Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy XU Zhitong2,LUO Yanmin,LIU Peizhong (1.College of Computer Science and Technology,Huaqiao University,Xiamen 361021,China;2.Xiamen Key Laboratory of Com- puter Vision and Pattern Recognition,Huaqiao University,Xiamen 361021,China,3.College of Engineering,Huaqiao University, Quanzhou 362021,China) Abstract:To solve the problem of low precision in detecting multi-target abnormal behaviors such as fighting and rob- bery,in this paper,a novel human abnormal behavior detection algorithm is proposed based on a combination of the weighted reconstruction trajectory and histogram entropy.First,the background subtraction method is combined with aspect ratio to extract pedestrian targets,and then Kalman filters and histogram of oriented gradient(HOG)features are integrated into a spatio-temporal context algorithm to realize a robust tracking of completely occluded pedestrians in a short time,and finally the tracked trajectories are trained;a normal behavior directory is constructed for the motion tra- jectories defined as normal,and the trajectories to be tested are sparsely reconstructed.An effective detection of abnor- mal behavior is realized by combining the weighted minimum reconstruction residuals and amplitude direction histo- gram entropy.A comparative experiment shows that the algorithm can effectively detect abnormal behaviors such as fighting and robbery,and the detection rate can exceed 92%under static background without occlusions. Keywords:abnormal behavior detection;jointly weighted;reconstruction trajectory;histogram entropy;Kalman filters; HOG features;spatio-temporal context;behavior directory 收稿日期：2017-06-22.网络出版日期：2018-04-10. 基金项目：国家自然科学基金项目(61605048)：福建省自然科 近年来，社会存在诸多潜在的安全问题，一旦 学基金项目(14BS215):泉州市科技计划项目 (2015Z120). 发生必会引起严重的社会后果。而在安全问题发 通信作者：骆炎民.E-mail:lym@hqu.edu.cn.. 生之前，运动目标在行为上会表现出不同程度的

DOI: 10.11992/tis.201706070 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180410.1519.022.html 联合加权重构轨迹与直方图熵的异常行为检测 徐志通1,2，骆炎民1,2，柳培忠3 （1. 华侨大学 计算机科学与技术学院，福建 厦门 361021; 2. 华侨大学 厦门市计算机视觉与模式识别重点实验 室，福建 厦门 361021; 3. 华侨大学 工学院，福建 泉州 362021） 摘 要：为解决多目标打斗、抢劫等异常行为检测精度不高的问题，提出一种联合加权重构轨迹与直方图熵的 异常行为检测算法。首先，采用背景相减法结合宽高比提取行人目标；然后将卡尔曼滤波器及 HOG 特征融入 时空上下文算法中，实现短时间内被完全遮挡行人的鲁棒跟踪；最后对跟踪轨迹进行训练，构造正常行为字典 并稀疏重构待检测轨迹，通过联合加权最小重构残差和直方图熵，实现对异常行为的有效检测。通过对比实 验，表明该算法对于打斗和抢劫等异常行为具有较好的检测效果，在静态背景且无遮挡的情况下，检测率可达 92% 以上。 关键词：异常行为检测；联合加权；重构轨迹；直方图熵；卡尔曼滤波器；HOG 特征；时空上下文；行为字典 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2018)06−1015−12 中文引用格式：徐志通, 骆炎民, 柳培忠. 联合加权重构轨迹与直方图熵的异常行为检测[J]. 智能系统学报, 2018, 13(6): 1015–1026. 英文引用格式：XU Zhitong, LUO Yanmin, LIU Peizhong. Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy[J]. CAAI transactions on intelligent systems, 2018, 13(6): 1015–1026. Abnormal behavior detection of joint weighted reconstruction trajectory and histogram entropy XU Zhitong1,2 ，LUO Yanmin1,2 ，LIU Peizhong3 (1. College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China; 2. Xiamen Key Laboratory of Com￾puter Vision and Pattern Recognition, Huaqiao University, Xiamen 361021, China; 3. College of Engineering, Huaqiao University, Quanzhou 362021, China) Abstract: To solve the problem of low precision in detecting multi-target abnormal behaviors such as fighting and rob￾bery, in this paper, a novel human abnormal behavior detection algorithm is proposed based on a combination of the weighted reconstruction trajectory and histogram entropy. First, the background subtraction method is combined with aspect ratio to extract pedestrian targets, and then Kalman filters and histogram of oriented gradient (HOG) features are integrated into a spatio-temporal context algorithm to realize a robust tracking of completely occluded pedestrians in a short time, and finally the tracked trajectories are trained; a normal behavior directory is constructed for the motion tra￾jectories defined as normal, and the trajectories to be tested are sparsely reconstructed. An effective detection of abnor￾mal behavior is realized by combining the weighted minimum reconstruction residuals and amplitude direction histo￾gram entropy. A comparative experiment shows that the algorithm can effectively detect abnormal behaviors such as fighting and robbery, and the detection rate can exceed 92% under static background without occlusions. Keywords: abnormal behavior detection; jointly weighted; reconstruction trajectory; histogram entropy; Kalman filters; HOG features; spatio-temporal context; behavior directory 近年来，社会存在诸多潜在的安全问题，一旦 发生必会引起严重的社会后果。而在安全问题发 生之前，运动目标在行为上会表现出不同程度的 收稿日期：2017−06−22. 网络出版日期：2018−04−10. 基金项目：国家自然科学基金项目 (61605048)；福建省自然科 学基金项 目 (14BS215) ；泉州市科技计划项 目 (2015Z120). 通信作者：骆炎民. E-mail：lym@hqu.edu.cn. 第 13 卷第 6 期 智 能 系 统 学 报 Vol.13 No.6 2018 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2018

·1016· 智能系统学报 第13卷 异常，因此，及时识别异常行为对防止潜在危险 的发生具有重要的现实意义。随着公众对社 bg(x,y)= fx,y） (1) 会安全要求的日益增加，异常行为检测技术成为 该建模方法在监控设备固定的情况下，能较 了计算机视觉的新兴研究方向，广泛应用于智能 完整地从视频中获取背景模型。因此，本文通过 监控、医学诊断、运动分析等领域，并受到国内 融合均值背景结合双边滤波法对背景进行建模。 外研究学者的广泛关注。Jiang等采用上下文感 知方法来检测异常，通过跟踪获取行人运动轨 迹，并与正常行为轨迹进行比较，将偏离较大的 输入视頫序列 轨迹视为异常，该方法依赖于获取目标轨迹的跟 背景建模 踪算法，因此无法长时间适应视觉上下文的变化： Bouttefroy等o对运动轨迹的相关特征进行提取， 当前顿 更新背景 并通过估计概率分布模型来识别异常行为，该方 背景差分法 法需要准确获取行人运动轨迹，若发生遮挡便容 易丢失目标，应用具有较大的局限性；Zhao等四 运动前景提取 提出一种完全无监督的动态稀疏编码方法来检测 异常事件，由于正异常行为样本分布的不平衡， 导致对行人异常行为的识别效果较差；Lu等提 最后一顿 出稀疏组合学习框架，提取视频底层特征，通过 Y 学习正常行为的表示方式来区分异常，该方法需 结束 大量正常行为作为正样本进行训练，无法达到实 图1运动前景提取流程图 时性检测；Lⅰ等通过采用轨迹稀疏重构分析方 Fig.1 The flow chart of moving foreground extraction 法对行人异常行为进行检测，该方法对不同尺寸 1.1.2背景更新 样本均能达到良好的检测性能，但受控制点参数 为了降低光照、天气等对运动像素变化的 的影响，也无法满足实时性要求。 影响，需对背景进行动态更新，本文采用分块分 本文提出一种联合加权稀疏重构轨迹与直方 类1的背景更新算法，具体的更新过程如式(2) 图熵的异常行为检测算法。该算法对运动轨迹进 所示： 行训练，构造正常行为字典，同时对测试行人轨 f.(i,j),fa(i,j)-bg-1(i,j)<Ta 迹进行稀疏重构作为轨迹特征，并计算幅值方向 bgn(i,j)= (2) 直方图嫡作为熵特征。通过对异常行为多特征进 axbg(i,j)+Bf(i,)+ (1-a-)f(i,), 其他 行联合加权，实现对异常行为的检测。虽然本文 式中：阈值T设置为30，a与B为权重，a+B<1。 算法在时间上也无法达到实时性要求，但在复杂 算法通过计算当前帧与前一帧背景对应点像 场景中可以实现更加精确的异常行为检测率。 素值的绝对差，若小于给定的阈值，认为是由光 1行人检测 照、天气等因素带来的细微变化，便将当前像素 点设置成当前背景像素点，提供给下一帧考虑； 1.1运动目标检测 若绝对差超出给定阈值，则认为当前帧中存在运 本文采用背景相减法对运动目标进行检测， 动的物体，便结合前一帧背景，前一帧图像和当 其关键在于对背景的建模，考虑到存在天气、光 前帧图像来对当前帧背景进行更新。 照及树叶摆动等引起的前景像素变化，需要对背 1.1.3运动前景提取 景进行实时动态更新，图1为运动前景提取流程图。 获得更新的背景模型之后，对当前帧与当前 1.1.1背景建模 背景模型进行差分操作，提取当前存在运动的像 常用背景建模方法1包括混合高斯建模山 素点形成二值图像，通过选取适当的阈值去除由 码本建模)、双背景建模及均值建模41等。 非运动目标带来的像素值的细微变化，并进行相 均值建模法是将当前遍历到的所有帧像素值取平 应的形态学处理，从而提取感兴趣的运动前景， 均作为背景的估计，由式()表示： 提取过程可表示为式(3)：

异常，因此，及时识别异常行为对防止潜在危险 的发生具有重要的现实意义[1-2]。随着公众对社 会安全要求的日益增加，异常行为检测技术成为 了计算机视觉的新兴研究方向，广泛应用于智能 监控[3-4] 、医学诊断、运动分析等领域，并受到国内 外研究学者的广泛关注。Jiang 等 [5]采用上下文感 知方法来检测异常，通过跟踪获取行人运动轨 迹，并与正常行为轨迹进行比较，将偏离较大的 轨迹视为异常，该方法依赖于获取目标轨迹的跟 踪算法，因此无法长时间适应视觉上下文的变化； Bouttefroy 等 [6]对运动轨迹的相关特征进行提取， 并通过估计概率分布模型来识别异常行为，该方 法需要准确获取行人运动轨迹，若发生遮挡便容 易丢失目标，应用具有较大的局限性；Zhao 等 [7] 提出一种完全无监督的动态稀疏编码方法来检测 异常事件，由于正异常行为样本分布的不平衡， 导致对行人异常行为的识别效果较差；Lu 等 [8]提 出稀疏组合学习框架，提取视频底层特征，通过 学习正常行为的表示方式来区分异常，该方法需 大量正常行为作为正样本进行训练，无法达到实 时性检测；Li 等 [9]通过采用轨迹稀疏重构分析方 法对行人异常行为进行检测，该方法对不同尺寸 样本均能达到良好的检测性能，但受控制点参数 的影响，也无法满足实时性要求。 本文提出一种联合加权稀疏重构轨迹与直方 图熵的异常行为检测算法。该算法对运动轨迹进 行训练，构造正常行为字典，同时对测试行人轨 迹进行稀疏重构作为轨迹特征，并计算幅值方向 直方图熵作为熵特征。通过对异常行为多特征进 行联合加权，实现对异常行为的检测。虽然本文 算法在时间上也无法达到实时性要求，但在复杂 场景中可以实现更加精确的异常行为检测率。 1 行人检测 1.1 运动目标检测 本文采用背景相减法对运动目标进行检测， 其关键在于对背景的建模，考虑到存在天气、光 照及树叶摆动等引起的前景像素变化，需要对背 景进行实时动态更新，图 1 为运动前景提取流程图。 1.1.1 背景建模 常用背景建模方法[10]包括混合高斯建模[11] 、 码本建模[12] 、双背景建模[13]及均值建模[14-15]等。 均值建模法是将当前遍历到的所有帧像素值取平 均作为背景的估计，由式 (1) 表示： bg(x, y) = 1 N ∑N i=1 fi(x, y) (1) 该建模方法在监控设备固定的情况下，能较 完整地从视频中获取背景模型。因此，本文通过 融合均值背景结合双边滤波法对背景进行建模。 当前帧 结束 Y N 输入视频序列 背景建模 更新背景 背景差分法 运动前景提取 最后一帧 图 1 运动前景提取流程图 Fig. 1 The flow chart of moving foreground extraction 1.1.2 背景更新 为了降低光照、天气等对运动像素变化的 影响，需对背景进行动态更新，本文采用分块分 类 [16]的背景更新算法，具体的更新过程如式 (2) 所示： bgn(i, j) =    fn(i, j),    fn(i, j)−bgn−1(i, j)    < Td α×bgn−1(i, j)+β fn−1(i, j)+ (1−α−β)fn(i, j), 其他 (2) 式中：阈值 Td设置为 30，α与 β 为权重，α+β < 1。 算法通过计算当前帧与前一帧背景对应点像 素值的绝对差，若小于给定的阈值，认为是由光 照、天气等因素带来的细微变化，便将当前像素 点设置成当前背景像素点，提供给下一帧考虑； 若绝对差超出给定阈值，则认为当前帧中存在运 动的物体，便结合前一帧背景，前一帧图像和当 前帧图像来对当前帧背景进行更新。 1.1.3 运动前景提取 获得更新的背景模型之后，对当前帧与当前 背景模型进行差分操作，提取当前存在运动的像 素点形成二值图像，通过选取适当的阈值去除由 非运动目标带来的像素值的细微变化，并进行相 应的形态学处理，从而提取感兴趣的运动前景， 提取过程可表示为式 (3)： ·1016· 智 能 系 统 学 报 第 13 卷

第6期 徐志通，等：联合加权重构轨迹与直方图嫡的异常行为检测 ·1017· 0,f.(i,j)-bg.(i.j)<T g.伍)=1其他 (3) 选取视频序列任意10帧，分别计算行人与车 辆高宽比、2，表1为n,和2的数值分布，此处列 式中：阈值T设置为30，f(位，)，bg位，》分别表示当 出6组实验得出的数据。 前帧像素值和背景像素值，此处选取视频第93帧 由表1可知，行人高宽比n范围为1.92~3.24， 作为当前帧，g(位，)表示提取到的运动前景，图2 车辆高宽比2范围为0.49-0.86，因此可选择适当 显示了3种方法对运动前景的提取效果图。 高宽比阈值6，用于区分运动前景中的行人与车 辆，实现对行人的识别。本文设置阈值6为1.5，分 别对3个视频进行验证，行人识别结果如图4所示。 表1刀1和2的数值分布 Table 1 Numerical distribution of n and n2 帧数 72 (a)当前帧 (b)帧差法 27 2.67 0.71 64 1.92 0.86 97 2.41 0.62 138 3.24 0.49 182 2.53 0.83 251 2.99 0.57 (c)减背景法 (d均值建模+双边滤波 图2运动前景检测图 Fig.2 Moving foreground detection results 1.2行人识别 由于本文研究的异常行为检测是基于室外环 境的，为保证运动前景只含行人，需要从复杂运 图4行人识别效果图 动前景中区分行人与其他运动目标，并对行人进 Fig.4 Pedestrian recognition results 行跟踪获取运动轨迹，实现进一步的异常行为 识别。 2行人跟踪 在监控设备固定的情况下，若只考虑直立行 时空上下文(STC)算法通过对行人目标及相 走的行人，而刚性车辆不易发生形变，因此选择 应场景中局部上下文区域的时空关系进行建模， 外接矩形高宽比作为主要特征以区分行人与车 并统计相应的低阶特征，通过结合时空上下文信 辆，图3中(a)、(b)分别表示车辆和行人的外接矩 息，实现对行人目标的跟踪，行人跟踪可视为对 形框。 目标置信度图的求解过程。 对于第k帧，采用式(4)计算置信图c),并将 置信图响应最大的位置作为该帧的质心位置k。 c=∑Pk3lo)=∑P.oP(v(J)(④ 2)E 式中：Pv,o)为行人当前位置与局部上下文之 (a)车辆 间的时空关系，P(v(o)为上下文先验概率。 STC算法采用式(5)对置信图c进行建模， 并采用式(6)对上下文先验概率P(v(o)进行建模。 c(k)=bxexp( (5) b)行人 P(v())-Ixbxexp-k-kT 02 (6) 图3外接矩形框 式中：σ为尺度函数，b为正则化常数，B为形状参 Fig.3 External rectangle box 数，设置为1,1)表示图像在z处的像素值

fgn(i, j) = { 0,    fn(i, j)−bgn(i, j)    < T 1, 其他 (3) T fn(i, j) bgn(i, j) fgn(i, j) 式中：阈值 设置为 30， ， 分别表示当 前帧像素值和背景像素值，此处选取视频第 93 帧 作为当前帧， 表示提取到的运动前景，图 2 显示了 3 种方法对运动前景的提取效果图。 (a) 当前帧 (b) 帧差法 (c) 减背景法 (d) 均值建模+双边滤波 图 2 运动前景检测图 Fig. 2 Moving foreground detection results 1.2 行人识别 由于本文研究的异常行为检测是基于室外环 境的，为保证运动前景只含行人，需要从复杂运 动前景中区分行人与其他运动目标，并对行人进 行跟踪获取运动轨迹，实现进一步的异常行为 识别。 在监控设备固定的情况下，若只考虑直立行 走的行人，而刚性车辆不易发生形变，因此选择 外接矩形高宽比作为主要特征以区分行人与车 辆，图 3 中 (a)、(b) 分别表示车辆和行人的外接矩 形框。 η1 η2 η1 η2 选取视频序列任意 10 帧，分别计算行人与车 辆高宽比 、 ，表 1 为 和 的数值分布，此处列 出 6 组实验得出的数据。 η1 η2 δ δ 由表 1 可知，行人高宽比 范围为 1.92~3.24， 车辆高宽比 范围为 0.49~0.86，因此可选择适当 高宽比阈值 ，用于区分运动前景中的行人与车 辆，实现对行人的识别。本文设置阈值 为 1.5，分 别对 3 个视频进行验证，行人识别结果如图 4 所示。 表 η1 η2 1 和 的数值分布 Table 1 Numerical distribution of η1 and η2 帧数 η1 η2 27 2.67 0.71 64 1.92 0.86 97 2.41 0.62 138 3.24 0.49 182 2.53 0.83 251 2.99 0.57 图 4 行人识别效果图 Fig. 4 Pedestrian recognition results 2 行人跟踪 时空上下文 (STC) 算法通过对行人目标及相 应场景中局部上下文区域的时空关系进行建模， 并统计相应的低阶特征，通过结合时空上下文信 息，实现对行人目标的跟踪，行人跟踪可视为对 目标置信度图的求解过程。 k c(k) k ∗ 对于第 帧，采用式 (4) 计算置信图 ，并将 置信图响应最大的位置作为该帧的质心位置 。 c(k) = ∑ v(z)∈Kc P(k, v(z)|o) = ∑ v(z)∈Kc P(k|v(z),o)P(v(z)|o) (4) P(k|v(z),o) P(v(z)|o) 式中： 为行人当前位置与局部上下文之 间的时空关系， 为上下文先验概率。 c(k) P(v(z)|o) STC 算法采用式 (5) 对置信图 进行建模， 并采用式 (6) 对上下文先验概率 进行建模。 c(k) = b×exp(−      k−k ∗ σ      β ) (5) P(v(z)|o) = I(z)×b×exp(− |z−k ∗ | σ2 2 ) (6) σ b β I(z) z 式中： 为尺度函数， 为正则化常数， 为形状参 数，设置为 1， 表示图像在 处的像素值。 (a) 车辆 (b) 行人 图 3 外接矩形框 Fig. 3 External rectangle box 第 6 期 徐志通，等：联合加权重构轨迹与直方图熵的异常行为检测 ·1017·

·1018· 智能系统学报 第13卷 空间上下文Pv(,o,表示行人目标与局部 为卡尔曼滤波算法起始位置，并结合目标HOG 上下文之间的相似度，定义方式如式(7)所示： 特征，对目标下一帧的质心位置进行最佳预测， P(klv(z),o)=h(k-z) (7) 有效地提高行人跟踪精度，具体跟踪精度对比如 将式(6)和式(7)代入式(4)中计算置信图 图6所示。 c的具体表达形式，如式(8)所示： 223 c=∑k-8x@xbxexp-b-)= e0,k) (8) h产⑧(Ia)×bxexp((-) 式中：®为卷积操作符，通过将傅里叶变换操作应 一[17刀STC-[18]STC+Kalman一[19]STC+HOG-本文算法 用于卷积操作中，可大大加快运行速度。 (a)视频1 对式(8)进行快速傅里叶变换，再进行傅里叶 #183 #212 反变换，便可得到目标与局部上下文之间的时空 关系，即空间上下文模型，如式(9)所示： F(c() hs(k)=F- F(()xaxexp()) [17刀STC-[18]STC+Kalman一[19]STC+HOG一本文算法 02 (9) (b)视频2 F(bxexp(-k-kp 图5视频序列跟踪结果图 F(I(z)xaxexp(-k-kE Fig.5 Video sequence tracking results 02 式中F表示快速傅里叶变换。 0.9 获取到第k帧视频序列的时空上下文模型 0.8 0.7 H(K)之后，可通过式(10)求第k+1帧的置信图 c(k+1)来确定该帧目标质心位置(k+1)广。 c(k+1)=F-1(F(H,(k) 是0.4 ◆STC1 0.3 (10) STC+Kalman周 F(Ik+1)×aXexp(- , 0.2 ◆STC+HOG例 0.1 +本文算法 将置信图最大的位置作为行人目标在第k+1 0 50100150200250300350 帧的质心位置，计算过程如式(11)所示： 当前帧数 k+1'=argc+） (11) (a)视频1 1.0r4 并通过该模型更新第k+1帧的上下文模型， 0.9 更新过程如式(12)所示： 0.8 0.7 H,(k)=(1-)H(k)+k) (12) 式中为学习率。 基于STC算法在处理目标部分遮挡时的优 ￥0.4 ◆STC1 0.3 越性，为了进一步解决跟踪过程中目标被短时完 ·STC+Kalmantis 0.2 ◆STC+HOG网 全遮挡及目标旋转的问题，本文在STC算法基础 0.1 +本文算法 上融入卡尔曼滤波器及HOG特征。 0 50100150200250300350 图5为当行人存在完全遮挡时，采用4种算 当前帧数 (b)视频2 法进行行人跟踪的结果对比图。从图中可以看出，当 目标未发生完全遮挡时，本文算法与文献[17算法， 图6视频序列跟踪精度图 文献[18]算法和文献[19]算法在跟踪效果方面相 Fig.6 Video sequence tracking precision results 差不多；一旦被跟踪的行人目标被完全遮挡，即 3 行人异常行为检测 从(a)中的#154和(b)中的#183开始，本文算法的 跟踪效果比其他3种算法更加准确，而且更加鲁棒。 在实际监控场景中，对行人异常行为的检测 这是因为在通过STC算法预测下一帧目标 主要是通过对行人运动轨迹进行分析，或采用运 质心位置之前，本文算法将当前帧的质心位置作 动幅值方向直方图嫡进行判别。文献[20]通过引

空间上下文 P(k|v(z),o) ，表示行人目标与局部 上下文之间的相似度，定义方式如式 (7) 所示： P(k|v(z),o) = h sc(k−z) (7) c(k) 将式 (6) 和式 (7) 代入式 (4) 中计算置信图 的具体表达形式，如式 (8) 所示： c(k) = ∑ z∈Ωc (k ∗ ) h sc(k−z)× I(z)×b×exp(− |z−k ∗ | 2 σ2 ) = h sc(k)⊗(I(z)×b×exp(− |z−k ∗ | 2 σ2 )) (8) 式中： ⊗ 为卷积操作符，通过将傅里叶变换操作应 用于卷积操作中，可大大加快运行速度。 对式 (8) 进行快速傅里叶变换，再进行傅里叶 反变换，便可得到目标与局部上下文之间的时空 关系，即空间上下文模型，如式 (9) 所示： h sc(k) = F −1   F(c(k)) F(I(z)×α×exp(− |z−k ∗ | 2 σ2 ))   = F −1   F(b×exp(− |k−k ∗ | β α )) F(I(z)×α×exp(− |z−k ∗ | 2 σ2 ))   (9) 式中 F 表示快速傅里叶变换。 k H sc k (K) k+1 c(k+1) (k+1)∗ 获取到第 帧视频序列的时空上下文模型 之后，可通过式 (10) 求第 帧的置信图 来确定该帧目标质心位置 。 c(k+1) = F −1 (F(H sc k+1 (k))• F(I(k+1)×α×exp(−   z−k ∗ k    2 σ2 )) (10) 将置信图最大的位置作为行人目标在第 k+1 帧的质心位置，计算过程如式 (11) 所示： (k+1)∗ = arg max k∈Ωc (k ∗ k ) c(k+1) (11) 并通过该模型更新第 k+1 帧的上下文模型， 更新过程如式 (12) 所示： H sc k+1 (k) = (1−λ)H sc k (k)+λh sc k (k) (12) 式中 λ 为学习率。 基于 STC 算法在处理目标部分遮挡时的优 越性，为了进一步解决跟踪过程中目标被短时完 全遮挡及目标旋转的问题，本文在 STC 算法基础 上融入卡尔曼滤波器及 HOG 特征。 图 5 为当行人存在完全遮挡时，采用 4 种算 法进行行人跟踪的结果对比图。从图中可以看出，当 目标未发生完全遮挡时，本文算法与文献[17]算法， 文献[18]算法和文献[19]算法在跟踪效果方面相 差不多；一旦被跟踪的行人目标被完全遮挡，即 从 (a) 中的#154和 (b) 中的#183 开始，本文算法的 跟踪效果比其他 3 种算法更加准确，而且更加鲁棒。 这是因为在通过 STC 算法预测下一帧目标 质心位置之前，本文算法将当前帧的质心位置作 为卡尔曼滤波算法起始位置，并结合目标 HOG 特征，对目标下一帧的质心位置进行最佳预测， 有效地提高行人跟踪精度，具体跟踪精度对比如 图 6 所示。 (a) 视频1 (b) 视频2 [17]STC [18]STC+Kalman [19]STC+HOG 本文算法 [17]STC [18]STC+Kalman [19]STC+HOG 本文算法 #90 #154 #223 #65 #183 #212 图 5 视频序列跟踪结果图 Fig. 5 Video sequence tracking results 0 50 100 150 200 250 300 350 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 当前帧数 跟踪精度 STC[17] STC+Kalman[18] STC+HOG[19] 本文算法 (a) 视频 1 0 50 100 150 200 250 300 350 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 当前帧数 跟踪精度 STC[17] STC+Kalman[18] STC+HOG[19] 本文算法 (b) 视频 2 图 6 视频序列跟踪精度图 Fig. 6 Video sequence tracking precision results 3 行人异常行为检测 在实际监控场景中，对行人异常行为的检测 主要是通过对行人运动轨迹进行分析，或采用运 动幅值方向直方图熵进行判别。文献[20]通过引 ·1018· 智 能 系 统 学 报 第 13 卷

第6期 徐志通，等：联合加权重构轨迹与直方图嫡的异常行为检测 ·1019· 入轨迹稀疏重构分析，提出最小二乘三次样条曲 图7显示了正/异常行为运动轨迹样本及特 线逼近方法检测异常行为，该方法检测性能受控 征表示，其中左侧为运动轨迹样本图，右侧为相 制点参数的影响；文献[21]提出基于幅值的加权方 应的特征表示图。 向直方图描述行为，计算运动区域内直方图嫡来 300 判断行为的异常，该方法可较好地反映异常行为的 200 发生，但单一特征无法满足高精度的异常行为表达。 100 为了解决最小二乘三次样条曲线逼近方法受 控制点参数的影响，本文提出一种控制点参数自 40 300200 适应的方法对行人运动轨迹进行表示。并通过加 00 100200300 00 权考虑行人运动轨迹的稀疏重构残差和幅值方向 (a)正常行为轨迹 直方图嫡等多种特征，对人体行为进行多种表 300 达，从而有效提升行人异常行为的检测率。 200 3.1控制点参数自适应的运动轨迹表示 100 根据本文跟踪算法获取一组行人运动轨迹， 由于视频中行人出现的帧数不同，因此运动轨迹 可视为由不同长度的坐标序列组成。对于时空轨 上100 200300 100 00 迹序列(x,y,),本文采用自适应曲线控制点以参数 (b)异常行为轨迹 化P={K,K,…,K,K,K,…,K的方式来表示 轨迹T={(xy),(2y2),…,(x,y》的形状和时空特 图7正常/异常轨迹表示 Fig.7 Trajectory representation of normal/abnormal 征，以提取定长参数向量对轨迹进行表示。其中 3.2基于幅值方向直方图的异常行为表示 p为控制点个数，K与K,分别为第p个控制点的归 本文将行人异常行为定义为运动幅度变化 -化横纵坐标，t为轨迹长度。 大、运动方向不一致的一些不规则行为，如打斗、 轨迹T上的点(xy)所经过的总距离d可表示 抢劫等，这些行为都具有运动速度快、方向紊乱 为2-矿+60-a=2.3…0.定义参数 等特征。由于行人运动幅值方向直方图2具有旋 向量。-，…，小.其中.可表示为式(3： 转平移不变性，能够很好地反映出行人动作的幅 度大小，直方图熵能够反映运动方向的混乱程 ∑a-x+60m-P 度，因此可采用幅值方向直方图熵对异常行为进 i≠0 行表示。 V= (13) 芝x-x+01-)2 首先将运动轨迹分成8个子区域，以每45°作 为一个区域边界，对于行人运动轨迹上的每一个 0,i=0 点(o,%),(x1,y),…,(x,yn,分别根据式(17)计算每 及节点向量k,表示为式(14)： 个轨迹点的切线方向属于哪个子区域中，若某个 k=0,0.0,01.2 p-4 p33…1.1,1l 14) 运动轨迹的所有点的切线方向均稳定处于少量几 个子区域，则该运动轨迹为正常行为的概率更 根据2四，采用式(15)计算三次B样条基函数， 大，而如果某运动轨迹的所有切线方向占了绝大 中ng(n)= a-Kp中p.H 部分的子区域，说明该运动轨迹更加紊乱，更有 效 (15) 可能为异常行为所产生的运动轨迹。 Kptg-Kp+1 p+1g-1(vn) sarcsin()i=0,l,…,n (17) 式中：a{6其爸< 对于打架、抢劫等剧烈运动，通过计算基于 并通过式计算自适应的控制点参数，使原始 幅值的加权方向直方图可有效抑制由噪声造成的 轨迹与其近似轨迹之间的误差平方和达到最小， 小范围方向混乱，实现更好的异常行为识别，假 从而对行人运动轨迹进行有效表示 设第R帧的直方图模型如式(18)所示 PXY =(OT2)OTTXY (16) HR)={h(R=12-m= 1a4(1)…p4() =28) 式中2= 式中：m为直方图区间的个数，此处取I2。h,(R)为 14()…a4(y)

入轨迹稀疏重构分析，提出最小二乘三次样条曲 线逼近方法检测异常行为，该方法检测性能受控 制点参数的影响；文献[21]提出基于幅值的加权方 向直方图描述行为，计算运动区域内直方图熵来 判断行为的异常，该方法可较好地反映异常行为的 发生，但单一特征无法满足高精度的异常行为表达。 为了解决最小二乘三次样条曲线逼近方法受 控制点参数的影响，本文提出一种控制点参数自 适应的方法对行人运动轨迹进行表示。并通过加 权考虑行人运动轨迹的稀疏重构残差和幅值方向 直方图熵等多种特征，对人体行为进行多种表 达，从而有效提升行人异常行为的检测率。 3.1 控制点参数自适应的运动轨迹表示 (x, y,t) P = { K X 1 ,K X 2 ,··· ,K X p ,K Y 1 ,K Y 2 ,··· ,K Y p } T = {(x1, y1),(x2, y2),··· ,(xt , yt)} p K X p K Y p p t 根据本文跟踪算法获取一组行人运动轨迹， 由于视频中行人出现的帧数不同，因此运动轨迹 可视为由不同长度的坐标序列组成。对于时空轨 迹序列 ，本文采用自适应曲线控制点以参数 化 的方式来表示 轨迹 的形状和时空特 征，以提取定长参数向量对轨迹进行表示。其中 为控制点个数， 与 分别为第 个控制点的归 一化横纵坐标， 为轨迹长度。 T (xi , yi) di ∑n−1 i=1 √ (xi+1 − xi) 2 +(yi+1 −yi) 2 (n = 2,3,··· ,t) v = { v1, v2,··· , vt} vn 轨迹 上的点 所经过的总距离 可表示 为 ，定义参数 向量 ，其中 可表示为式 (13)： vn=    ∑n−1 i=1 √ (xi+1 − xi) 2 +(yi+1 −yi) 2 ∑t−1 i=1 √ (xi+1 − xi) 2 +(yi+1 −yi) 2 , i , 0 0, i = 0 (13) 及节点向量 κ ，表示为式 (14)： κ= ( 0,0,0,0, 1 p−3 , 2 p−3 ,··· , p−4 p−3 ,1,1,1,1 ) (14) 根据[22] ，采用式 (15) 计算三次 B 样条基函数， ψp,q(vn) = vn −κp κp+q−1 −κp ψp,q−1(vn)+ κp+q −vn κp+q −κp+1 ψp+1,q−1(vn) (15) ψp,1 (vn)= { 1, κp ⩽ vn < κp+1 0, 其他 式中： 并通过式计算自适应的控制点参数，使原始 轨迹与其近似轨迹之间的误差平方和达到最小， 从而对行人运动轨迹进行有效表示 P XY = ( Ω TΩ )−1 Ω TT XY (16) Ω=   ψ1,4 (v1) ··· ψp,4 (v1) . . . . . . ψ1,4 (vt) ··· ψp,4 (vt)   式中 。 图 7 显示了正/异常行为运动轨迹样本及特 征表示，其中左侧为运动轨迹样本图，右侧为相 应的特征表示图。 300 200 100 0 t/s 400 300 300 200 200 100 100 0 0 X Y 300 200 100 0 t/s 400 300 300 200 200 100 100 0 0 X Y (a) 正常行为轨迹 (b) 异常行为轨迹 图 7 正常/异常轨迹表示 Fig. 7 Trajectory representation of normal/abnormal 3.2 基于幅值方向直方图的异常行为表示 本文将行人异常行为定义为运动幅度变化 大、运动方向不一致的一些不规则行为，如打斗、 抢劫等，这些行为都具有运动速度快、方向紊乱 等特征。由于行人运动幅值方向直方图[23]具有旋 转平移不变性，能够很好地反映出行人动作的幅 度大小，直方图熵能够反映运动方向的混乱程 度，因此可采用幅值方向直方图熵对异常行为进 行表示。 (x0, y0),(x1, y1),··· ,(xn, yn) 首先将运动轨迹分成 8 个子区域，以每 45°作 为一个区域边界，对于行人运动轨迹上的每一个 点 ，分别根据式 (17) 计算每 个轨迹点的切线方向属于哪个子区域中，若某个 运动轨迹的所有点的切线方向均稳定处于少量几 个子区域，则该运动轨迹为正常行为的概率更 大，而如果某运动轨迹的所有切线方向占了绝大 部分的子区域，说明该运动轨迹更加紊乱，更有 可能为异常行为所产生的运动轨迹。 θ = arcsin( yi √ x 2 i +y 2 i ) i = 0,1,··· ,n (17) R 对于打架、抢劫等剧烈运动，通过计算基于 幅值的加权方向直方图可有效抑制由噪声造成的 小范围方向混乱，实现更好的异常行为识别，假 设第 帧的直方图模型如式 (18) 所示， H(R) = { hj(R) } j=1,2,···,m =    C ∑ j i=1 wFiΦ(a(Fi)− j)    j=1,2,···,m (18) 式中：m为直方图区间的个数，此处取 12。hj(R) 为 第 6 期 徐志通，等：联合加权重构轨迹与直方图熵的异常行为检测 ·1019·

·1020· 智能系统学报 第13卷 第R个区域直方图模型，C为归一化参数，oF,为第个 N,≈ar9,-NY形+a,平(Y） (19) 加权幅值方向直方图，α(F)为第个幅值方向直方图 式中：N为正常行为第层的子字典，Y,为数据 的强度，j为方向区间，Φ为Kronecker delta函数。 O的系数矩阵，0，为层的平衡参数，平为规则项， 针对实验选取了部分视频序列进行幅值方向 通常为混合范数。 直方图的计算，与正常行为相比，异常行为往往 对于某层任一数据点，通过与上层字典原子 具有运动幅度较大的特点，因此当某区域存在异 的关系预先规划下层可预选编码路径及激活原 常行为时，该区域的运动幅值偏大，而且方向比 子，随着分层学习字典层数的增加，由于相似数 较混乱，而正常行为则运动幅度小，方向比较一 据点选择的原子具有多样性，因此在定义下层字 致。其中正常行为与异常行为的加权幅值方向直 典时，原子数目选择为上一层的2倍。 方图的实验结果如图8所示。 具体正常行为字典训练过程如算法1所示。 算法1行为字典树结构学习算法 0.7 ■方向直方图 视频1 输入跟踪获取的行人时空运动轨迹序列T; 0.6 加权方向直方图 #74 输出正常行为字典集N4。 图0.5 04 1)初始化训练参数。规则化平衡参数0,2…，a, 随机初始化各层子字典N原子个数：及数据点稀 0.3 疏矩阵sm,邻层原子数目的倍数T=2; 2)学习第1层字典。基于文献，学习N,作 为第1层训练字典，构建数据点与原子之间的稀 10 90 150210 270 330 疏矩阵并更新sm,满足条件时停止送代优化： 角度/) 3)预先规划下层稀疏矩阵。将第1层的重构 (a)正常行为 残差作为第2层的输入，以此类推，由sm,根据式 0.7 一方向直方图 0.6 ■加权方向直方图 视频1 nre{nli=(-1)×n+j,=1,2,…,N},j为稀疏索 #116 引号，预先规划下层稀疏矩阵sm,作为初始稀疏 0.5 矩阵； 04 4)稀疏矩阵约束编码路径。采用初始化字典 0.3 集N编码轨迹，根据编码系数更新N,满足条件时 0.2 停止迭代优化： 5)迭代条件判断。若行为字典训练的树结构 90 150210 270 10 层数未达到，则重复步骤3)与4)。 角度) 通过充分考虑相邻层之间原子的父子节点关 (b)异常行为 系，为每层建立一个子字典，将下层原子与上层 图8加权幅值方向直方图 相互关联。随着层数的增加，正常行为轨迹的特 Fig.8 Weighted amplitude direction histogram 征可实现由模糊特征到细节特征的变化，该训练 3.3加权重构轨迹与直方图熵的异常行为检测 算法能有效解决传统字典学习中原子关联缺失的 基于室外监控场景，对于行人异常行为的检 问题。 测，本文通过计算待检测运动轨迹与正常行为轨 3.3.2稀疏重构运动轨迹 迹字典的稀疏重构残差，同时考虑加权幅值方向 通过激活与给定输入轨迹相似度高的少量样 直方图熵值，结合行人运动的多种特征，实现对 本，使整个系数向量保持稀疏。稀疏重构26是将 行人异常行为的高精度识别。 待检测的行人轨迹通过正常行为字典中的行人轨 3.3.1正常行为字典建立 迹以一个稀疏向量进行表示，具体表示如式 在真实监视场景中，正常运动轨迹的训练样 (20)所示： 本集合非常大，因为绝大多数人的行为都是正常 Twd≈Nd (20) 的，而异常运动轨迹的训练样本却很小，因此学 式中：T表示待检测的行人运动轨迹，Na表示正 习正常行为字典具有高计算复杂度。以文献[24] 常行为字典中的行为轨迹，表示某个待检测运 为基础，采用式(19)定义一种分层框架学习字典 动轨迹与正常行为字典之间的稀疏重构系数，其 的数学模型。 值绝大部分为0

R C ωFi i α(Fi) i j Φ 第 个区域直方图模型， 为归一化参数， 为第 个 加权幅值方向直方图， 为第 个幅值方向直方图 的强度， 为方向区间， 为 Kronecker delta 函数。 针对实验选取了部分视频序列进行幅值方向 直方图的计算，与正常行为相比，异常行为往往 具有运动幅度较大的特点，因此当某区域存在异 常行为时，该区域的运动幅值偏大，而且方向比 较混乱，而正常行为则运动幅度小，方向比较一 致。其中正常行为与异常行为的加权幅值方向直 方图的实验结果如图 8 所示。 (a) 正常行为 (b) 异常行为 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 区域方向直方图 方向直方图 加权方向直方图 30 90 150 210 270 330 角度/(°) 视频1 #74 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 区域方向直方图 30 90 150 210 270 330 角度/(°) 视频1 #116 方向直方图 加权方向直方图 图 8 加权幅值方向直方图 Fig. 8 Weighted amplitude direction histogram 3.3 加权重构轨迹与直方图熵的异常行为检测 基于室外监控场景，对于行人异常行为的检 测，本文通过计算待检测运动轨迹与正常行为轨 迹字典的稀疏重构残差，同时考虑加权幅值方向 直方图熵值，结合行人运动的多种特征，实现对 行人异常行为的高精度识别。 3.3.1 正常行为字典建立 在真实监视场景中，正常运动轨迹的训练样 本集合非常大，因为绝大多数人的行为都是正常 的，而异常运动轨迹的训练样本却很小，因此学 习正常行为字典具有高计算复杂度。以文献[24] 为基础，采用式 (19) 定义一种分层框架学习字典 的数学模型。 Nℓ ≈ argmin Dℓ ,Υℓ ∥Θℓ −NℓΥℓ∥ 2 F +∂ℓΨ(Υℓ) (19) Nℓ ℓ Υℓ Θℓ ∂ℓ ℓ Ψ 式中： 为正常行为第 层的子字典， 为数据 的系数矩阵， 为 层的平衡参数， 为规则项， 通常为混合范数。 对于某层任一数据点，通过与上层字典原子 的关系预先规划下层可预选编码路径及激活原 子，随着分层学习字典层数的增加，由于相似数 据点选择的原子具有多样性，因此在定义下层字 典时，原子数目选择为上一层的 2 倍。 具体正常行为字典训练过程如算法 1 所示。 算法 1 行为字典树结构学习算法 输入 跟踪获取的行人时空运动轨迹序列 T； 输出 正常行为字典集 Nd。 ∂1, ∂2 ··· , ∂ℓ Ni ni smi Γ = 2 1) 初始化训练参数。规则化平衡参数 ， 随机初始化各层子字典 原子个数 及数据点稀 疏矩阵 ，邻层原子数目的倍数 ； N1 sm1 2) 学习第 1 层字典。基于文献[25] ，学习 作 为第 1 层训练字典，构建数据点与原子之间的稀 疏矩阵并更新 ，满足条件时停止迭代优化； smi nℓ ∈ { nℓ,i |i = (ζ −1)×n+ j, ζ = 1,2,··· ,N } j smi+1 3) 预先规划下层稀疏矩阵。将第 1 层的重构 残差作为第 2 层的输入，以此类推，由 根据式 ， 为稀疏索 引号，预先规划下层稀疏矩阵 作为初始稀疏 矩阵； Ni Ni 4) 稀疏矩阵约束编码路径。采用初始化字典 集 编码轨迹，根据编码系数更新 ，满足条件时 停止迭代优化； 5) 迭代条件判断。若行为字典训练的树结构 层数未达到，则重复步骤 3) 与 4)。 通过充分考虑相邻层之间原子的父子节点关 系，为每层建立一个子字典，将下层原子与上层 相互关联。随着层数的增加，正常行为轨迹的特 征可实现由模糊特征到细节特征的变化，该训练 算法能有效解决传统字典学习中原子关联缺失的 问题。 3.3.2 稀疏重构运动轨迹 通过激活与给定输入轨迹相似度高的少量样 本，使整个系数向量保持稀疏。稀疏重构[26]是将 待检测的行人轨迹通过正常行为字典中的行人轨 迹以一个稀疏向量进行表示，具体表示如 式 (20) 所示： Twd ≈ λNd (20) Twd Nd λ 式中： 表示待检测的行人运动轨迹, 表示正 常行为字典中的行为轨迹， 表示某个待检测运 动轨迹与正常行为字典之间的稀疏重构系数，其 值绝大部分为 0。 ·1020· 智 能 系 统 学 报 第 13 卷

第6期 徐志通，等：联合加权重构轨迹与直方图嫡的异常行为检测 ·1021· 由于正常行为字典中的行人运动轨迹帧数与 Eax≥T,异常行为 待检测运动轨迹帧数可能不一致，因此在对运动 Emax <T, 正常行为 (23) 轨迹进行稀疏重构之前，需要对帧数较多的运动 图9为不同视频段直方图熵的变化曲线，其 轨迹进行截取，保证正常行为字典中选择的运动 中细实线表示检测结果为正常行为，粗实线表示 轨迹与待检测的行人运动轨迹具有相同的帧数。 检测结果为异常行为。从图中可与看出，视频 若待检测的运动轨迹能够在正常行为字典中找到 1共272帧，第122~150帧之间发生异常；视频 少量相似度高的轨迹进行表示，此时稀疏向量中 2共275帧，第107~209帧之间发生异常。 存在少量接近数值1的向量值，而当待检测的运 1.0 动轨迹在正常行为字典中找不到相似度高的轨迹 0.9 正常行为 …异常行为 进行表示，此时稀疏向量中存在大量接近数值0 0.8 0.7 的向量值。所以无论待检测的行人轨迹为正常行 为或是异常行为，都满足稀疏重构时的稀疏性。 0.5 0.4 L,范数不仅可以尽可能地近似表示待检测轨 0.3 迹，而且能够在正常字典中样本较少的情况下对 0.2 0.1 稀疏系数进行高效求解。当然，对于稀疏系数而 言，与数值0的差值越大，表明待检测运动轨迹与 306090120150180210240270300 视频/帧 正常行为字典中的轨迹越不相似，因此，为了充 (a)测试视频1 分表现出相似值大小对最优λ的影响，采用迭代 1.0 0.9 -正常行为 加权L范数计算稀疏系数，计算公式如式(21)所示： 0.8 …异常行为 argmino s.t.MlAN-Twalls (21) 0.7 式中：t表示迭代加权次数，w表示在第i次迭代 6 0.5 过程中的权值，ε表示残差阈值，通常取102。 0.4 3.3.3直方图熵 0.3 运动信息熵2可用来描述行为方向的紊乱程 02 度，因此通过计算区域内直方图熵可以更准确地 306090120150180210240270300 对异常行为进行描述，首先计算每个区域直方图 视频帧 模型{h,(R)引12m的嫡值，计算过程如式(22)所示。 (b)测试视频2 EH=-∑h,(Rog,h(R) 图9直方图熵的变化曲线 (22) Fig.9 Curves of histogram entropy variation EH值越大，说明运动幅值强度越大，方向越 3.3.4联合加权重构轨迹与直方图熵 紊乱，那么将最大的E值用于表示运动强度，即 在获取待检测运动轨迹T及相应的稀疏重 Emx=max(EH,E,…,Eg,n为区域个数，为了提高 构系数入之后，通过计算每个测试样本之间的稀 Ea值在0,1]变化，对其进行归一化操作。同时考 疏重构残差y来建立分类器。定义特征函数δ来保 虑到行人异常行为通常发生在一个时间段内，在 留正常行为稀疏系数，若运动轨迹正常，系数设 对异常行为进行判断时，需要综合某个时间段内 置为1，否则设置为0，基于运动轨迹的稀疏重构 的嫡值变化从而避免由噪声产生的偶尔几帧嫡值 残差y的计算过程如式(24)所示： 的突然变化而形成的误差。对于每一帧图像，计 y;(Twd)=lITwd -1,6ll2 t=0,1 (24) 算该图像前10帧的直方图熵值的平均值Am,与 式中为行为类别（正常/异常）。 当前帧直方图熵值进行比较，作出当前帧是否为 本文实验在测试时，采用轨迹重构残差y与阈 异常帧的最终判断。 值之间的关系作为判断行为是否异常的条件之 当E≥T时，认为当前帧中出现幅度较大的 一，判断过程如式(25)所示： 异常行为，具体的根据阈值判断异常行为的过程 火，=min 1/,(Twd) ≤刀 (25) 如式(23)，其中嫡阈值T通过平均嫡值A进行更 -01 新，对异常行为判断的结果进行优化。经过实 1mTd i=0 验，当嫡阈值T设置为0.5时，对异常行为的识别 此处阈值设置为0.03，测试运动轨迹R若满 精度更高。 足式(25)，则认为该行人运动可能存在异常，需进

由于正常行为字典中的行人运动轨迹帧数与 待检测运动轨迹帧数可能不一致，因此在对运动 轨迹进行稀疏重构之前，需要对帧数较多的运动 轨迹进行截取，保证正常行为字典中选择的运动 轨迹与待检测的行人运动轨迹具有相同的帧数。 若待检测的运动轨迹能够在正常行为字典中找到 少量相似度高的轨迹进行表示，此时稀疏向量中 存在少量接近数值 1 的向量值，而当待检测的运 动轨迹在正常行为字典中找不到相似度高的轨迹 进行表示，此时稀疏向量中存在大量接近数值 0 的向量值。所以无论待检测的行人轨迹为正常行 为或是异常行为，都满足稀疏重构时的稀疏性。 λ L1 范数不仅可以尽可能地近似表示待检测轨 迹，而且能够在正常字典中样本较少的情况下对 稀疏系数进行高效求解。当然，对于稀疏系数而 言，与数值 0 的差值越大，表明待检测运动轨迹与 正常行为字典中的轨迹越不相似，因此，为了充 分表现出相似值大小对最优 的影响，采用迭代 加权 L1 范数计算稀疏系数，计算公式如式 (21) 所示： argmin ω (τ) λ 1 s.t. ∥λN −Twd∥2 ⩽ ε (21) τ ω (τ) i i ε 式中： 表示迭代加权次数， 表示在第 次迭代 过程中的权值， 表示残差阈值，通常取 10-2。 3.3.3 直方图熵 { hj(R) } j=1,2,···,m 运动信息熵[27]可用来描述行为方向的紊乱程 度，因此通过计算区域内直方图熵可以更准确地 对异常行为进行描述，首先计算每个区域直方图 模型 的熵值，计算过程如式 (22) 所示。 EH = − ∑m j=1 hj(R)log2 (hj(R)) (22) EH EH Emax = max(E 1 H ,E 2 H ,··· ,E n H ) n EH Aent 值越大，说明运动幅值强度越大，方向越 紊乱，那么将最大的 值用于表示运动强度，即 ， 为区域个数，为了提高 值在[0, 1]变化，对其进行归一化操作。同时考 虑到行人异常行为通常发生在一个时间段内，在 对异常行为进行判断时，需要综合某个时间段内 的熵值变化从而避免由噪声产生的偶尔几帧熵值 的突然变化而形成的误差。对于每一帧图像，计 算该图像前 10 帧的直方图熵值的平均值 ，与 当前帧直方图熵值进行比较，作出当前帧是否为 异常帧的最终判断。 EH ⩾ T Aent 当 时，认为当前帧中出现幅度较大的 异常行为，具体的根据阈值判断异常行为的过程 如式 (23)，其中熵阈值 T 通过平均熵值 进行更 新，对异常行为判断的结果进行优化。经过实 验，当熵阈值 T 设置为 0.5 时，对异常行为的识别 精度更高。 { Emax ⩾ T, 异常行为 Emax < T, 正常行为 (23) 图 9 为不同视频段直方图熵的变化曲线，其 中细实线表示检测结果为正常行为，粗实线表示 检测结果为异常行为。从图中可与看出，视频 1 共 272 帧 ，第 122~150 帧之间发生异常；视频 2 共 275 帧，第 107~209 帧之间发生异常。 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 视频/帧 归一化熵值 (a) 测试视频 1 30 60 90 120 150 180 210 240 270 300 正常行为 异常行为 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 视频/帧 归一化熵值 (b) 测试视频 2 30 60 90 120 150 180 210 240 270 300 正常行为 异常行为 图 9 直方图熵的变化曲线 Fig. 9 Curves of histogram entropy variation 3.3.4 联合加权重构轨迹与直方图熵 Twd λ γ δ γ 在获取待检测运动轨迹 及相应的稀疏重 构系数 之后，通过计算每个测试样本之间的稀 疏重构残差 来建立分类器。定义特征函数 来保 留正常行为稀疏系数，若运动轨迹正常，系数设 置为 1，否则设置为 0，基于运动轨迹的稀疏重构 残差 的计算过程如式 (24) 所示： γt (Twd) = ∥Twd −λtδ∥2 t = 0,1 (24) 式中 t 为行为类别 (正常/异常)。 γ η 本文实验在测试时，采用轨迹重构残差 与阈 值 之间的关系作为判断行为是否异常的条件之 一，判断过程如式 (25) 所示： ℜt = min t=0,1 1/γt (Twd) ∑t i=0 1/γt (Twd) ⩽ η (25) 此处阈值 η 设置为 0.03，测试运动轨迹 ℜt若满 足式 (25)，则认为该行人运动可能存在异常，需进 第 6 期 徐志通，等：联合加权重构轨迹与直方图熵的异常行为检测 ·1021·

·1022· 智能系统学报 第13卷 一步考虑运动幅值方向直方图嫡值EH,结合行人 表2权重c与v的选取值 运动的多种特征，通过联合加权的方式对行人异 Table 2 The selected values of weight s and v 常行为进行检测，检测过程如式(26)所示： U 精度% osminy:(Twd)+UEHi(R) (26) 0.05 0.95 76.7 式中：S、v表示权值系数。权重s与v的选取好坏 0.10 0.90 78.9 将直接影响到实验中异常行为的检测准确率，为 0.15 0.85 81.8 了选择合适的权重，设置初始权重s为0.05，根据 0.20 0.80 83.4 0.25 0.75 85.0 s值确定u的取值，并设置权重s的增长步长为 0.30 0.70 86.7 0.05,共选取19组数据进行试验，采用式(26)计 0.35 0.65 88.3 算在不同权重下的异常行为检测准确率。表2为 0.40 0.60 87.6 权重s与u的选取值及对应的异常行为检测精度， 0.45 0.55 85.2 图10为权重ς选取不同值时的异常行为检测精度。 0.50 0.50 81.0 0.55 0.45 82.1 从图10中可以看出，当s选取为0.35时异常 0.60 0.40 83.5 行为检测准确度最高，因此本文将s、分别设置 0.65 0.35 81.6 为0.35与0.65,1表示最终的行为检测类别。通过 0.70 0.30 82.2 0.75 0.25 80.5 对多种运动特征进行联合加权考虑，该方法不仅 0.80 0.20 82.7 可消除运动轨迹特征表示时受控制点参数的影 0.85 0.15 84.3 响，同时可以提升仅采用直方图熵值进行异常行 0.90 0.10 81.1 为检测的异常行为检测准确率。 0.95 0.05 79.3 1.00- 0.95 090 085 0.80 0.75 0.050.100.150.200.250300.350.400.450.500.550.600.650.700.750.800.850.900.951.00 权重取值 图10权重ς选取不同值时的异常行为检测精度图 Fig.10 Abnormal behavior detection accuracy graph when weight sselect different values 4实验与结果分析 其中多人交互行为包括抢劫、打斗、尾随等。 假设一般情况下，拍摄到的行人行为是正常 实验所用机器为Microsoft Windows 10 Profes-. 的，异常行为设定为出现打斗、抢劫画面的情况， sional操作系统；3.30GHz,Intel Core i5-6600处理 如图11所示。 器；4GB内存；Intel HD Graphics530显卡；使用 Matlab R20l4a和Microsoft Visual Studio2013开发 平台对算法进行实现。 4.1实验数据集 采用中国科学院自动化研究所模式识别实验 (a)打斗行为 (b)抢劫行为 (http://www.cbsr.ia.ac.cn/china/Action%20Data- 图11 CASIA数据集的异常行为 base20CH.asp)提供的CASIA行为分析数据集进 Fig.11 Abnormal behavior of CASIA dataset 行实验，该视频集由室外环境下3个不同视角的 4.2评价标准 摄像机拍摄而成，CASIA共有1446段视频数据， 考虑到正异常行为分布的不平衡性，若仅采 每段视频含有200-300帧不等，帧大小为320×240， 用单一评价标准无法较好的分析模型检测性能

一步考虑运动幅值方向直方图熵值 EH ，结合行人 运动的多种特征，通过联合加权的方式对行人异 常行为进行检测，检测过程如式 (26) 所示： λ¯ ∝ ςminγt (Twd)+υEH j(R) (26) ς υ ς υ ς ς υ ς ς υ ς 式中： 、 表示权值系数。权重 与 的选取好坏 将直接影响到实验中异常行为的检测准确率，为 了选择合适的权重，设置初始权重 为 0.05，根据 值确定 的取值，并设置权重 的增长步长 为 0.05，共选取 19 组数据进行试验，采用式 (26) 计 算在不同权重下的异常行为检测准确率。表 2 为 权重 与 的选取值及对应的异常行为检测精度， 图 10 为权重 选取不同值时的异常行为检测精度。 ς ς υ λ¯ 从图 10 中可以看出，当 选取为 0.35 时异常 行为检测准确度最高，因此本文将 、 分别设置 为 0.35 与 0.65， 表示最终的行为检测类别。通过 对多种运动特征进行联合加权考虑，该方法不仅 可消除运动轨迹特征表示时受控制点参数的影 响，同时可以提升仅采用直方图熵值进行异常行 为检测的异常行为检测准确率。 4 实验与结果分析 实验所用机器为 Microsoft Windows 10 Profes￾sional 操作系统；3.30 GHz, Intel Core i5-6600 处理 器；4 GB 内存；Intel HD Graphics 530 显卡；使用 Matlab R2014a 和 Microsoft Visual Studio 2013 开发 平台对算法进行实现。 4.1 实验数据集 采用中国科学院自动化研究所模式识别实验 室 (http://www.cbsr.ia.ac.cn/china/Action%20Data￾base 20CH.asp) 提供的 CASIA 行为分析数据集进 行实验，该视频集由室外环境下 3 个不同视角的 摄像机拍摄而成，CASIA 共有 1 446 段视频数据， 每段视频含有 200~300 帧不等，帧大小为 320×240， 其中多人交互行为包括抢劫、打斗、尾随等。 假设一般情况下，拍摄到的行人行为是正常 的，异常行为设定为出现打斗、抢劫画面的情况， 如图 11 所示。 (a)打斗行为 (b) 抢劫行为 图 11 CASIA 数据集的异常行为 Fig. 11 Abnormal behavior of CASIA dataset 4.2 评价标准 考虑到正异常行为分布的不平衡性，若仅采 用单一评价标准无法较好的分析模型检测性能。 表 2 权重 ς 与υ的选取值 Table 2 The selected values of weight ς and υ ς υ 精度/% 0.05 0.95 76.7 0.10 0.90 78.9 0.15 0.85 81.8 0.20 0.80 83.4 0.25 0.75 85.0 0.30 0.70 86.7 0.35 0.65 88.3 0.40 0.60 87.6 0.45 0.55 85.2 0.50 0.50 81.0 0.55 0.45 82.1 0.60 0.40 83.5 0.65 0.35 81.6 0.70 0.30 82.2 0.75 0.25 80.5 0.80 0.20 82.7 0.85 0.15 84.3 0.90 0.10 81.1 0.95 0.05 79.3 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 0.75 0.80 0.85 0.90 0.95 1.00 权重取值 准确度 图 10 权重 ς 选取不同值时的异常行为检测精度图 Fig. 10 Abnormal behavior detection accuracy graph when weight ς select different values ·1022· 智 能 系 统 学 报 第 13 卷

第6期 徐志通，等：联合加权重构轨迹与直方图嫡的异常行为检测 ·1023· 实验通过检测精度P、错误率MR和ROC曲线3个 错检9帧；在打斗过程中，出现两者无交互行为的瞬 评价指标对结果进行衡量。假设某时刻发生异 间，被误认为是正常行为，该情况共出现17帧。当 常，若被检测为异常称为TP,未被检测为异常称 两者均在跑动时，此时运动熵很大，且轨迹也是交 为N;假设某时刻未发生异常，若被检测为异常 错的，该种正常行为被误检为打斗异常，共8帧。 称为FP,未被检测为异常称为TN。 表4为本文算法在抢劫视频中的行为统计结 检测精度P表示正确检测出异常行为的概 果，当抢劫者加速夺过物品，但未超过被夺者的 率，错误率MR表示将正常行为检测为异常行为的 位置，被误检为打斗行为，共4帧；在抢劫者加速 概率，计算过程如式(27所示： 跑向被夺者，但尚未抓住行李时的正常行为，被 TP FP P=TP+FP MR=FP+TN (27) 误认为抢劫行为，共4帧。 为验证本文算法对行人异常行为检测的优越 ROC曲线用于描述检测精度与错误率之间的 性，通过与基于轨迹稀疏重构分析20，基于幅值加 平衡关系。 权方向直方图熵P,基于角点历史信息P、基于矩 43实验结果分析 阵近似及基于加权样本选择与主动学习0的异 对监控视频中的行人打斗、抢劫两种异常行为 常行为检测算法进行对比，此处将算法021,230分 进行检测，本实验分别在打斗视频和抢劫视频中 别表示成SRA算法、E-AWOH算法、CHⅢ算法、 进行测试，以打斗异常为例，检测结果如图12所示。 MA算法和MCLU算法，将本文算法记为WSRT WHE算法，实验对打斗和抢劫视频中的异常行为 进行检测，检测精度对比图如13(a)、13(b)所示， 具体检测精度和错误率数据见表5和表6。 1.0 0.9h (a)打斗视频1 (b)打斗视频2 0.8 0.7 图12异常行为检测结果图 0.6 Fig.12 Abnormal behavior detection results 赵0.5 -CHI网 0.4 ★MA20 此处采用混淆矩阵对本文算法在打斗视频及 SRAL291 0.3 抢劫视频中的结果进行统计，统计结果如表3~4。 02 D-E-AWOH0测 0.1 ◆WSRT.WHE 表3打斗视频中行为统计结果 Table 3 Results of the behavioral statistics in the fight 0 102030405060708090100 video 召回率% (a)打斗异常 行为类别 打斗 抢劫 正常 总数 1.0 打斗 103 9 17 129 0.9 0.8 抢劫 0 0 0 0.7 正常 0 126 134 0.6 0.5 -oCHI2 总数 111 9 ◆MA20 143 263 04 -SRAL291 0.3 MCLUPI 表4抢劫视频中行为统计结果 02 oE-AWOHE0则 0.1 ·WSRT.WHE Table 4 Results of the behavioral statistics in the rob video 102030405060708090100 行为类别 打斗 抢劫 正常 总数 0 召回率% 打斗 0 0 0 0 (b)抢劫异常 抢劫 22 0 26 图13异常行为检测精度图 Fig.13 Abnormal behavior detection precision results 正常 0 227 231 通过分析检测精度图可得，CHⅢ算法充分利 总数 26 227 257 用了图像的时空信息，并且克服了场景光照影 表3为本文算法在打斗视频中的行为统计结 响，但对于存在遮挡时，跟踪获得的运动轨迹不 果，当出现行为发起者双方位置顺序发生调换且 清晰，对异常行为的判断影响较大，因此检测精度 运动嫡很大时，打斗行为被误认为是抢劫行为，共 较低，对于抢劫异常更为明显，仅达5172%；SRA

P MR ROC TP FNFP TN 实验通过检测精度 、错误率 和 曲线 3 个 评价指标对结果进行衡量。假设某时刻发生异 常，若被检测为异常称为 ，未被检测为异常称 为 ；假设某时刻未发生异常，若被检测为异常 称为 ，未被检测为异常称为 。 P MR 检测精度 表示正确检测出异常行为的概 率，错误率 表示将正常行为检测为异常行为的 概率，计算过程如式 (27) 所示： P = TP TP+FP , MR = FP FP+TN (27) ROC 曲线用于描述检测精度与错误率之间的 平衡关系。 4.3 实验结果分析 对监控视频中的行人打斗、抢劫两种异常行为 进行检测，本实验分别在打斗视频和抢劫视频中 进行测试，以打斗异常为例，检测结果如图 12 所示。 (a) 打斗视频 1 (b) 打斗视频 2 图 12 异常行为检测结果图 Fig. 12 Abnormal behavior detection results 此处采用混淆矩阵对本文算法在打斗视频及 抢劫视频中的结果进行统计，统计结果如表 3~4。 表 3 打斗视频中行为统计结果 Table 3 Results of the behavioral statistics in the fight video 行为类别 打斗 抢劫 正常 总数 打斗 103 9 17 129 抢劫 0 0 0 0 正常 8 0 126 134 总数 111 9 143 263 表 4 抢劫视频中行为统计结果 Table 4 Results of the behavioral statistics in the rob video 行为类别 打斗 抢劫 正常 总数 打斗 0 0 0 0 抢劫 4 22 0 26 正常 0 4 227 231 总数 4 26 227 257 表 3 为本文算法在打斗视频中的行为统计结 果，当出现行为发起者双方位置顺序发生调换且 运动熵很大时，打斗行为被误认为是抢劫行为，共 错检 9 帧；在打斗过程中，出现两者无交互行为的瞬 间，被误认为是正常行为，该情况共出现 17 帧。当 两者均在跑动时，此时运动熵很大，且轨迹也是交 错的，该种正常行为被误检为打斗异常，共 8 帧。 表 4 为本文算法在抢劫视频中的行为统计结 果，当抢劫者加速夺过物品，但未超过被夺者的 位置，被误检为打斗行为，共 4 帧；在抢劫者加速 跑向被夺者，但尚未抓住行李时的正常行为，被 误认为抢劫行为，共 4 帧。 为验证本文算法对行人异常行为检测的优越 性，通过与基于轨迹稀疏重构分析[20] ，基于幅值加 权方向直方图熵[21] ，基于角点历史信息[28] 、基于矩 阵近似[29]及基于加权样本选择与主动学习[30]的异 常行为检测算法进行对比，此处将算法[20-21, 28-30]分 别表示成 SRA 算法、E-AWOH 算法、CHI 算法、 MA 算法和 MCLU 算法，将本文算法记为 WSRT￾WHE 算法，实验对打斗和抢劫视频中的异常行为 进行检测，检测精度对比图如 13(a)、13(b) 所示， 具体检测精度和错误率数据见表 5 和表 6。 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 精度 (a) 打斗异常 10 20 30 40 50 60 70 80 90 100 召回率/% CHI[28] MA[20] SRA[29] MCLU[21] E-AWOH[30] WSRT-WHE 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 精度 (b) 抢劫异常 10 20 30 40 50 60 70 80 90 100 召回率/% CHI[28] MA[20] SRA[29] MCLU[21] E-AWOH[30] WSRT-WHE 图 13 异常行为检测精度图 Fig. 13 Abnormal behavior detection precision results 通过分析检测精度图可得，CHI 算法充分利 用了图像的时空信息，并且克服了场景光照影 响，但对于存在遮挡时，跟踪获得的运动轨迹不 清晰,对异常行为的判断影响较大，因此检测精度 较低，对于抢劫异常更为明显，仅达 51.72%；SRA 第 6 期 徐志通，等：联合加权重构轨迹与直方图熵的异常行为检测 ·1023·

·1024· 智能系统学报 第13卷 算法通过对跟踪轨迹进行线性重构，并根据其与 表6抢劫视频实验对比结果 正常行为字典集的稀疏重构系数及重构残差来判 Table 6 Comparison experiment results in the rob video% 断行为是否异常，该方法可用于较小行为字典 算法 精度 错误 集，但检测性能受控制点参数的影响，固定个数 控制点导致检测性能无法达到最佳，在抢劫异常 CHΠ2图 51.72 6.06 中，仅76.71%：MCLU算法在选取不确定样本时 SRARO 76.71 3.59 考虑到样本的多样性，并通过一个权重值解决数 MCLU30 79.17 2.16 据不平衡问题，该方法在视频监控异常行为检测 MA19I 80.00 3.03 中取得较好的效果，达79.17%，但权值的选择问 E-AWOHL211 81.26 1.97 题仍然有待解决；MA算法使用低秩矩阵近似对 本文算法 84.62 1.73 行为模式进行建模，根据与模型子空间的运动偏 差来识别异常的行人行为，但该方法的检测效果 针对打斗与抢劫视频中的异常行为检测，ROC 依赖于运动偏差阈值的定义；E-AWOH算法通过 曲线图如图14所示，分析ROC曲线图可得出，本 计算区域内运动幅值直方图嫡来描述行为混乱程 文算法相比于5种对比算法，在两组异常行为的 度，无需精确轨迹便可较准确的检测出行人异 检测过程中，检测精度与错误率之间可以达到更 常，对于抢劫异常，可达到81.26%。 好的平衡。 本文算法对于跟踪过程中存在遮挡时，跟踪 1.0 丢失导致轨迹紊乱的情况，通过结合卡尔曼滤波 0.8 器和HOG特征，可精确获取受短时遮挡目标的 运动轨迹，有效解决CHⅢ算法跟踪轨迹不清晰的 0.6 问题：在对轨迹进行表示时，提出自适应的控制 04 CHIESI 点参数选择，有效解决SRA算法中受控制点个数 .MA2例 的影响。本文算法的联合加权思想来自于MCLU 0.2 MCLUOI E-AWOHRI 算法，通过考虑目标运动的多种特征对人体行为 WSRT-WHE 0.2 0.4 进行描述。相比MA算法、E-AWOH算法，本文 .6 0.8 1.0 假阳率 方法可有效提升行人异常行为的检测精度，在打 (b)打斗异常 斗异常及抢劫异常中分别实现了92.79%和84.62% 1.0 的检测精度。 0.8 分析表5和表6可知，对于异常打斗和异常 抢劫行为的检测，本文算法在检测精度方面达到 0.6 最佳，尤其对于打斗行为的检测，高达92.79%：在 -CHI8网 SRARD 检测错误率方面，本文算法略低于其他方法 -MA2例 MCLUBOI 2%~5%,说明本文算法在检测行人交互中出现的 0.2 E-AWOHI WSRT-WHE 行人打斗和抢劫等异常行为时具有较好的鲁 0.2 0.4 0.6 0.8 1.0 棒性。 假阳率 表5打斗视频实验对比结果 (b)抢劫异常 Table 5 Comparison experiment results in the fight 图14异常行为R0C曲线图 video % Fig.14 Abnormal behavior ROC curve 算法 精度 错误率 基于学习的方法对特征要求很高，针对视频 CHI28] 85.57 11.19 中行人发生异常时存在遮挡的问题，该类方法检 SRAPOI 87.42 10.06 测效果不佳。本文通过时空上下文算法结合卡尔 MAR9 曼滤波器和HOG特征，有效解决了异常发生时 87.74 9.70 E-AWOHEI 目标被遮挡的问题。在目标存在遮挡的监控场景 89.31 8.53 MCLUBO] 中，实现有效的检测和跟踪，可获取更加清晰的 90.83 7.46 运动轨迹，采用自适应控制点参数对运动轨迹进 本文算法 92.79 5.94 行表示，同时结合运动幅值直方图嫡，实现对目

算法通过对跟踪轨迹进行线性重构，并根据其与 正常行为字典集的稀疏重构系数及重构残差来判 断行为是否异常，该方法可用于较小行为字典 集，但检测性能受控制点参数的影响，固定个数 控制点导致检测性能无法达到最佳，在抢劫异常 中，仅 76.71%；MCLU 算法在选取不确定样本时 考虑到样本的多样性，并通过一个权重值解决数 据不平衡问题，该方法在视频监控异常行为检测 中取得较好的效果，达 79.17%，但权值的选择问 题仍然有待解决；MA 算法使用低秩矩阵近似对 行为模式进行建模，根据与模型子空间的运动偏 差来识别异常的行人行为，但该方法的检测效果 依赖于运动偏差阈值的定义；E-AWOH 算法通过 计算区域内运动幅值直方图熵来描述行为混乱程 度，无需精确轨迹便可较准确的检测出行人异 常，对于抢劫异常，可达到 81.26%。 本文算法对于跟踪过程中存在遮挡时，跟踪 丢失导致轨迹紊乱的情况，通过结合卡尔曼滤波 器和 HOG 特征，可精确获取受短时遮挡目标的 运动轨迹，有效解决 CHI 算法跟踪轨迹不清晰的 问题；在对轨迹进行表示时，提出自适应的控制 点参数选择，有效解决 SRA 算法中受控制点个数 的影响。本文算法的联合加权思想来自于 MCLU 算法，通过考虑目标运动的多种特征对人体行为 进行描述。相比 MA 算法、E-AWOH 算法，本文 方法可有效提升行人异常行为的检测精度，在打 斗异常及抢劫异常中分别实现了 92.79% 和 84.62% 的检测精度。 分析表 5 和表 6 可知，对于异常打斗和异常 抢劫行为的检测，本文算法在检测精度方面达到 最佳，尤其对于打斗行为的检测，高达 92.79%；在 检测错误率方面，本文算法略低于其他方法 2%~5%，说明本文算法在检测行人交互中出现的 行人打斗和抢劫等异常行为时具有较好的鲁 棒性。 针对打斗与抢劫视频中的异常行为检测，ROC 曲线图如图 14 所示，分析 ROC 曲线图可得出，本 文算法相比于 5 种对比算法，在两组异常行为的 检测过程中，检测精度与错误率之间可以达到更 好的平衡。 假阳率 (b) 抢劫异常 (b) 打斗异常 假阳率 0 0.2 0.4 0.6 0.8 1.0 0.2 0.4 0.6 0.8 1.0 真阳率 0 0.2 0.4 0.6 0.8 1.0 0.2 0.4 0.6 0.8 1.0 真阳率 CHI[28] SRA[20] MA[29] MCLU[30] E-AWOH[21] WSRT-WHE CHI[28] SRA[20] MA[29] MCLU[30] E-AWOH[21] WSRT-WHE 图 14 异常行为 ROC 曲线图 Fig. 14 Abnormal behavior ROC curve 基于学习的方法对特征要求很高，针对视频 中行人发生异常时存在遮挡的问题，该类方法检 测效果不佳。本文通过时空上下文算法结合卡尔 曼滤波器和 HOG 特征，有效解决了异常发生时 目标被遮挡的问题。在目标存在遮挡的监控场景 中，实现有效的检测和跟踪，可获取更加清晰的 运动轨迹，采用自适应控制点参数对运动轨迹进 行表示，同时结合运动幅值直方图熵，实现对目 表 5 打斗视频实验对比结果 Table 5 Comparison experiment results in the fight video % 算法 精度 错误率 CHI[28] 85.57 11.19 SRA[20] 87.42 10.06 MA[29] 87.74 9.70 E-AWOH[21] 89.31 8.53 MCLU[30] 90.83 7.46 本文算法 92.79 5.94 表 6 抢劫视频实验对比结果 Table 6 Comparison experiment results in the rob video% 算法 精度 错误 CHI[28] 51.72 6.06 SRA[20] 76.71 3.59 MCLU[30] 79.17 2.16 MA[29] 80.00 3.03 E-AWOH[21] 81.26 1.97 本文算法 84.62 1.73 ·1024· 智 能 系 统 学 报 第 13 卷