第1期 郭利，等：累积方向-数量级光流梯度直方图的人体动作识别 ·105· 下的应用。文献[7]提出了基于网格的光流表 2 示方法，将兴趣区域按照人体比例大致划分为头颈、 累积方向-数量级光流直方图 上半身、腿三部分，然后在每个部分利用径向直方图 2.1图像预处理 统计光流特征在横纵方向的光流幅度。此方法识别 提取图像中的兴趣区域是为了减少计算量。通 结果不够理想，用Harris角点检测运动人体，计算量 常利用背景减除法确定出运动的大致区域，再利用 大、计算速度慢。文献[8]将兴趣区域划分为均分 中值滤波得到人体剪影，根据人体剪影信息确定兴 的小区域，在每个子区域内仍然利用径向直方图统 趣区域，如图2中4张图像的虚线矩形框内所示。 计横纵方向的光流幅度。该方法不需要对人体部分 根据背景减除法得到粗略的兴趣区域，有时不 进行划分，识别结果较好，但是它在计算整帧图像的 能完全包含运动人体，会出现兴趣区域内不包含头 光流后再对提取的光流做处理，导致计算速度较慢。 部、运动的手臂或腿部，如图2(b)~(d)中虚线矩形 以上的光流特征表示方法均利用直方图统计小区域 框所示。为了避免这种情况，在确定兴趣区域时，将 内光流在横纵方向的分量幅度作为特征，因此均忽 边界按照定宽高比例的方法进行扩展，使其包含完 略了光流的方向信息，而光流的方向信息对于区分 整的运动人体，如图2中实线矩形框内，本文方法只 相似动作是十分有益的。 对兴趣区域内部进行处理。 基于以上的分析，本文提出了一种新的光流特 征表示方法。该方法首先对单帧图像提取兴趣区域 并进行网格化处理，然后对网格内光流矢量同时在 方向和数量级上进行直方图统计，最后利用累积方 向-数量级的光流梯度直方图表示整个动作视频的 特征。该特征与其他方法最大的不同是光流矢量按 (a)图例A b)图例B 照不同的方向和数量级进行直方图统计，而不是传 统光流幅度的累加。 1 光流表示方法 通过光流计算所得到的帧间光流场，是从视频 图像得到的动作原始特征。一个光流矢量可以用四 (c)图例C (d)图例D 维向量(x,y,u,)表示，其中(x,y)代表了光流矢 图2兴趣区域图例 量在每帧图像中的位置信息，、分别表示光流矢 Fig.2 The examples of region of interest 量的横向分量和纵向分量的大小。若一帧图像的分 辨率为X×Y,则光流场中有X×Y个光流矢量。一 2.2方向-数量级的光流梯度直方图 个视频由多帧图像组成，提取的原始光流特征属于 图像预处理后，将裁剪出的兴趣区域缩放到 高维特征，计算量大，可用样本分布稀疏，不适用于 40×40像素大小，并转换为灰度图像。然后利用 动作分类识别。 Horm-Schunck光流算法(HS光流算法)计算运动光 本文所提出的累积方向-数量级的光流梯度直 流，得出四维平面坐标的向量(x,y,u,),将其转换 方图是对单帧光流矢量同时在方向和数量级上进行 为极坐标(x,y,r,9),r为点(x,y)上光流的大小， 投票，然后在时间维上进行累积得到。其具体实现 0为该点的光流方向。经计算得出，光流方向的范 如图1所示，由以下4个步骤组成：1)图像预处理得 围是[0°，360°]，单帧图像光流的大小范围基本在 到兴趣区域：2)计算运动估计（光流计算），平面坐 [0,3]之间。将光流方向分成K个方向柱，以360/ 标(u,v)转化成极坐标(r,),r、0分别为点(x,y) K为间隔，光流大小分成M个数量级。计算单帧图 的光流大小和方向：3)对所计算的光流数据进行处 像的方向-数量级光流梯度直方图时，根据每个像 理得到单帧图像的方向-数量级的光流梯度直方图 素点上光流的方向和大小投票到相应的方向柱数量 特征向量：4)沿着时间轴进行特征累积，归一化处理得 级上。 到累积方向-数量级的光流梯度直方图特征向量。 将光流方向分成8个方向柱，分别为[0°，45°] [45°，90]、[90°，135]、[135°，180]、[180°， 图像预处理 计算光流 数据处理 225°]、[225°，270]、[270°，315]、[315°，360°]， 视频序列 特征描述子 特征累积 光流大小分成4个数量级[0,0.5]、(0.5,1.5] 图1特征处理过程 (1.5,2]、(2,+0)。当极坐标为(0.3,30)，则投给第 Fig.1 Feature extraction process 1个方向柱的第1个数量级一票。为了避免出现零 的情况，将每个方向柱的数量级上的值初始化为1。下的应用［７⁃８］ 。 文献［７］ 提出了基于网格的光流表 示方法，将兴趣区域按照人体比例大致划分为头颈、 上半身、腿三部分，然后在每个部分利用径向直方图 统计光流特征在横纵方向的光流幅度。 此方法识别 结果不够理想，用 Ｈａｒｒｉｓ 角点检测运动人体，计算量 大、计算速度慢。 文献［８］将兴趣区域划分为均分 的小区域，在每个子区域内仍然利用径向直方图统 计横纵方向的光流幅度。 该方法不需要对人体部分 进行划分，识别结果较好，但是它在计算整帧图像的 光流后再对提取的光流做处理，导致计算速度较慢。 以上的光流特征表示方法均利用直方图统计小区域 内光流在横纵方向的分量幅度作为特征，因此均忽 略了光流的方向信息，而光流的方向信息对于区分 相似动作是十分有益的。 基于以上的分析，本文提出了一种新的光流特 征表示方法。 该方法首先对单帧图像提取兴趣区域 并进行网格化处理，然后对网格内光流矢量同时在 方向和数量级上进行直方图统计，最后利用累积方 向－数量级的光流梯度直方图表示整个动作视频的 特征。 该特征与其他方法最大的不同是光流矢量按 照不同的方向和数量级进行直方图统计，而不是传 统光流幅度的累加。 １ 光流表示方法 通过光流计算所得到的帧间光流场，是从视频 图像得到的动作原始特征。 一个光流矢量可以用四 维向量 （ｘ，ｙ，ｕ，ｖ） 表示，其中 （ｘ，ｙ） 代表了光流矢 量在每帧图像中的位置信息， ｕ、ｖ 分别表示光流矢 量的横向分量和纵向分量的大小。 若一帧图像的分 辨率为 Ｘ × Ｙ ，则光流场中有 Ｘ × Ｙ 个光流矢量。 一 个视频由多帧图像组成，提取的原始光流特征属于 高维特征，计算量大，可用样本分布稀疏，不适用于 动作分类识别。 本文所提出的累积方向－数量级的光流梯度直 方图是对单帧光流矢量同时在方向和数量级上进行 投票，然后在时间维上进行累积得到。 其具体实现 如图 １ 所示，由以下 ４ 个步骤组成：１）图像预处理得 到兴趣区域；２）计算运动估计（光流计算），平面坐 标 （ｕ，ｖ） 转化成极坐标 （ｒ，θ） ，ｒ、θ 分别为点 （ｘ，ｙ） 的光流大小和方向；３）对所计算的光流数据进行处 理得到单帧图像的方向－数量级的光流梯度直方图 特征向量；４）沿着时间轴进行特征累积，归一化处理得 到累积方向－数量级的光流梯度直方图特征向量。 图 １ 特征处理过程 Ｆｉｇ．１ Ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｐｒｏｃｅｓｓ ２ 累积方向－数量级光流直方图 ２．１ 图像预处理 提取图像中的兴趣区域是为了减少计算量。 通 常利用背景减除法确定出运动的大致区域，再利用 中值滤波得到人体剪影，根据人体剪影信息确定兴 趣区域，如图 ２ 中 ４ 张图像的虚线矩形框内所示。 根据背景减除法得到粗略的兴趣区域，有时不 能完全包含运动人体，会出现兴趣区域内不包含头 部、运动的手臂或腿部，如图 ２（ｂ） ～ （ｄ）中虚线矩形 框所示。 为了避免这种情况，在确定兴趣区域时，将 边界按照定宽高比例的方法进行扩展，使其包含完 整的运动人体，如图 ２ 中实线矩形框内，本文方法只 对兴趣区域内部进行处理。 图 ２ 兴趣区域图例 Ｆｉｇ．２ Ｔｈｅ ｅｘａｍｐｌｅｓ ｏｆ ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ ２．２ 方向－数量级的光流梯度直方图 图像预处理后，将裁剪出的兴趣区域缩放到 ４０×４０ 像素大小，并转换为灰度图像。 然后利用 Ｈｏｒｎ⁃Ｓｃｈｕｎｃｋ 光流算法（ＨＳ 光流算法）计算运动光 流，得出四维平面坐标的向量 （ｘ，ｙ，ｕ，ｖ）， 将其转换 为极坐标 （ｘ，ｙ，ｒ，θ） ，ｒ 为点 （ｘ，ｙ） 上光流的大小， θ 为该点的光流方向。 经计算得出，光流方向的范 围是［０°，３６０°］，单帧图像光流的大小范围基本在 ［０，３］之间。 将光流方向分成 Ｋ 个方向柱，以 ３６０°／ Ｋ 为间隔，光流大小分成 Ｍ 个数量级。 计算单帧图 像的方向－数量级光流梯度直方图时，根据每个像 素点上光流的方向和大小投票到相应的方向柱数量 级上。 将光流方向分成 ８ 个方向柱，分别为［０°，４５°］、 ［４５°， ９０°］、 ［ ９０°， １３５°］、 ［ １３５°， １８０°］、 ［ １８０°， ２２５°］、［ ２２５°，２７０°］、 ［ ２７０°，３１５°］、 ［ ３１５°，３６０°］， 光流大小分成 ４ 个数量级 ［ ０， ０． ５］、 （ ０． ５， １． ５］、 （１．５，２］、（２，＋¥）。 当极坐标为（０．３，３０），则投给第 １ 个方向柱的第 １ 个数量级一票。 为了避免出现零 的情况，将每个方向柱的数量级上的值初始化为 １。 第 １ 期 郭利，等：累积方向－数量级光流梯度直方图的人体动作识别 ·１０５·