第6期 梅雪，等：基于多尺度特征的双层隐马尔可夫模型及其在行为识别中的应用 ·513· 夫模型(hidden Markov models,HMM)和动态贝叶 信号.视频连续帧中的运动人体目标可表示为参数 斯网络(dynamic Bayesian networks,DBNs),其中前 曲线.图1为几种行为轨迹 者是后者的一种特殊形式 基于状态图转移的行为识别方法大都是针对某 一特定尺度的行为特征分析实现的，如基于HMM 的轨迹识别45；基于肢体结构特征及其时空结构 关系的行为识别方法6.目前已有一些研究工作兼 (a)run (b)side (o)jup(d)“前进-下 蹲-前进” 顾了多个尺度特征.Lee等应用分层隐马尔可夫模 图1运动行为轨迹 型(hierarchical hidden Markov model,.HHMM)分析 Fig.1 Trajectory of movement 行为内在的层次结构1；Qian等在概率框架下提出 对于一个完整轨迹分割得到的5条子轨迹具有 了一种抽象隐马尔可夫模型(abstract hidden Markov 不同的序列长度l,(i=1,2,…,5).设m为每个子轨 models,AHMM),采用级联的形式对人的行为进行 迹上的采样点数.若l:>m,则在该段子轨迹中均匀 建模[1；Chen等提出了一种2层动态贝叶斯时间序 采集m个坐标点，即获得m帧图像序列.若l:<m 列模型(layered time series model,,LTSM),用尺度间 时，对数据先进行插值，使得轨迹长度达到m.对处 的相关特性分析步态例 理后的子轨迹数据分别进行主成分分析，提取前 兼顾多尺度特征的识别方法与人类视觉感知方 m/2个主成分系数作为特征向量， 法有类似之处，其灵活性很大程度上在于对目标识 在轨迹数据中变化明显的点处进行分割，一个 别时的多尺度性、多分辨性.本文借鉴人类视觉感知 行为事件的轨迹被分割成多段子轨迹.计算轨迹的 特点，建立了双层隐马尔可夫模型(double layer 速度（一阶导数）和加速度（二阶导数）来判断曲率 HMM,DL-HMM),分别将大尺度运动轨迹特征和小 的大小，当曲率大小大于设定阈值时，记录该点为疑 尺度姿态的边缘小波矩细节特征应用于2层HMM 似分割点.在每一个完整的行为段中，选取曲率最大 中.大尺度下，得到人的运动行为的概略特征；小尺 的4个疑似分割点作为最终的分割点，于是一段完 度下，利用具有代表性的关键姿态可以刻画行为的 整的行为事件轨迹被分割成为5段子轨迹.例如对 肢体等相对位置和结构的细节特征.同时，DL-HMM 于“前进一下蹲一前进”行为：人沿着走廊过道向前 的状态数根据行为的关键姿态数确定，降低了运算 行走，中间蹲下来，站起来然后继续往前行走.图2 复杂度，提高了识别率， 为该行为事件得到的轨迹示意图，图中标记①、②、 1行为多尺度特征 ③、④为曲率最大的4个分割点. 由于人体动作行为是一个复杂的运动过程，具 4 有大自由度和高度非线性的特点，以及关于行为、事 件的定义有着不同的概念，如何选择充分有效的表 达方式来描述场景中人的行为是非常困难的[45].本 第1帧 第顺 文首先获得视频帧中运动人体的剪影图，从而将行为 图2“前进一下蹲一前进”行为的近似轨迹 视频表示为剪影序列，以人体目标侧影序列的集合构 Fig.2 The approximate path diagram of "advance- 建基本的人体行为姿态的数据库， squat-advance"movement 1.1大尺度特征 1.2小尺度特征 以行为运动轨迹作为大尺度特征.选取各个瞬 用边缘轮廓小波矩特征来刻画在小尺度上单个 间时刻运动人体剪影的最小外界矩形框的中心来近 姿态的细节特征，求取步骤见文献[10]，该特征建 似人体的轨迹坐标.在各个瞬间时刻，一个轨迹对应 立在多段定向距离矢量傅里叶描述子的基础上，具 的是人体质心位置的x和y坐标组成的二维V元向 有平移、缩放和旋转不变性.人体姿态用一个8维的 量{(X,Y),k=1,2,…,N}.以统一形式编码轨迹， 边缘轮廓小波矩特征表示「1] 对于帧序列，每一帧的运动人体均由二维图像的 由于在模型中采用的是2层行为状态来描述2个 坐标(x,y:)来表示，令f=（:,y:).人体运动行为 不同尺度上的运动细节，在2层的行为状态中分别采 轨迹的流向量序列可表示为T。={f,f,…,f,…, 用马尔可夫假设.运动轨迹和姿态之间具有很强的相 ∫n-1n},一个对象的轨迹基本上表示成了一个二维 关性，即2个尺度之间也存在依赖关系.通常情况下