·602· 智能系统学报 第15卷 重要作用。人体动作识别主流的两种方法是基 布进行建模。 于RGB和基于人体骨架序列。基于RGB的方法 传统基于深度学习的方法是通过手工的方式 充分利用图像数据，在识别效果上可以获得较高 将骨架序列构造为一组关节向量序列输入到RN 的性能。这种方法通常需要处理图像上的每一个 Ns1,或者将表示骨架序列的语义图像输入到 像素点来提取特征，高成本的计算资源无法满足 CNNs2o中提取特征，最后对动作类别进行预 实时处理的条件，不同照明条件和背景噪声对该 测。然而关节向量序列和语义图像都不能很好地 方法影响较大。由于人体骨架的关节数量有限， 表达人体关节之间的相关性。最近，图卷积神经 且只有几十个，所耗费的计算资源要低，实时性 网络(graph convolutional network,GCNs)将卷积操 有保障，对动态环境和复杂背景的适应性强。微 作从二维的图像结构拓展到了图结构上，在很 软的Kinect、OpenPose!以及CPN等高精度人体 多应用上都有很好的表现。Yan等2首次使用 姿态估计也适合用于提取人体骨架。 GCNs应用在基于骨架结构的动作识别上，并提 已有的动作识别工作中，龚冬颖等6通过随 出时空图模型。Shi等2通过自适应学习的方法 机森林算法和信息熵分析关节点判别力，自适应 学习关节之间的连接关系构建非局部模块，将一 选择动作表示特征，解决了多特征融合对个别特 阶的关节信息、二阶的骨骼信息以及运动信息等 征的分类缺陷。姬晓飞等将动作交互过程分阶 分别作为输入构建多流网络。Liu等2提出跨时 段分别提取感兴趣区域的HOG特征，并加权融 空的多尺度聚合节点信息，有效消除了邻域节点 合每个阶段的分类概率，解决交互区域难分割的 的重要性。Peng等21使用骨架邻接图的高阶 问题。庄伟源等⑧选择高判别力的关键肢体的角 表征以及动态图建模机制寻找隐式的关节联系。 度直方图作为特征解决多尺度以及相似动作的分 Obinata等2]通过跨时空的卷积方式对时空图进 类。徐志通等9提出了联合加权稀疏重构轨迹与 行时序建模，以提取运动关节的相关特征。这些 幅值方向直方图熵的方法来检测异常行为。吴云 方法都忽略了运动姿态和骨架关节特征在时空域 鹏等1提出了基于流密度的聚类算法和多重邻 上的特征融合。 接关系模型分别识别局部和全局模式解决复杂视 现有的研究工作，不能有效地对时空图中的 频下的多人行为问题。陈婷婷等采用慢特征 空间信息和运动信息进行融合实现端到端的训 分析提取不变量特征，这种方法提取的特征具有 练。本文提出了基于姿态运动时空域融合的图卷 很强的区分力。丁重阳等2提出了时空权重姿 积神经网络模型(PM-STFGCN),使用基于姿态运 态运动特征的方法，对骨架不同关节点分配权 动的时空域融合模块(PM-STF),对运动姿态和骨 重，并引入傅里叶时间金字塔算法和动态时间规 架关节点在时空域上进行特征融合并自适应特征 整算法对时序运动建模分析。莫宏伟等]提出 增强。针对时域内存在的大量干扰信息，定义一 改进的Faster R-CNN人体行为检测模型，将在 种基于局部姿态运动的时域关注度模块LPM- 线难例挖掘算法和批量规范化算法与Faster R- TAM)进行有效的抑制。此外，与仅优化空间图 CNN算法相结合有效解决小样本难例的问题。 卷积的方法相结合，本文提出的方法可以进一步 谢旋等使用CNN提取深度特征输入到LSTM+ 提高识别的性能。本文在两个大型骨架数据集上 Inception V3网络模型提取全局和局部的相关信 进行实验，与常用方法进行比较。设计的人体动 息，完成双人交互识别与预测。谢昭等1提出了 作交互系统与语音交互在实时性和识别准确率上 双流时空关注度长短时记忆网络模型抑制时空背 进行对比。 景信息。王传旭等I使用双流TSN网络提取全 1相关工作 局和局部特征，并分别连接LSTM网络捕获视频 中的长期依赖关系，解决复杂环境下的多视觉信 1.1 空间图卷积 息和上下文信息融合问题。郑兴华等刀使用深 时空图卷积神经网络模型2构建的骨架时空 度残差网络和递归神经网络对图像提取深度特 图将节点之间的连接关系，用表示自身连接的单 征，通过STRIPS模型将深度特征表示为描述文 位矩阵I和表示相邻节点连接关系的邻接矩阵 档并使用规划器推导完整的动作序列解决行为数 A表示。在单帧情况下，空间域上图卷积操作如下： 据缺失的情况。张冰冰等8劉考虑视频局部特征 的高阶统计信息，对一阶和二阶局部特征二阶聚 2AkM2⑧M)fmW (1) 合形成高阶全局特征表示，对空间和时间特征分重要作用[3]。人体动作识别主流的两种方法是基 于 RGB 和基于人体骨架序列。基于 RGB 的方法 充分利用图像数据，在识别效果上可以获得较高 的性能。这种方法通常需要处理图像上的每一个 像素点来提取特征，高成本的计算资源无法满足 实时处理的条件，不同照明条件和背景噪声对该 方法影响较大。由于人体骨架的关节数量有限， 且只有几十个，所耗费的计算资源要低，实时性 有保障，对动态环境和复杂背景的适应性强。微 软的 Kinect、OpenPose[4] 以及 CPN[5] 等高精度人体 姿态估计也适合用于提取人体骨架。 已有的动作识别工作中，龚冬颖等[6] 通过随 机森林算法和信息熵分析关节点判别力，自适应 选择动作表示特征，解决了多特征融合对个别特 征的分类缺陷。姬晓飞等[7] 将动作交互过程分阶 段分别提取感兴趣区域的 HOG 特征，并加权融 合每个阶段的分类概率，解决交互区域难分割的 问题。庄伟源等[8] 选择高判别力的关键肢体的角 度直方图作为特征解决多尺度以及相似动作的分 类。徐志通等[9] 提出了联合加权稀疏重构轨迹与 幅值方向直方图熵的方法来检测异常行为。吴云 鹏等[10] 提出了基于流密度的聚类算法和多重邻 接关系模型分别识别局部和全局模式解决复杂视 频下的多人行为问题。陈婷婷等[11] 采用慢特征 分析提取不变量特征，这种方法提取的特征具有 很强的区分力。丁重阳等[12] 提出了时空权重姿 态运动特征的方法，对骨架不同关节点分配权 重，并引入傅里叶时间金字塔算法和动态时间规 整算法对时序运动建模分析。莫宏伟等[13] 提出 改进的 Faster R-CNN 人体行为检测模型，将在 线难例挖掘算法和批量规范化算法与 Faster R￾CNN 算法相结合有效解决小样本难例的问题。 谢旋等[14] 使用 CNN 提取深度特征输入到 LSTM+ Inception V3 网络模型提取全局和局部的相关信 息，完成双人交互识别与预测。谢昭等[15] 提出了 双流时空关注度长短时记忆网络模型抑制时空背 景信息。王传旭等[16] 使用双流 TSN 网络提取全 局和局部特征，并分别连接 LSTM 网络捕获视频 中的长期依赖关系，解决复杂环境下的多视觉信 息和上下文信息融合问题。郑兴华等[17] 使用深 度残差网络和递归神经网络对图像提取深度特 征，通过 STRIPS 模型将深度特征表示为描述文 档并使用规划器推导完整的动作序列解决行为数 据缺失的情况。张冰冰等[18] 考虑视频局部特征 的高阶统计信息，对一阶和二阶局部特征二阶聚 合形成高阶全局特征表示，对空间和时间特征分 布进行建模。 传统基于深度学习的方法是通过手工的方式 将骨架序列构造为一组关节向量序列输入到 RN￾Ns[19] ，或者将表示骨架序列的语义图像输入到 CNNs[ 2 0 ] 中提取特征，最后对动作类别进行预 测。然而关节向量序列和语义图像都不能很好地 表达人体关节之间的相关性。最近，图卷积神经 网络 (graph convolutional network,GCNs) 将卷积操 作从二维的图像结构拓展到了图结构上，在很 多应用上都有很好的表现。Yan 等 [21] 首次使用 GCNs 应用在基于骨架结构的动作识别上，并提 出时空图模型。Shi 等 [22] 通过自适应学习的方法 学习关节之间的连接关系构建非局部模块，将一 阶的关节信息、二阶的骨骼信息以及运动信息等 分别作为输入构建多流网络。Liu 等 [23] 提出跨时 空的多尺度聚合节点信息，有效消除了邻域节点 的重要性。Peng 等 [ 2 4 ] 使用骨架邻接图的高阶 表征以及动态图建模机制寻找隐式的关节联系。 Obinata 等 [25] 通过跨时空的卷积方式对时空图进 行时序建模，以提取运动关节的相关特征。这些 方法都忽略了运动姿态和骨架关节特征在时空域 上的特征融合。 现有的研究工作，不能有效地对时空图中的 空间信息和运动信息进行融合实现端到端的训 练。本文提出了基于姿态运动时空域融合的图卷 积神经网络模型 (PM-STFGCN)，使用基于姿态运 动的时空域融合模块 (PM-STF)，对运动姿态和骨 架关节点在时空域上进行特征融合并自适应特征 增强。针对时域内存在的大量干扰信息，定义一 种基于局部姿态运动的时域关注度模块 (LPM￾TAM) 进行有效的抑制。此外，与仅优化空间图 卷积的方法相结合，本文提出的方法可以进一步 提高识别的性能。本文在两个大型骨架数据集上 进行实验，与常用方法进行比较。设计的人体动 作交互系统与语音交互在实时性和识别准确率上 进行对比。 1 相关工作 1.1 空间图卷积 时空图卷积神经网络模型[21] 构建的骨架时空 图将节点之间的连接关系，用表示自身连接的单 位矩阵 I 和表示相邻节点连接关系的邻接矩阵 A 表示。在单帧情况下，空间域上图卷积操作如下： fout = ∑K k=1 (Λ − 1 2 k AkΛ − 1 2 k ⊗ Mk)finWk (1) ·602· 智 能 系 统 学 报 第 15 卷