·970· 智能系统学报 第13卷 速率进行训练，加快网络的训练速度，具体做法 RPN模型再次初始化，但不更新RPN与FstR-CNN 如图2所示。最后使用OHEM算法选择难例进 共享的卷积层参数，仅对RPN网铬特有层参数进 行前向和后向传播，计算梯度并传播到卷积神经 行更新，再进行训练，此时已实现了两个共享，之 网络，以获得更低的训练损失和更高的类别和位 后再对Fast R-CNN模型进行训练，如此交替进行 置精度。改进算法的整体流程见图2。 训练。 在训练之前首先修改文件中的相关的参数， 标准化x 标准化t 将类型换成人体行为数据集中的标签。将相应输 出的类别数改为类别数加一（类别加上背景）。 4实验结果与对比分析 隐藏层 测试的结果见表1。表2为ZF+RPN、VGG+ No+E Rol (s)im RPN实验结果和改进算法的实验结果。 表1改进Faster R-CNN算法检测各类别的AP值 图2批量规范化处理 Table 1 AP of actions of improved Faster R-CN Fig.2 Batch normalization AP 3实验过程 人体行为 拍照 0.747 3.1数据集及实验环境 打电话 0.786 本文实验数据是从VOC2012 Action选取包 玩电脑 0.853 括8个目标类别的人体行为数据集，3347张标记 阅读 0.735 图像，每类动作大约400张。在数据集中，训练验 骑马 0.932 证集大约占整个数据集的50%，测试集大约占整 骑车 0.891 个数据集的50%，训练集大约是训练验证集的 跳 0.783 50%,验证集大约占训练验证集的50%。算法利 玩乐器 0.696 用caffe开源框架，在Ubuntu14.04系统下实现，所 表2ZF和VGG16的mAP 用的计算机配置是，显卡为GeForce GTX1080Ti, Table 2 mAP for ZF and VGG16 内存11GB。 3.2参数选择 训练 propos 测试 proposals mAP/% als 使用变学习率策略训练改进的Faster R-CNN RPN+ZF 300 RPN+ZF 300 0.58 算法模型，初始学习率Base Ir为：0.001，批大小 RPN+VGG16 300 RPN+VGG16 300 0.68 Batchs为128，训练步数Stepsize为6000，变学习 RPN+OHEM+BN 300 RPN+OHEM+BN 300 0.825 率参数gamma为0.l。采用了变学习率策略公式： r=baserxgammaoo号 (1) 图3为ZF+RPN、VGG+RPN和改进算法识 式中iter为当前的迭代次数。 别：8个类别的平均精度(AP)柱状图。 合硬件条件和学习效率之后，在用Fast R-CNN 1.0 0.9 进行人体行为检测时选择Batch size为l28。 0.8 3.3模型训练 0.7 Faster R-CNN模型训练阶段使用训练好的 0.6 20.5 ResNet模型参数对RPN模型进行初始化，然后独 0.4 立地对RPN模型进行训练，之后依旧采用在 0.3 0.2 ImageNet上训练好的ResNet模型参数对Fast 0.1 Rpn+VGG16 Rpn+Resnet101 R-CNN模型参数进行初始化，可以看出RPN网 0 络与Fast R-CNN模型的训练是单独进行的，两个 打电话 玩乐器 网络不进行参数共享，将上一步中RPN模型生成 行为类别 的建议窗口作为输入样本对Fast R-CNN模型进 图33种方法的AP比较 行训练，再使用训练后的Fast R-CNN模型参数对 Fig.3 AP comparison of three methods速率进行训练，加快网络的训练速度，具体做法 如图 2 所示。最后使用 OHEM 算法选择难例进 行前向和后向传播，计算梯度并传播到卷积神经 网络，以获得更低的训练损失和更高的类别和位 置精度。改进算法的整体流程见图 2。 3 实验过程 3.1 数据集及实验环境 本文实验数据是从 VOC 2012 Action 选取包 括 8 个目标类别的人体行为数据集，3 347 张标记 图像，每类动作大约 400 张。在数据集中，训练验 证集大约占整个数据集的 50%，测试集大约占整 个数据集的 50%，训练集大约是训练验证集的 50%，验证集大约占训练验证集的 50%。算法利 用 caffe 开源框架，在 Ubuntu14.04 系统下实现，所 用的计算机配置是，显卡为 GeForce GTX1080Ti， 内存 11 GB。 3.2 参数选择 使用变学习率策略训练改进的 Faster R-CNN 算法模型，初始学习率 Base_lr 为：0.001，批大小 Batchs 为 128，训练步数 Stepsize 为 6 000，变学习 率参数 gamma 为 0.1。采用了变学习率策略公式： lr = baselr×gammafloor iter stepsize (1) 式中 iter 为当前的迭代次数。 合硬件条件和学习效率之后，在用 Fast R-CNN 进行人体行为检测时选择 Batch_size 为 128。 3.3 模型训练 Faster R-CNN 模型训练阶段使用训练好的 ResNet 模型参数对 RPN 模型进行初始化，然后独 立地对 RPN 模型进行训练，之后依旧采用在 ImageNet 上训练好的 ResNet 模型参数对 Fast R-CNN 模型参数进行初始化，可以看出 RPN 网 络与 Fast R-CNN 模型的训练是单独进行的，两个 网络不进行参数共享，将上一步中 RPN 模型生成 的建议窗口作为输入样本对 Fast R-CNN 模型进 行训练，再使用训练后的 Fast R-CNN 模型参数对 RPN 模型再次初始化，但不更新 RPN 与 Fast R-CNN 共享的卷积层参数，仅对 RPN 网络特有层参数进 行更新，再进行训练，此时已实现了两个共享，之 后再对 Fast R-CNN 模型进行训练，如此交替进行 训练。 在训练之前首先修改文件中的相关的参数， 将类型换成人体行为数据集中的标签。将相应输 出的类别数改为类别数加一 (类别加上背景)。 4 实验结果与对比分析 测试的结果见表 1。表 2 为 ZF+RPN、VGG+ RPN 实验结果和改进算法的实验结果。 图 3 为 ZF+RPN、VGG+RPN 和改进算法识 别：8 个类别的平均精度 (AP) 柱状图。 表 1 改进 Faster R-CNN 算法检测各类别的 AP 值 Table 1 AP of actions of improved Faster R-CN 人体行为 AP 拍照 0.747 打电话 0.786 玩电脑 0.853 阅读 0.735 骑马 0.932 骑车 0.891 跳 0.783 玩乐器 0.696 表 2 ZF 和 VGG16 的 mAP Table 2 mAP for ZF and VGG16 训练 propos als 测试 proposals mAP/% RPN+ZF 300 RPN+ZF 300 0.58 RPN+VGG16 300 RPN+VGG16 300 0.68 RPN+OHEM+BN 300 RPN+OHEM+BN 300 0.825 标准化 x 标准化 t 第 1 层 h1 h2 h3 h4 隐藏层 x Wh 2 ·x s1 s2 s3 h1 s1−μ2 σ 2 s+ξ r·s2+β RoI (s2 ) 图 2 批量规范化处理 Fig. 2 Batch normalization 拍照 打电话 玩电脑 阅读 骑马 骑车 跳 玩乐器 1.0 0.8 0.9 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 行为类别 Rpn+ZF Rpn+VGG16 Rpn+Resnet101 AP 图 3 3 种方法的 AP 比较 Fig. 3 AP comparison of three methods ·970· 智 能 系 统 学 报 第 13 卷