·288· 智能系统学报 第16卷 ME-Faster R-CNN检测流程主要分为3个部 CNN模型结构中只有一个RPN,RPN使用最后一 分，分别是特征提取、特征融合以及候选区域生 个卷积层获得特征图。称之为原始RPN,其结 成、检测处理。 构如图2(a)所示，输入图像大小为224×224，原 1)特征提取：本文选用ResNet-50深度残差网 始RPN在网络中感受野要远远大于224×224，仅 络)作为大坝裂缝图像特征提取器，通过5级 能获得少量典型裂缝特征。然而，图像中裂缝存 ResNet-50将图片转换成特征图。 在不同大小和比例。如果检测到裂缝大小对于检 2)特征融合以及候选区域生成：将所得特征 测区域太大，则检测区域周围多余裂缝形状可能 图输人多任务增强RPN模型，并改善RPN模型 会被视为噪音。如果检测到裂缝大小对于检测区 的锚盒尺寸和大小以提高检测识别精度，最后生 域太小，RPN将无法生成ROI。因此，原始 成候选框。具体方法如下： RPN的功能不足以检测不同大小和比例的完整 ①多任务增强RPN方法：最初Faster R- 裂缝对象。 ConvI_x Conv2_x Conv3_x Conv4_x Conv5_x Bbox ROI Pooling Layer FC6 FC7 FC8 Class Input ROI Score RPN 619×619 (a)原始RPN模块 Convl x Conv2_x Conv3_x Conv4_x Conv5_x Bbox ROI Pooling Layer FC6 FC7 FC8 Input Class Score ROI RPNI 146×146 ROI-Merge Layer RPN2 229×229 RPN3 619×619 (b)多任务增强RPN模块 图2原始RPN模型与多任务增强RPN模型 Fig.2 Primitive RPN module &multi-task enhanced RPN module 针对以上问题，ME-Faster R-CNN方法提出一 Merge Layer仅输出一个数组。为了避免重复的 种多任务增强RPN方法，其结构如图2(b)所示。 ROI和低的ROI裂缝似然分数，本文使用非极大 该方法在ResNet-50的基础上引入多个RPN来产 值抑制方法，不同卷积层后RPN输出的候选区域 生ROL,提取不同大小特征图。具体是在ResNet- 中，在对应位置两ROI的交并比大于0.7的 50的第3卷积层Cov3x后加入一个RPN模块，ROI为同一ROI。具体方法为，3个卷积层后 其感受野大小为146×146，用来检测较小目标；同 RPN输出的候选区域均带有建议得分，该分数对 时在ResNet-50的第4卷积层Conv4x后加入一 应的是目标的可能性，在对应位置选取分数最高 个RPN模块，其感受野大小为229×229，用来检 的一个ROI区域，另外两层对应位置的ROI与所 测较大目标；在ResNet-.50的第5卷积层Conv5_x选ROI交并比IoU若大于0.7，则认为是同一 之后利用多RPN任务可以输出图像总体信息。 ROI,ROI-Merge Layer的输出数组中对应位置仅 由于每个RPN输出独立的ROI数组，为聚集 输出该得分最高的数组。在使用非极大值抑制方 和选择有效的区域，多任务增强RPN方法提供 法之后，选择前100个值较高的ROI。因此，RO ROI-Merge Layer用于接受独立ROI数组，ROI- Merge Layer只需要调整超参数即可控制ROI的ME-Faster R-CNN 检测流程主要分为 3 个部 分，分别是特征提取、特征融合以及候选区域生 成、检测处理。 1) 特征提取：本文选用 ResNet-50 深度残差网 络 [13] 作为大坝裂缝图像特征提取器，通过 5 级 ResNet-50 将图片转换成特征图。 2) 特征融合以及候选区域生成：将所得特征 图输入多任务增强 RPN 模型，并改善 RPN 模型 的锚盒尺寸和大小以提高检测识别精度，最后生 成候选框。具体方法如下： ①多任务增强 RPN 方法：最初 Faster R- 224×224 224×224 CNN 模型结构中只有一个 RPN，RPN 使用最后一 个卷积层获得特征图[2]。称之为原始 RPN，其结 构如图 2(a) 所示，输入图像大小为 ，原 始 RPN 在网络中感受野要远远大于 ，仅 能获得少量典型裂缝特征。然而，图像中裂缝存 在不同大小和比例。如果检测到裂缝大小对于检 测区域太大，则检测区域周围多余裂缝形状可能 会被视为噪音。如果检测到裂缝大小对于检测区 域太小， R P N 将无法生 成 ROI。因此，原 始 RPN 的功能不足以检测不同大小和比例的完整 裂缝对象。 ROI Pooling Layer FC6 FC7 Bbox Class Score RPN Input ROI Conv1_x Conv2_x Conv3_x Conv4_x Conv5_x 619×619 FC8 (a) 原始RPN模块 ROI Pooling Layer FC6 FC7 Bbox Class Score RPN3 Input ROI Conv1_x Conv2_x Conv3_x Conv4_x Conv5_x 229×229 FC8 RPN2 RPN1 146×146 619×619 ROI-Merge Layer (b) 多任务增强RPN模块 图 2 原始 RPN 模型与多任务增强 RPN 模型 Fig. 2 Primitive RPN module &multi-task enhanced RPN module 146×146 229×229 针对以上问题，ME-Faster R-CNN 方法提出一 种多任务增强 RPN 方法，其结构如图 2(b) 所示。 该方法在 ResNet-50 的基础上引入多个 RPN 来产 生 ROI，提取不同大小特征图。具体是在 ResNet- 50 的第 3 卷积层 Conv3_x 后加入一个 RPN 模块， 其感受野大小为 ，用来检测较小目标；同 时在 ResNet-50 的第 4 卷积层 Conv4_x 后加入一 个 RPN 模块，其感受野大小为 ，用来检 测较大目标；在 ResNet-50 的第 5 卷积层 Conv5_x 之后利用多 RPN 任务可以输出图像总体信息。 由于每个 RPN 输出独立的 ROI 数组，为聚集 和选择有效的区域，多任务增强 RPN 方法提供 ROI-Merge Layer 用于接受独立 ROI 数组，ROI￾Merge Layer 仅输出一个数组。为了避免重复的 ROI 和低的 ROI 裂缝似然分数，本文使用非极大 值抑制方法，不同卷积层后 RPN 输出的候选区域 中，在对应位置 两 R OI 的交并比大 于 0 . 7 的 ROI 为同一 ROI。具体方法为， 3 个卷积层后 RPN 输出的候选区域均带有建议得分，该分数对 应的是目标的可能性，在对应位置选取分数最高 的一个 ROI 区域，另外两层对应位置的 ROI 与所 选 ROI 交并比 IoU 若大于 0.7，则认为是同一 ROI，ROI-Merge Layer 的输出数组中对应位置仅 输出该得分最高的数组。在使用非极大值抑制方 法之后，选择前 100 个值较高的 ROI。因此，ROI￾Merge Layer 只需要调整超参数即可控制 ROI 的 ·288· 智 能 系 统 学 报 第 16 卷