第2期 毛鸴池，等：基于Faster R-CNN的多任务增强裂缝图像检测方法 ·287· 近年来，图像处理、模式识别和深度学习等技 行改进，提出一种动态TrAdaboost(dynamic TrAd-. 术的发展，为大坝裂缝图像检测提供技术支持。 aboost,.DtrA)方法，DtrA方法能够在迭代过程中 但由于大坝环境复杂等一系列因素的限制，导致 动态调整样本权重；郭勇1在DrA方法基础上 裂缝图像收集和标记成本过高，因此难以获得大 进一步改进，提出一种自适应TrAdaBoost(adapt- 坝裂缝图像检测的分类模型。迁移学习主要是针 ive TrAdaBoost,.AtrA)方法，AtrA方法能够反映出 对规模不大，样本数量有限的特定领域数据集使 源领域训练数据集与目标领域训练数据集之间是 用机器学习容易产生过拟合而导致无法训练与学 否具有相似性关系。 习的问题，通过利用具有一定相似性的领域中已 训练好的较好优秀模型和样本构建满足任务需求 2ME-Faster R-CNN与K-MABtrA方法 的模型，从而实现小数据集下构建良好模型的效果。 本文提出了一种基于Faster R-CNN的多任务 Faster R-CNN是目前基于区域卷积神经网 增强裂缝图像检测的网络模型，以适应大坝在不 络系列的目标检测算法中综合性能最好的方法之 同光照环境、不同长度裂缝情况下的检测。同 一，但其对多目标、小目标情况检测精度不高。 时，提出了一种基于K-means多源自适应平衡 本文提出了一种基于Faster R-CNN的多任务增强 TrAdaBoost迁移学习方法解决样本不足问题。本 裂缝图像检测方法，以适应大坝在不同光照环 境，不同长度裂缝情况下的检测。同时提出了一 文采用基于K-MABtrA迁移学习方法训练ME- 种基于K-means多源自适应平衡TrAdaBoost迁移 Faster R-CNN网络模型，该方法通过已准备的多 学习方法辅助网络训练，解决样本不足问题。 源裂缝图像数据集对卷积神经网络的参数进行预 训练，然后使用预训练得到的网络权重作为初始 相关工作 权值，迁移到目标数据集上进行微调，得到适用 于大坝裂缝检测的模型。 根据卷积神经网络的使用方式，将基于 2.1ME-Faster R-CNN模型 CNN目标检测算法B分为两大类：基于区域建 ME-Faster R-CNN在Faster R-CNN模型基础 议的深度学习目标检测算法和基于回归思想的深 上进行改进，改进之处如图1所示。其中，特征提 度学习目标检测算法。前者的主流算法有：R- CNN算法IsI、Fast R-CNN算法I6和Faster R- 取部分：选取轻量级的ResNet-50作为卷积神经 CNN算法。R-CNN首次将神经网络应用在目标 网络：特征融合部分以及候选区域生成部分：改 检测算法上，在Pascal VOC2012的数据集上将平 进使用多任务增强RPN模型，改善锚盒尺寸大小 均精度mAP提升了30%。Fast R-CNN将候选框 提高Faster R-CNN搜索能力，提高检测识别精 识别分类和位置回归合成到一个网络中，不再对 度：检测处理部分：特征图和选择区域建议经过 网络进行分步训练，提高了训练速度。Faster R- 感兴趣区域(ROD池、全连接(FC)层分别发送给 CNN与Fast R-CNN最大的区别就是提出了区域 边界回归器和SVM分类器得到分类与回归结果。 建议网络(region proposal networks,.RPN)网络，极 基本框架 改进之处 大地提升了检测框的生成速度。基于回归思想的 深度学习目标检测的主流算法有：SSD算法) 数据输人部分 和YOLO V2算法I⑧。SSD算法和YOLO算法均 图像 没有区域建议过程，极大地提高了检测速度，但 选取残差网路 特征提取部分 卷积■ 识别精度和位置回归精度不足。 神经网络 ResNet-50 从20世纪90年代起迁移学习开始逐渐进入 多RPN模型 机器学习领域，受到研究者们的关注。常用的迁 移学习方法有AdaBoost'9和TrAdaBoost算法 RPN 等。AdaBoost算法基本思想：当一个训练样本被 改变anchor 大小尺寸 错误分类时候，对此样本增加样本权重，再次训 练时该样本分错的概率就会大大降低。TrAda- 检测处理部分ROI池化 Boost算法是由AdaBoost算法演变而来的，该算 全连接层 法通过降低误分类的源域训练数据权重，增加误 候选框回归 SVM 分类的目标域训练数据权重，使得分类面朝正确 的方向移动并训练出强分类模型。Al-Stouhi等 图1ME-Faster R-CNN模型改进之处 总结TrAdaBoost算法存在的问题，在此基础上进 Fig.1 Improvements of ME-Faster R-CNN近年来，图像处理、模式识别和深度学习等技 术的发展，为大坝裂缝图像检测提供技术支持。 但由于大坝环境复杂等一系列因素的限制，导致 裂缝图像收集和标记成本过高，因此难以获得大 坝裂缝图像检测的分类模型。迁移学习主要是针 对规模不大，样本数量有限的特定领域数据集使 用机器学习容易产生过拟合而导致无法训练与学 习的问题，通过利用具有一定相似性的领域中已 训练好的较好优秀模型和样本构建满足任务需求 的模型，从而实现小数据集下构建良好模型的效果。 Faster R-CNN[2] 是目前基于区域卷积神经网 络系列的目标检测算法中综合性能最好的方法之 一，但其对多目标、小目标情况检测精度不高。 本文提出了一种基于 Faster R-CNN 的多任务增强 裂缝图像检测方法，以适应大坝在不同光照环 境，不同长度裂缝情况下的检测。同时提出了一 种基于 K-means 多源自适应平衡 TrAdaBoost 迁移 学习方法辅助网络训练，解决样本不足问题。 1 相关工作 根据卷积神经网络的使用方式，将基 于 CNN 目标检测算法[3-4] 分为两大类：基于区域建 议的深度学习目标检测算法和基于回归思想的深 度学习目标检测算法。前者的主流算法有：R￾CNN 算法[ 5 ] 、Fast R-CNN 算法[ 6 ] 和 Faster R￾CNN 算法。R-CNN 首次将神经网络应用在目标 检测算法上，在 Pascal VOC 2012 的数据集上将平 均精度 mAP 提升了 30%。Fast R-CNN 将候选框 识别分类和位置回归合成到一个网络中，不再对 网络进行分步训练，提高了训练速度。Faster R￾CNN 与 Fast R-CNN 最大的区别就是提出了区域 建议网络 (region proposal networks, RPN) 网络，极 大地提升了检测框的生成速度。基于回归思想的 深度学习目标检测的主流算法有：SSD 算法[ 7 ] 和 YOLO V2 算法[8]。SSD 算法和 YOLO 算法均 没有区域建议过程，极大地提高了检测速度，但 识别精度和位置回归精度不足。 从 20 世纪 90 年代起迁移学习开始逐渐进入 机器学习领域，受到研究者们的关注。常用的迁 移学习方法有 AdaBoost[9] 和 TrAdaBoost[10] 算法 等。AdaBoost 算法基本思想：当一个训练样本被 错误分类时候，对此样本增加样本权重，再次训 练时该样本分错的概率就会大大降低。TrAda￾Boost 算法是由 AdaBoost 算法演变而来的，该算 法通过降低误分类的源域训练数据权重，增加误 分类的目标域训练数据权重，使得分类面朝正确 的方向移动并训练出强分类模型。Al-Stouhi 等 [11] 总结 TrAdaBoost 算法存在的问题，在此基础上进 行改进，提出一种动态 TrAdaboost (dynamic TrAd￾aboost, DtrA) 方法，DtrA 方法能够在迭代过程中 动态调整样本权重；郭勇[12] 在 DtrA 方法基础上 进一步改进，提出一种自适应 TrAdaBoost (adapt￾ive TrAdaBoost, AtrA) 方法，AtrA 方法能够反映出 源领域训练数据集与目标领域训练数据集之间是 否具有相似性关系。 2 ME-Faster R-CNN 与 K-MABtrA 方法 本文提出了一种基于 Faster R-CNN 的多任务 增强裂缝图像检测的网络模型，以适应大坝在不 同光照环境、不同长度裂缝情况下的检测。同 时，提出了一种基于 K-means 多源自适应平衡 TrAdaBoost 迁移学习方法解决样本不足问题。本 文采用基于 K-MABtrA 迁移学习方法训练 ME￾Faster R-CNN 网络模型，该方法通过已准备的多 源裂缝图像数据集对卷积神经网络的参数进行预 训练，然后使用预训练得到的网络权重作为初始 权值，迁移到目标数据集上进行微调，得到适用 于大坝裂缝检测的模型。 2.1 ME-Faster R-CNN 模型 ME-Faster R-CNN 在 Faster R-CNN 模型基础 上进行改进，改进之处如图 1 所示。其中，特征提 取部分：选取轻量级的 ResNet-50 作为卷积神经 网络；特征融合部分以及候选区域生成部分：改 进使用多任务增强 RPN 模型，改善锚盒尺寸大小 提高 Faster R-CNN 搜索能力，提高检测识别精 度；检测处理部分：特征图和选择区域建议经过 感兴趣区域 (ROI) 池、全连接 (FC) 层分别发送给 边界回归器和 SVM 分类器得到分类与回归结果。 图像 卷积 神经网络 ROI池化 全连接层 候选框回归 SVM RPN 数据输入部分 特征提取部分 特征融合及候 选区域生成 检测处理部分 多RPN模型 选取残差网络 ResNet-50 基本框架 改进之处 改变anchor 大小尺寸 图 1 ME-Faster R-CNN 模型改进之处 Fig. 1 Improvements of ME-Faster R-CNN 第 2 期 毛莺池，等：基于 Faster R-CNN 的多任务增强裂缝图像检测方法 ·287·