第2期 毛鸴池，等：基于Faster R-CNN的多任务增强裂缝图像检测方法 ·289· 数量。 重新对相应图像小块灰度均值进行划分，将每个 ②改善RPN模型的锚盒尺寸和大小：Faster 图像矩阵小块赋给最相近的类： R-CNN模型经过卷积层提取特征图.然后特征图 输入RPN区域进行特征融合以及生成候选区域， dis(xi.y ij=1,2,…,n (1) 此时特征图上每个像素点映射不同比例宽度锚 式中：dis(cy)为数据对象x和y;之间的距离。 点，每个锚点放置若干个不同大小的锚，为解决 该值越大，说明x和y越相似；反之x和y差距 不同尺度间隔的锚盒搜索能力不平衡的问题，本 越大。 文设计了一种新型锚盒，新型锚盒尺度为： ④重新计算每个有变化的图像小块像素灰度 50×50、200×200、350×350和500×500，其中， 均值的质心； 50×50和200×200适用于较小的裂缝检测， ⑤重复上述步骤3)、4)直至各个数据类的集 350×350和500×500适用于较大的裂缝检测。这 合中心不再发生变化为止。 4种尺度每种尺寸按1：1,1：2,2：1的长宽比例缩 开始 放，共12种尺度作为RPN需要评估的候选框，在 预测时候选框的顺序是固定的。RPN的目标就 输入多源图片 是对原图中的每个锚点对应的12个框，预测其是 K-means聚类 否是一个存在目标的框。框与真值框的IoU>0.7 剔除与目标数据 K-means图像聚类算法 差异大的图片 就认为这个框是一个候选框，反之，则不是。 明 2.2K-MABtrA方法 校正系数 最终平衡法 多源自适应平衡 自 TrAdaBoosti迁移学习门自适应回补参数 针对大坝裂缝图像较少，训练样本分布不均 应平 衡，以及TrAdaBoost算法在训练过程中易削弱辅 是否满意 助数据集作用的问题，本节提出一种基于K TrAdaBoost means的多源自适应平衡TrAdaBoost的迁移学习 移 方法K-MABtrA,使用迁移学习充分利用多个领 输出分类器 域的大量相关训练集，动态调整样本权值，训练 法 出网络的强分类器，提高大坝裂缝检测的准确 结束 率。如图3所示为基于K-means的多源自适应平 图3K-MABtrA方法流程图 衡TrAdaBoost迁移学习方法的过程，主要分为两 Fig.3 Flow chart of K-MABtrA method 个阶段：K-means图像聚类方法和多源自适应 2)多源自适应平衡TrAdaBoost迁移学习：利 平衡TrAdaBoost迁移学习。 用不同领域裂缝图像和真实大坝裂缝图像一一组 l)K-means图像聚类方法：通过K-means图 合进行训练，生成基分类器；在TrAdaBoost基础 像聚类方法，利用欧式距离将图像进行聚类排 上引入校正系数回，避免由于迭代次数的增加，导 序。将聚类距离远的图片从裂缝图像库中删除， 致源领域权重下降过快，与目标源领域权重之间 有利于后续分类器的训练，提高训练效率。K代 差距过大的问题；在校正系数中引入自适应回补 表聚类质心数目，means表示簇内数据的均值。 参数)，反映源领域训练数据集与目标领域训练 K-means图像聚类方法具体步骤如下： 数据集之间是否具有相似性关系，提高方法检测 ①首先将图像库中图像X(i=1,2,…,n)进行 性能；最后，使用最终平衡权重法，使最终得到的 灰度化，依次存储到一维矩阵Dx中； 目标源数据集与各领域裂缝数据集重要度一致。 ②接着以10像素长度，3像素移动步长依次 ①增加校正系数更新源领域样本的权值 进行分块存储，记录每小块的首位置，得到n个像 迁移学习在训练过程在，各领域辅助训练集 素块数据集，从中任意选择30个图像小块的灰度 随着迭代次数增加得到的权值不断减小以至于与 均值作为初始聚类中心； 目标数据集不相关，无法起到辅助目标数据集学 ③根据每个图像矩阵小块的灰度均值，利用 习的作用。为了更好地利用各领域辅助训练集和 欧几里得距离，如式(1)所示，计算这些对象与 目标数据集训练，在TrAdaBoost基础上增加校正 30个图像样本聚类中心的距离；并根据最小距离 系数更新源领域样本的权值。当迭代次数m不数量。 50×50 200×200 350×350 500×500 50×50 200×200 350×350 500×500 IoU > 0.7 ②改善 RPN 模型的锚盒尺寸和大小：Faster R-CNN 模型经过卷积层提取特征图，然后特征图 输入 RPN 区域进行特征融合以及生成候选区域， 此时特征图上每个像素点映射不同比例宽度锚 点，每个锚点放置若干个不同大小的锚，为解决 不同尺度间隔的锚盒搜索能力不平衡的问题，本 文设计了一种新型锚盒，新型锚盒尺度为： 、 、 和 ，其中， 和 适用于较小的裂缝检测， 和 适用于较大的裂缝检测。这 4 种尺度每种尺寸按 1∶1，1∶2，2∶1 的长宽比例缩 放，共 12 种尺度作为 RPN 需要评估的候选框，在 预测时候选框的顺序是固定的。RPN 的目标就 是对原图中的每个锚点对应的 12 个框，预测其是 否是一个存在目标的框。框与真值框的 就认为这个框是一个候选框，反之，则不是。 2.2 K-MABtrA 方法 针对大坝裂缝图像较少，训练样本分布不均 衡，以及 TrAdaBoost 算法在训练过程中易削弱辅 助数据集作用的问题，本节提出一种基 于 K￾means 的多源自适应平衡 TrAdaBoost 的迁移学习 方法 K-MABtrA，使用迁移学习充分利用多个领 域的大量相关训练集，动态调整样本权值，训练 出网络的强分类器，提高大坝裂缝检测的准确 率。如图 3 所示为基于 K-means 的多源自适应平 衡 TrAdaBoost 迁移学习方法的过程，主要分为两 个阶段：K-means 图像聚类方法[14] 和多源自适应 平衡 TrAdaBoost 迁移学习。 1) K-means 图像聚类方法：通过 K-means 图 像聚类方法，利用欧式距离将图像进行聚类排 序。将聚类距离远的图片从裂缝图像库中删除， 有利于后续分类器的训练，提高训练效率。K 代 表聚类质心数目，means 表示簇内数据的均值。 K-means 图像聚类方法具体步骤如下： Xi(i = 1,2,··· ,n) DX ①首先将图像库中图像 进行 灰度化，依次存储到一维矩阵 中； ②接着以 10 像素长度，3 像素移动步长依次 进行分块存储，记录每小块的首位置，得到 n 个像 素块数据集，从中任意选择 30 个图像小块的灰度 均值作为初始聚类中心； ③根据每个图像矩阵小块的灰度均值，利用 欧几里得距离，如式 (1) 所示，计算这些对象与 30 个图像样本聚类中心的距离；并根据最小距离 重新对相应图像小块灰度均值进行划分，将每个 图像矩阵小块赋给最相近的类； dis(xi , yj)=   ∑d k=1 (xik − xjk) 2   1 2 ,i, j = 1,2,··· ,n (1) dis(xi , yj) xi yj xi yj xi yj 式中： 为数据对象 和 之间的距离。 该值越大，说明 和 越相似；反之 和 差距 越大。 ④重新计算每个有变化的图像小块像素灰度 均值的质心； ⑤重复上述步骤 3)、4) 直至各个数据类的集 合中心不再发生变化为止。 开始 K-means聚类 剔除与目标数据 差异大的图片 输入多源图片 多源自适应平衡 TrAdaBoost迁移学习 是否满意 Y N K-means图像聚类算法 TrAdaBoost 校正系数 最终平衡法 自适应回补参数 输出分类器 结束 多源自适应平衡迁移学习方法 图 3 K-MABtrA 方法流程图 Fig. 3 Flow chart of K-MABtrA method 2) 多源自适应平衡 TrAdaBoost 迁移学习：利 用不同领域裂缝图像和真实大坝裂缝图像一一组 合进行训练，生成基分类器；在 TrAdaBoost 基础 上引入校正系数[12] ，避免由于迭代次数的增加，导 致源领域权重下降过快，与目标源领域权重之间 差距过大的问题；在校正系数中引入自适应回补 参数[13] ，反映源领域训练数据集与目标领域训练 数据集之间是否具有相似性关系，提高方法检测 性能；最后，使用最终平衡权重法，使最终得到的 目标源数据集与各领域裂缝数据集重要度一致。 ① 增加校正系数更新源领域样本的权值 m 迁移学习在训练过程在，各领域辅助训练集 随着迭代次数增加得到的权值不断减小以至于与 目标数据集不相关，无法起到辅助目标数据集学 习的作用。为了更好地利用各领域辅助训练集和 目标数据集训练，在 TrAdaBoost 基础上增加校正 系数更新源领域样本的权值。当迭代次数 不 第 2 期 毛莺池，等：基于 Faster R-CNN 的多任务增强裂缝图像检测方法 ·289·