第15卷第1期 智能系统学报 Vol.15 No.1 2020年1月 CAAI Transactions on Intelligent Systems Jan.2020 D0L:10.11992tis.201907023 注意力机制和Faster RCNN相结合的绝缘子识别 赵文清'，程幸福，赵振兵2，翟永杰 (1.华北电力大学控制与计算机工程学院，河北保定071003,2.华北电力大学电气与电子工程学院，河北保 定071003) 摘要：针对利用Faster RCNN识别绝缘子图像过程中定位不够准确的问题，提出一种注意力机制和Faster RCNN相结合的绝缘子识别方法。在特征提取阶段引入基于注意力机制的挤压与激励网络(Squeeze-and-Excit-- ation Networks.SENet)结构，使模型能够关注与目标相关的特征通道并弱化其他无关的特征通道：根据绝缘子 的特点，对区域建议网络(region proposal network,.RPN)生成锚点(anchor)的比例和尺度进行调整；在全连接层 运用注意力机制对周围建议框的特征向量赋予不同权重并进行融合，更新目标建议框的特征向量。实验结果 表明：与传统的Faster RCNN算法相比，改进后的算法能够较好地识别出绝缘子。 关键词：Faster RCNN;绝缘子：注意力机制；SENet:特征通道；RPN;建议框：特征向量 中图分类号：TP391文献标志码：A文章编号：1673-4785(2020)01-0092-07 中文引用格式：赵文清，程幸福，赵振兵，等.注意力机制和Faster RCNN相结合的绝缘子识别.智能系统学报，2020， 15(1):92-98. 英文引用格式：ZHAO Wenging,CHENG Xingfu,ZHAO Zhenbing,etal.Insulator recognition based on attention mechanism and Faster RCNN[J].CAAI transactions on intelligent systems,2020,15(1):92-98. Insulator recognition based on attention mechanism and Faster RCNN ZHAO Wenqing,CHENG Xingfu',ZHAO Zhenbing',ZHAI Yongjie' (1.School of Control and Computer Engineering,North China Electric Power University,Baoding 071003,China;2.School of Elec- trical and Electronic Engineering,North China Electric Power University,Baoding 071003,China) Abstract:In order to solve the problem of inaccurate location in the process of recognizing insulator image using Faster RCNN,this paper proposes an insulator recognition method based on attention mechanism and Faster RCNN.Firstly, the Squeeze-and-Excitation Networks(SENet)structure based on attention mechanism is introduced in the feature ex- traction stage to enable the model to focus on the target-related feature channels and weaken other irrelevant feature channels.Then,according to the characteristics of insulators,the proportion and scale of anchors generated by regional proposal network(RPN)are adjusted.Finally,the attention mechanism is applied in the full connected layer to give dif- ferent weights to the feature vectors of the surrounding suggestion boxes and fuse them to update the feature vectors of the target suggestion boxes.The experimental results show that the improved algorithm can recognize insulators better than the traditional Faster RCNN algorithm. Keywords:Faster RCNN;insulator;attention mechanism;SENet;characteristic channel;RPN;proposal boxes;feature vector 绝缘子是输电线路中常见的核心部件，被广 个输电线路的正常运行四。由于绝缘子长期受到 泛应用于高压输电线路中，在电气绝缘和支撑导 室外环境的侵蚀，时常会发生掉串、破损等故障可 线中起着重要的作用，其运行状态直接影响着整 为更好地从图像中检测出绝缘子的各种缺陷，需 要提前对绝缘子进行准确识别。 收稿日期：2019-07-15. 基金项目：国家自然科学基金项目(61871182,61773160). 传统的绝缘子识别方法有利用目标颜色特征 通信作者：赵文清.E-mail:jbzwq@126.com, 进行阈值分割的识别法)、基于轮廓特征的定位
DOI: 10.11992/tis.201907023 注意力机制和 Faster RCNN 相结合的绝缘子识别 赵文清1 ，程幸福1 ，赵振兵2 ，翟永杰1 （1. 华北电力大学 控制与计算机工程学院，河北 保定 071003; 2. 华北电力大学 电气与电子工程学院，河北 保 定 071003） 摘 要：针对利用 Faster RCNN 识别绝缘子图像过程中定位不够准确的问题，提出一种注意力机制和 Faster RCNN 相结合的绝缘子识别方法。在特征提取阶段引入基于注意力机制的挤压与激励网络 (Squeeze-and-Excitation Networks，SENet) 结构，使模型能够关注与目标相关的特征通道并弱化其他无关的特征通道；根据绝缘子 的特点，对区域建议网络 (region proposal network，RPN) 生成锚点 (anchor) 的比例和尺度进行调整；在全连接层 运用注意力机制对周围建议框的特征向量赋予不同权重并进行融合，更新目标建议框的特征向量。实验结果 表明：与传统的 Faster RCNN 算法相比，改进后的算法能够较好地识别出绝缘子。 关键词：Faster RCNN；绝缘子；注意力机制；SENet；特征通道；RPN；建议框；特征向量 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)01−0092−07 中文引用格式：赵文清, 程幸福, 赵振兵, 等. 注意力机制和 Faster RCNN 相结合的绝缘子识别 [J]. 智能系统学报, 2020, 15(1): 92–98. 英文引用格式：ZHAO Wenqing, CHENG Xingfu, ZHAO Zhenbing, et al. Insulator recognition based on attention mechanism and Faster RCNN[J]. CAAI transactions on intelligent systems, 2020, 15(1): 92–98. Insulator recognition based on attention mechanism and Faster RCNN ZHAO Wenqing1 ，CHENG Xingfu1 ，ZHAO Zhenbing2 ，ZHAI Yongjie1 (1. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China; 2. School of Electrical and Electronic Engineering, North China Electric Power University, Baoding 071003, China) Abstract: In order to solve the problem of inaccurate location in the process of recognizing insulator image using Faster RCNN, this paper proposes an insulator recognition method based on attention mechanism and Faster RCNN. Firstly, the Squeeze-and-Excitation Networks (SENet) structure based on attention mechanism is introduced in the feature extraction stage to enable the model to focus on the target-related feature channels and weaken other irrelevant feature channels. Then, according to the characteristics of insulators, the proportion and scale of anchors generated by regional proposal network (RPN) are adjusted. Finally, the attention mechanism is applied in the full connected layer to give different weights to the feature vectors of the surrounding suggestion boxes and fuse them to update the feature vectors of the target suggestion boxes. The experimental results show that the improved algorithm can recognize insulators better than the traditional Faster RCNN algorithm. Keywords: Faster RCNN; insulator; attention mechanism; SENet; characteristic channel; RPN; proposal boxes; feature vector 绝缘子是输电线路中常见的核心部件，被广 泛应用于高压输电线路中，在电气绝缘和支撑导 线中起着重要的作用，其运行状态直接影响着整 个输电线路的正常运行[1]。由于绝缘子长期受到 室外环境的侵蚀，时常会发生掉串、破损等故障[2] ， 为更好地从图像中检测出绝缘子的各种缺陷，需 要提前对绝缘子进行准确识别。 传统的绝缘子识别方法有利用目标颜色特征 进行阈值分割的识别法[3] 、基于轮廓特征的定位 收稿日期：2019−07−15. 基金项目：国家自然科学基金项目 (61871182，61773160). 通信作者：赵文清. E-mail: jbzwq@126.com. 第 15 卷第 1 期 智 能 系 统 学 报 Vol.15 No.1 2020 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2020
第1期 赵文清，等：注意力机制和Faster RCNN相结合的绝缘子识别 ·93· 方法等。然而，这些方法需要人工设计目标特 x 征，并且针对不同的目标场景需要设计不同的特 卷积模块 WxHxM 征，无法避免人为主观因素导致的漏检或误检， 全局平均池化 挤压 识别准确率低。与传统方法相比，卷积神经网络 1×1×M (convolutional neural network,CNN)能够从图像中 全连接层 1×1×(Mr 自动提取表达能力更强的特征)，减少识别时间， 提高分类和识别的准确率。文献[6)]使用CNN实 ReLU 1×1×(4Mm 现绝缘子的自动定位。文献[]在R-FCN模型的 全连接层 1×1×M 基础上引入ASDN层，将绝缘子识别的平均准确 率由77.27%提升至84.29%；文献[8]利用Faster Sigmoid 1×1×M RCNN框架对绝缘子进行识别，取得了较好的识 激励· 别效果。但在Faster RCNN识别过程中，由RPN 得到的目标建议框定位不够精确，影响后续精确 通道加权 WxH×M 定位结果，导致识别准确率不够理想。 y 针对以上问题，本文提出注意力机制与Faster 图1基于注意力机制的SENet结构 RCNN相结合的绝缘子识别算法。首先在Faster Fig.1 SENet structure based on attention mechanism RCNN网络的特征提取阶段引入Hu等提出的 l.2 Faster RCNN模型 基于注意力机制的SENet结构，使网络能够自动 Faster RCNN对目标的定位和识别主要分为 学习到每个特征通道的重要程度，关注与目标相 以下5个步骤： 关的特征通道而抑制与目标不相关的特征通道， 1)输入原始图像，首先需要对图片大小进行 提升网络性能；然后，在RPN生成anchor阶段，根 限制，限制短边不超过600，长边不超过1000，对 据绝缘子特点，改进基础anchor比例和尺度；最 于输入图像优先考虑长边的限制，当原始图像有 后，结合注意力机制计算建议框之间相互依赖关 一边超过限制时，对长边和短边进行同比例放缩。 系的权重，融合周围建议框的特征向量来更新每 2)使用卷积神经网络提取图像中目标的特 一个目标建议框的特征向量，使目标建议框的特 征，生成的特征图由RPN和检测网络共享，本文 征向量包含更准确的位置信息，促进识别准确率 采用的是VGG16特征提取网络，得到VGG16 的提升，进一步提高绝缘子识别精度。 最后一个卷积层输出的特征图，用于接下来的分 1 相关技术介绍 类和预测步骤。 3)将步骤2)中得到的特征图输入RPN,经过 l.1 SENet结构 卷积、池化等操作生成的特征图与输入图像在尺 SENet是一种简单而有效的基于注意力机制的 寸上有一定的映射关系，特征图上的每个点在输 网络，能够嵌入到当前主流的CNN结构中，增强 入图像中都有对应的位置，在输入图像上为每一 特征提取层的感受野，提升卷积神经网络的性能。 个位置生成9个大小、形状不同的anchor),然后 在SENet结构中，注意力机制的两大核心操作 采用滑动窗口策略生成大量anchor。.对每个an- 是挤压(squeeze)和激励(excitation)。首先，对输入 chor分类为背景或前景，接着对前景anchor利用 的特征图进行全局平均池化(global average pool- 边界框回归来修正，得到建议框。使用非极大值 ing,GAP),将M个W×H大小的特征图提取成长 抑制算法(non-maximum suppression,NMS)"根据 度为M的1×1的实数列。目的是使每个特征图都 分类的得分对这些建议框进行排序，去除几余的 能利用其他特征图的上下文信息，从而具有全局的 建议框，并选择其中得分较高的建议框作为感兴 感受野，感受野尺寸较小的低层网络也能够利用全 趣区域(regions of interest,,Rols)输出。训练时， 局信息。然后将实数列送入两个全连接层，先降 RPN的损失函数定义如式(I)所示： 维，得到1×I×(Mm)的向量，使用ReLU激活函数凹 再升维，得到1×1×M的向量，使用Sigmoid激活 L(《ph,{t)= 1∑Le(ppiH 函数，得到每个通道对应的权重。最终，每个通道 (1) 与对应权重相乘，进行通道加权，得到更新后的通 道。SENet结构如图1所示。X表示输入特征图， 式中：i表示小批量数据中anchor对应的索引；p: Y表示经过SENet更新后输出的特征图。 表示anchor预测为目标的概率；当anchor为正样
方法[4] 等。然而，这些方法需要人工设计目标特 征，并且针对不同的目标场景需要设计不同的特 征，无法避免人为主观因素导致的漏检或误检， 识别准确率低。与传统方法相比，卷积神经网络 (convolutional neural network，CNN) 能够从图像中 自动提取表达能力更强的特征[5] ，减少识别时间， 提高分类和识别的准确率。文献 [6] 使用 CNN 实 现绝缘子的自动定位。文献 [7] 在 R-FCN 模型的 基础上引入 ASDN 层，将绝缘子识别的平均准确 率由 77.27% 提升至 84.29%；文献 [8] 利用 Faster RCNN 框架对绝缘子进行识别，取得了较好的识 别效果。但在 Faster RCNN 识别过程中，由 RPN 得到的目标建议框定位不够精确，影响后续精确 定位结果，导致识别准确率不够理想。 针对以上问题，本文提出注意力机制与 Faster RCNN 相结合的绝缘子识别算法。首先在 Faster RCNN 网络的特征提取阶段引入 Hu 等 [9] 提出的 基于注意力机制的 SENet 结构，使网络能够自动 学习到每个特征通道的重要程度，关注与目标相 关的特征通道而抑制与目标不相关的特征通道， 提升网络性能；然后，在 RPN 生成 anchor 阶段，根 据绝缘子特点，改进基础 anchor 比例和尺度；最 后，结合注意力机制计算建议框之间相互依赖关 系的权重，融合周围建议框的特征向量来更新每 一个目标建议框的特征向量，使目标建议框的特 征向量包含更准确的位置信息，促进识别准确率 的提升，进一步提高绝缘子识别精度。 1 相关技术介绍 1.1 SENet 结构 SENet 是一种简单而有效的基于注意力机制的 网络，能够嵌入到当前主流的 CNN 结构中，增强 特征提取层的感受野，提升卷积神经网络的性能。 W × H 1×1 1×1×(M/r) 1×1× M 在 SENet 结构中，注意力机制的两大核心操作 是挤压 (squeeze) 和激励 (excitation)。首先，对输入 的特征图进行全局平均池化 (global average pooling，GAP)，将 M 个 大小的特征图提取成长 度为 M 的 的实数列。目的是使每个特征图都 能利用其他特征图的上下文信息，从而具有全局的 感受野，感受野尺寸较小的低层网络也能够利用全 局信息[10]。然后将实数列送入两个全连接层，先降 维,得到 的向量，使用 ReLU 激活函数[11] ， 再升维，得到 的向量，使用 Sigmoid 激活 函数，得到每个通道对应的权重。最终，每个通道 与对应权重相乘，进行通道加权，得到更新后的通 道。SENet 结构如图 1 所示。X 表示输入特征图， Y 表示经过 SENet 更新后输出的特征图。 Y 激励 挤压 1×1×M 全局平均池化 全连接层 ReLU 全连接层 Sigmoid W×H×M W×H×M 卷积模块 X 通道加权 1× 1×M 1× 1×M 1×1×(M/r) 1×1×(M/r) 图 1 基于注意力机制的 SENet 结构 Fig. 1 SENet structure based on attention mechanism 1.2 Faster RCNN 模型 Faster RCNN 对目标的定位和识别主要分为 以下 5 个步骤： 1) 输入原始图像，首先需要对图片大小进行 限制，限制短边不超过 600，长边不超过 1 000，对 于输入图像优先考虑长边的限制，当原始图像有 一边超过限制时，对长边和短边进行同比例放缩。 2) 使用卷积神经网络提取图像中目标的特 征，生成的特征图由 RPN 和检测网络共享，本文 采用的是 VGG16[12] 特征提取网络，得到 VGG16 最后一个卷积层输出的特征图，用于接下来的分 类和预测步骤。 3) 将步骤 2) 中得到的特征图输入 RPN，经过 卷积、池化等操作生成的特征图与输入图像在尺 寸上有一定的映射关系，特征图上的每个点在输 入图像中都有对应的位置，在输入图像上为每一 个位置生成 9 个大小、形状不同的 anchor[13] ，然后 采用滑动窗口策略生成大量 anchor。对每个 anchor 分类为背景或前景，接着对前景 anchor 利用 边界框回归来修正，得到建议框。使用非极大值 抑制算法 (non-maximum suppression,NMS)[14] 根据 分类的得分对这些建议框进行排序，去除冗余的 建议框，并选择其中得分较高的建议框作为感兴 趣区域 (regions of interest,RoIs) 输出。训练时， RPN 的损失函数定义如式 (1) 所示： L({pi},{ti}) = 1 Ncls ∑ i Lcls(pi , p ∗ i )+ λ 1 Nreg ∑ i p ∗ i Lreg(ti , t ∗ i ) (1) 式中： i 表示小批量数据中 anchor 对应的索引； pi 表示 anchor 预测为目标的概率；当 anchor 为正样 第 1 期 赵文清，等：注意力机制和 Faster RCNN 相结合的绝缘子识别 ·93·
·94· 智能系统学报 第15卷 本时，为1，反之为0；d为平衡参数。L表示二 的绝缘子识别模型输入原始图像；然后，按照 值分类损失，L表示位置回归损失，分别由N 1.2节的步骤1)对原始图像进行尺寸放缩，限制 和Ne进行归一化，Ns为mini-batch大小，Ne等 图像长边不超过1000，短边不超过600：最后，将 于anchor数量；t:表示预测的anchorl的4个参数 尺寸放缩后的绝缘子图像输出到特征提取网络。 化坐标向量；t;表示前景anchor对应的真实框 2.2引入SENet结构的特征提取网络 (ground truth,GT)的坐标向量。 使用VGG16特征提取网络，对经过尺寸放缩 4)ROI池化。步骤3)中提取的目标建议框形 后的原始绝缘子图像提取特征。 状差异较大，对应在特征图上的区域同样有较大差 为使特征提取网络能够利用全局信息，而不 异，因此将每一个区域特征图划分为均等的7×7 受限于局部感受野，本文在特征提取网络VGG16 块，对每一块执行最大池化，由此将所有区域特征 的每个卷积模块（共5个卷积模块）之后引入SENt 图大小固定为7×7，便于固定全连接层参数。 结构。在特征通道维度进行特征压缩，生成权重 5)输入步骤4)中固定大小的特征图，通过全 并加权更新通道，得到表达能力更强的特征图。 连接层与Softmax分类器计算每个目标建议框识 实验结果表明，引入该结构后，网络识别性能得 别为目标的概率；同时利用边界框回归对目标建 到提升。SENet包含以下3个步骤： 议框进行精确微调，输出识别结果。 1)输入卷积之后的特征图，对每一个特征图 2改进Faster RCNN的绝缘子识别 使用全局平均池化，得到长度等于通道数M的实 数列Zp。压缩率r设置为16。特征图X=[x, 图2为本文所提出的注意力机制和Faster x2,…,xJ通过全局平均池化Fp计算如式(2)和 RCNN相结合的绝缘子识别模型，主要由特征提 式(3)所示： 取网络，RPN区域建议网络和检测网络3部分组 1 成。首先，在特征提取阶段引入SENet结构；其 Zp=Fp(xc)= HxW x(m,n) (2) m=1n=1 次，对RPN生成基础anchor的长宽比例和尺度进 行调整；最后，在全连接层1上对目标建议框的特 F1∈R华xM,F2∈Rw9 (3) 征向量与周围建议框的特征向量融合更新。 式中：c为特征图索引；F,表示进行降维的全连接 层参数；F2表示进行升维的全连接层参数。 原始图像尺寸放缩特征提取网络 卷积模块 2)分别经过两个全连接层输出特征，对特征 使用Sigmoid函数激活，生成每个通道对应的权 SENet 重信息S=[,52,…,s],如式(4)所示： S=Sigmoid(F(ReLU(F1×Zgp)》 (4) 特征图 3)根据权值对输入的特征图加权更新，得到 更新后的通道特征Y=y1,y2,…y,如式（⑤）所示： 滑动窗口 ROI池化 Ye=Se.xc (5) 最终得到第5层SENet输出的特征图，并将 全连接层1 边界框回归 分类 该特征图输入到RPN区域建议网络中。 建议框融合 2.3改进区域建议网络 NMS 首先，将2.2节得到的特征图输入到RPN中， 全连接层2 在特征图上滑动窗口遍历每个点，每个点上生成 目标建议框 不同长宽比例和尺度的anchor。. 边界框回归 分类 在传统Faster RCNN算法中，为识别公共数 据集中的大多数目标，将生成基础anchor的长宽 输出结果 比例设置为(1：2、1：1、2：1)，但这种比例设置并不 适用于识别绝缘子这类特殊的电力设备，需要对 图2注意力机制和Faster RCNN相结合的绝缘子识别 生成基础anchor的长宽比进行改进。本文从 模型 Fig.2 Insulator recognition model based on attention RPN生成基础anchor的原理出发，对绝缘子图像 mechanism and Faster RCNN 数据中绝缘子长宽比进行的统计，统计结果如图3 2.1尺寸放缩 所示，其中绝缘子的长宽比范围按数量依次排序 首先，向注意力机制和Faster RCNN相结合 为(4：1、5：1、6：1、2：1).在此基础之上，将生成基础
λ Lcls Lreg Ncls Nreg Ncls Nreg ti t ∗ i 本时，为 1，反之为 0； 为平衡参数。 表示二 值分类损失， 表示位置回归损失，分别由 和 进行归一化， 为 mini-batch大小， 等 于 anchor 数量； 表示预测的 anchor的 4 个参数 化坐标向量； 表示前景 anchor 对应的真实框 (ground truth，GT) 的坐标向量。 7×7 7×7 4) ROI 池化。步骤 3) 中提取的目标建议框形 状差异较大，对应在特征图上的区域同样有较大差 异，因此将每一个区域特征图划分为均等的 块，对每一块执行最大池化，由此将所有区域特征 图大小固定为 ，便于固定全连接层参数。 5) 输入步骤 4) 中固定大小的特征图，通过全 连接层与 Softmax 分类器计算每个目标建议框识 别为目标的概率；同时利用边界框回归对目标建 议框进行精确微调，输出识别结果。 2 改进 Faster RCNN 的绝缘子识别 图 2 为本文所提出的注意力机制和 Faster RCNN 相结合的绝缘子识别模型，主要由特征提 取网络，RPN 区域建议网络和检测网络 3 部分组 成。首先，在特征提取阶段引入 SENet 结构；其 次，对 RPN 生成基础 anchor 的长宽比例和尺度进 行调整；最后，在全连接层 1 上对目标建议框的特 征向量与周围建议框的特征向量融合更新。 特征图 滑动窗口 NMS ROI池化 建议框融合 卷积模块 SENet 全连接层1 边界框回归 全连接层2 边界框回归 分类 输出结果 原始图像 尺寸放缩 特征提取网络 分类 目标建议框 图 2 注意力机制和 Faster RCNN 相结合的绝缘子识别 模型 Fig. 2 Insulator recognition model based on attention mechanism and Faster RCNN 2.1 尺寸放缩 首先，向注意力机制和 Faster RCNN 相结合 的绝缘子识别模型输入原始图像；然后，按照 1.2 节的步骤 1) 对原始图像进行尺寸放缩，限制 图像长边不超过 1 000，短边不超过 600；最后，将 尺寸放缩后的绝缘子图像输出到特征提取网络。 2.2 引入 SENet 结构的特征提取网络 使用 VGG16 特征提取网络，对经过尺寸放缩 后的原始绝缘子图像提取特征。 为使特征提取网络能够利用全局信息，而不 受限于局部感受野，本文在特征提取网络 VGG16 的每个卷积模块 (共 5 个卷积模块) 之后引入 SENet 结构。在特征通道维度进行特征压缩，生成权重 并加权更新通道，得到表达能力更强的特征图。 实验结果表明，引入该结构后，网络识别性能得 到提升。SENet 包含以下 3 个步骤： Zgap X = [x1, x2,··· , xc] Fgap 1) 输入卷积之后的特征图，对每一个特征图 使用全局平均池化，得到长度等于通道数 M 的实 数列 。压缩率 r 设置为 16。特征图 通过全局平均池化 计算如式 (2) 和 式 (3) 所示： Zgap = Fgap(xc) = 1 H × W ∑H m=1 ∑W n=1 xc(m,n) (2) F1 ∈ R M r ×M ,F2 ∈ R M× M r (3) F1 F2 式中：c 为特征图索引； 表示进行降维的全连接 层参数； 表示进行升维的全连接层参数。 S = [s1,s2,··· ,sc] 2) 分别经过两个全连接层输出特征，对特征 使用 Sigmoid 函数激活，生成每个通道对应的权 重信息 ，如式 (4) 所示： S = Sigmoid(F2(ReLU(F1 ×Zgap))) (4) Y = [y1, y2,··· , yc] 3) 根据权值对输入的特征图加权更新，得到 更新后的通道特征 ，如式 (5) 所示： Yc = sc · xc (5) 最终得到第 5 层 SENet 输出的特征图，并将 该特征图输入到 RPN 区域建议网络中。 2.3 改进区域建议网络 首先，将 2.2 节得到的特征图输入到 RPN 中， 在特征图上滑动窗口遍历每个点，每个点上生成 不同长宽比例和尺度的 anchor。 在传统 Faster RCNN 算法中，为识别公共数 据集中的大多数目标，将生成基础 anchor 的长宽 比例设置为 (1:2、1:1、2:1)，但这种比例设置并不 适用于识别绝缘子这类特殊的电力设备，需要对 生成基础 anchor 的长宽比进行改进。本文从 RPN 生成基础 anchor 的原理出发，对绝缘子图像 数据中绝缘子长宽比进行的统计，统计结果如图 3 所示，其中绝缘子的长宽比范围按数量依次排序 为 (4:1、5:1、6:1、2:1)，在此基础之上，将生成基础 ·94· 智 能 系 统 学 报 第 15 卷
第1期 赵文清，等：注意力机制和Faster RCNN相结合的绝缘子识别 ·95· anchor的比例调整为(2：1、4：1、5：1、6：1)，同时，为 向量。 更好地识别出尺寸较小的绝缘子，调整尺度为 2)对步骤1)中每个目标建议框P和j个周围 (642、1282、256),特征图上每个点生成12种anchor, 建议框求IoU值，并记录IoU值不小于阈值T的 总共生成W×H×l2个anchor。. 周围建议框，用这些建议框对应的特征向量来更 0.6 0.55 新目标建议框P对应的特征向量。其中阈值T需 0.5 要根据实验来选取最合适的取值。 04 3)使用注意力机制。计算目标建议框P与步 女0.3 0.27 骤2)中记录的建议框两两对应的特征向量之间 0.2 0.13 0. 的权重关系，首先将两个特征向量连接成8192 0.05 01 维，然后传递给多层感知机，如式(6)所示，再 2:1 4:1 5:1 6:1 长宽比 经过Softmax分类器输出权值a,如式(7)所示， 图3绝缘子长宽比统计结果 Wr和W。为多层感知机需要学习的参数，y:和 Fig.3 Statistical results of length-width ratio of insulators f,分别表示与目标建议框向量的第i个和第j个 然后，对每个anchor进行二分类，将与某个 周围建议框对应在全连接层1上的特征向量，，小 真实框的交并比值(IoU,两个建议框交集与它们 表示两个特征向量的连接操作。 并集的比值)最大或者与任一真实框的IoU值大 e=Wσ(W.[fv,fvdD (6) 于0.7的anchor分类为前景（正样本）：将与所有真 aj=Softmax(e） (7) 实框的IoU值都小于0.3的anchor分类为背景 4)融合周围建议框对应的特征向量来更新 (负样本)，再使用Softmax分类器计算得到分类为 目标建议框P对应的特征向量FV,如式(8)： 前景anchor的置信度分数。同时，对前景anchor FVi=aa.FVi+a2FV2+...+aiFV (8) 使用边界框回归进行位置的初步修正。 5)将更新后的目标建议框对应的4096维特 最后，使用NMS算法筛选出置信度分数较高 征向量输入全连接层2，进行后续的精确分类和 的建议框作为目标建议框输入后续的精确分类和 定位任务。 定位，本文设定NMS阈值参数为0.7。 2.5输出识别结果 2.4基于注意力机制的建议框融合 对全连接层2输出的特征向量再次利用So- 首先，将2.3节RPN得到的目标建议框映射 max分类器计算每个目标建议框分类为绝缘子的 到2.2节得到的特征图上；然后，按照1.2节步骤 置信度分数，同时对每个目标建议框进行边界框 4)的ROI池化操作，将每个目标建议框对应在特 回归，得到每个目标建议框相对真实框的偏移量 征图上的区域大小固定为7×7，接着输人到全连 预测值，用于对目标建议框进行修正，得到定位 接层1中。 更精确的目标建议框，输出置信度分数较高的目 考虑到由RPN得到的目标建议框定位不够 标建议框作为最终识别结果。 精确，对后续的精确分类和定位造成影响：同时， 3实验及结果分析 与目标建议框交并比值较大的周围建议框包含较 多有用的位置信息，能够帮助修正目标建议框， 本文实验使用的操作系统为Ubuntu16.04LTS, 但不同的周围建议框对修正绝缘子目标建议框的 GPU选用NVIDIA GeForce GTX 108OTi,深度学习 重要性不同，本文使用注意力机制，选取与目标 框架为TensorFlow1.3.0。 建议框IoU值不小于阈值T的周围建议框，自动 3.1数据集及实验参数 学习每个周围建议框的重要程度（即权值α），再 本文实验采用TAOX16提供的绝缘子图像 将周围建议框以加权求和的方式进行融合并更新 数据。该数据为无人机采集的复合绝缘子图像， 绝缘子目标建议框在全连接层1上的特征向量 共有840张，每幅图像为1152像素×864像素像素， FV=[fv,fy2,·,fl,更新后的特征向量位置信 通过图像旋转、放缩的方式将绝缘子数据扩充为 息更加准确，有利于后续目标建议框的精确分类 2000张。实验过程中对绝缘子数据按照VOC2007 和位置回归，提升模型识别的精度。基于注意力 数据集格式进行标注，并随机划分训练集为1500 机制的建议框融合算法详细步骤如下： 张，测试集为500张。 1)输入RPN选取的i个目标建议框P= RPN训练过程中，在mini-batch的一幅图像 [p1,P2,…,p]对应在全连接层1上的4096维特征 上，随机采样256个目标建议框，其中正样本与负
642 1282 2562 W × H ×12 anchor 的比例调整为 (2:1、4:1、5:1、6:1)，同时，为 更好地识别出尺寸较小的绝缘子，调整尺度为 ( 、 、 )，特征图上每个点生成 12 种 anchor， 总共生成 个 anchor。 0.13 0.55 0.27 0.05 0 0.1 0.2 0.3 0.4 0.5 0.6 2:1 4:1 5:1 6:1 百分比 长宽比 图 3 绝缘子长宽比统计结果 Fig. 3 Statistical results of length-width ratio of insulators 然后，对每个 anchor 进行二分类，将与某个 真实框的交并比值 (IoU，两个建议框交集与它们 并集的比值) 最大或者与任一真实框的 IoU 值大 于 0.7 的 anchor 分类为前景 (正样本)；将与所有真 实框的 IoU 值都小于 0.3 的 anchor 分类为背景 (负样本)，再使用 Softmax 分类器计算得到分类为 前景 anchor 的置信度分数。同时，对前景 anchor 使用边界框回归进行位置的初步修正。 最后，使用 NMS 算法筛选出置信度分数较高 的建议框作为目标建议框输入后续的精确分类和 定位，本文设定 NMS 阈值参数为 0.7。 2.4 基于注意力机制的建议框融合 7×7 首先，将 2.3 节 RPN 得到的目标建议框映射 到 2.2 节得到的特征图上；然后，按照 1.2 节步骤 4) 的 ROI 池化操作，将每个目标建议框对应在特 征图上的区域大小固定为 ，接着输入到全连 接层 1 中。 αi j FV = [f v1, f v2,··· , f vi] 考虑到由 RPN 得到的目标建议框定位不够 精确，对后续的精确分类和定位造成影响；同时， 与目标建议框交并比值较大的周围建议框包含较 多有用的位置信息，能够帮助修正目标建议框， 但不同的周围建议框对修正绝缘子目标建议框的 重要性不同，本文使用注意力机制，选取与目标 建议框 IoU 值不小于阈值 T 的周围建议框，自动 学习每个周围建议框的重要程度 (即权值 )，再 将周围建议框以加权求和的方式进行融合并更新 绝缘子目标建议框在全连接层 1 上的特征向量 ，更新后的特征向量位置信 息更加准确，有利于后续目标建议框的精确分类 和位置回归，提升模型识别的精度。基于注意力 机制的建议框融合算法详细步骤如下： P = [p1, p2,··· , pi] 1) 输 入 R PN 选 取 的 i 个目标建议框 对应在全连接层 1 上的 4 096 维特征 向量。 2) 对步骤 1) 中每个目标建议框 P 和 j 个周围 建议框求 IoU 值，并记录 IoU 值不小于阈值 T 的 周围建议框，用这些建议框对应的特征向量来更 新目标建议框 P 对应的特征向量。其中阈值 T 需 要根据实验来选取最合适的取值。 αi j WT Wα f vi f vj [·,·] 3) 使用注意力机制。计算目标建议框 P 与步 骤 2) 中记录的建议框两两对应的特征向量之间 的权重关系，首先将两个特征向量连接成 8 192 维，然后传递给多层感知机[15] ，如式（6）所示，再 经过 Softmax 分类器输出权值 ，如式（7）所示， 和 为多层感知机需要学习的参数， 和 分别表示与目标建议框向量的第 i 个和第 j 个 周围建议框对应在全连接层 1 上的特征向量, 表示两个特征向量的连接操作。 ei j = WTσ(Wα [ f vi , f vj ] ) (6) αi j = Softmax(ei j) (7) FV 4) 融合周围建议框对应的特征向量来更新 目标建议框 P 对应的特征向量 ，如式 (8)： FVi = αi1 · FV1 +αi2 · FV2 +···+αi j · FVj (8) 5) 将更新后的目标建议框对应的 4 096 维特 征向量输入全连接层 2，进行后续的精确分类和 定位任务。 2.5 输出识别结果 对全连接层 2 输出的特征向量再次利用 Softmax 分类器计算每个目标建议框分类为绝缘子的 置信度分数，同时对每个目标建议框进行边界框 回归，得到每个目标建议框相对真实框的偏移量 预测值，用于对目标建议框进行修正，得到定位 更精确的目标建议框，输出置信度分数较高的目 标建议框作为最终识别结果。 3 实验及结果分析 本文实验使用的操作系统为 Ubuntu 16.04LTS， GPU 选用 NVIDIA GeForce GTX 1080Ti，深度学习 框架为 TensorFlow 1.3.0。 3.1 数据集及实验参数 本文实验采用 TAO X[16] 提供的绝缘子图像 数据。该数据为无人机采集的复合绝缘子图像， 共有 840 张，每幅图像为 1 152 像素×864 像素像素， 通过图像旋转、放缩的方式将绝缘子数据扩充为 2 000 张。实验过程中对绝缘子数据按照 VOC2007 数据集格式进行标注，并随机划分训练集为 1 500 张，测试集为 500 张。 RPN 训练过程中，在 mini-batch 的一幅图像 上，随机采样 256 个目标建议框，其中正样本与负 第 1 期 赵文清，等：注意力机制和 Faster RCNN 相结合的绝缘子识别 ·95·
·96· 智能系统学报 第15卷 样本数量比为1：1，当正样本数量不足时补充负样 了过多负相关的信息，增大噪声、影响识别结果， 本。Fast RCNN训练过程中，由于全连接层更新 当T取0.7时识别准确率最高。 特征向量是在一幅图像中学习建议框之间的权重 为验证本文提出的算法的有效性，对原始 关系，因此每个mini-batch包含l张图像。动量参 Faster RCNN和改进的Faster RCNN在5O0张测试 数设为0.9，防止模型过拟合的权重衰减参数设 图像上的识别结果进行统计，如表2所示。统计 为0.0005，先将学习率设置为0.001，训练30000 结果表明，本文提出的算法，遗漏和识别错误的 次，再设置学习率为0.0001，训练10000次。模 绝缘子数量明显下降，能够有效识别出绝缘子。 型训练40000次得到的总体损失变化，如图4所 表2统计结果 示，当迭代40000次时模型达到稳定。 Table 2 Statistical results 3.0 算法类型 绝缘子总数 正确遗漏错误 2.5 原算法 1327 1214113 164 1306 2.0 本文算法 1327 21 79 为了更好地比较在传统Faster RCNN基础上 测 改进前后的识别效果，统一采用改进后的12种基 .0 础anchor进行实验。2.2节、2.4节以及整体改进 0.5 后的识别结果如表3所示。表中，AT表示2.4节 ×10 2 中，基于注意力机制的建议框融合的改进方法。 迭代次数 表3模型改进后的识别结果 图4训练总体损失变化 Table 3 Recognition results after model improvement Fig.4 The change of total training loss 网络类型 anchor AP/% AR/% 3.2实验结果 Faster RCNN 12 90.73 94.61 本文实验采用平均准确率(average precision,. SENet+Faster RCNN 91.66 95.37 AP)和召回率(average recall,AR)作为评价指标， AT+Faster RCNN 12 93.85 97.90 以传统Faster RCNN算法作为基准方法，对模型 SENet+AT+Faster RCNN 12 94.30 98.42 各部分改进前后的效果进行比较和分析。 3.2.1RPN建议框比例对识别结果的影响 由表3测试集的对比结果可以看出，在改进 在传统Faster RCNN算法基础上，对绝缘子 基础anchor长宽比例和尺度后的Faster RCNN模 数据集中绝缘子长宽比分布统计，并采用2.3节 型中引入SENet结构，绝缘子识别准确率达到 调整后的基础anchor长宽比例和尺度，得到如表1 91.66%,运用注意力机制对建议框进行融合后， 所示的对比实验结果，模型的基础anchor改进为 准确率达到93.85%，在同时引入SENt结构和融 12种后，平均准确率提升了2.57%，召回率提升 合建议框后，识别效果得到明显提升，识别准确 了3.16%。因此，针对绝缘子数据特点，合理地调 率达到94.30%，召回率达到98.42%，说明提出的 整基础anchor长宽比例和尺度可以有效提高绝缘 结合SENet提升特征表达能力和融合周围建议框 子识别的准确率。 的特征向量使目标建议框位置信息更加准确的改 表1不同建议框比例的识别结果 进算法是有效的。 Table 1 Recognition results in different proportion of re- 不同方法对比结果见表4，可以看出，相比较 commendation boxes 文献[6-8]针对复合绝缘子的识别，本文方法具有 基础anchor个数 AP/% AR/% 较好的准确率。 9 88.10 91.48 表4不同方法识别结果 12 90.73 94.61 Table 4 Recognition results of different methods 方法 3.2.2基于注意力机制的绝缘子识别结果 AP/% 文献[6] 90.00 实验过程中，对2.4节建议框融合的阈值 T进行调整，当T过大时，可用于融合的周围建议 文献[] 84.29 框数目减少，进行融合的信息不够充分；当T过 文献8] 90.50 小时，可用于融合的周围建议框数目增多，融合 本文方法 94.30
样本数量比为 1:1，当正样本数量不足时补充负样 本。Fast RCNN 训练过程中，由于全连接层更新 特征向量是在一幅图像中学习建议框之间的权重 关系，因此每个 mini-batch 包含 1 张图像。动量参 数设为 0.9，防止模型过拟合的权重衰减参数设 为 0.000 5，先将学习率设置为 0.001,训练 30 000 次，再设置学习率为 0.000 1，训练 10 000 次。模 型训练 40 000 次得到的总体损失变化，如图 4 所 示，当迭代 40 000 次时模型达到稳定。 0 2 3 迭代次数 3.0 2.5 2.0 1.5 1.0 0.5 总体损失 4 ×104 1 图 4 训练总体损失变化 Fig. 4 The change of total training loss 3.2 实验结果 本文实验采用平均准确率 (average precision， AP) 和召回率 (average recall，AR) 作为评价指标， 以传统 Faster RCNN 算法作为基准方法，对模型 各部分改进前后的效果进行比较和分析。 3.2.1 RPN 建议框比例对识别结果的影响 在传统 Faster RCNN 算法基础上，对绝缘子 数据集中绝缘子长宽比分布统计，并采用 2.3 节 调整后的基础 anchor 长宽比例和尺度，得到如表 1 所示的对比实验结果，模型的基础 anchor 改进为 12 种后，平均准确率提升了 2.57%，召回率提升 了 3.16%。因此，针对绝缘子数据特点，合理地调 整基础 anchor 长宽比例和尺度可以有效提高绝缘 子识别的准确率。 表 1 不同建议框比例的识别结果 Table 1 Recognition results in different proportion of recommendation boxes 基础anchor个数 AP/% AR/% 9 88.10 91.48 12 90.73 94.61 3.2.2 基于注意力机制的绝缘子识别结果 实验过程中，对 2.4 节建议框融合的阈值 T 进行调整，当 T 过大时，可用于融合的周围建议 框数目减少，进行融合的信息不够充分；当 T 过 小时，可用于融合的周围建议框数目增多，融合 了过多负相关的信息，增大噪声、影响识别结果， 当 T 取 0.7 时识别准确率最高。 为验证本文提出的算法的有效性，对原始 Faster RCNN 和改进的 Faster RCNN 在 500 张测试 图像上的识别结果进行统计，如表 2 所示。统计 结果表明，本文提出的算法，遗漏和识别错误的 绝缘子数量明显下降，能够有效识别出绝缘子。 表 2 统计结果 Table 2 Statistical results 算法类型 绝缘子总数 正确 遗漏 错误 原算法 1 327 1 214 113 164 本文算法 1 327 1 306 21 79 为了更好地比较在传统 Faster RCNN 基础上 改进前后的识别效果，统一采用改进后的 12 种基 础 anchor 进行实验。2.2 节、2.4 节以及整体改进 后的识别结果如表 3 所示。表中，AT 表示 2.4 节 中，基于注意力机制的建议框融合的改进方法。 表 3 模型改进后的识别结果 Table 3 Recognition results after model improvement 网络类型 anchor AP/% AR/% Faster RCNN 12 90.73 94.61 SENet+Faster RCNN 12 91.66 95.37 AT+Faster RCNN 12 93.85 97.90 SENet+AT+Faster RCNN 12 94.30 98.42 由表 3 测试集的对比结果可以看出，在改进 基础 anchor 长宽比例和尺度后的 Faster RCNN 模 型中引入 SENet 结构，绝缘子识别准确率达到 91.66%，运用注意力机制对建议框进行融合后， 准确率达到 93.85%，在同时引入 SENet 结构和融 合建议框后，识别效果得到明显提升，识别准确 率达到 94.30%，召回率达到 98.42%，说明提出的 结合 SENet 提升特征表达能力和融合周围建议框 的特征向量使目标建议框位置信息更加准确的改 进算法是有效的。 不同方法对比结果见表 4，可以看出，相比较 文献 [6-8] 针对复合绝缘子的识别，本文方法具有 较好的准确率。 表 4 不同方法识别结果 Table 4 Recognition results of different methods 方法 AP/% 文献[6] 90.00 文献[7] 84.29 文献[8] 90.50 本文方法 94.30 ·96· 智 能 系 统 学 报 第 15 卷
第1期 赵文清，等：注意力机制和Faster RCNN相结合的绝缘子识别 ·97· 通过图5和图6的对比识别结果可以看出， 识别出绝缘子图像中不易被人眼察觉而未进行标 注意力机制与Faster RCNN相结合的算法识别出 注的绝缘子，特别是对背景复杂、遮挡、绝缘子尺 绝缘子的置信度更高，定位更加准确，并且能够 寸较小等因素造成的漏检，有显著改善。 (a)复杂背景下的绝缘子识别结果 (b)被遮挡的绝缘子识别结果 (c)较小尺寸绝缘子识别结果 图5传统Faster RCNN识别结果 Fig.5 Recognition results of traditional Faster RCNN algorithms (a)识别出复杂背景下的绝缘子 (b)识别出被遮挡的绝缘子 (c)识别出较小尺寸绝缘子 图6改进后模型的识别结果 Fig.6 Recognition results of improved model 4结束语 3311-3321 ZHANG Qian,WANG Jianping,LI Weitao.Insulator state 针对Faster RCNN识别绝缘子图像不够准 detection of convolutional neural networks based on feed- 确，难以满足输电线路智能巡检的要求，本文提 back mechanism[J].Transactions of China electrotechnic- 出了一种注意力机制和Faster RCNN相结合的绝 al society,2019,3416):3311-3321. 缘子识别方法。在特征提取阶段，引入基于注意 [2]刘召，张黎明，耿美晓，等.基于改进的Faster R-CNN高 力机制的SENet结构，使特征提取网络关注与目 压线缆目标检测方法[).智能系统学报，2019,14(4)： 标相关的通道，提升网络性能。在RPN生成基础 627-634 anchor阶段，根据数据集中绝缘子的特点，改进 LIU Zhao,ZHANG Liming.GENG Meixiao,et al.Object anchor长宽比和尺度，提升对较小尺寸绝缘子的 detection of high-voltage cable based on improved Faster 识别能力。在精确分类和回归阶段，运用注意力 R-CNN[J.CAAI transactions on intelligent systems,2019, 机制融合周围建议框信息对目标建议框在全连接 14(4):627-634. 层上的特征向量进行更新，得到位置信息更加准 [3]黄宵宁，张真良.直升机巡检航拍图像中绝缘子图像的 提取算法).电网技术，2010,34(1)：194-197 确的目标建议框。经过实验对比，本文方法相对 HUANG Xiaoning,ZHANG Zhenliang.A method to ex- 于传统Faster RCNN算法具有较好的定位和识别 tract insulator image from aerial image of helicopter 准确度，能够为后续输电线路绝缘子缺陷检测的 patrol[J].Power system technology,2010,34(1):194-197. 进一步研究提供准确可靠的信息。 [4]IRUANSI U.TAPAMO J R.DAVIDSON I E.An active 参考文献： contour approach to insulator segmentation[C]//AFRICON 2015.Addis Ababa,Ethiopia,2015:1-5. [1]张倩，王建平，李帷韬.基于反馈机制的卷积神经网络绝 [5]左国玉，马蕾，徐长福，等.基于跨连接卷积神经网络的 缘子状态检测方法[.电工技术学报，2019,34(16)： 绝缘子检测方法[.电力系统自动化，2019,43(4)：
通过图 5 和图 6 的对比识别结果可以看出， 注意力机制与 Faster RCNN 相结合的算法识别出 绝缘子的置信度更高，定位更加准确，并且能够 识别出绝缘子图像中不易被人眼察觉而未进行标 注的绝缘子，特别是对背景复杂、遮挡、绝缘子尺 寸较小等因素造成的漏检，有显著改善。 (a) 复杂背景下的绝缘子识别结果 (b) 被遮挡的绝缘子识别结果 (c) 较小尺寸绝缘子识别结果 图 5 传统 Faster RCNN 识别结果 Fig. 5 Recognition results of traditional Faster RCNN algorithms (a) 识别出复杂背景下的绝缘子 (b) 识别出被遮挡的绝缘子 (c) 识别出较小尺寸绝缘子 图 6 改进后模型的识别结果 Fig. 6 Recognition results of improved model 4 结束语 针对 Faster RCNN 识别绝缘子图像不够准 确，难以满足输电线路智能巡检的要求，本文提 出了一种注意力机制和 Faster RCNN 相结合的绝 缘子识别方法。在特征提取阶段，引入基于注意 力机制的 SENet 结构，使特征提取网络关注与目 标相关的通道，提升网络性能。在 RPN 生成基础 anchor 阶段，根据数据集中绝缘子的特点，改进 anchor 长宽比和尺度，提升对较小尺寸绝缘子的 识别能力。在精确分类和回归阶段，运用注意力 机制融合周围建议框信息对目标建议框在全连接 层上的特征向量进行更新，得到位置信息更加准 确的目标建议框。经过实验对比，本文方法相对 于传统 Faster RCNN 算法具有较好的定位和识别 准确度,能够为后续输电线路绝缘子缺陷检测的 进一步研究提供准确可靠的信息。 参考文献： 张倩, 王建平, 李帷韬. 基于反馈机制的卷积神经网络绝 缘子状态检测方法 [J]. 电工技术学报, 2019, 34(16): [1] 3311–3321. ZHANG Qian, WANG Jianping, LI Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China electrotechnical society, 2019, 34(16): 3311–3321. 刘召, 张黎明, 耿美晓, 等. 基于改进的 Faster R-CNN 高 压线缆目标检测方法 [J]. 智能系统学报, 2019, 14(4): 627–634. LIU Zhao, ZHANG Liming, GENG Meixiao, et al. Object detection of high-voltage cable based on improved Faster R-CNN[J]. CAAI transactions on intelligent systems, 2019, 14(4): 627–634. [2] 黄宵宁, 张真良. 直升机巡检航拍图像中绝缘子图像的 提取算法 [J]. 电网技术, 2010, 34(1): 194–197. HUANG Xiaoning, ZHANG Zhenliang. A method to extract insulator image from aerial image of helicopter patrol[J]. Power system technology, 2010, 34(1): 194–197. [3] IRUANSI U, TAPAMO J R, DAVIDSON I E. An active contour approach to insulator segmentation[C]//AFRICON 2015. Addis Ababa, Ethiopia, 2015: 1–5. [4] 左国玉, 马蕾, 徐长福, 等. 基于跨连接卷积神经网络的 绝缘子检测方法 [J]. 电力系统自动化, 2019, 43(4): [5] 第 1 期 赵文清，等：注意力机制和 Faster RCNN 相结合的绝缘子识别 ·97·
·98· 智能系统学报 第15卷 101-108 large scale visual recognition challenge[J].International ZUO Guoyu,MA Lei,XU Changfu,et al.Insulator detec- journal of computer vision,2014,115(3):211-252. tion method based on cross-connected convolutional neur- [I3]林刚，王波，彭辉，等.基于改进Faster-RCNN的输电线 al network[J].Automation of electric power systems,2019, 巡检图像多目标检测及定位[J].电力自动化设备， 43(4):101-108. 2019,395):213-218. [6]彭向阳，刘洋，王柯，等.利用卷积神经网络进行绝缘子 LIN Gang,WANG Bo,PENG Hui,et al.Multi-target de- 自动定位[).武汉大学学报（信息科学版），2019,44(4)： tection and location of transmission line inspection image 563-569 based on improved Faster-RCNN[J].Electric power auto- PENG Xiangyang,LIU Yang,WANG Ke,et al.An auto- mation equipment,2019,39(5):213-218. matically locating method for insulator object based on [14]REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster CNNs[J].Geomatics and Information Science of Wuhan R-CNN:towards real-time object detection with region University,2019,44(4):563-569. proposal networks[J].IEEE transactions on pattern ana- [7]赵振兵，崔雅萍，戚银城，等.基于改进的R-FCN航拍 lysis and machine intelligence,2017,39(6):1137-1149. 巡线图像中的绝缘子检测方法[J】.计算机科学，2019， [15]YANG Jianwei,LU Jiasen,LEE S,et al.Graph R-CNN for 46(3):159-163. scene graph generation[C]//Proceedings of 15th European ZHAO Zhenbing,CUI Yaping,QI Yincheng,et al.Detec- Conference on Computer Vision.Munich,Germany,2018: tion method of insulator in aerial inspection image based 670-685. on modified R-FCN[J].Computer science,2019,46(3): [16]TAO Xian,ZHANG Dapeng,WANG Zihao,et al.Detec- 159-163. tion of power line insulator defects using aerial images [8]程海燕，翟永杰，陈瑞.基于Faster R-CNN的航拍图像中 analyzed with convolutional neural networks[J].IEEE 绝缘子识别).现代电子技术，2019,42(2)：98-102 transactions on systems,man,and cybernetics:systems, CHENG Haiyan,ZHAI Yongjie,CHEN Rui.Faster R- 2020,50(4):1486-1498. CNN based recognition of insulators in aerial images[J]. 作者简介： Modern electronics technique,2019,42(2):98-102. 赵文清，教授，博士，主要研究方 [9]HU Jie,SHEN Li,SUN Gang.Squeeze-and-excitation net- 向为人工智能与数据挖掘。发表学术 works[C]//Proceedings of 2018 IEEE/CVF Conference on 论文50余篇。 Computer Vision and Pattern Recognition.Salt Lake City, USA,2018:7132-7141. [1o]徐诚极，王晓峰，杨亚东.Attention-YOLO:引入注意力 机制的YOLO检测算法J几.计算机工程与应用，2019， 55(6):13-23. 程幸福，硕士研究生，主要研究方 XU Chengji,WANG Xiaofeng,YANG Yadong.Atten- 向为机器学习、深度学习、目标检测。 tion-YOLO:YOLO detection algorithm that introduces attention mechanism[J].Computer engineering and ap- plications,2019,55(6):13-23. [11]陈庆，闫斌，叶润，等.航拍绝缘子卷积神经网络检测及 自爆识别研究[).电子测量与仪器学报，2017,31(6)： 942-953 赵振兵，副教授，博士，主要研究 方向为深度学习、计算机视觉。 CHEN Qing,YAN Bin,YE Run,et al.Insulator detec- tion and recognition of explosion fault based on convolu- tional neural networks[J].Journal of electronic measure- ment and instrumentation,2017,31(6):942-953. [12]RUSSAKOVSKY O,DENG J,SU H,et al.ImageNet
101–108. ZUO Guoyu, MA Lei, XU Changfu, et al. Insulator detection method based on cross-connected convolutional neural network[J]. Automation of electric power systems, 2019, 43(4): 101–108. 彭向阳, 刘洋, 王柯, 等. 利用卷积神经网络进行绝缘子 自动定位 [J]. 武汉大学学报(信息科学版), 2019, 44(4): 563–569. PENG Xiangyang, LIU Yang, WANG Ke, et al. An automatically locating method for insulator object based on CNNs[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 563–569. [6] 赵振兵, 崔雅萍, 戚银城, 等. 基于改进的 R-FCN 航拍 巡线图像中的绝缘子检测方法 [J]. 计算机科学, 2019, 46(3): 159–163. ZHAO Zhenbing, CUI Yaping, QI Yincheng, et al. Detection method of insulator in aerial inspection image based on modified R-FCN[J]. Computer science, 2019, 46(3): 159–163. [7] 程海燕, 翟永杰, 陈瑞. 基于 Faster R-CNN 的航拍图像中 绝缘子识别 [J]. 现代电子技术, 2019, 42(2): 98–102. CHENG Haiyan, ZHAI Yongjie, CHEN Rui. Faster RCNN based recognition of insulators in aerial images[J]. Modern electronics technique, 2019, 42(2): 98–102. [8] HU Jie, SHEN Li, SUN Gang. Squeeze-and-excitation networks[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA, 2018: 7132–7141. [9] 徐诚极, 王晓峰, 杨亚东. Attention-YOLO: 引入注意力 机制的 YOLO 检测算法 [J]. 计算机工程与应用, 2019, 55(6): 13–23. XU Chengji, WANG Xiaofeng, YANG Yadong. Attention-YOLO: YOLO detection algorithm that introduces attention mechanism[J]. Computer engineering and applications, 2019, 55(6): 13–23. [10] 陈庆, 闫斌, 叶润, 等. 航拍绝缘子卷积神经网络检测及 自爆识别研究 [J]. 电子测量与仪器学报, 2017, 31(6): 942–953. CHEN Qing, YAN Bin, YE Run, et al. Insulator detection and recognition of explosion fault based on convolutional neural networks[J]. Journal of electronic measurement and instrumentation, 2017, 31(6): 942–953. [11] [12] RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International journal of computer vision, 2014, 115(3):211–252. 林刚, 王波, 彭辉, 等. 基于改进 Faster-RCNN 的输电线 巡检图像多目标检测及定位 [J]. 电力自动化设备, 2019, 39(5): 213–218. LIN Gang, WANG Bo, PENG Hui, et al. Multi-target detection and location of transmission line inspection image based on improved Faster-RCNN[J]. Electric power automation equipment, 2019, 39(5): 213–218. [13] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137–1149. [14] YANG Jianwei, LU Jiasen, LEE S, et al. Graph R-CNN for scene graph generation[C]//Proceedings of 15th European Conference on Computer Vision. Munich, Germany, 2018: 670–685. [15] TAO Xian, ZHANG Dapeng, WANG Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE transactions on systems, man, and cybernetics: systems, 2020, 50(4): 1486–1498. [16] 作者简介： 赵文清，教授，博士，主要研究方 向为人工智能与数据挖掘。发表学术 论文 50 余篇。 程幸福，硕士研究生，主要研究方 向为机器学习、深度学习、目标检测。 赵振兵，副教授，博士，主要研究 方向为深度学习、计算机视觉。 ·98· 智 能 系 统 学 报 第 15 卷
