第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992/tis.202012023 融合共现推理的Faster R-CNN输电线路金具检测 翟永杰'，杨旭，赵振兵2，王乾铭，赵文清 (1.华北电力大学控制与计算机工程学院，河北保定071003,2.华北电力大学电气与电子工程学院，河北保 定071003) 摘要：为促进目标检测模型与电力领域业务知识有机融合，缓解金具样本间长尾分布问题，有效提升输电线 路金具的自动化检测效果，提出了融合共现推理的Faster R-CNN(faster region-based convolutional neural network)输电线路金具检测模型。首先，深入研究输电线路金具结构化组合规则，通过数据驱动的方式以条件 概率对金具目标间的共现连接关系进行有效表达：然后，结合图学习方法，利用学习并映射的共现概率关联作 为共现图邻接矩阵，使用基线模型(Faster R-CNN)提取的特征向量作为图推理输入特征，以自学习的变换矩阵 作为共现图传播权重，完成图信息传播并实现有效的共现推理模型嵌入。实验证明，融合共现推理模块的 Faster R-CNN模型较原始模型提升了6.56%的准确率，对于长尾分布样本中数量较少的金具性能提升尤其显著。 关键词：输电线路：金具；深度学习；目标检测；Faster R-CNN;结构化组装；共现矩阵：共现推理模块 中图分类号：TP18文献标志码：A 文章编号：1673-4785(2021)02-0237-10 中文引用格式：翟永杰，杨旭，赵振兵，等.融合共现推理的Faster R-CNN输电线路金具检测.智能系统学报，2021,16(2： 237-246. 英文引用格式：ZHAI Yongjie,YANG Xu,ZHAO Zhenbing,etal.Integrating co-occurrence reasoning for Faster R-CNN transmis- sion line fitting detection[JI.CAAl transactions on intelligent systems,2021,16(2):237-246. Integrating co-occurrence reasoning for Faster R-CNN transmission line fitting detection ZHAI Yongjie',YANG Xu',ZHAO Zhenbing,WANG Qianming',ZHAO Wenqing (1.School of Control and Computer Engineering,North China Electric Power University,Baoding 071003,China;2.Department, University,School of Electrical and Electronic Engineering,North China Electric Power University,Baoding 071003,China) Abstract:To promote the organic integration of object detection and business knowledge in the electric power field,al- leviate the problem of long-tailed distribution among fitting samples,and effectively improve the automatic detection ef- fect of transmission line fittings,we propose a faster region-based convolutional neural network(Faster R-CNN)trans- mission line fitting detection model based on integrating co-occurrence reasoning.First,the structural combination rule of transmission line fittings is extensively investigated,and the co-occurrence connection relationship between objects is effectively expressed using conditional probability in a data-driven manner.Then,in combination with the graph learn- ing method,the co-occurrence probability association is learned and mapped as the adjacency matrix of the co-occur- rence graph,the feature vector extracted from the baseline model(Faster R-CNN)is used as the graph inference input feature,and the self-learning transformation matrix is used as the propagation weight of the co-occurrence graph to com- plete graph information propagation and realize effective co-occurrence inference model embedding.The experimental results show that the Faster R-CNN integrating co-occurrence reasoning module outperforms the original model by 6.56%,which is particularly significant for performance improvement in terms of transmission line fitting detection with a reduced long-tailed distribution among fitting samples. Keywords:transmission lines;fitting;deep learning;object detection;Faster R-CNN;structured assembly;co-occur- rence matrix;co-occurrence reasoning module 收稿日期：2020-12-15. 基金项目：国家自然科学基金项目(61871182、61773160)：北京 近年来，随着电网高速发展与全面覆盖，输电 市自然料学基金项日(4192055)：河北省自然科学基 金项目(F2020502009). 线路作为电力传输中的核心系统，其稳定运行对 通信作者：赵振兵.E-mail:zhaozhenbing(@ncepu.edu.cn. 电网的安全有着至关重要的影响。其中，金具
DOI: 10.11992/tis.202012023 融合共现推理的 Faster R-CNN 输电线路金具检测 翟永杰1 ，杨旭1 ，赵振兵2 ，王乾铭1 ，赵文清1 （1. 华北电力大学 控制与计算机工程学院，河北 保定 071003; 2. 华北电力大学 电气与电子工程学院，河北 保 定 071003） 摘 要：为促进目标检测模型与电力领域业务知识有机融合，缓解金具样本间长尾分布问题，有效提升输电线 路金具的自动化检测效果，提出了融合共现推理的 Faster R-CNN(faster region-based convolutional neural network) 输电线路金具检测模型。首先，深入研究输电线路金具结构化组合规则，通过数据驱动的方式以条件 概率对金具目标间的共现连接关系进行有效表达；然后，结合图学习方法，利用学习并映射的共现概率关联作 为共现图邻接矩阵，使用基线模型 (Faster R-CNN) 提取的特征向量作为图推理输入特征，以自学习的变换矩阵 作为共现图传播权重，完成图信息传播并实现有效的共现推理模型嵌入。实验证明，融合共现推理模块的 Faster R-CNN 模型较原始模型提升了 6.56% 的准确率，对于长尾分布样本中数量较少的金具性能提升尤其显著。 关键词：输电线路；金具；深度学习；目标检测；Faster R-CNN；结构化组装；共现矩阵；共现推理模块 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2021)02−0237−10 中文引用格式：翟永杰, 杨旭, 赵振兵, 等. 融合共现推理的 Faster R-CNN 输电线路金具检测 [J]. 智能系统学报, 2021, 16(2): 237–246. 英文引用格式：ZHAI Yongjie, YANG Xu, ZHAO Zhenbing, et al. Integrating co-occurrence reasoning for Faster R-CNN transmission line fitting detection[J]. CAAI transactions on intelligent systems, 2021, 16(2): 237–246. Integrating co-occurrence reasoning for Faster R-CNN transmission line fitting detection ZHAI Yongjie1 ，YANG Xu1 ，ZHAO Zhenbing2 ，WANG Qianming1 ，ZHAO Wenqing1 (1. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China; 2. Department, University, School of Electrical and Electronic Engineering, North China Electric Power University, Baoding 071003, China) Abstract: To promote the organic integration of object detection and business knowledge in the electric power field, alleviate the problem of long-tailed distribution among fitting samples, and effectively improve the automatic detection effect of transmission line fittings, we propose a faster region-based convolutional neural network (Faster R-CNN) transmission line fitting detection model based on integrating co-occurrence reasoning. First, the structural combination rule of transmission line fittings is extensively investigated, and the co-occurrence connection relationship between objects is effectively expressed using conditional probability in a data-driven manner. Then, in combination with the graph learning method, the co-occurrence probability association is learned and mapped as the adjacency matrix of the co-occurrence graph, the feature vector extracted from the baseline model (Faster R-CNN) is used as the graph inference input feature, and the self-learning transformation matrix is used as the propagation weight of the co-occurrence graph to complete graph information propagation and realize effective co-occurrence inference model embedding. The experimental results show that the Faster R-CNN integrating co-occurrence reasoning module outperforms the original model by 6.56%, which is particularly significant for performance improvement in terms of transmission line fitting detection with a reduced long-tailed distribution among fitting samples. Keywords: transmission lines; fitting; deep learning; object detection; Faster R-CNN; structured assembly; co-occurrence matrix; co-occurrence reasoning module 近年来，随着电网高速发展与全面覆盖，输电 线路作为电力传输中的核心系统，其稳定运行对 电网的安全有着至关重要的影响[1-2]。其中，金具 收稿日期：2020−12−15. 基金项目：国家自然科学基金项目 (61871182、61773160)；北京 市自然科学基金项目 (4192055)；河北省自然科学基 金项目 (F2020502009). 通信作者：赵振兵. E-mail：zhaozhenbing@ncepu.edu.cn. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021
·238· 智能系统学报 第16卷 作为输电线路的重要附件，起到了固定、防护与 Faster R-CNN模型作为目标检测基础框架，利用 接续以及维持整个线路稳定运行的作用3。由 表达金具组合规则的共现矩阵作为先验指导，设 于金具的工作环境往往处在复杂恶劣的野外环 计共现推理模块并嵌入目标检测模型中，进一步 境，极易发生锈蚀、变形、破损等缺陷，因此对输 提高了模型检测的准确性，为输电线路金具运行 电线路进行定期巡检将大大减少输电线路故障的 状态的智能检测提供新的思路。 发生。 随着数字图像处理与无人机监控技术的发 1 研究背景 展，基于航拍图像处理的输电线路金具巡检技术 在输电线路中多种金具的组合结构具有一定 已成功应用1。目前常用的方法可以分为3类： 的规则性，如悬垂绝缘子串系统中，从低压侧到 基于特征描述的算法、基于经典机器学习的算法 高压侧间金具排列结构由绝缘子与均压环和 和基于深度学习的算法。其中，基于特征描述的 U型挂环与挂板、联板依次连接，最终通过悬垂 算法主要利用形状6刀、边缘8、轮廓910等形态学 线夹与高压侧导线相连；而用于避免导线舞动幅 特征，或图形基元川、共生纹理☒等手工特征实 度过大导致线路跳闸的重锤，也上接均压环、下 现对防振锤、绝缘子、间隔棒等输电线路部件的 连悬垂线夹，通过这样的连接方式保证重锤安 特征提取与识别，在实际应用中往往会受到成像 全、有效地增加绝缘子串垂直荷重。输电线路常 条件、外界环境等因素变化的影响，导致金具的 见金具组合结构如图1所示，其中图1(a)和图1(b) 识别可靠性不高，难以满足工业应用要求。基于 分别展示了输电线路悬垂绝缘子结构与防舞动结 经典机器学习算法的金具识别往往通过传统特征 构的部分示例。由图可知，目前输电线路中金具 提取方法与经典线性分类器相结合的方法31完 的组装结构较为固定，具有丰富经验的巡检工人 成金具识别任务。相比于最初的特征描述方法， 只需要通过组装结构就可以判断出被遮挡金具的 机器学习算法在一定程度上提高了可靠性，但模 大致位置。然而，当前的深度检测算法仅对图像 型受到人工构建的限制难以无法深度挖掘样本特 中的物体进行独立检测，没有有效利用目标之间 征，在识别的准确率上仍有很大的提升空间。随 的相互关系。 着深度学习在公开数据集中的流行与发展6，基 于深度学习目标检测算法的金具定位与检测研究 得到了国内外研究学者的广泛关注，如文献[1刀 结合多显著性目标检测技术与逻辑判断对输电线 路金具航拍图像实现目标检测；文献[18]结合输 电线路金具的特征，使用深度可分离卷积与多尺 (a)悬垂绝缘子串结构 度特征融合方法实现绝缘子、悬垂线夹、防震锤 三类部件的识别与检测；文献[19]结合RFB模型 与Focal-.loss损失函数一定程度上缓解了绝缘子 样本不平衡问题，提高了检测速度与准确率；文 献2O]采用ResNet网络对SSD目标检测算法进 行改进，完成了较高检测精度与置信度的绝缘子 (b)防舞动结构 任务。然而，上述工作仅是针对输电线路金具本 图1输电线路常见金具组合结构示例 身特性对目标检测模型进行适用性应用与改进， Fig.1 Examples of common hardware combinations in 未能将模型与电力领域业务知识有效融合。同 transmission lines 时，受限于金具工作环境的特殊性，金具数据集 同时，由于输电线路工作环境的复杂多变，常 往往存在严重的样本不平衡问题，对于某些样本 用金具种类繁多，可分为线夹、连接金具、接续金 较少的金具，单一的深度检测模型不能准确地对 具、防护金具、拉线金具、接触金具、母线金具等 关键部件进行检测。 多个粗粒度类别，每一大类下还有众多细粒度类 为促进深度学习模型与电力领域业务知识有 别。由于多种金具的运行环境与作用各不相同， 机融合，缓解金具样本间样本不平衡问题，本文 因此在输电线路中多个金具的组合结构所需数量 深入研究输电线路金具结构化组合规则，结合输 也往往各有不同，如提包式悬垂线夹常用于多个 电线路航拍图像构建多种金具间的共现矩阵，以 组合结构中连接金具与导线，使用数量与频率都
作为输电线路的重要附件，起到了固定、防护与 接续以及维持整个线路稳定运行的作用[3-4]。由 于金具的工作环境往往处在复杂恶劣的野外环 境，极易发生锈蚀、变形、破损等缺陷，因此对输 电线路进行定期巡检将大大减少输电线路故障的 发生[5]。 随着数字图像处理与无人机监控技术的发 展，基于航拍图像处理的输电线路金具巡检技术 已成功应用[3]。目前常用的方法可以分为 3 类： 基于特征描述的算法、基于经典机器学习的算法 和基于深度学习的算法。其中，基于特征描述的 算法主要利用形状[6-7] 、边缘[8] 、轮廓[9-10] 等形态学 特征，或图形基元[11] 、共生纹理[12] 等手工特征实 现对防振锤、绝缘子、间隔棒等输电线路部件的 特征提取与识别，在实际应用中往往会受到成像 条件、外界环境等因素变化的影响，导致金具的 识别可靠性不高，难以满足工业应用要求。基于 经典机器学习算法的金具识别往往通过传统特征 提取方法与经典线性分类器相结合的方法[13-15] 完 成金具识别任务。相比于最初的特征描述方法， 机器学习算法在一定程度上提高了可靠性，但模 型受到人工构建的限制难以无法深度挖掘样本特 征，在识别的准确率上仍有很大的提升空间。随 着深度学习在公开数据集中的流行与发展[16] ，基 于深度学习目标检测算法的金具定位与检测研究 得到了国内外研究学者的广泛关注，如文献 [17] 结合多显著性目标检测技术与逻辑判断对输电线 路金具航拍图像实现目标检测；文献 [18] 结合输 电线路金具的特征，使用深度可分离卷积与多尺 度特征融合方法实现绝缘子、悬垂线夹、防震锤 三类部件的识别与检测；文献 [19] 结合 RFB 模型 与 Focal-loss 损失函数一定程度上缓解了绝缘子 样本不平衡问题，提高了检测速度与准确率；文 献 [20] 采用 ResNet 网络对 SSD 目标检测算法进 行改进，完成了较高检测精度与置信度的绝缘子 任务。然而，上述工作仅是针对输电线路金具本 身特性对目标检测模型进行适用性应用与改进， 未能将模型与电力领域业务知识有效融合。同 时，受限于金具工作环境的特殊性，金具数据集 往往存在严重的样本不平衡问题，对于某些样本 较少的金具，单一的深度检测模型不能准确地对 关键部件进行检测。 为促进深度学习模型与电力领域业务知识有 机融合，缓解金具样本间样本不平衡问题，本文 深入研究输电线路金具结构化组合规则，结合输 电线路航拍图像构建多种金具间的共现矩阵，以 Faster R-CNN 模型作为目标检测基础框架，利用 表达金具组合规则的共现矩阵作为先验指导，设 计共现推理模块并嵌入目标检测模型中，进一步 提高了模型检测的准确性，为输电线路金具运行 状态的智能检测提供新的思路。 1 研究背景 在输电线路中多种金具的组合结构具有一定 的规则性[21] ，如悬垂绝缘子串系统中，从低压侧到 高压侧间金具排列结构由绝缘子与均压环和 U 型挂环与挂板、联板依次连接，最终通过悬垂 线夹与高压侧导线相连；而用于避免导线舞动幅 度过大导致线路跳闸的重锤，也上接均压环、下 连悬垂线夹，通过这样的连接方式保证重锤安 全、有效地增加绝缘子串垂直荷重。输电线路常 见金具组合结构如图 1 所示，其中图 1(a) 和图 1(b) 分别展示了输电线路悬垂绝缘子结构与防舞动结 构的部分示例。由图可知，目前输电线路中金具 的组装结构较为固定，具有丰富经验的巡检工人 只需要通过组装结构就可以判断出被遮挡金具的 大致位置。然而，当前的深度检测算法仅对图像 中的物体进行独立检测，没有有效利用目标之间 的相互关系。 (a) 悬垂绝缘子串结构 (b) 防舞动结构 图 1 输电线路常见金具组合结构示例 Fig. 1 Examples of common hardware combinations in transmission lines 同时，由于输电线路工作环境的复杂多变，常 用金具种类繁多，可分为线夹、连接金具、接续金 具、防护金具、拉线金具、接触金具、母线金具等 多个粗粒度类别，每一大类下还有众多细粒度类 别。由于多种金具的运行环境与作用各不相同， 因此在输电线路中多个金具的组合结构所需数量 也往往各有不同，如提包式悬垂线夹常用于多个 组合结构中连接金具与导线，使用数量与频率都 ·238· 智 能 系 统 学 报 第 16 卷
第2期 翟永杰，等：融合共现推理的Faster R-CNN输电线路金具检测 ·239· 比较高；而用于非直线杆塔跳线的并沟线夹，因 了待检测物体本身的特征，每种物体的数据集数 其承担任务的特殊性，所以应用数量与频率较 量和质量对检测结果具有很大的影响。而在输电 少。因此，在输电线路航拍图像金具数据集中， 线路金具目标检测场景中，输电线路金具具有较 会出现数据不平衡和长尾分布的问题。图2展示 高规则性的组装结构特点，通过对金具组装结构 出本文所用金具检测数据集中各个金具的标注框 特点进行分析，挖掘相应关系信息为目标检测进 在整个数据集的分布情况，其中数据集共含金具 行辅助判断以解决数据长尾问题。 14种，标注框9101个。可以看出，各个金具标注 为了有效利用金具间固有的连接结构，将输 框数量依次降低，且前5种金具标注框数量占整 电领域业务知识与深度学习目标检测模型相 体标注框数量70%以上，呈现出非常严重的长尾 融合。本文提出采用共现矩阵47作为金具目标 分布问题。然而当前深度学习算法往往是基于数 结构性信息的表达方法，设计了描述多类金具间 据驱动的，面对缺乏大量样本的混淆类别与长尾 共现关系的推理模块并嵌入Faster R-CNN模型 数据，性能会有很大下降。 中，实现了融合金具目标结构关系的深度目标检 测模型。 提包式悬垂线 U型挂环 848 挂板 169 594 2 Faster R-CNN模型 防钙 均压环 891 联板 1551 Faster R-CNN算法2]自20l5年由Ren等提 调整 446 压缩型耐张线夹 ■2394 出后受到了目标检测领域的广泛应用。相比于单 363 间隔林 277 阶段的SSD(Single Shot MultiBox Detector)2) 预绞式悬垂线夹 158 屏被环 109 YOLO(You Only Look Once)o算法，二阶段算法 并沟线夹 108 锲型耐张线夹口1， 结合大规模数据集与深度检测框架的优势，得到 的检测结果具备较高的检测精度与泛化性能。 标注框数量 Faster R-CNN算法创新性提出区域建议网络(Re 图2金具检测数据集中标注框数量分布 gion Proposal Network,RPN),通过端到端的方式 Fig.2 Quantity distribution of bounding boxs in fittings 解决了R-CNNB、Fast R-CNN检测算法中候选 detection dataset 框生成耗时问题，极大提高了双阶段检测算法的 物体之间的关系可以帮助提高物体识别能 效率。 力，这在人类常识上已经得到了很好的认识22。 Faster R-CNN算法的基本框架如图3所示， 现有通用目标检测模型由于多类目标检测缺乏共 主要由卷积神经网络、RPN网络、感兴趣区域池 性的结构性描述，因此大多还是针对每个物体单 化单元(region of interest pooling,RoI Pooling)以及 独进行检测，这种相对独立的检测模型仅仅利用 结果输出单元4部分组成。 类别 图像输入 特征提取 ROI池化 结果计算 位置 ROI 池化 RP 图3 Faster R-CNN检测框架 Fig.3 Faster R-CNN detection framework 1)卷积神经网络：利用一系列卷积、池化、非 道特征并形成图像特征图(feature map)o 线性模块的组合，从浅至深提取输入图像的多通 2)RPN网络：通过预设尺寸与比例的多种锚
比较高；而用于非直线杆塔跳线的并沟线夹，因 其承担任务的特殊性，所以应用数量与频率较 少。因此，在输电线路航拍图像金具数据集中， 会出现数据不平衡和长尾分布的问题。图 2 展示 出本文所用金具检测数据集中各个金具的标注框 在整个数据集的分布情况，其中数据集共含金具 14 种，标注框 9 101 个。可以看出，各个金具标注 框数量依次降低，且前 5 种金具标注框数量占整 体标注框数量 70% 以上，呈现出非常严重的长尾 分布问题。然而当前深度学习算法往往是基于数 据驱动的，面对缺乏大量样本的混淆类别与长尾 数据，性能会有很大下降。 提包式悬垂线夹 挂板 防震锤 均压环 联板 调整板 压缩型耐张线夹 重锤 间隔棒 预绞式悬垂线夹 屏蔽环 并沟线夹 锲型耐张线夹 U 型挂环 0 200 400 600 800 1 000 1 200 1 400 1 600 1 800 2 000 1 848 1 594 1 169 1 122 891 551 446 394 363 277 158 109 108 71 标注框数量 图 2 金具检测数据集中标注框数量分布 Fig. 2 Quantity distribution of bounding boxs in fittings detection dataset 物体之间的关系可以帮助提高物体识别能 力，这在人类常识上已经得到了很好的认识[22-24]。 现有通用目标检测模型由于多类目标检测缺乏共 性的结构性描述，因此大多还是针对每个物体单 独进行检测，这种相对独立的检测模型仅仅利用 了待检测物体本身的特征，每种物体的数据集数 量和质量对检测结果具有很大的影响。而在输电 线路金具目标检测场景中，输电线路金具具有较 高规则性的组装结构特点，通过对金具组装结构 特点进行分析，挖掘相应关系信息为目标检测进 行辅助判断以解决数据长尾问题。 为了有效利用金具间固有的连接结构，将输 电领域业务知识与深度学习目标检测模型相 融合。本文提出采用共现矩阵[24-27] 作为金具目标 结构性信息的表达方法，设计了描述多类金具间 共现关系的推理模块并嵌入 Faster R-CNN 模型 中，实现了融合金具目标结构关系的深度目标检 测模型。 2 Faster R-CNN 模型 Faster R-CNN 算法[28] 自 2015 年由 Ren 等提 出后受到了目标检测领域的广泛应用。相比于单 阶段的 SSD(Single Shot MultiBox Detector)[29] ， YOLO(You Only Look Once)[30] 算法，二阶段算法 结合大规模数据集与深度检测框架的优势，得到 的检测结果具备较高的检测精度与泛化性能。 Faster R-CNN 算法创新性提出区域建议网络 (Region Proposal Network, RPN)，通过端到端的方式 解决了 R-CNN[31] 、Fast R-CNN[32] 检测算法中候选 框生成耗时问题，极大提高了双阶段检测算法的 效率。 Faster R-CNN 算法的基本框架如图 3 所示， 主要由卷积神经网络、RPN 网络、感兴趣区域池 化单元 (region of interest pooling, RoI Pooling) 以及 结果输出单元 4 部分组成。 图像输入 特征提取 类别 位置 ROI 池化 RPN NMS ROI 池化 结果计算 图 3 Faster R-CNN 检测框架 Fig. 3 Faster R-CNN detection framework 1) 卷积神经网络：利用一系列卷积、池化、非 线性模块的组合，从浅至深提取输入图像的多通 道特征并形成图像特征图 (feature map)。 2) RPN 网络：通过预设尺寸与比例的多种锚 第 2 期 翟永杰，等：融合共现推理的 Faster R-CNN 输电线路金具检测 ·239·
·240· 智能系统学报 第16卷 框进行特征图滑动并生成多个候选框，采用非极 C表示金具类别数，H,表示标签Lx与标签L,在 大值抑制(non-maximum suppression,NMS)分析并 同一张图像中出现的次数，H.即对角线元素数 筛选出N,个目标候选区域。 值表示所在金具种类在训练集图像中出现的次 3)RoI Pooling:将每个目标候选区域均匀分 数。然后通过行归一化得到共现概率矩阵P∈RxC, 成n×n个图块并进行最大值池化计算，得到固定 如式(1)所示： 尺度的特征图候选区域向量。 Po Ho/H (1) 4)结果输出单元：将步骤3)得到的特征向量 其中Pw=P(L,L)表示当标签L出现时标签L, 输入全连接层，判断特征图候选区域的类别以及 的概率。 准确位置。 0.62 重铺 均压环 3融合共现推理的Faster R-CNN PL均s环L重倾=0.62 3.1共现概率矩阵构建 0.37 由图1可知，输电线路金具的组装连接呈现 均压环 重 出结构化、固定化的特点，因此属于同一连接结 P(LL均东环0.37 构的金具往往会在同一幅航拍图像中共同出现。 在大多数应用中，相关关系是预先定义的22，可。 图4成对标签间的条件概率 Fig.4 Conditional probability between pairs labels 本文通过数据驱动的方式构建共现概率矩阵，即 通过挖掘标签在数据集中的共现模式来定义标签 根据式(1)在金具检测数据集中计算得到的 共现如图5所示，其中每一行金具类别为前文所 之间的相关性。 述标签Lx,每一列金具类别为前文所述标签L,。 本文以条件概率P(L,L)的形式对标签相关 可以看出，当联板在一张图像中出现时，U型挂 性进行建模，其中P(LL)表示当标签L.出现时 环、挂板、提包式悬垂线夹等金具出现的概率相 标签L,出现的概率。如图4所示，P(LL)与 应增大；同样的，与重锤共现概率较大的金具分 P(LL,)并不相等，因此共现矩阵是非对称的。 别是提包式悬垂线夹与均压环。该结论与金具组 为了构建金具检测数据集的共现矩阵，本文 合结构一致，可知共现概率矩阵能够有效表达标 首先计算了训练集中每一图像中金具标签成对出 签间的共现关系，有利于进一步将输电线路金具 现的次数，得到共现次数统计矩阵H∈RxC,其中 组装结构与深度学习模型进行合理融合。 壁 图 预绞式悬垂线夹应。。。站方。日6。d 预纹式悬垂线夹 提包式悬垂线夹·0 20 961201594025272789721 提包式悬垂线夹 压缩型耐张线夹-02107081100B101433284572 压缩型耐张线夹 锲型耐张线夹-00022521151119000 锲型耐张线夹 挂板24968159326323287391148251161 挂板 U型挂环-7120102126592533011341708638183 U型挂环 联板-47159a1152322834193r51918631B1行归 联板 并沟线夹-25400183019901406002 一化 ·并沟线夹 防震锤-512614173113131743的11111132511■ 防餐锤 间隔棒-0273319645101114947328045 。间隔棒 均压环-828291a1709161147135961 。均压环 屏蔽环-08时02660133213107106 屏蔽环 重锤-019750613g3102501891030535 重锤 调整板-02130611解61214561535198 调整板 共现次数统计矩阵 共现概率矩阵 图5共现概率矩阵生成图解 Fig.5 Cooccurrence probability matrix generation diagram 3.2共现推理模块 通过共现概率矩阵形成共现推理模块嵌入Faster 为融合输电领域业务知识与深度学习模型， R-CNN算法，本文结合图学习方法，通过学习共
Nr 框进行特征图滑动并生成多个候选框，采用非极 大值抑制 (non-maximum suppression, NMS) 分析并 筛选出 个目标候选区域。 3) RoI Pooling：将每个目标候选区域均匀分 成 n×n 个图块并进行最大值池化计算，得到固定 尺度的特征图候选区域向量。 4) 结果输出单元：将步骤 3) 得到的特征向量 输入全连接层，判断特征图候选区域的类别以及 准确位置。 3 融合共现推理的 Faster R-CNN 3.1 共现概率矩阵构建 由图 1 可知，输电线路金具的组装连接呈现 出结构化、固定化的特点，因此属于同一连接结 构的金具往往会在同一幅航拍图像中共同出现。 在大多数应用中，相关关系是预先定义的[22-23, 27]。 本文通过数据驱动的方式构建共现概率矩阵，即 通过挖掘标签在数据集中的共现模式来定义标签 之间的相关性。 P( Ly Lx) P( Ly Lx) Lx Ly P( Ly Lx) P( Lx | Ly) 本文以条件概率 的形式对标签相关 性进行建模，其中 表示当标签 出现时 标签 出现的概率。如图 4 所示， 与 并不相等，因此共现矩阵是非对称的。 H ∈ R C×C 为了构建金具检测数据集的共现矩阵，本文 首先计算了训练集中每一图像中金具标签成对出 现的次数，得到共现次数统计矩阵 ，其中 C Hxy Lx Ly Hxx P ∈ R C×C 表示金具类别数， 表示标签 与标签 在 同一张图像中出现的次数， 即对角线元素数 值表示所在金具种类在训练集图像中出现的次 数。然后通过行归一化得到共现概率矩阵 ， 如式 (1) 所示： Pxy = Hxy/Hxx (1) Pxy = P( Ly 其中 Lx) 表示当标签 Lx 出现时标签 Ly 的概率。 均压环 重锤 重锤 均压环 0.62 0.37 P(L均压环|L重锤)=0.62 P(L重锤|L均压环)=0.37 图 4 成对标签间的条件概率 Fig. 4 Conditional probability between pairs labels Lx Ly 根据式 (1) 在金具检测数据集中计算得到的 共现如图 5 所示，其中每一行金具类别为前文所 述标签 ，每一列金具类别为前文所述标签 。 可以看出，当联板在一张图像中出现时，U 型挂 环、挂板、提包式悬垂线夹等金具出现的概率相 应增大；同样的，与重锤共现概率较大的金具分 别是提包式悬垂线夹与均压环。该结论与金具组 合结构一致，可知共现概率矩阵能够有效表达标 签间的共现关系，有利于进一步将输电线路金具 组装结构与深度学习模型进行合理融合。 共现次数统计矩阵 共现概率矩阵 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 锲型耐张线夹 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 锲型耐张线夹 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 锲型耐张线夹 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 锲型耐张线夹 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 行归 一化 图 5 共现概率矩阵生成图解 Fig. 5 Cooccurrence probability matrix generation diagram 3.2 共现推理模块 为融合输电领域业务知识与深度学习模型， 通过共现概率矩阵形成共现推理模块嵌入 Faster R-CNN 算法，本文结合图学习方法，通过学习共 ·240· 智 能 系 统 学 报 第 16 卷
第2期 翟永杰，等：融合共现推理的Faster R-CNN输电线路金具检测 ·241· 现概率矩阵中各个种类金具间的相关关系并映射 重矩阵作为共现图传播的权重，完成共现图信息 计算共现概率关联作为共现图的邻接矩阵，通过 传播并得到增强知识特征，与原有候选区域特征 Faster R-CNN算法提取的N,个候选区域特征向 级联后送入边界框回归层与分类层，计算类别与 量作为共现图的输入特征，通过自学习的变换权 位置的最终结果，算法流程图如图6所示。 RPN 候选区域特征 共现推理模块 共 ● 节点 现 图 关联关系 建 一特征传播 图像输人 图6本文检测算法流程图 Fig.6 Flow chart of detection algorithm for this article 3.2.1共现图邻接矩阵 式的情况下，模型可以通过不同区域候选特征的 参照图推理技术，本文所设计的共现推理模 上下文信息相应地更新不同的边缘连接，通过 块通过候选区域特征与共现关联等概念实现共现 堆叠的多层感知机(multi-layer perceptron,.MLP) 图信息传播与深度模型融合。首先本文通过 对每个结点间的邻接关系进行学习，如式(2)所示： Faster R-CNN算法所提取的N,个具有固定特征 MLPo(a(fi.fj)) (2) 维度的特征图候选区域向量f={f,f∈RP对 式中：MLP。表示给定共现候选图Q情况下通过 共现图G:G=中结点N与输人特 MLP学习的矩阵参数；（表示对于两两结点的 征X进行定义，其中N,为Faster R-CNN算法提 输入特征(，f)进行L范式计算的结果。对于给 取候选目标数量，D为每个候选目标区域的特征 定不同的共现候选图Q,MLP。通过可学习参数利 维度，ε和W分别为图的邻接矩阵与传播权重。 用两两视觉特征的差异形成不同结点间的不同边 根据特征图候选区域向量∫的维度，本文使用N, 缘关系连接，从而实现个性化知识推理。 个视觉特征作为图传播结点的输入特征X,即可 3)为了训练合适的MLP。矩阵参数，可以对 得到N,个图传播结点N,i∈(L,N)。 测试样本应用显示共现关联进行编码，本文采用 对于共现图邻接矩阵，本文采用有监督的方 有监督方式对MLP。参数进行学习，以共现候选 式将金具结构性特征通过共现概率矩阵与目标检 图边权参数ē作为真值，以视觉特征与MLP。学 测模型进行融合。计算过程如下所述： 习的关系权重作为训练值，对MLP。进行参数 1)为保证能够有效利用预训练的共现概率矩 更新。在训练阶段，对于N,个候选区域的可学习 阵P中的信息并嵌入目标检测模型形成端对端网 边权{e}的损失函数如下式所示： 络，本文定义共现候选图Q:Q=表示C N,N, L(f,MLPo.Q)= (3) 类目标种类到N,个目标结点及其先验边权E∈R,xw, =11 的共现关系映射矩阵。在训练过程中，当我们知 3.2.2基于图推理的特征挖掘 道每个区域的真实类别时，两个区域节点的边权 在对所学习的共现图邻接矩阵={e}进行 V是按照P中对应真实类别的共现概率映射的， 行归一化后，我们通过结点关系加权的方式对候 即=P,山，。这种利用区域结点真实样本的显式 选区域的视觉特征进行信息传播并得到增强特征 映射将确保可靠的共现信息提取，为后续共现图 f,如式(4)所示： 邻接矩阵的有监督学习提供有力保证。 ∫'=fW。 (4) 2)定义e,∈，其中ey表示共现图中第i个结 式中：为候选区域结点间的归一化邻接矩阵；∫ 点与第个结点间的关联关系，表示模型学习的 为输人的视觉特征；W。∈RE为变换权重矩阵； 共现图邻接矩阵。为保证在给定任何外部知识形 ∫∈RE是通过图推理得到的增强特征；E是增强
Nr 现概率矩阵中各个种类金具间的相关关系并映射 计算共现概率关联作为共现图的邻接矩阵，通过 Faster R-CNN 算法提取的 个候选区域特征向 量作为共现图的输入特征，通过自学习的变换权 重矩阵作为共现图传播的权重，完成共现图信息 传播并得到增强知识特征，与原有候选区域特征 级联后送入边界框回归层与分类层，计算类别与 位置的最终结果，算法流程图如图 6 所示。 RPN 图像输入 候选区域特征 节点 关联关系 特征传播 共现推理模块 共 现 图 建 立 图 6 本文检测算法流程图 Fig. 6 Flow chart of detection algorithm for this article 3.2.1 共现图邻接矩阵 Nr f = {fi} Nr i=1 , fi ∈ R D G : G = N X Nr D ε W f Nr X Nr Ni , i ∈ (1, Nr) 参照图推理技术，本文所设计的共现推理模 块通过候选区域特征与共现关联等概念实现共现 图信息传播与深度模型融合。首先本文通过 Faster R-CNN 算法所提取的 个具有固定特征 维度的特征图候选区域向量 对 共现图 中结点 与输入特 征 进行定义，其中 为 Faster R-CNN 算法提 取候选目标数量， 为每个候选目标区域的特征 维度， 和 分别为图的邻接矩阵与传播权重。 根据特征图候选区域向量 的维度，本文使用 个视觉特征作为图传播结点的输入特征 ，即可 得到 个图传播结点 。 对于共现图邻接矩阵，本文采用有监督的方 式将金具结构性特征通过共现概率矩阵与目标检 测模型进行融合。计算过程如下所述： P Q : Q =¯ Nr ε¯ ∈ R Nr×Nr V P ε¯i j = PLi,Lj 1) 为保证能够有效利用预训练的共现概率矩 阵 中的信息并嵌入目标检测模型形成端对端网 络，本文定义共现候选图 表示 C 类目标种类到 个目标结点及其先验边权 的共现关系映射矩阵。在训练过程中，当我们知 道每个区域的真实类别时，两个区域节点的边权 是按照 中对应真实类别的共现概率映射的， 即 。这种利用区域结点真实样本的显式 映射将确保可靠的共现信息提取，为后续共现图 邻接矩阵的有监督学习提供有力保证。 eˆi j ∈ εˆ ei j εˆ 2) 定义 ，其中 表示共现图中第 i 个结 点与第 j 个结点间的关联关系， 表示模型学习的 共现图邻接矩阵。为保证在给定任何外部知识形 εˆ 式的情况下，模型可以通过不同区域候选特征的 上下文信息相应地更新不同的边缘连接 ，通过 堆叠的多层感知机 (multi-layer perceptron, MLP) 对每个结点间的邻接关系进行学习，如式（2）所示： eˆi j = MLPQ(α(fi , fj)) (2) MLPQ Q α(·) (fi , fj) Q MLPQ 式中： 表示给定共现候选图 情况下通过 MLP 学习的矩阵参数； 表示对于两两结点的 输入特征 进行 L1 范式计算的结果。对于给 定不同的共现候选图 ， 通过可学习参数利 用两两视觉特征的差异形成不同结点间的不同边 缘关系连接，从而实现个性化知识推理。 MLPQ MLPQ ε¯ MLPQ εˆ MLPQ Nr { eˆi j} 3) 为了训练合适的 矩阵参数，可以对 测试样本应用显示共现关联进行编码，本文采用 有监督方式对 参数进行学习，以共现候选 图边权参数 作为真值，以视觉特征与 学 习的关系权重 作为训练值，对 进行参数 更新。在训练阶段，对于 个候选区域的可学习 边权 的损失函数如下式所示： L ( f,MLPQ,Q ) = ∑Nr i=1 ∑Nr j=1 ( eˆi j −e˜i j)2 /2 (3) 3.2.2 基于图推理的特征挖掘 εˆ = { eˆi j} f ′ 在对所学习的共现图邻接矩阵 进行 行归一化后，我们通过结点关系加权的方式对候 选区域的视觉特征进行信息传播并得到增强特征 ，如式 (4) 所示： f ′ = εˆ f We (4) εˆ f We ∈ R D×E f ′ ∈ R E E 式中： 为候选区域结点间的归一化邻接矩阵； 为输入的视觉特征； 为变换权重矩阵； 是通过图推理得到的增强特征； 是增强 第 2 期 翟永杰，等：融合共现推理的 Faster R-CNN 输电线路金具检测 ·241·
·242· 智能系统学报 第16卷 特征维度，本文中所用维度为256。 夹、提包式悬垂线夹、压缩型耐张线夹、锲型耐张 最后，将原始视觉特征∫与增强特征级 线夹、挂板、U型挂环、联板、并沟线夹、防震锤、 联，得到融合共现推理模块的联合特征，输入到 间隔棒、均压环、屏蔽环、重锤、调整板等14种金 Faster R-CNN算法的结果输出单元，完成类别分 具，其中训练集与测试集样本图像分别为1092和 类与位置框回归，得到最终结果。联合特征计算 363张，数量比例为3：1，共包含金具目标数9101个。 流程图如图7所示。 本文所述模型采用NVIDIA1080Ti专业加速卡 ⑧级联 进行训练与测试；采用的操作系统为Ubuntul6.04.6 LTS,利用CUDA10.0加速训练；使用的计算机语 增强特征f 言为Python3.6,网络开发框架为Pytorch。为了验 证共现推理模块的有效性，以Faster R-CNN作为 图传播W。 基础框架进行改进。本文采用目前目标检测模型 中常用的评价指标平均精度均值(mean average 行归一化 precision,,mAP)对模型进行评估，通过度量目标检 邻接矩阵 测框与真值框间的交并比(intersection over union, IoU)计算各类目标平均精度(average precision, AP),以所有类目标的AP平均值作为目标检测模 多层MLP 共现候选图Q 型的最终评价指标。 表1给出了融合共现推理模块前后的金具检 L1范式 共现关系映射 测的AP值结果，所用模型的batchsize为l,学习 视觉特征f 共现概率矩阵P 变换权重用。 率为0.002，学习率衰减为9，最大迭代次数为 20。可视化结果如图8所示，其中x轴为各个金 图7联合特征计算流程图 具的类别，y轴为每一类金具检测的AP值，蓝色 Fig.7 Flow chart of joint feature calculation 柱为Faster R-CNN模型检测结果，红色柱为融合 4实验结果及分析 共现推理模块后检测模型结果，色柱上方数字为 融合推理模块后检测AP值的提升情况，金具种 本文选用金具检测数据集包含预绞式悬垂线 类按照AP提升数值从左至右降序排列。 表1融合共现推理模块前后的金具检测结果 Table 1 Fitting detection results before and after integrating co-occurrence reasoning module 金具种类 算法 预绞式悬垂线夹 提包式悬垂线夹 挂板 U型挂环 联板 并沟线夹 防震锤 基线算法% 75.46 78.25 14.79 17.98 61.84 38.14 77.25 改进算法% 83.40 78.22 22.17 25.71 67.49 51.70 79.74 金具种类 算法 压缩型耐张线夹 锲型耐张线夹 间隔棒 均压环 屏蔽环 重锤 调整板 基线算法% 33.28 43.77 68.57 88.37 90.55 97.38 38.98 改进算法% 53.71 65.67 71.81 86.15 90.91 98.36 41.35 由图8可以看出，融合共现推理模块对绝大 可知，融合共现推理模块的目标检测模型可以有 多数金具都具有较高的提升，比较图4可知，锲型 效利用金具间的固定结构关系，通过共现关系将 耐张线夹、压缩性耐张线夹、并沟线夹、预绞式悬 输电领域业务知识嵌入到目标检测模型之中，降 垂线夹等AP值提升较大的金具与其他金具间共 低了对数据集样本的数量要求，能够有效缓解输 现关系较为密切，且该4类金具的目标样本数量 电线路航拍数据集的样本不平衡与长尾分布问题。 仅占数据集内总样本数量的803%。然而，均压 为全面评估融合共现推理的目标检测模型性 环、提包式悬垂线夹等金具的AP值并没有提高， 能，本文在保证超参数相同的情况下比较了SSD512网 甚至有所下降，其原因在于：这些金具往往在多种 Faster R-CNN、RetinaNet以及本文算法的模 结构中都有应用，因此共现概率差别较小。综上 型性能，如表2所示
特征维度，本文中所用维度为 256。 f f 最后，将原始视觉特征 与增强特征 ′ 级 联，得到融合共现推理模块的联合特征，输入到 Faster R-CNN 算法的结果输出单元，完成类别分 类与位置框回归，得到最终结果。联合特征计算 流程图如图 7 所示。 视觉特征 f 共现概率矩阵 P 共现关系映射 共现候选图 Q L1 范式 多层 MLP 邻接矩阵 行归一化 变换权重 We 级联 增强特征 f ′ ε ε 图传播 fWe ε 图 7 联合特征计算流程图 Fig. 7 Flow chart of joint feature calculation 4 实验结果及分析 本文选用金具检测数据集包含预绞式悬垂线 夹、提包式悬垂线夹、压缩型耐张线夹、锲型耐张 线夹、挂板、U 型挂环、联板、并沟线夹、防震锤、 间隔棒、均压环、屏蔽环、重锤、调整板等 14 种金 具，其中训练集与测试集样本图像分别为 1 092 和 363 张，数量比例为 3∶1，共包含金具目标数 9101 个。 本文所述模型采用 NVIDIA 1080Ti 专业加速卡 进行训练与测试；采用的操作系统为 Ubuntu16.04.6 LTS，利用 CUDA10.0 加速训练；使用的计算机语 言为 Python3.6，网络开发框架为 Pytorch。为了验 证共现推理模块的有效性，以 Faster R-CNN 作为 基础框架进行改进。本文采用目前目标检测模型 中常用的评价指标平均精度均值 (mean average precision, mAP) 对模型进行评估，通过度量目标检 测框与真值框间的交并比 (intersection over union, IoU) 计算各类目标平均精度 (average precision, AP)，以所有类目标的 AP 平均值作为目标检测模 型的最终评价指标。 表 1 给出了融合共现推理模块前后的金具检 测的 AP 值结果，所用模型的 batchsize 为 1，学习 率为 0.002，学习率衰减为 9，最大迭代次数为 20。可视化结果如图 8 所示，其中 x 轴为各个金 具的类别，y 轴为每一类金具检测的 AP 值，蓝色 柱为 Faster R-CNN 模型检测结果，红色柱为融合 共现推理模块后检测模型结果，色柱上方数字为 融合推理模块后检测 AP 值的提升情况，金具种 类按照 AP 提升数值从左至右降序排列。 表 1 融合共现推理模块前后的金具检测结果 Table 1 Fitting detection results before and after integrating co-occurrence reasoning module 算法 金具种类 预绞式悬垂线夹 提包式悬垂线夹 挂板 U型挂环 联板 并沟线夹 防震锤 基线算法/% 75.46 78.25 14.79 17.98 61.84 38.14 77.25 改进算法/% 83.40 78.22 22.17 25.71 67.49 51.70 79.74 算法 金具种类 压缩型耐张线夹 锲型耐张线夹 间隔棒 均压环 屏蔽环 重锤 调整板 基线算法/% 33.28 43.77 68.57 88.37 90.55 97.38 38.98 改进算法/% 53.71 65.67 71.81 86.15 90.91 98.36 41.35 由图 8 可以看出，融合共现推理模块对绝大 多数金具都具有较高的提升，比较图 4 可知，锲型 耐张线夹、压缩性耐张线夹、并沟线夹、预绞式悬 垂线夹等 AP 值提升较大的金具与其他金具间共 现关系较为密切，且该 4 类金具的目标样本数量 仅占数据集内总样本数量的 8.03%。然而，均压 环、提包式悬垂线夹等金具的 AP 值并没有提高， 甚至有所下降，其原因在于：这些金具往往在多种 结构中都有应用，因此共现概率差别较小。综上 可知，融合共现推理模块的目标检测模型可以有 效利用金具间的固定结构关系，通过共现关系将 输电领域业务知识嵌入到目标检测模型之中，降 低了对数据集样本的数量要求，能够有效缓解输 电线路航拍数据集的样本不平衡与长尾分布问题。 为全面评估融合共现推理的目标检测模型性 能，本文在保证超参数相同的情况下比较了 SSD512[29] 、 Faster R-CNN[28] 、RetinaNet[33] 以及本文算法的模 型性能，如表 2 所示。 ·242· 智 能 系 统 学 报 第 16 卷
第2期 翟永杰，等：融合共现推理的Faster R-CNN输电线路金具检 ·243· 100 ■基线模型 0.98 ■本文所述模型 作为骨干网络的RetinaNet算法仍有较高提升。 10.36-2.22 90 7.94 图9给出了融合共现推理模块前后的Faster 740 24 R-CNN模型的定性可视化结果。可以看出，图9(a) 70 219 5.65 60 20.43 中基线模型虽然检测出防震锤，但漏检了U型挂 50 环与提包式悬垂线夹，同样的，图9(b)中基线模 237 % 型漏检了重锤上侧与绝缘子相连的均压环，在图 30 11 38 9(©)中基线模型误将远处背景的棚架检测为屏蔽 20 10 环。而在图9(d)、(e)、()中，融合共现推理模块 0 的Faster R-CNN模型检测结果对这些问题均有了 型耐三喉兴 很好的改善。结合图4可知，当防震锤出现时， U型挂环与提包式悬垂线夹出现频率往往较高 并且防舞动结构中重锤与均压环存在着较为固定 金具种类 的结构性连接，在共现模型辅助信息的判断下， 图8金具检测可视化结果 这些漏检问题都得到了改善。同样的，用于引导 Fig.8 Visual results of fitting detection 避雷器外泄电流的屏蔽环与压缩型耐张线夹、挂 表2检测方法性能比较 板、U型挂环等金具连接，与图9(c)中重锤、提包 Table 2 Performance comparison for detection methods 式悬垂线夹等金具关联不大，因此融合共现推理 方法 骨干网络 mAP%参数MB 时长/ms 模块能够有效利用金具间共现关联关系，有效避 SSD512 VGG16 51.04 1512 86 免此类非结构化金具的误检问题，同时促进固定 基线模型 Resnet101 58.90 2079 118 连接结构的金具检测性能，验证了共现推理模块 RetinaNet Resnet101 61.26 2445 127 的有效性。 本文算法 Resnet101 65.46 2557 166 为了更好理解共现矩阵和增强特征维度在算 由表2可知，融合共现推理模块后的Faster 法中的作用，本文修改部分超参数进行了消融实 R-CNN模型相比于基线模型检测性能mAP提升 验，首先采用全1矩阵替换所提取的共现概率矩 了6.56个百分点，与其他算法相比，对于采用 阵P,然后采用不同参数对增强特征维度E进行 VGG16作为骨干网络的SSD算法或ResNet101 超参数对比实验，结果如表3所示。 (a)基线模型检测结果1 (b)基线模型检测结果2 (c)基线模型检测结果3 (d本文模型检测结果1 (e)本文模型检测结果2 ()本文模型检测结果3 图9融合共现推理模块前后检测可视化结果 Fig.9 Detection visual results before and after integrating co-occurrence reasoning module 可以看出，当利用全1矩阵替换共现概率矩 阵后，增强特征仅能利用基线模型输入的视觉特
压缩型耐张线夹 预绞式悬垂线夹 提包式悬垂线夹 挂板 U 型挂环 联板 并沟线夹 间隔棒 防震锤 屏蔽环 均压环 重锤 调整板 锲型耐张线夹 100 90 80 70 60 50 40 30 20 10 0 AP/% 金具种类 基线模型 本文所述模型 21.9 20.43 7.94 7.73 5.65 3.24 2.49 0.98 2.37 7.38 13.56 0.36 −2.22 −0.03 图 8 金具检测可视化结果 Fig. 8 Visual results of fitting detection 表 2 检测方法性能比较 Table 2 Performance comparison for detection methods 方法 骨干网络 mAP /% 参数/MB 时长/ms SSD512 VGG16 51.04 1 512 86 基线模型 Resnet101 58.90 2 079 118 RetinaNet Resnet101 61.26 2 445 127 本文算法 Resnet101 65.46 2 557 166 由表 2 可知，融合共现推理模块后的 Faster R-CNN 模型相比于基线模型检测性能 mAP 提升 了 6.56 个百分点，与其他算法相比，对于采用 VGG16 作为骨干网络的 SSD 算法或 ResNet101 作为骨干网络的 RetinaNet 算法仍有较高提升。 图 9 给出了融合共现推理模块前后的 Faster R-CNN 模型的定性可视化结果。可以看出，图 9(a) 中基线模型虽然检测出防震锤，但漏检了 U 型挂 环与提包式悬垂线夹，同样的，图 9(b) 中基线模 型漏检了重锤上侧与绝缘子相连的均压环，在图 9(c) 中基线模型误将远处背景的棚架检测为屏蔽 环。而在图 9(d)、(e)、(f) 中，融合共现推理模块 的 Faster R-CNN 模型检测结果对这些问题均有了 很好的改善。结合图 4 可知，当防震锤出现时， U 型挂环与提包式悬垂线夹出现频率往往较高， 并且防舞动结构中重锤与均压环存在着较为固定 的结构性连接，在共现模型辅助信息的判断下， 这些漏检问题都得到了改善。同样的，用于引导 避雷器外泄电流的屏蔽环与压缩型耐张线夹、挂 板、U 型挂环等金具连接，与图 9(c) 中重锤、提包 式悬垂线夹等金具关联不大，因此融合共现推理 模块能够有效利用金具间共现关联关系，有效避 免此类非结构化金具的误检问题，同时促进固定 连接结构的金具检测性能，验证了共现推理模块 的有效性。 P E 为了更好理解共现矩阵和增强特征维度在算 法中的作用，本文修改部分超参数进行了消融实 验，首先采用全 1 矩阵替换所提取的共现概率矩 阵 ，然后采用不同参数对增强特征维度 进行 超参数对比实验，结果如表 3 所示。 (a) 基线模型检测结果 1 (b) 基线模型检测结果 2 (c) 基线模型检测结果 3 (d) 本文模型检测结果 1 (e) 本文模型检测结果 2 (f) 本文模型检测结果 3 图 9 融合共现推理模块前后检测可视化结果 Fig. 9 Detection visual results before and after integrating co-occurrence reasoning module 可以看出，当利用全 1 矩阵替换共现概率矩 阵后，增强特征仅能利用基线模型输入的视觉特 第 2 期 翟永杰，等：融合共现推理的 Faster R-CNN 输电线路金具检测 ·243·
·244· 智能系统学报 第16卷 征进行加权并输出，无法对金具间的共现关联进 [2]王炜，袁奇，顾俊杰，等.X射线无损探伤技术在检测输 行有效学习，其检测结果低于本文所述算法结果 电线路压接金具中的应用).上海交通大学学报，2018， 3.87个百分点。因此，本文所用的共现概率矩阵 52(10):1189-1194 可以对金具间结构性关联进行有效表征，有利于 WANG Wei,YUAN Qi,GU Junjie,et al.Application of 融合输电线路业务知识提高金具检测准确性。另 X-ray nondestructive flaw detection technology in trans- 外，通过对增强特征维度E的超参数实验可以看 mission line's press fittings[J].Journal of Shanghai Jiao- 出，适宜的增强特征维度可以有效提升算法性能 Tong University,2018,52(10):1189-1194. 0.35~0.71个百分点，维度过高或过低会产生特征 [3]张秋雁，杨忠，姜遇红，等.一种基于CNN的航拍输电线 欠拟合或特征冗余等问题，导致检测性能的下降。 路图像分类方法).应用科技，2019,46(6)：41-45. ZHANG Qiuyan,YANG Zhong,JIANG Yuhong,et al. 表3消融实验性能比较 CNN-based aerial image classification method for aerial Table 3 Performance comparison of ablation experiments transmission lines[J].Applied Science and Technology, 实验设置 mAP/% 2019,46(6):41-45. 修改共现矩阵 61.59 [4们赵文清，程幸福，赵振兵，等.注意力机制和Faster E=128 64.75 RCNN相结合的绝缘子识别J.智能系统学报，2020 151)92-98 E=256 65.46 ZHAO Wenqing,CHENG Xingfu,ZHAO Zhenbing,et al. E=512 64.91 Insulator recognition based on attention mechanism and E=1024 65.11 Faster RCNN[J].CAAI transactions on intelligent systems, 2020,15(1)92-98. 5结束语 [5]DENG Chuang,WANG Shengwei,HUANG Zhi,et al. Unmanned aerial vehicles for power line inspection:a co- 由于输电线路金具的结构性连接与组装结构 operative way in platforms and communications[J].Journ 往往具有规则性，且该特点具有缓解样本数量不 al of communications,2014,9(9):687-692. 均衡这一优势，本文结合输电线路航拍图像构建 [6]陈晓娟，吴英石，赵亮.基于随机Hough变换的OP 了多种金具间的共现矩阵，基于Faster R-CNN模 GW防震锤识别U.黑龙江电力，2010,32(1)1-2,5. 型作为目标检测基础框架，利用表达金具组合规 CHEN Xiaojuan,WU Yingshi,ZHAO Liang.Identifica- 则的共现矩阵作为先验指导，设计共现推理模块 tion of OPGW vibration damper based on random Hough 并嵌入目标检测模型中，提出了融合共现推理的 transformation[J].Heilongjiang electric power,2010, Faster R-CNN模型。通过在包含l4类金具的数 32(1):1-2.5. 据集上进行实验，融合共现推理模块的目标检测 [7]王朝硕，李伟性，郑武略，等.一种改进SSD的输电线路 电力部件识别方法.应用科技，2020,47(4)：75-81. 模型较基线模型有了6.56%的检测准确率提升， WANG Chaoshuo,LI Weixing,ZHENG Wulue,et al.An 单类目标的AP提升最多达到21.9%，对于一些样 本数量较少的金具检测提升尤其显著。实验表 improved SSD method for power component identification of transmission lines[].Applied science and technology, 明，结合金具目标间的结构化组合，提升模型在 2020,47(4):75-81」 先验指导下的检测能力是实现金具检测效果进一 [8]王伟，刘国海.绝缘子图像的边缘检测).微计算机信 步提升的有效思路，为促进深度学习模型与电力 息，2008,24(27：308-309,154. 领域业务知识有机融合，缓解金具样本间样本不 WANG Wei LIU Guohai.Image edge detection of the in- 平衡问题奠定了坚实的基础。 sulator[J].Microcomputer information,2008,24(27): 参考文献： 308-309,154 [9]王身丽，黄力，侯金华，等.基于最大嫡的复合绝缘子表 []方苏，李立学，郑益慧，等.基于激光测距成像和图像处 面水珠图像分割算法研究[.通信电源技术，2018， 理的输电线路防护技术刀.电气自动化，2017,39(3)： 35(1):48-50. 6-8,22 WANG Shenli,HUANG Li,HOU Jinhua,et al.Study on FANG Su,LI Lixue,ZHENG Yihui,et al.Protection tech- segmentation method of water drops image on composite nology for transmission lines based on laser range imaging insulator based on maximum entropy[J].Telecom power and image processing[J].Electrical automation,2017, technology,2018,35(1):48-50. 39(3):6-8,22. [10]王万国，张晶晶，韩军，等.基于无人机图像的输电线断
E 征进行加权并输出，无法对金具间的共现关联进 行有效学习，其检测结果低于本文所述算法结果 3.87 个百分点。因此，本文所用的共现概率矩阵 可以对金具间结构性关联进行有效表征，有利于 融合输电线路业务知识提高金具检测准确性。另 外，通过对增强特征维度 的超参数实验可以看 出，适宜的增强特征维度可以有效提升算法性能 0.35~0.71 个百分点，维度过高或过低会产生特征 欠拟合或特征冗余等问题，导致检测性能的下降。 表 3 消融实验性能比较 Table 3 Performance comparison of ablation experiments 实验设置 mAP /% 修改共现矩阵 61.59 E=128 64.75 E=256 65.46 E=512 64.91 E=1 024 65.11 5 结束语 由于输电线路金具的结构性连接与组装结构 往往具有规则性，且该特点具有缓解样本数量不 均衡这一优势，本文结合输电线路航拍图像构建 了多种金具间的共现矩阵，基于 Faster R-CNN 模 型作为目标检测基础框架，利用表达金具组合规 则的共现矩阵作为先验指导，设计共现推理模块 并嵌入目标检测模型中，提出了融合共现推理的 Faster R-CNN 模型。通过在包含 14 类金具的数 据集上进行实验，融合共现推理模块的目标检测 模型较基线模型有了 6.56% 的检测准确率提升， 单类目标的 AP 提升最多达到 21.9%，对于一些样 本数量较少的金具检测提升尤其显著。实验表 明，结合金具目标间的结构化组合，提升模型在 先验指导下的检测能力是实现金具检测效果进一 步提升的有效思路，为促进深度学习模型与电力 领域业务知识有机融合，缓解金具样本间样本不 平衡问题奠定了坚实的基础。 参考文献： 方苏, 李立学, 郑益慧, 等. 基于激光测距成像和图像处 理的输电线路防护技术 [J]. 电气自动化, 2017, 39(3): 6–8, 22. FANG Su, LI Lixue, ZHENG Yihui, et al. Protection technology for transmission lines based on laser range imaging and image processing[J]. Electrical automation, 2017, 39(3): 6–8, 22. [1] 王炜, 袁奇, 顾俊杰, 等. X 射线无损探伤技术在检测输 电线路压接金具中的应用 [J]. 上海交通大学学报, 2018, 52(10): 1189–1194. WANG Wei, YUAN Qi, GU Junjie, et al. Application of X-ray nondestructive flaw detection technology in transmission line's press fittings[J]. Journal of Shanghai JiaoTong University, 2018, 52(10): 1189–1194. [2] 张秋雁, 杨忠, 姜遇红, 等. 一种基于 CNN 的航拍输电线 路图像分类方法 [J]. 应用科技, 2019, 46(6): 41–45. ZHANG Qiuyan, YANG Zhong, JIANG Yuhong, et al. CNN-based aerial image classification method for aerial transmission lines[J]. Applied Science and Technology, 2019, 46(6): 41–45. [3] 赵文清, 程幸福, 赵振兵, 等. 注意力机制和 Faster RCNN 相结合的绝缘子识别 [J]. 智能系统学报, 2020, 15(1): 92–98. ZHAO Wenqing, CHENG Xingfu, ZHAO Zhenbing, et al. Insulator recognition based on attention mechanism and Faster RCNN[J]. CAAI transactions on intelligent systems, 2020, 15(1): 92–98. [4] DENG Chuang, WANG Shengwei, HUANG Zhi, et al. Unmanned aerial vehicles for power line inspection: a cooperative way in platforms and communications[J]. Journal of communications, 2014, 9(9): 687–692. [5] 陈晓娟, 吴英石, 赵亮. 基于随机 Hough 变换的 OPGW 防震锤识别 [J]. 黑龙江电力, 2010, 32(1): 1–2, 5. CHEN Xiaojuan, WU Yingshi, ZHAO Liang. Identification of OPGW vibration damper based on random Hough transformation[J]. Heilongjiang electric power, 2010, 32(1): 1–2, 5. [6] 王朝硕, 李伟性, 郑武略, 等. 一种改进 SSD 的输电线路 电力部件识别方法 [J]. 应用科技, 2020, 47(4): 75–81. WANG Chaoshuo, LI Weixing, ZHENG Wulue, et al. An improved SSD method for power component identification of transmission lines[J]. Applied science and technology, 2020, 47(4): 75–81. [7] 王伟, 刘国海. 绝缘子图像的边缘检测 [J]. 微计算机信 息, 2008, 24(27): 308–309, 154. WANG Wei LIU Guohai. Image edge detection of the insulator[J]. Microcomputer information, 2008, 24(27): 308–309, 154. [8] 王身丽, 黄力, 侯金华, 等. 基于最大熵的复合绝缘子表 面水珠图像分割算法研究 [J]. 通信电源技术, 2018, 35(1): 48–50. WANG Shenli, HUANG Li, HOU Jinhua, et al. Study on segmentation method of water drops image on composite insulator based on maximum entropy[J]. Telecom power technology, 2018, 35(1): 48–50. [9] [10] 王万国, 张晶晶, 韩军, 等. 基于无人机图像的输电线断 ·244· 智 能 系 统 学 报 第 16 卷
第2期 翟永杰，等：融合共现推理的Faster R-CNN输电线路金具检测 ·245· 股与异物缺陷检测方法.计算机应用，2015,35(8) contour-detection-algorithm on power transmission lines 2404-2408 images[J].Applied mechanics and materials,2012,201- WANG Wanguo,ZHANG Jingjing,HAN Jun,et al. 202:337-343 Broken strand and foreign body fault detection method for [18]杨罡，孙昌雯，张娜，等.基于多尺度特征融合的输电线 power transmission line based on unmanned aerial vehicle 路关键部件检测).电测与仪表，2020,57(3)：54-59. image[J].Journal of computer applications,2015,35(8): YANG Gang,SUN Changwen,ZHANG Na,et al.Detec- 2404-2408. tion of key components of transmission lines based on [11]胡彩石，吴功平，曹珩，等.高压输电线路巡线机器人障 multi-scale feature fusion[J].Electrical measurement 碍物视觉检测识别研究[J).传感技术学报，2008， instrumentation,2020,57(3):54-59 21(12):2092-2096. [19]吉志朋，张国伟，卢秋红.基于感受野模块的绝缘子实 HU Caishi,WU Gongping,CAO Heng,et al.Research of 时识别定位方法).电工电气，2020(9)：19-22,32. obstacle recognition based on vision for high voltage JI Zhipeng,ZHANG Guowei,LU Qiuhong.Real time de- transmission line inspection robot[J].Chinese journal of tection of insulator by RFB[J].Electrotechnics electric, sensors and actuators,2008,21(12):2092-2096 2020(9):19-22,32. [12]赵建坤，王璋奇，刘世钊.基于灰度共生矩阵纹理特征 [20]李伟性，郑武略，王宁，等.基于SSD算法的输电线路上 的输电导线识别[J】.云南电力技术，2015,43(2)： 绝缘子缺陷检测方法研究[.仪器仪表用户，2019， 126-129 26(8):1-4 ZHAO Jiankun,WANG Zhangqi,LIU Shizhao.Research LI Weixing,ZHENG Wulue,WANG Ning,et al.Re- on transmission line recognition based on GLCM texture search on detection method of insulator defects on trans- feature[J].Yunnan electric power,2015,43(2):126-129. mission lines based on SSD algorithm[J].Instrumentation [l3]金立军，闫书佳，刘源.基于类Haar特征与级联Ada- customer,.2019,26(8):1-4 Boost算法的防震锤识别[J.系统仿真学报，2012， [21]赵强，左石.输电线路金具理论与应用M.北京：中国 24(9:1806-1809 电力出版社，2013：2-12 JIN Lijun,YAN Shujia,LIU Yuan.Vibration damper re- [22]宣冬梅，王菊韵，于华，等.深度学习中先验知识的应用 cognition based on Haar-like features and cascade Ada- [.计算机工程与设计，2015,36(11)：3087-3091 Boost classifier[J].Journal of system simulation,2012, XUAN Dongmei,WANG Juyun,YU Hua,et al.Applica- 249):1806-1809. tion of prior knowledge in deep learning[J.Computer en- [14]翟永杰，王迪，赵振兵.基于目标建议与结构搜索的绝 gineering and design,2015,36(11):3087-3091. 缘子识别方法[】.华北电力大学学报，2016,43(4)： [23]宋万潼，李冰锋，费树岷.基于先验知识的航拍绝缘子 66-71,78 检测方法研究U.计算机工程，2020. ZHAI Yongjie,WANG Di,ZHAO Zhenbing.Recogni- SONG Wantong,LI Bingfeng,FEI Shumin.Research on tion method of insulator based on object proposals and detection method of insulator in aerial image based on pri- structure research[J].Journal of North China Electric or knowledge[J].Computer engineering,2020. Power University,2016,43(4):66-71,78. [24]GALLEGUILLOS C,RABINOVICH A,BELONGIE S. [15]姜惠兰，崔虎宝，刘飞，等.基于模糊逻辑和支持向量机 Object categorization using co-occurrence,location and 的高压输电线路故障分类器中国电力，2005,38(3)： appearance[C]//Proceedings of 2008 IEEE Conference on 13-17. Computer Vision and Pattern Recognition.Anchorage, JIANG Huilan,CUI Hubao,LIU Fei,et al.High voltage AK,USA.2008:1-8. transmission line fault classification based on fuzzy logic [25]宋万潼，李冰锋，费树岷.基于先验知识的航拍绝缘子 and Support Vector Machines[J].Electric power,2005, 检测方法研究[J/0L].计算机工程：1-11[2021-05- 38(3:13-17. 11]https:/1doi.org10.19678J.issn.1000-3428.0058448. [16]谢小瑜，周俊煌，张勇军.深度学习在泛在电力物联网 SONG Wantong.LI Bingfeng,FEI Shumin.Research on 中的应用与挑战J1.电力自动化设备，2020,40(4)： detection method of insulator in aerial image based on pri- 77-87. or knowledge[J/OL].Computer engineering,2020: XIE Xiaoyu,ZHOU Junhuang,ZHANG Yongjun.Ap- 1-11[2021-05-11].https:/doi.org/10.19678/j.issn.1000- plication and challenge of deep learning in Ubiquitous 3428.0058448. Power Internet of Things[J].Electric power automation [26]JIANG Chenhan,XU Hang,LIANG Xiaodan,et al.Hy- equipment,2020,40(4):77-87. brid knowledge routed modules for large-scale object de- [17]FANG Ting,JIN Xin,HU Xingliu,et al.A fast insulator- tection[C]//Proceedings of the 32nd Conference on Neur-
股与异物缺陷检测方法 [J]. 计算机应用, 2015, 35(8): 2404–2408. WANG Wanguo, ZHANG Jingjing, HAN Jun, et al. Broken strand and foreign body fault detection method for power transmission line based on unmanned aerial vehicle image[J]. Journal of computer applications, 2015, 35(8): 2404–2408. 胡彩石, 吴功平, 曹珩, 等. 高压输电线路巡线机器人障 碍物视觉检测识别研究 [J]. 传感技术学报, 2008, 21(12): 2092–2096. HU Caishi, WU Gongping, CAO Heng, et al. Research of obstacle recognition based on vision for high voltage transmission line inspection robot[J]. Chinese journal of sensors and actuators, 2008, 21(12): 2092–2096. [11] 赵建坤, 王璋奇, 刘世钊. 基于灰度共生矩阵纹理特征 的输电导线识别 [J]. 云南电力技术, 2015, 43(2): 126–129. ZHAO Jiankun, WANG Zhangqi, LIU Shizhao. Research on transmission line recognition based on GLCM texture feature[J]. Yunnan electric power, 2015, 43(2): 126–129. [12] 金立军, 闫书佳, 刘源. 基于类 Haar 特征与级联 AdaBoost 算法的防震锤识别 [J]. 系统仿真学报, 2012, 24(9): 1806–1809. JIN Lijun, YAN Shujia, LIU Yuan. Vibration damper recognition based on Haar-like features and cascade AdaBoost classifier[J]. Journal of system simulation, 2012, 24(9): 1806–1809. [13] 翟永杰, 王迪, 赵振兵. 基于目标建议与结构搜索的绝 缘子识别方法 [J]. 华北电力大学学报, 2016, 43(4): 66–71, 78. ZHAI Yongjie, WANG Di, ZHAO Zhenbing. Recognition method of insulator based on object proposals and structure research[J]. Journal of North China Electric Power University, 2016, 43(4): 66–71, 78. [14] 姜惠兰, 崔虎宝, 刘飞, 等. 基于模糊逻辑和支持向量机 的高压输电线路故障分类器 [J]. 中国电力, 2005, 38(3): 13–17. JIANG Huilan, CUI Hubao, LIU Fei, et al. High voltage transmission line fault classification based on fuzzy logic and Support Vector Machines[J]. Electric power, 2005, 38(3): 13–17. [15] 谢小瑜, 周俊煌, 张勇军. 深度学习在泛在电力物联网 中的应用与挑战 [J]. 电力自动化设备, 2020, 40(4): 77–87. XIE Xiaoyu, ZHOU Junhuang, ZHANG Yongjun. Application and challenge of deep learning in Ubiquitous Power Internet of Things[J]. Electric power automation equipment, 2020, 40(4): 77–87. [16] [17] FANG Ting, JIN Xin, HU Xingliu, et al. A fast insulatorcontour-detection-algorithm on power transmission lines images[J]. Applied mechanics and materials, 2012, 201- 202: 337–343. 杨罡, 孙昌雯, 张娜, 等. 基于多尺度特征融合的输电线 路关键部件检测 [J]. 电测与仪表, 2020, 57(3): 54–59. YANG Gang, SUN Changwen, ZHANG Na, et al. Detection of key components of transmission lines based on multi-scale feature fusion[J]. Electrical measurement & instrumentation, 2020, 57(3): 54–59. [18] 吉志朋, 张国伟, 卢秋红. 基于感受野模块的绝缘子实 时识别定位方法 [J]. 电工电气, 2020(9): 19–22, 32. JI Zhipeng, ZHANG Guowei, LU Qiuhong. Real time detection of insulator by RFB[J]. Electrotechnics electric, 2020(9): 19–22, 32. [19] 李伟性, 郑武略, 王宁, 等. 基于 SSD 算法的输电线路上 绝缘子缺陷检测方法研究 [J]. 仪器仪表用户, 2019, 26(8): 1–4. LI Weixing, ZHENG Wulue, WANG Ning, et al. Research on detection method of insulator defects on transmission lines based on SSD algorithm[J]. Instrumentation customer, 2019, 26(8): 1–4. [20] 赵强, 左石. 输电线路金具理论与应用 [M]. 北京: 中国 电力出版社, 2013: 2−12. [21] 宣冬梅, 王菊韵, 于华, 等. 深度学习中先验知识的应用 [J]. 计算机工程与设计, 2015, 36(11): 3087–3091. XUAN Dongmei, WANG Juyun, YU Hua, et al. Application of prior knowledge in deep learning[J]. Computer engineering and design, 2015, 36(11): 3087–3091. [22] 宋万潼, 李冰锋, 费树岷. 基于先验知识的航拍绝缘子 检测方法研究 [J]. 计算机工程, 2020. SONG Wantong, LI Bingfeng, FEI Shumin. Research on detection method of insulator in aerial image based on prior knowledge[J]. Computer engineering, 2020. [23] GALLEGUILLOS C, RABINOVICH A, BELONGIE S. Object categorization using co-occurrence, location and appearance[C]//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA, 2008: 1−8. [24] 宋万潼, 李冰锋, 费树岷. 基于先验知识的航拍绝缘子 检测方法研究 [J/OL]. 计算机工程: 1−11[2021-05- 11].https://doi.org/10.19678/j.issn.1000-3428.0058448. SONG Wantong, LI Bingfeng, FEI Shumin. Research on detection method of insulator in aerial image based on prior knowledge[J/OL]. Computer engineering, 2020: 1−11[2021-05-11].https://doi.org/10.19678/j.issn.1000- 3428.0058448. [25] JIANG Chenhan, XU Hang, LIANG Xiaodan, et al. Hybrid knowledge routed modules for large-scale object detection[C]//Proceedings of the 32nd Conference on Neur- [26] 第 2 期 翟永杰，等：融合共现推理的 Faster R-CNN 输电线路金具检测 ·245·
·246· 智能系统学报 第16卷 al Information Processing Systems.Montreal,Canada. tiago,.Chile,2015:1440-1448 2018:1552-1563 [33]LIN T Y,GOYAL P,GIRSHICK R.et al.Focal loss for [27]马巧慧.基于伞裙形态学的绝缘子故障检测方法U.科 dense object detection[J].IEEE transactions on pattern 学技术创新，2020(31)少20-21. analysis and machine intelligence,2020,42(2):318-327. MA Qiaohui.An insulator fault detection method based 作者简介： on skirt morphology[J].Scientific and technological in- 翟永杰，教授.博士，主要研究方 novation,2020(31:20-21. 向为电力视觉。主持国家自然科学基 [28]REN S,HE K,GIRSHICK R.Faster R-CNN:towards 金面上项目1项，河北省自然科学基 real-time object detection with region proposal 金项目1项，主持横向科研项目多项， networks[C]//Proceedings of the Advances in Neural In- 参与国家重点研发计划项目1项，获 formation Processing Systems.2015:91-99. 山东省科技进步一等奖1项。发表论 文30余篇，授权发明专利10项，编 [29]LIU Wei,ANGUELOV D,ERHAN D.SSD:Single shot 著1部，参编教材1部、著作3部。 MultiBox detector[Cl//Proceedings of the 14th European Conference on Computer Vision.Amsterdam,The Neth- 杨旭，硕士研究生，主要研究方向 erlands.2016:21-37 为电力视觉与人工智能。 [30]Ren S,He K,Girshick R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE transactions on pattern analysis and machine intelligence,2016,39(6):1137-1149. [31]GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and se- 赵振兵，教授，博士，主要研究方 向为电力视觉。主持国家自然科学基 mantic segmentation[C]//Proceedings of 2014 IEEE Con- 金等纵向课题10项；获省科技进步一 ference on Computer Vision and Pattern Recognition. 等奖1项（第3完成人）：以第1完成 Columbus.OH,USA,2014:580-587. 人获得国家专利授权16项：以第1作 [32]GIRSHICK R.Fast R-CNN[C]//Proceedings of 2015 者出版专著2部，发表学术论文30余篇。 IEEE International Conference on Computer Vision.San-
al Information Processing Systems. Montréal, Canada, 2018: 1552−1563. 马巧慧. 基于伞裙形态学的绝缘子故障检测方法 [J]. 科 学技术创新, 2020(31): 20–21. MA Qiaohui. An insulator fault detection method based on skirt morphology[J]. Scientific and technological innovation, 2020(31): 20–21. [27] REN S, HE K, GIRSHICK R. Faster R-CNN: towards real-time object detection with region proposal networks[C]//Proceedings of the Advances in Neural Information Processing Systems. 2015: 91−99. [28] LIU Wei, ANGUELOV D, ERHAN D. SSD: Single shot MultiBox detector[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands, 2016: 21−37. [29] Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2016, 39(6): 1137−1149. [30] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA, 2014: 580−587. [31] GIRSHICK R. Fast R-CNN[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. San- [32] tiago, Chile, 2015: 1440−1448. LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[J]. IEEE transactions on pattern analysis and machine intelligence, 2020, 42(2): 318–327. [33] 作者简介： 翟永杰，教授，博士，主要研究方 向为电力视觉。主持国家自然科学基 金面上项目 1 项，河北省自然科学基 金项目 1 项，主持横向科研项目多项， 参与国家重点研发计划项目 1 项，获 山东省科技进步一等奖 1 项。发表论 文 30 余篇，授权发明专利 10 项，编 著 1 部，参编教材 1 部、著作 3 部。 杨旭，硕士研究生，主要研究方向 为电力视觉与人工智能。 赵振兵，教授，博士，主要研究方 向为电力视觉。主持国家自然科学基 金等纵向课题 10 项；获省科技进步一 等奖 1 项 (第 3 完成人)；以第 1 完成 人获得国家专利授权 16 项；以第 1 作 者出版专著 2 部，发表学术论文 30 余篇。 ·246· 智 能 系 统 学 报 第 16 卷