第17卷第5期 智能系统学报 Vol.17 No.5 2022年9月 CAAI Transactions on Intelligent Systems Sep.2022 D0:10.11992/tis.202107026 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.tp.20220512.1332.002.html 融合外部知识的输电线路多金具解耦检测方法 翟永杰'，王乾铭，杨旭，赵振兵2，赵文清 (1.华北电力大学控制与计算机工程学院，河北保定071003：2.华北电力大学电气与电子工程学院，河北保 定071003) 摘要：为了有效解决输电线路多金具检测过程中存在的目标密集和目标间相互遮挡的问题，提出了融合外部 知识的多目标解耦检测方法(external knowledge decoupling R-CNN,EKDR-CNN)。首先通过深入分析金具数据 集的领域规则和图像信息，提取出共现和空间知识：然后使用图神经网络方法建立共现和空间知识推理模型， 将外部知识进行实例化表达：最后使用解耦模块将金具检测任务以非耦合的方式进行训练和学习。在实验阶 段，对具有14类金具的数据集，进行多种定性和定量实验。对比实验表明，EKDR-CNN的检测效果优于其他 先进目标检测模型，与原有基线模型相比，准确率提高6.6%：定性实验表明算法能够解决目标遮挡的问题，实 现密集目标的检测：消融实验表明，每种模块对模型的检测效果均有一定的提升。 关键词：输电线路；金具；深度学习；目标检测；共现知识；空间知识；知识推理模块；解耦检测 中图分类号：TP18文献标志码：A文章编号：1673-4785(2022)05-0980-10 中文引用格式：翟永杰，王乾铭，杨旭，等.融合外部知识的输电线路多金具解耦检测方法.智能系统学报，2022,17(5)： 980-989. 英文引用格式：ZHAI Yongjie,,WANG Qianming,YANG Xu,.ctal.A multi-fitting decoupling detection method for transmission lines based on external knowledgeJ.CAAI transactions on intelligent systems,2022,17(5):980-989. A multi-fitting decoupling detection method for transmission lines based on external knowledge ZHAI Yongjie',WANG Qianming',YANG Xu',ZHAO Zhenbing,ZHAO Wenqing' (1.School of Control and Computer Engineering,North China Electric Power University,Baoding 071003,China;2.School of Elec- trical and Electronic Engineering,North China Electric Power University,Baoding 071003,China) Abstract:This paper proposes a multi-object decoupling detection method based on external knowledge(EKD R-CNN) to effectively solve the problems of object density and mutual occlusion in the process of multi-fitting detection of trans- mission lines.First,the domain rules and image information of the fittings datasets are deeply analyzed to extract the co- occurrence and spatial knowledge;then,graph neural network methods are used to build co-occurrence and spatial knowledge reasoning models,to instantiate and express external knowledge;finally,the decoupling module is em- ployed to train and learn the fittings detection task in an uncoupled way.Multiple qualitative and quantitative experi- ments are conducted on datasets with 14 types of fittings in the experiment phase.The contrast experiment shows that the detection effect of EKD R-CNN is better than that of other advanced object detection models and that compared with the original baseline model,the detection accuracy of the algorithm is increased by 6.6%;the qualitative experiments suggest that the proposed algorithm can solve the problem of object occlusion,and the ablation experiment indicates that each module improves the detection effect of the model to a certain extent. Keywords:transmission line;fitting;deep learning;object detection;co-occurrence knowledge;spatial knowledge; knowledge reasoning module;decoupling detection 近年来，随着电力系统规模和城市建设的不 收稿日期：2021-07-15.网络出版日期：2022-05-13. 基金项目：国家自然科学基金项目(61773160,61871182)：北京 断发展，输电线路逐渐覆盖了苛刻的环境和复杂 市自然科学基金项目(4192055)：河北省自然科学基 地形的区域。输电线路是电力系统的重要组成 金项目(F2021502013,F2020502009,F2021502008). 通信作者：赵振兵.E-mail:zhaozhenbing(@ncepu..edu.cn. 部分。金具是输电线路中广泛使用的铁制或铝制
DOI: 10.11992/tis.202107026 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.tp.20220512.1332.002.html 融合外部知识的输电线路多金具解耦检测方法 翟永杰1 ，王乾铭1 ，杨旭1 ，赵振兵2 ，赵文清1 （1. 华北电力大学 控制与计算机工程学院, 河北 保定 071003; 2. 华北电力大学 电气与电子工程学院, 河北 保 定 071003） 摘 要：为了有效解决输电线路多金具检测过程中存在的目标密集和目标间相互遮挡的问题，提出了融合外部 知识的多目标解耦检测方法 (external knowledge decoupling R-CNN, EKD R-CNN)。首先通过深入分析金具数据 集的领域规则和图像信息，提取出共现和空间知识；然后使用图神经网络方法建立共现和空间知识推理模型， 将外部知识进行实例化表达；最后使用解耦模块将金具检测任务以非耦合的方式进行训练和学习。在实验阶 段，对具有 14 类金具的数据集，进行多种定性和定量实验。对比实验表明，EKD R-CNN 的检测效果优于其他 先进目标检测模型，与原有基线模型相比，准确率提高 6.6%；定性实验表明算法能够解决目标遮挡的问题，实 现密集目标的检测；消融实验表明，每种模块对模型的检测效果均有一定的提升。 关键词：输电线路；金具；深度学习；目标检测；共现知识；空间知识；知识推理模块；解耦检测 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2022)05−0980−10 中文引用格式：翟永杰, 王乾铭, 杨旭, 等. 融合外部知识的输电线路多金具解耦检测方法 [J]. 智能系统学报, 2022, 17(5): 980–989. 英文引用格式：ZHAI Yongjie, WANG Qianming, YANG Xu, et al. A multi-fitting decoupling detection method for transmission lines based on external knowledge[J]. CAAI transactions on intelligent systems, 2022, 17(5): 980–989. A multi-fitting decoupling detection method for transmission lines based on external knowledge ZHAI Yongjie1 ，WANG Qianming1 ，YANG Xu1 ，ZHAO Zhenbing2 ，ZHAO Wenqing1 (1. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China; 2. School of Electrical and Electronic Engineering, North China Electric Power University, Baoding 071003, China) Abstract: This paper proposes a multi-object decoupling detection method based on external knowledge (EKD R-CNN) to effectively solve the problems of object density and mutual occlusion in the process of multi-fitting detection of transmission lines. First, the domain rules and image information of the fittings datasets are deeply analyzed to extract the cooccurrence and spatial knowledge; then, graph neural network methods are used to build co-occurrence and spatial knowledge reasoning models, to instantiate and express external knowledge; finally, the decoupling module is employed to train and learn the fittings detection task in an uncoupled way. Multiple qualitative and quantitative experiments are conducted on datasets with 14 types of fittings in the experiment phase. The contrast experiment shows that the detection effect of EKD R-CNN is better than that of other advanced object detection models and that compared with the original baseline model, the detection accuracy of the algorithm is increased by 6.6%; the qualitative experiments suggest that the proposed algorithm can solve the problem of object occlusion, and the ablation experiment indicates that each module improves the detection effect of the model to a certain extent. Keywords: transmission line; fitting; deep learning; object detection; co-occurrence knowledge; spatial knowledge; knowledge reasoning module; decoupling detection 近年来，随着电力系统规模和城市建设的不 断发展，输电线路逐渐覆盖了苛刻的环境和复杂 地形的区域[1]。输电线路是电力系统的重要组成 部分。金具是输电线路中广泛使用的铁制或铝制 收稿日期：2021−07−15. 网络出版日期：2022−05−13. 基金项目：国家自然科学基金项目 (61773160, 61871182)；北京 市自然科学基金项目 (4192055)；河北省自然科学基 金项目 (F2021502013, F2020502009, F2021502008). 通信作者：赵振兵. E-mail：zhaozhenbing@ncepu.edu.cn. 第 17 卷第 5 期 智 能 系 统 学 报 Vol.17 No.5 2022 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2022
·981· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第5期 金属附件，种类繁多，功能多样，主要用于支持、 的检测目标大多为单类金具目标图像，不适用在 固定、接续裸导线、导体及绝缘子等。因此输电 多金具检测的场景中。 线路的安全保障的重要环节就是对输电线路金具 本文面向多金具目标检测需求，针对由于目 的运维和保障。当前输电线路运维方式主要依靠 标密集导致金具之间存在相互遮挡的问题，提出 无人机航拍获得金具图像，凭借着基于机器视觉 了融合外部知识的多金具解耦检测模型(external 的图像处理技术对航拍图像和视频自动化处理。 knowledge decouping R-CNN,EKDR-CNN),通过 对于输电线路金具目标精确定位和识别是对金具 深入挖掘金具目标间共现与空间关系，使用图学 运行状态研判的前提，因此综合检测多类金具算 习方法增强被遮挡金具的视觉特征，促进知识的 法的研究具有极高价值。 实例化表达，并使用解耦模块将分类和回归任务 输电线路部件的识别与检测任务引起了众多 分离训练，从而提高金具检测的性能。 学者的关注。传统图像处理方法通过设计目标特 1相关工作 征将图像识别任务进行多阶段处理。文献[5]利 用对形状的特征描述，实现了对绝缘子轮廓的识 1.1融入知识的深度学习模型 别。文献[6-8]实现了基于形态学特征的输电线 在计算机视觉任务中，图像本身含有丰富的语 路部件的特征提取与识别。文献[9-10]通过特征 义知识和常识知识，图像中的对象与对象之间往 提取、图像分割分别实现了对于绝缘子及防振锤 往会存在某种联系，近些年来，一些基于深度学 的定位和识别。传统图像处理方法需要多阶段处 习的方法已经尝试将这些关系信息利用到计算机 理图像特征，操作步骤繁琐且冗余，而且传统算 视觉任务中，例如目标检测、视觉推理和场景图 法一般只能针对单一目标和缺陷进行识别，难以 生成等任务。Hu等1提出目标关系网络，使用 投入实际应用。基于机器学习方法使用人工特征 自注意力机制对目标之间关系进行建模，通过寻 提取以及多种机器学习算法相结合的方法进行金 找目标细节特性的相似关系来增强视觉特征。Chn 具识别。文献[11]通过聚合复频域特征以及多尺 等6通过空间记忆网络(spatial memory network, 度通道特征，实现防震锤的检测，该算法在一定 SMN)提取空间模式，实现了实例级上下文和目标 程度上提高了在复杂背景下对防震锤检测的精 关系的建模。Zeng等叨提出了一种新颖的门控 度。文献[12]提出利用层次模型提取多目标之间 双向网铬(gated bi-directional net,,GBDNet),使用 的约束关系，并提出了多向判别路径的方法，实 门控机制将信息在不同的区域之间进行传递，从 现了防震锤目标的状态研判。机器学习算法需要 而整合局部和全局上下文的视觉特征。翟永杰等网 人工构建目标特征，并且容易受到各种复杂外部 从金具之间的共现连接出发，统计对象与对象之 环境的影响，因此在检测性能上仍有很大的提升 间的共现频率作为显式外部知识，首次将共现知 空间。与以上两种方法相比，深度学习方法通过 识引入到输电线路金具目标检测模型中。 端到端的方法自主学习图像特征，具有操作简单， 1.2图神经网络模型 特征提取能力强的优点。文献[I3]基于Faster R- 对于引入外部知识的目标检测模型，如何将 CNN模型对电力部件进行检测，通过调整卷积神 抽象知识实例化并融合进端到端网络中是该类模 经网络(convolutional neural networks,,CNN)的卷 型的研究重点。Jiang等u提出了有监督的图学 积核大小以及图像增强方法，在一定程度上提高 习网络模型，使用了一种知识路由的方式将外部 了模型的检测精度；文献[14]使用YOLOv3模型 知识融入到深度模型中。另外基于拓扑结构实现 对目标进行分解和聚合实现了对航拍图像中绝缘 图结构数据学习与推理的图神经网络的提出为上 子的识别和定位。上述工作主要是从航拍图像本 述问题提供了解决办法。图神经网络(graph neur-- 身特征出发，针对目前的深度学习模型做适应性 al networks,GNNs)P2o是在递归神经网络的基础上 研究，然而仅研究图像特征并不能较好地解决金 首次提出的，用于处理以图结构数据的表示和学 具检测本身存在的目标密集问题。 习。受CNN架构成功的启发，Defferrard2设计 由于金具在输电线路结构中承担着连接、接 了图卷积架构，将卷积运算从传统数据（图像或 续以及保护的功能，因此在输电线路中广泛存在 网格)推广到图形数据。Bruna等22提出了第一 着多种金具相互连接的现象，从而导致无人机航 个基于谱卷积的图神经网络模型，并在谱图理论 拍图像数据中金具目标密集以及金具间相互遮挡 的基础上发展了图的卷积运算。后来，Deffer- 的问题，当前关于输电线路智能巡检的研究工作 rard等2通过使用切比雪夫多项式定义滤波，扩
金属附件，种类繁多，功能多样，主要用于支持、 固定、接续裸导线、导体及绝缘子等[2]。因此输电 线路的安全保障的重要环节就是对输电线路金具 的运维和保障。当前输电线路运维方式主要依靠 无人机航拍获得金具图像，凭借着基于机器视觉 的图像处理技术对航拍图像和视频自动化处理[3]。 对于输电线路金具目标精确定位和识别是对金具 运行状态研判的前提，因此综合检测多类金具算 法的研究具有极高价值[4]。 输电线路部件的识别与检测任务引起了众多 学者的关注。传统图像处理方法通过设计目标特 征将图像识别任务进行多阶段处理。文献 [5] 利 用对形状的特征描述，实现了对绝缘子轮廓的识 别。文献 [6-8] 实现了基于形态学特征的输电线 路部件的特征提取与识别。文献 [9-10] 通过特征 提取、图像分割分别实现了对于绝缘子及防振锤 的定位和识别。传统图像处理方法需要多阶段处 理图像特征，操作步骤繁琐且冗余，而且传统算 法一般只能针对单一目标和缺陷进行识别，难以 投入实际应用。基于机器学习方法使用人工特征 提取以及多种机器学习算法相结合的方法进行金 具识别。文献 [11] 通过聚合复频域特征以及多尺 度通道特征，实现防震锤的检测，该算法在一定 程度上提高了在复杂背景下对防震锤检测的精 度。文献 [12] 提出利用层次模型提取多目标之间 的约束关系，并提出了多向判别路径的方法，实 现了防震锤目标的状态研判。机器学习算法需要 人工构建目标特征，并且容易受到各种复杂外部 环境的影响，因此在检测性能上仍有很大的提升 空间。与以上两种方法相比，深度学习方法通过 端到端的方法自主学习图像特征，具有操作简单， 特征提取能力强的优点。文献 [13] 基于 Faster RCNN 模型对电力部件进行检测，通过调整卷积神 经网络 (convolutional neural networks, CNN) 的卷 积核大小以及图像增强方法，在一定程度上提高 了模型的检测精度；文献 [14] 使用 YOLOv3 模型 对目标进行分解和聚合实现了对航拍图像中绝缘 子的识别和定位。上述工作主要是从航拍图像本 身特征出发，针对目前的深度学习模型做适应性 研究，然而仅研究图像特征并不能较好地解决金 具检测本身存在的目标密集问题。 由于金具在输电线路结构中承担着连接、接 续以及保护的功能，因此在输电线路中广泛存在 着多种金具相互连接的现象，从而导致无人机航 拍图像数据中金具目标密集以及金具间相互遮挡 的问题，当前关于输电线路智能巡检的研究工作 的检测目标大多为单类金具目标图像，不适用在 多金具检测的场景中。 本文面向多金具目标检测需求，针对由于目 标密集导致金具之间存在相互遮挡的问题，提出 了融合外部知识的多金具解耦检测模型 (external knowledge decouping R-CNN, EKD R-CNN)，通过 深入挖掘金具目标间共现与空间关系，使用图学 习方法增强被遮挡金具的视觉特征，促进知识的 实例化表达，并使用解耦模块将分类和回归任务 分离训练，从而提高金具检测的性能。 1 相关工作 1.1 融入知识的深度学习模型 在计算机视觉任务中，图像本身含有丰富的语 义知识和常识知识，图像中的对象与对象之间往 往会存在某种联系，近些年来，一些基于深度学 习的方法已经尝试将这些关系信息利用到计算机 视觉任务中，例如目标检测、视觉推理和场景图 生成等任务。Hu 等 [15] 提出目标关系网络，使用 自注意力机制对目标之间关系进行建模，通过寻 找目标细节特性的相似关系来增强视觉特征。Chen 等 [16] 通过空间记忆网络 (spatial memory network, SMN) 提取空间模式,实现了实例级上下文和目标 关系的建模。Zeng 等 [17] 提出了一种新颖的门控 双向网络 (gated bi-directional net, GBDNet)，使用 门控机制将信息在不同的区域之间进行传递，从 而整合局部和全局上下文的视觉特征。翟永杰等[18] 从金具之间的共现连接出发，统计对象与对象之 间的共现频率作为显式外部知识，首次将共现知 识引入到输电线路金具目标检测模型中。 1.2 图神经网络模型 对于引入外部知识的目标检测模型，如何将 抽象知识实例化并融合进端到端网络中是该类模 型的研究重点。Jiang 等 [19] 提出了有监督的图学 习网络模型，使用了一种知识路由的方式将外部 知识融入到深度模型中。另外基于拓扑结构实现 图结构数据学习与推理的图神经网络的提出为上 述问题提供了解决办法。图神经网络 (graph neural networks, GNNs)[20] 是在递归神经网络的基础上 首次提出的，用于处理以图结构数据的表示和学 习。受 CNN 架构成功的启发，Defferrard[21] 设计 了图卷积架构，将卷积运算从传统数据 (图像或 网格) 推广到图形数据。Bruna 等 [22] 提出了第一 个基于谱卷积的图神经网络模型，并在谱图理论 的基础上发展了图的卷积运算。后来，Defferrard 等 [21] 通过使用切比雪夫多项式定义滤波，扩 ·981· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第 5 期
第17卷 智能系统学报 ·982· 展了谱CNN的快速局部化卷积。Kipf等21通过 景问题的影响较大，仅仅依靠图像的特征对金具 简化谱图卷积的一阶近似模型，正式提出了GCN 进行识别是比较困难的。根据输电线路金具之间 的概念，从而得到了更有效的滤波操作。Velickovic 的组合规则，构建共现关系连接矩阵，形成共现 等2！将注意力机制应用到图神经网络聚合邻居 知识，通过识别一些比较容易检测的大尺寸金具， 的操作中，提出了对节点特征敏感的图注意力机 再借助金具之间的共现知识，从而推理出隐匿在 制(graph attention network,GAT)。图注意力机制 密集目标中的难以识别的金具。因此共现知识能 能够关注节点之间的相似度，从而增加一种有效 够有效地提高金具检测任务中的识别分类问题。 的边权重。 1.3基于解耦原理的目标检测模型 目标检测是一种分类和回归的多任务学习问 题，然而大多数目标检测模型都是共享头部检测 网络同时进行分类和边界框回归的任务，往往存 在两种任务相互影响的问题，Jiang等首先提出 (a)单联悬垂结构 (b)防舞动结构 了这个问题：生成较好分类分数的视觉特征无法 同时生成精度较高的边界框，候选框的分类置信 度与定位置信度存在偏差，因此文中提出了新的 检测网络IoU-Net生成定位置信度来学习预测候 选框，获取位置更精确的回归框，并将定位回归 问题作为优化任务进行处理，从而实现了更精确 (c)V型悬垂结构 (d均压屏蔽结构 的检测效果。Wu等2提出了Double-Head网络 图1金具常见组合结构 将分类和定位分成两个任务，采用了不同的分支 Fig.1 Examples of common hardware combinations 检测网络进行训练，通过实验证明了FC-head对 2.2空间结构特点 于空间具有敏感性，适合处理图像的识别和分类 在金具航拍图像中，由于多类金具的尺寸较 任务，而Conv-head更适合对目标框的定位和回 小，并且连接金具和接续金具需要连接各种电气 归任务。Song等2)针对分类和回归任务不对齐 元件，因此金具数据集中的目标分布密集，存在 的问题，提出了任务感知空间解耦算子(task- 相互遮挡的问题。图1展示了金具结构具有一定 aware spatial disentanglement,.TSD)来处理任务冲 的组合规则，属于同一种结构的金具能够给通过 突问题，并进一步提出了渐进约束方法来弥补 共现知识进行互相的推理和识别，但共现知识推 TSD和经典检测器网络的差距，通过实验证明了 理模型能够促进深度模型识别金具类别，并不能 两个任务分支都均能提高分类和定位的精度。 更好地辅助模型进行定位。金具与金具之间由于 一些固定组合结构的原因会导致相互遮挡，而这 2输电线路金具特点 种在空间位置上的遮挡关系可以作为一种上下文 2.1共现特点 信息来辅助模型进行定位。比如在防舞动结构 在架空输电线路的设计和建造过程中，为了 中，重锤作为增加绝缘子串垂直荷重或防止导线 达到标准的电气要求和安装规范，输电线路金具 振动的防护金具，往往3个及以上的提包式悬垂 往往具有一定的组合规则和结构。如图1所示， 线夹与导线连接，现有金具检测数据集中大部分 由提包式悬垂线夹、山型挂环、联板和均压环组成 的重锤目标的标注框中都包含了部分提包式悬垂 单联悬垂结构；由提包式悬垂线夹、联板和重锤 线夹目标，并且提包式悬垂线夹的目标框往往会 组成防舞动结构；由提包式悬垂线夹、联板和均 均匀分布在重锤目标的四周。因此金具与金具之 压环组成V型悬垂结构；由锲型耐张线夹、联板、 间的空间关系信息能够辅助模型进行目标定位。 调整板和屏蔽环组成均压屏蔽环结构。 3研究方法 由于金具之间存在的固定组合结构，因此根 据金具与金具之间的共现知识辅助模型进行 本文总体网络架构如图2所示，首先将金具 检测。具体来说，由于金具在识别的过程中，受 航拍图像作为输入，通过卷积神经网络提取基础 到复杂背景的影响，一些金具由于尺寸较小经常 特征，通过区域建议网络模块(RPN)从基础特征 会隐匿在自然环境或者其他部件中，受到复杂背 中得到的区域建议框。然后从航拍图像数据集中
展了谱 CNN 的快速局部化卷积。Kipf 等 [23] 通过 简化谱图卷积的一阶近似模型，正式提出了 GCN 的概念，从而得到了更有效的滤波操作。Veličković 等 [24] 将注意力机制应用到图神经网络聚合邻居 的操作中，提出了对节点特征敏感的图注意力机 制 (graph attention network, GAT)。图注意力机制 能够关注节点之间的相似度，从而增加一种有效 的边权重。 1.3 基于解耦原理的目标检测模型 目标检测是一种分类和回归的多任务学习问 题，然而大多数目标检测模型都是共享头部检测 网络同时进行分类和边界框回归的任务，往往存 在两种任务相互影响的问题，Jiang 等 [25] 首先提出 了这个问题：生成较好分类分数的视觉特征无法 同时生成精度较高的边界框，候选框的分类置信 度与定位置信度存在偏差，因此文中提出了新的 检测网络 IoU-Net 生成定位置信度来学习预测候 选框，获取位置更精确的回归框，并将定位回归 问题作为优化任务进行处理，从而实现了更精确 的检测效果。Wu 等 [26] 提出了 Double-Head 网络 将分类和定位分成两个任务，采用了不同的分支 检测网络进行训练，通过实验证明了 FC-head 对 于空间具有敏感性，适合处理图像的识别和分类 任务，而 Conv-head 更适合对目标框的定位和回 归任务。Song 等 [27] 针对分类和回归任务不对齐 的问题，提出了任务感知空间解耦算子 (taskaware spatial disentanglement, TSD) 来处理任务冲 突问题，并进一步提出了渐进约束方法来弥补 TSD 和经典检测器网络的差距，通过实验证明了 两个任务分支都均能提高分类和定位的精度。 2 输电线路金具特点 2.1 共现特点 在架空输电线路的设计和建造过程中，为了 达到标准的电气要求和安装规范，输电线路金具 往往具有一定的组合规则和结构。如图 1 所示， 由提包式悬垂线夹、u 型挂环、联板和均压环组成 单联悬垂结构；由提包式悬垂线夹、联板和重锤 组成防舞动结构；由提包式悬垂线夹、联板和均 压环组成 V 型悬垂结构；由锲型耐张线夹、联板、 调整板和屏蔽环组成均压屏蔽环结构。 由于金具之间存在的固定组合结构，因此根 据金具与金具之间的共现知识辅助模型进行 检测。具体来说，由于金具在识别的过程中，受 到复杂背景的影响，一些金具由于尺寸较小经常 会隐匿在自然环境或者其他部件中，受到复杂背 景问题的影响较大，仅仅依靠图像的特征对金具 进行识别是比较困难的。根据输电线路金具之间 的组合规则，构建共现关系连接矩阵，形成共现 知识，通过识别一些比较容易检测的大尺寸金具， 再借助金具之间的共现知识，从而推理出隐匿在 密集目标中的难以识别的金具。因此共现知识能 够有效地提高金具检测任务中的识别分类问题。 (a) 单联悬垂结构 (c) V 型悬垂结构 (d) 均压屏蔽结构 (b) 防舞动结构 图 1 金具常见组合结构 Fig. 1 Examples of common hardware combinations 2.2 空间结构特点 在金具航拍图像中，由于多类金具的尺寸较 小，并且连接金具和接续金具需要连接各种电气 元件，因此金具数据集中的目标分布密集，存在 相互遮挡的问题。图 1 展示了金具结构具有一定 的组合规则，属于同一种结构的金具能够给通过 共现知识进行互相的推理和识别，但共现知识推 理模型能够促进深度模型识别金具类别，并不能 更好地辅助模型进行定位。金具与金具之间由于 一些固定组合结构的原因会导致相互遮挡，而这 种在空间位置上的遮挡关系可以作为一种上下文 信息来辅助模型进行定位。比如在防舞动结构 中，重锤作为增加绝缘子串垂直荷重或防止导线 振动的防护金具，往往 3 个及以上的提包式悬垂 线夹与导线连接，现有金具检测数据集中大部分 的重锤目标的标注框中都包含了部分提包式悬垂 线夹目标，并且提包式悬垂线夹的目标框往往会 均匀分布在重锤目标的四周。因此金具与金具之 间的空间关系信息能够辅助模型进行目标定位。 3 研究方法 本文总体网络架构如图 2 所示，首先将金具 航拍图像作为输入，通过卷积神经网络提取基础 特征，通过区域建议网络模块 (RPN) 从基础特征 中得到的区域建议框。然后从航拍图像数据集中 第 17 卷 智 能 系 统 学 报 ·982·
·983· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第5期 提取出共现知识和空间知识，并分别引入到共现 关系图，并使用对应的图学习方法进行知识推 和空间知识推理模块中。之后，将这些外部知识 理。最后将知识推理模块生成的增强特征层输入 通过映射的方式进行实例化作为图结构的边，将 到解耦模块中，解耦模块使用分类和回归框检测 RPN模块得到的区域建议框作为节点，构成拓扑 器分别进行金具识别和定位任务。 空间和顶推理模项 共现知识推理模块 CNN 输电部件 生成共现图 共现关系 RPN模块 司同胃易 空间重叠关系 视觉节点特征GAT,(CnX,w) ECRN 区域 建议图 GCN (.W) 基础特征 节点特征计算GAT,GXm) Conv层 FC层 090… 000…母 空间增强特征 共现增强特征 解耦检测模块 Shielded ring Compression-type strain clamp 金 Compression-type strain clamp RCNN Bbox RCNN CIs Yoke plate 定 良 u-type hanging ring 识 Hanging ring Adjusting board 别 图2本文模型网络结构图 Fig.2 Network structure of proposed model 3.1共现推理模块 3.1.1共现知识提取 HKRM模型叨基于常识知识提取了提取物 悬望餐葵」 1.0 体间的共现信息，但是该模型认为物体之间的共 悬黌突 现信息是对等的，而这种对等共现信息并不能适 题 用于样本分布不平衡的数据中。本文在构建金具 耐张垫乳 目标的共现知识时充分考虑了物体本身的出现频 挂板 u型挂环 06 率，以条件概率的方式有效表达金具目标之间的 联板 共现知识。 并沟线夹 防震锤 首先，本文统计了每种金具与其他金具在同 间隔棒 张图片中共同出现的频率，得到了共现频率矩 均压环 阵N∈Rcxc,其中C为总类别个数，如图3所示。之 屏蔽环 02 后计算每两种目标之间的共现概率，使用条件概 重锤 调整板 率来表示，即P(ffa,计算公式如下： PiB-Pf_aN_N山 图3共现概率矩阵 P(f8)Ni/Na Ni (1) Fig.3 Co-occurrence probability matrix 式中：Wha为两金具同时出现的次数；6为金具 3.1.2共现推理模块 fs出现的次数；N为所有图片的个数。因此对共 翟永杰等提出了一种有监督的图学习方法 现频率矩阵进行归一化得到共现概率矩阵，共现 进行共现知识的实例化表达和推理，然而这种方 概率矩阵的热点图如图3所示。 法把图学习任务当作回归问题进行处理，使用
提取出共现知识和空间知识，并分别引入到共现 和空间知识推理模块中。之后，将这些外部知识 通过映射的方式进行实例化作为图结构的边，将 RPN 模块得到的区域建议框作为节点，构成拓扑 关系图，并使用对应的图学习方法进行知识推 理。最后将知识推理模块生成的增强特征层输入 到解耦模块中，解耦模块使用分类和回归框检测 器分别进行金具识别和定位任务。 空间知识推理模块 空间重叠关系 εs ϵRNr×Nr GCNs (εs , X, ws ) GAT1 (εT , X, wk1 ) GAT3 (εT , X, wk3 ) CNN RPN 模块 空间增强特征 ... ... ... ... ... ... ... ... X X f ϕ ( f ) 基础特征 区域 建议图 节点特征计算 金 具 定 位 金 具 识 别 Conv 层 RCNN_Bbox RCNN_Cls 解耦检测模块 FC 层 共现知识推理模块 输电部件 共现关系 z1 z2 z3 zn 视觉节点特征 εT εT 生成共现图 共现增强特征 Shielded ring Compression-type strain clamp Compression-type strain clamp Yoke plate u-type hanging ring Hanging ring Adjusting board 图 2 本文模型网络结构图 Fig. 2 Network structure of proposed model 3.1 共现推理模块 3.1.1 共现知识提取 HKRM 模型[19] 基于常识知识提取了提取物 体间的共现信息，但是该模型认为物体之间的共 现信息是对等的，而这种对等共现信息并不能适 用于样本分布不平衡的数据中。本文在构建金具 目标的共现知识时充分考虑了物体本身的出现频 率，以条件概率的方式有效表达金具目标之间的 共现知识。 N ∈ R C×C C P( fA| fB) 首先，本文统计了每种金具与其他金具在同 一张图片中共同出现的频率，得到了共现频率矩 阵 ，其中 为总类别个数，如图 3 所示。之 后计算每两种目标之间的共现概率，使用条件概 率来表示，即 ，计算公式如下： P( fA| fB)= P(fA, fB) P(fB) = N(fA, fB)/Nall NfB /Nall = N(fA, fB) NfB (1) N(fA, fB) NfB fB Nall 式中： 为两金具同时出现的次数； 为金具 出现的次数； 为所有图片的个数。因此对共 现频率矩阵进行归一化得到共现概率矩阵，共现 概率矩阵的热点图如图 3 所示。 预绞式 悬垂线夹 提包式 悬垂线夹 压缩型 耐张线夹 锲型 耐张线夹 挂板 u 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 预绞式 悬垂线夹 提包式 悬垂线夹 压缩型 耐张线夹 锲型耐张线夹 挂板 u 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 1.0 0.8 0.6 0.4 0.2 0 图 3 共现概率矩阵 Fig. 3 Co-occurrence probability matrix 3.1.2 共现推理模块 翟永杰等[18] 提出了一种有监督的图学习方法 进行共现知识的实例化表达和推理，然而这种方 法把图学习任务当作回归问题进行处理，使用 ·983· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第 5 期
第17卷 智能系统学报 ·984· L1范式来计算节点之间的相似度，对目标与目标 3.2空间推理模块 之间的共现关系进行有监督的训练，并没有真正 3.2.1空间知识提取 学习到拓扑关系图的图结构特征。因此本文使用 当金具之间存在遮挡时，其目标框之间会存 对节点特征更敏感的GAT来学习图结构的特征， 在交叉和重叠的现象，因此，目标框与目标框之 使用图神经网络进行图推理的过程中，节点的信 间的交并比(intersection over union,IoU的大小能 息能够通过边进行传递，从而对图中节点之间的 够反映出金具之间的遮挡关系。比如在单联悬垂 依赖关系进行建模。 结构和防舞动结构中，联板和重锤往往与提包式 具体实现流程如图1中的共现知识推理模 悬垂线夹相连，使目标框有交叉；在均压屏蔽结 块，首先设f=(f,∈RD为是从骨干网络中提 构中，由于屏蔽环的尺寸较大，因此屏蔽环的目 取出的高维特征，其中D,为base feature的维度， 标框往往会覆盖着联板、挂板、u型挂环以及耐张 通过线性变换操作z=()将视觉特征f转化为区 线夹等金具的目标框。具体的知识提取方式就是 域关系图的节点特征z={z,za∈R,D为图节点 统计金具数据集中各个类别之间的目标框的 特征的维度，引入这种图节点特征，能够使模块 IoU,IoU的计算公式如下： 能够更深化表达视觉空间中的共现关系。为了深 IoU=AnB (7) 度学习模型能够充分表达金具共现知识，本文使 AUB 用了对节点特征敏感的图注意力机制对共现关系 通过计算电力部件数据集中各个类别目标框 图结构进行建模。 的IoU均值，得到C×C的IoU空间关系矩阵，其 图注意力机制的图卷积形式定义为 中，C为类别个数。 3.2.2空间推理模块 (2) 为了有效表达空间重叠知识，本文构建了空 间推理模块如图1所示，与共现推理模块类似，首 式中：图卷积网络的输人和输出分别是X和X1, 先将类别之间的关系进行映射，得到区域建议框 x1eR",o为LeakyReLU激活函数，a为注意 之间的关系，得到了ε图结构。为了使模型能够 力权重，WeR"x为第1层节点特征变换的权 针对不同的图像目标自适应地获取空间信息，本 重参数。 文引入了图卷积网络(graph convolutional network, 设中心节点为，则邻居节点v,到y的权重系 GCN)模块对空间知识进行图推理学习，对于 数为 GCN模型来说，它更注重学习拓扑图的结构，其 e=a(WXi,WX (3) 中GCN模块的输入是区域建议框的特征向量 其中e,是计算两个节点相关度的函数，本文按照 XER,xD。最后使用全连接的方式，将输出的两 文献[24]的做法，定义这一种神经网络层进行相 种图结构特征向量进行融合，生成空间知识增强 关度计算，最终本文的权重系数计算公式为 特征层。 e=(a'[WXillWX ] 4) 对于图卷积模块，给定一个图信号x∈R,拉 其中参数a∈R,为了更有效地分配权重，本文 普拉斯矩阵可以表示为L=Iw-D-1PAD2,其中 将所有邻居节点的相关度进行归一化处理，具体 A是邻接矩阵，D是度矩阵，图卷积等价于x与滤 形式为softmax归一化： 波核g在频谱域中的乘积，并在此基础上进行傅里 exp((a[WX:llWX;])) (5) 叶变换，图卷积的矩阵向量形式可以表示如下： exp((a'[WXilWx l)) x*go=UGo(A)Ux=Go(UAU)x=Go(L)x (8) 为了更进一步提升图注意力层的表达能力， 式中：U是度矩阵，它的列向量是L=UAU严特征分 本文加入了多头注意力机制，使用了K组相互独 解之后的特征值，G(L)是一个对角矩阵，对象元 立的注意力层，然后将其进行级联： 素是由函数特征值0参数化，在此基础上，根据图 x=(∑en哈w (6) 拉普拉斯的切比雪夫展开，可以得到 式中：‖表示级联操作；α是第k组注意力机制计 x*go(IN+D-IRAD-IP)x (9) 算出的权重系数；W是对应的学习参数。多个彼 式(9)表示图卷积的一阶近似形式，最终可以得 此独立的注意力机制层，使模型能够将注意力的 到图卷积网络的一般形式： 分配集中在中心节点与相邻节点之间的多处相干 XI=σ(AX'W (10) 的特征上，从而学习到效果更好的增强特征。 式中：A是带有自连接的标准化邻接矩阵：和
L1 范式来计算节点之间的相似度，对目标与目标 之间的共现关系进行有监督的训练，并没有真正 学习到拓扑关系图的图结构特征。因此本文使用 对节点特征更敏感的 GAT 来学习图结构的特征， 使用图神经网络进行图推理的过程中，节点的信 息能够通过边进行传递，从而对图中节点之间的 依赖关系进行建模。 f = {fi} Nr i=1 fi ∈ R Db Db z = ϕ(f) f z = {zi} Nr i=1 zi ∈ R Dz Dz 具体实现流程如图 1 中的共现知识推理模 块，首先设 ， 为是从骨干网络中提 取出的高维特征，其中 为 base feature 的维度， 通过线性变换操作 将视觉特征 转化为区 域关系图的节点特征 ， ， 为图节点 特征的维度，引入这种图节点特征，能够使模块 能够更深化表达视觉空间中的共现关系。为了深 度学习模型能够充分表达金具共现知识，本文使 用了对节点特征敏感的图注意力机制对共现关系 图结构进行建模。 图注意力机制的图卷积形式定义为 X l+1 = σ ∑ vj∈Nvi αi jWlX l (2) X l X l+1 X l+1 ∈ R D (l+1) t σ αi j Wl ∈ R D (l+1) t ×D (l) t 式中：图卷积网络的输入和输出分别是 和 ， ， 为 LeakyReLU 激活函数， 为注意 力权重， 为第 l 层节点特征变换的权 重参数。 设中心节点为 vi，则邻居节点 vj 到 vi的权重系 数为 ei j = a(WXi ,WXj) (3) 其中 ei j 是计算两个节点相关度的函数，本文按照 文献 [24] 的做法，定义这一种神经网络层进行相 关度计算，最终本文的权重系数计算公式为 ei j = σ(a T [WXi ||WXj]) (4) a ∈ R 2D (l) 其中参数 t ，为了更有效地分配权重，本文 将所有邻居节点的相关度进行归一化处理，具体 形式为 softmax 归一化： αi j = exp(σ(a T [WXi ||WXj])) ∑ vj∈Nvi exp(σ(a T [WXi ||WXj])) (5) 为了更进一步提升图注意力层的表达能力， 本文加入了多头注意力机制，使用了 K 组相互独 立的注意力层，然后将其进行级联： X l+1 i = ||K k=1σ (∑ vj∈N(vi) α (k) i j W(k)X l j ) (6) α (k) i j W(k) 式中：||表示级联操作； 是第 k 组注意力机制计 算出的权重系数； 是对应的学习参数。多个彼 此独立的注意力机制层，使模型能够将注意力的 分配集中在中心节点与相邻节点之间的多处相干 的特征上，从而学习到效果更好的增强特征。 3.2 空间推理模块 3.2.1 空间知识提取 当金具之间存在遮挡时，其目标框之间会存 在交叉和重叠的现象，因此，目标框与目标框之 间的交并比 (intersection over union, IoU) 的大小能 够反映出金具之间的遮挡关系。比如在单联悬垂 结构和防舞动结构中，联板和重锤往往与提包式 悬垂线夹相连，使目标框有交叉；在均压屏蔽结 构中，由于屏蔽环的尺寸较大，因此屏蔽环的目 标框往往会覆盖着联板、挂板、u 型挂环以及耐张 线夹等金具的目标框。具体的知识提取方式就是 统计金具数据集中各个类别之间的目标框的 IoU，IoU 的计算公式如下： IoU = A∩ B A∪ B (7) 通过计算电力部件数据集中各个类别目标框 的 IoU 均值，得到 C×C 的 IoU 空间关系矩阵，其 中，C 为类别个数。 3.2.2 空间推理模块 εs X ∈ R Nr×Db 为了有效表达空间重叠知识，本文构建了空 间推理模块如图 1 所示，与共现推理模块类似，首 先将类别之间的关系进行映射，得到区域建议框 之间的关系，得到了 图结构。为了使模型能够 针对不同的图像目标自适应地获取空间信息，本 文引入了图卷积网络 (graph convolutional network, GCN) 模块对空间知识进行图推理学习，对于 GCN 模型来说，它更注重学习拓扑图的结构，其 中 GCN 模块的输入是区域建议框的特征向量 。最后使用全连接的方式，将输出的两 种图结构特征向量进行融合，生成空间知识增强 特征层。 x ∈ R N L = IN − D −1/2AD−1/2 对于图卷积模块，给定一个图信号 ，拉 普拉斯矩阵可以表示为 ，其中 A 是邻接矩阵，D 是度矩阵，图卷积等价于 x 与滤 波核 g 在频谱域中的乘积，并在此基础上进行傅里 叶变换，图卷积的矩阵向量形式可以表示如下： x ∗ gθ = UGθ(Λ)U T x = Gθ(UΛU T )x = Gθ(L)x (8) U L = UΛU T Gθ(L) θ 式中： 是度矩阵，它的列向量是 特征分 解之后的特征值， 是一个对角矩阵，对象元 素是由函数特征值 参数化，在此基础上，根据图 拉普拉斯的切比雪夫展开，可以得到 x ∗ gθ ≈ θ(IN + D −1/2AD−1/2 )x (9) 式 (9) 表示图卷积的一阶近似形式，最终可以得 到图卷积网络的一般形式： X l+1 = σ(AX˜ lWl ) (10) A˜ X 式中： 是带有自连接的标准化邻接矩阵； l 和 第 17 卷 智 能 系 统 学 报 ·984·
·985· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第5期 X1分别是图卷积的输入和输出；W是学习到的权 mAP= (12) 重矩阵。图卷积网络通过邻接矩阵在节点之间传 播信息，挖掘出目标框之间的空间关系信息，从 其中AP表示每一类的平均识别精度，对该 而辅助模型对目标进行定位和回归。 类的检测结果按照得分从高到低排序后，计算前 3.3解耦检侧模块 n个检测框的正确率和召回率，maxp)表示超过 为了使模型更准确地表达出融入的外部共现 r的召回率对应的最大的正确值，AP为从0.0~1.0 和空间知识，本文使用了解耦检测模块来替代 的11个召回率对应的最大正确率的平均值。而mAP Faster-.RCNN中的头部检测网络，具体网络结构 是所有类AP的平均值，Q代表物体的类别数。 如图1所示。解耦检测模块将目标检测任务分为 在与先进模型的对比过程中，使用COCO评 两种任务进行学习，分别是：1)分类任务：区分背 价指标从多角度对本文模型进行评估。本文模型是 景中的前景候选对象并分配对应的类别标签；2) 以Faster R-CNN模型2s!为础框架模型，融合外部 回归定位任务：通过最大化检测结果与真值框的 知识以及增加解耦检测模块进行针对性的改进。 IoU来回归一组系数。受到Wu等26的启发，本 表1设备和训练参数 文结合两种头部检测网络的优点，即使用对类别 Table 1 Equipment and training parameters 版本号/具体数值 信息更敏感的卷积层网络(Conv-head)识别金具 设备/参数 显卡 的类别，使用对空间信息更敏感的全连接层网络 NVIDIA RTX3090 (FC-head)实现金具的回归和定位。 操作系统 Ubuntu18.04.5 LTS 编程环境 Python3.8 Pytorch1.8 解耦模块具体的网络结构如图4所示，将RPN 阶段产生区域建议框分别输入到两个头部检测网 参数优化方法 SGD 络中，其中FC-head是由两个全连接层的全连接 学习率 0.002 层组成，Conv-head由两个残差卷积层组成，将两 学习率衰减轮次 p 个网络输出的结果分别于对应的共现和空间增强 学习率衰减比例% 10 特征层进行级联，最终实现金具的分类和回归。 训练最大轮次 20 4.1消融实验 88了+分类 为了证明本文模型中每个模块的有效性，本 7×7×2048 文设计了两组消融实验：1)证明知识模块的有效 性：在基线模型的基础上，分别增加两种知识，并 使用非解耦的方式进行检测：2)证明解耦模块的 7×7×256 248+回归 有效性：在基线模型的基础上，只用解耦模块进 行检测。最终检测结果如表2所示。其中基线模 型使用Faster RCNN实现；模型I在基线模型的 基础上增加解耦模块；模型2在基线模型的基础 图4解耦模块网络模型 上单独使用共现知识推理模块；模型3在基线模型 Fig.4 Decoupling module network model 的基础上单独使用空间推理模块；模型4在基线 4实验结果及分析 模型的基础上使用两种知识推理模块共同作用。 表2消融实验结果 本文选取了14类金具作为实验对象，其中训 Table 2 Ablation test resultss % 练集与测试集样本图像分别为1092和363张，共 方法 共现知识 空间知识 解耦模块 包含9101个金具目标。本文所述模型使用的软 基线模型 69.1 硬件参数以及训练阶段参数如表1所示。 模型1 在测试阶段采用了平均精度均值(mean aver-- 71.4 模型2 73.0 age precision,mAP)对模型进行总体的评估。 平均精度计算公式如式(11)和(12)： 模型3 73.2 ∑p网 模型4 74.6 AP=1 (11) 本文模型 75.7 nE0.0,-.10
X l+1分别是图卷积的输入和输出； Wl是学习到的权 重矩阵。图卷积网络通过邻接矩阵在节点之间传 播信息，挖掘出目标框之间的空间关系信息，从 而辅助模型对目标进行定位和回归。 3.3 解耦检测模块 为了使模型更准确地表达出融入的外部共现 和空间知识，本文使用了解耦检测模块来替代 Faster-RCNN 中的头部检测网络，具体网络结构 如图 1 所示。解耦检测模块将目标检测任务分为 两种任务进行学习，分别是：1）分类任务：区分背 景中的前景候选对象并分配对应的类别标签；2） 回归定位任务：通过最大化检测结果与真值框的 IoU 来回归一组系数。受到 Wu 等 [26] 的启发，本 文结合两种头部检测网络的优点，即使用对类别 信息更敏感的卷积层网络（Conv-head）识别金具 的类别，使用对空间信息更敏感的全连接层网络 （FC-head）实现金具的回归和定位。 解耦模块具体的网络结构如图 4 所示，将 RPN 阶段产生区域建议框分别输入到两个头部检测网 络中，其中 FC-head 是由两个全连接层的全连接 层组成，Conv-head 由两个残差卷积层组成，将两 个网络输出的结果分别于对应的共现和空间增强 特征层进行级联，最终实现金具的分类和回归。 FC FC 分类 回归 Conv ROIAlign ROI 2 048 2 048 2 048 Avg 7×7×2 048 7×7×256 图 4 解耦模块网络模型 Fig. 4 Decoupling module network model 4 实验结果及分析 本文选取了 14 类金具作为实验对象，其中训 练集与测试集样本图像分别为 1 092 和 363 张，共 包含 9 101 个金具目标。本文所述模型使用的软 硬件参数以及训练阶段参数如表 1 所示。 在测试阶段采用了平均精度均值 (mean average precision, mAP) 对模型进行总体的评估。 平均精度计算公式如式（11）和（12）： AP = 1 11 ∑ r∈{0.0,···,1.0} max r˜⩾r p(˜r) (11) mAP = 1 |QR| ∑ q∈QR AP(q) (12) max r˜≥r p(˜r) 其中 AP 表示每一类的平均识别精度，对该 类的检测结果按照得分从高到低排序后，计算前 n 个检测框的正确率和召回率， 表示超过 r 的召回率对应的最大的正确值，AP 为从 0.0~1.0 的 11 个召回率对应的最大正确率的平均值。而 mAP 是所有类 AP 的平均值，QR 代表物体的类别数。 在与先进模型的对比过程中，使用 COCO 评 价指标从多角度对本文模型进行评估。本文模型是 以 Faster R-CNN 模型[28] 为础框架模型，融合外部 知识以及增加解耦检测模块进行针对性的改进。 表 1 设备和训练参数 Table 1 Equipment and training parameters 设备/参数 版本号/具体数值 显卡 NVIDIA RTX3090 操作系统 Ubuntu18.04.5 LTS 编程环境 Python3.8、Pytorch1.8 参数优化方法 SGD 学习率 0.002 学习率衰减轮次 8 学习率衰减比例/% 10 训练最大轮次 20 4.1 消融实验 为了证明本文模型中每个模块的有效性，本 文设计了两组消融实验：1) 证明知识模块的有效 性：在基线模型的基础上，分别增加两种知识，并 使用非解耦的方式进行检测；2) 证明解耦模块的 有效性：在基线模型的基础上，只用解耦模块进 行检测。最终检测结果如表 2 所示。其中基线模 型使用 Faster RCNN 实现；模型 1 在基线模型的 基础上增加解耦模块；模型 2 在基线模型的基础 上单独使用共现知识推理模块；模型 3 在基线模型 的基础上单独使用空间推理模块；模型 4 在基线 模型的基础上使用两种知识推理模块共同作用。 表 2 消融实验结果 Table 2 Ablation test resultss % 方法 共现知识 空间知识 解耦模块 AP50 基线模型 69.1 模型1 √ 71.4 模型2 √ 73.0 模型3 √ 73.2 模型4 √ √ 74.6 本文模型 √ √ √ 75.7 ·985· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第 5 期
第17卷 智能系统学报 ·986· 从表2可以看出，增加相应的知识推理模块 知识模块的模型比不使用解耦知识模块的模型 都能提高模型的检测准确率，与基线模型相比， 的AP0指标高1%，这是因为将分类和回归作为 分别使用共现模块和空间模块能够使AP0提高 两个任务进行处理，同时也证明了解耦模块的有 3.9%和4.2%，而同时使用两种知识推理模块比单 效性。表3为14类金具的AP测试结果对比。从 独使用某一种知识模块能够获得更好的效果，两 表3可以看出，本文模型对于绝大多数金具的检 种知识模块的引入能够使AP0提升5.5%，这是由 测效果都有一定的提升，其中对于山型挂环、联 于共现和空间模块是针对不同的任务进行改进 板、压缩性耐张线夹以及调整板的检测效果有显 的，同时改善模型的分类和定位才能获得更好的 著的提升。由于这4类金具往往与其他金具密集 检测效果。其中，AP0的定义是IoU阈值为 连接，并且在共现概率矩阵中与其他金具的共现 0.5的mAP值。另外，在基线模型的基础上只增 概率也较为突出。因此通过共现和空间知识的引 加解耦模块能够使AP°提升2.3%，另外使用解耦 入和表达能够显著提高这类金具的检测效果。 表3融合外部知识的解耦检测推理网络检测结果 Table 3 Decoupled detection inference network detection results combining external knowledge 算法 预绞式悬垂线夹 提包式悬垂线夹 挂板 u型挂环 联板 并沟线夹 防震锤 基线算法/% 80.8 86.41 57.91 57.43 34.31 33.17 71.24 改进算法/% 83.31 89.47 55.07 73.72 48.71 60.83 70.89 算法 压缩型耐张线夹 锲型耐张线夹 间隔棒 均压环 屏蔽环 重锤 调整板 基线算法% 47.98 79.20 75.70 89.37 97.71 97.95 58.53 改进算法% 64.96 80.73 77.31 89.11 97.29 97.93 70.9 4.2模型检测结果可视化对比实验 垂结构的山型挂环，也能够正确地识别出联板。 为了定性地分析本文模型的检测效果，图5 在图5(c)中，目标遮挡的问题更严重，导致基线 显示了本文所述模型与基线模型进行分析对比， 模型无法识别对提包式悬垂线夹和屏蔽环下方的 图5(a)、(b)中的金具属于单联悬垂结构，在基线 联板。在图5(g)中，本文模型能够正确识别出“隐 模型的检测结果中，受到目标之间的相互遮挡， 藏”的提包式悬垂线夹和联板，同时由于空间知识 一些较难检测的金具比如ú型挂环，均未检测出 的引人，使得目标的定位也更加准确。从图5(d) 来，并且在图5(a)中，基线模型把联板误检为重 (h)中可以看出，本文模型对于一些连接较为密 锤。而在本文模型检测结果图5(e)、()中，由于 集的难检测的小型金具也能够得到较好的检测 共现知识的融入，模型能够检测出同属于单联悬 效果。 oke plote bag-typ:susp shockpro mer (a)基线模型检测结果1 (b)基线模型结果2 (c)基线模型结果3 (d)基线模型结果4 yDe hanging ning ag- spension cla (e)本文模型检测结果1 ()本文模型检测结果2 (g)本文模型检测结果3 (h)本文模型检测结果4 图5金具检测定性结果对比 Fig.5 Comparisons of qualitative results of fittings detection
从表 2 可以看出，增加相应的知识推理模块 都能提高模型的检测准确率，与基线模型相比， 分别使用共现模块和空间模块能够使 AP50 提高 3.9% 和 4.2%，而同时使用两种知识推理模块比单 独使用某一种知识模块能够获得更好的效果，两 种知识模块的引入能够使 AP50 提升 5.5%，这是由 于共现和空间模块是针对不同的任务进行改进 的，同时改善模型的分类和定位才能获得更好的 检测效果。其中， AP5 0 的定义 是 IoU 阈 值 为 0.5 的 mAP 值。另外，在基线模型的基础上只增 加解耦模块能够使 AP50 提升 2.3%，另外使用解耦 知识模块的模型比不使用解耦知识模块的模型 的 AP50 指标高 1%，这是因为将分类和回归作为 两个任务进行处理，同时也证明了解耦模块的有 效性。表 3 为 14 类金具的 AP 测试结果对比。从 表 3 可以看出，本文模型对于绝大多数金具的检 测效果都有一定的提升，其中对于 u 型挂环、联 板、压缩性耐张线夹以及调整板的检测效果有显 著的提升。由于这 4 类金具往往与其他金具密集 连接，并且在共现概率矩阵中与其他金具的共现 概率也较为突出。因此通过共现和空间知识的引 入和表达能够显著提高这类金具的检测效果。 表 3 融合外部知识的解耦检测推理网络检测结果 Table 3 Decoupled detection inference network detection results combining external knowledge 算法 预绞式悬垂线夹 提包式悬垂线夹 挂板 u型挂环 联板 并沟线夹 防震锤 基线算法/% 80.8 86.41 57.91 57.43 34.31 33.17 71.24 改进算法/% 83.31 89.47 55.07 73.72 48.71 60.83 70.89 算法 压缩型耐张线夹 锲型耐张线夹 间隔棒 均压环 屏蔽环 重锤 调整板 基线算法/% 47.98 79.20 75.70 89.37 97.71 97.95 58.53 改进算法/% 64.96 80.73 77.31 89.11 97.29 97.93 70.9 4.2 模型检测结果可视化对比实验 为了定性地分析本文模型的检测效果，图 5 显示了本文所述模型与基线模型进行分析对比， 图 5(a)、(b) 中的金具属于单联悬垂结构，在基线 模型的检测结果中，受到目标之间的相互遮挡， 一些较难检测的金具比如 u 型挂环，均未检测出 来，并且在图 5(a) 中，基线模型把联板误检为重 锤。而在本文模型检测结果图 5(e)、(f) 中，由于 共现知识的融入，模型能够检测出同属于单联悬 垂结构的 u 型挂环，也能够正确地识别出联板。 在图 5(c) 中，目标遮挡的问题更严重，导致基线 模型无法识别对提包式悬垂线夹和屏蔽环下方的 联板。在图 5(g) 中，本文模型能够正确识别出“隐 藏”的提包式悬垂线夹和联板，同时由于空间知识 的引入，使得目标的定位也更加准确。从图 5(d)、 (h) 中可以看出，本文模型对于一些连接较为密 集的难检测的小型金具也能够得到较好的检测 效果。 (a) 基线模型检测结果 1 (b) 基线模型结果 2 (c) 基线模型结果 3 (d) 基线模型结果 4 (e) 本文模型检测结果 1 (f) 本文模型检测结果 2 (g) 本文模型检测结果 3 (h) 本文模型检测结果 4 图 5 金具检测定性结果对比 Fig. 5 Comparisons of qualitative results of fittings detection 第 17 卷 智 能 系 统 学 报 ·986·
·987· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第5期 4.3与先进模型对比实验 型相比，本文模型的检测效果提高了6.6%。另外 为了验证本文模型的先进性，本文在金具数 与其他先进模型进行对比，本文模型在COCO评 据集上实现了多种目标检测模型，分别与SSD512网 价指标上与其他模型相比均有较大的提升。其中 RetinaNet o、Baseline模型2、YOLOv4B、集成知 在COCO评价指标中AP和AR代表对图像中的 识模块的HKRM9以及翟永杰等1进行了比较， 小尺寸目标的检测效果，表4中的测试结果显示， 测试结果如表4所示。 AP和AR提升效果高于其他指标，这表明由于共 从表4中可以看出，基线模型的AP0指标为 现知识和空间知识的引人，模型同样能够应对小型 69.1%,本文模型的AP0指标为75.7%，与基线模 金具的目标密集问题，从而提升总体的检测效果。 表4与先进检测算法性能对比 Table 4 Performance comparisons with advanced detection algorithms % 方法 Ap50.95 Apso AP7S AP APM AP AR AR10 AR100 AR ARM AR- SSD291 24.7 51.0 17.5 16.7 31.2 25.8 22.8 35.8 35.9 21.5 35.8 28.9 RetinaNeto 29.3 61.3 21.0 19.9 37.8 31.4 27.4 40.4 40.4 25.5 42.6 33.3 BaselineRs 32.5 69.1 27.8 20.9 44.0 48.6 25.4 39.2 39.2 26.8 51.0 52.0 YOLOv4B31 33.0 61.7 33.0 20.4 37.1 30.8 25.5 39.4 39.6 26.0 42.5 34.0 HKRMII91 37.8 64.1 38.0 23.1 42.5 35.0 29.0 44.7 44.9 29.7 48.1 38.3 翟永杰等 37.9 65.5 37.2 22.9 44.3 34.4 28.9 45.3 45.4 29.5 49.9 39.5 EKD R-CNN 42.2 75.7 43.2 31.7 52.9 48.3 31.0 50.0 50.1 38.5 59.2 54.2 5结束语 [2] SADYKOVA D,PERNEBAYEVA D,BAGHERI M,et al IN-YOLO:real-time detection of outdoor high voltage in- 针对输电线路航拍图像中广泛存在的金具目 sulators using UAV imaging[J].IEEE transactions on 标密集和相互遮挡的问题，本文提出了融合多种 power delivery,2020,35(3):1599-1601. 外部知识的解耦检测方法。首先通过对金具数据 [3] 赵文清，程幸福，赵振兵，等.注意力机制和Faster 集进行挖掘和分析，提取出金具之间的共现知识 RCNN相结合的绝缘子识别).智能系统学报，2020， 和空间知识，使用图神经网络建立知识推理模 15(1):92-98 型，将外部知识与模型进行融合，然后将分类任 ZHAO Wenging.CHENG Xingfu,ZHAO Zhenbing,et al 务和回归任务解耦分离，使用解耦检测模块分别 Insulator recognition based on attention mechanism and 得到金具的类别和回归框的位置。实验结果表 Faster RCNN[J].CAAI transactions on intelligent sys- 明，本文模型能够有效解决目标密集问题，对输 tems,2020,15(1:92-98. 电线路多金具数据集的检测效果优于其他先进模 [4] 赵振兵，翟永杰，张珂.电力视觉技术北京：中国电 型。本文使用多元化的外部知识来改善金具的检 力出版社，2020 测效果，为输电线路设备部件智能巡检技术提供 [5] FANG Ting,JIN Xin,HU Xingliu,et al.A fast insulator- 了新的思路。 contour-detection-algorithm on power transmission lines 下一步工作可以从图像本身的场景知识以及 images[J].Applied mechanics and materials,2012, 201/202:337-343 内部的隐含信息入手，研究更具体的知识表达形 [6] 黄宵宁，张真良.直升机巡检航拍图像中绝缘子图像的 式。另外视觉特征与知识模块特征的特征融合方 提取算法).电网技术，2010,34(1)194-197. 法还存在进一步研究的空间。 HUANG Xiaoning,ZHANG Zhenliang.A method to ex- 参考文献： tract insulator image from aerial image of helicopter patrol[J].Power system technology,2010,34(1):194- [1]POURNARAS E,ESPEJO-URIBE J.Self-repairable smart 197. grids via online coordination of smart transformers[J]. [7] WU Qinggang,AN Jubai.An active contour model based IEEE transactions on industrial informatics,2017,13(4): on texture distribution for extracting inhomogeneous in- 1783-1793 sulators from aerial images[J].IEEE transactions on
4.3 与先进模型对比实验 为了验证本文模型的先进性，本文在金具数 据集上实现了多种目标检测模型，分别与 SSD512[29] 、 RetinaNet[30] 、Baseline 模型[28] 、YOLOv4[31] 、集成知 识模块的 HKRM[19] 以及翟永杰等[18] 进行了比较， 测试结果如表 4 所示。 从表 4 中可以看出，基线模型的 AP50 指标为 69.1%，本文模型的 AP50 指标为 75.7%，与基线模 型相比，本文模型的检测效果提高了 6.6%。另外 与其他先进模型进行对比，本文模型在 COCO 评 价指标上与其他模型相比均有较大的提升。其中 在 COCO 评价指标中 APS 和 ARS 代表对图像中的 小尺寸目标的检测效果，表 4 中的测试结果显示， APS 和 ARS 提升效果高于其他指标，这表明由于共 现知识和空间知识的引入，模型同样能够应对小型 金具的目标密集问题，从而提升总体的检测效果。 表 4 与先进检测算法性能对比 Table 4 Performance comparisons with advanced detection algorithms % 方法 AP50-95 AP50 AP75 APS APM APL AR1 AR10 AR100 ARS ARM ARL SSD[29] 24.7 51.0 17.5 16.7 31.2 25.8 22.8 35.8 35.9 21.5 35.8 28.9 RetinaNet[30] 29.3 61.3 21.0 19.9 37.8 31.4 27.4 40.4 40.4 25.5 42.6 33.3 Baseline[28] 32.5 69.1 27.8 20.9 44.0 48.6 25.4 39.2 39.2 26.8 51.0 52.0 YOLOv4[31] 33.0 61.7 33.0 20.4 37.1 30.8 25.5 39.4 39.6 26.0 42.5 34.0 HKRM[19] 37.8 64.1 38.0 23.1 42.5 35.0 29.0 44.7 44.9 29.7 48.1 38.3 翟永杰等[18] 37.9 65.5 37.2 22.9 44.3 34.4 28.9 45.3 45.4 29.5 49.9 39.5 EKD R-CNN 42.2 75.7 43.2 31.7 52.9 48.3 31.0 50.0 50.1 38.5 59.2 54.2 5 结束语 针对输电线路航拍图像中广泛存在的金具目 标密集和相互遮挡的问题，本文提出了融合多种 外部知识的解耦检测方法。首先通过对金具数据 集进行挖掘和分析，提取出金具之间的共现知识 和空间知识，使用图神经网络建立知识推理模 型，将外部知识与模型进行融合，然后将分类任 务和回归任务解耦分离，使用解耦检测模块分别 得到金具的类别和回归框的位置。实验结果表 明，本文模型能够有效解决目标密集问题，对输 电线路多金具数据集的检测效果优于其他先进模 型。本文使用多元化的外部知识来改善金具的检 测效果，为输电线路设备部件智能巡检技术提供 了新的思路。 下一步工作可以从图像本身的场景知识以及 内部的隐含信息入手，研究更具体的知识表达形 式。另外视觉特征与知识模块特征的特征融合方 法还存在进一步研究的空间。 参考文献： POURNARAS E, ESPEJO-URIBE J. Self-repairable smart grids via online coordination of smart transformers[J]. IEEE transactions on industrial informatics, 2017, 13(4): 1783–1793. [1] SADYKOVA D, PERNEBAYEVA D, BAGHERI M, et al. IN-YOLO: real-time detection of outdoor high voltage insulators using UAV imaging[J]. IEEE transactions on power delivery, 2020, 35(3): 1599–1601. [2] 赵文清, 程幸福, 赵振兵, 等. 注意力机制和 Faster RCNN 相结合的绝缘子识别 [J]. 智能系统学报, 2020, 15(1): 92–98. ZHAO Wenqing, CHENG Xingfu, ZHAO Zhenbing, et al. Insulator recognition based on attention mechanism and Faster RCNN[J]. CAAI transactions on intelligent systems, 2020, 15(1): 92–98. [3] 赵振兵, 翟永杰, 张珂. 电力视觉技术 [M]. 北京: 中国电 力出版社, 2020. [4] FANG Ting, JIN Xin, HU Xingliu, et al. A fast insulatorcontour-detection-algorithm on power transmission lines images[J]. Applied mechanics and materials, 2012, 201/202: 337–343. [5] 黄宵宁, 张真良. 直升机巡检航拍图像中绝缘子图像的 提取算法 [J]. 电网技术, 2010, 34(1): 194–197. HUANG Xiaoning, ZHANG Zhenliang. A method to extract insulator image from aerial image of helicopter patrol[J]. Power system technology, 2010, 34(1): 194– 197. [6] WU Qinggang, AN Jubai. An active contour model based on texture distribution for extracting inhomogeneous insulators from aerial images[J]. IEEE transactions on [7] ·987· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第 5 期
第17卷 智能系统学报 ·988· geoscience and remote sensing,2014,52(6):3613-3626 instrumentation,2019,56(5):119-123 [8】金立军，胡娟，闫书佳.基于图像的高压输电线间隔棒 [15]HU Han,GU Jiayuan,ZHANG Zheng,et al.Relation net- 故障诊断方法U.高电压技术，2013,39(5)：1040-1045 works for object detection[C]//2018 IEEE/CVF Confer- JIN Lijun,HU Juan,YAN Shujia.Method of spacer fault ence on Computer Vision and Pattern Recognition.Salt diagnose on transmission line based on image proce- Lake City,IEEE,2018:3588-3597. ssion[J].High voltage engineering,2013,39(5):1040- [16]CHEN Xinlei,GUPTA A.Spatial memory for context 1045. reasoning in object detection[C]//2017 IEEE Internation- [9]王万国，张晶晶，韩军，等.基于无人机图像的输电线断 al Conference on Computer Vision.Venice,IEEE,2017: 股与异物缺陷检测方法[).计算机应用，2015,35(8)： 4106-4116. 24042408. [17]ZENG X,OUYANG Wanli,YANG Bin,et al.Gated bi- WANG Wanguo,ZHANG Jingjing,HAN Jun,et al. directional cnn for object detection[C]//European confer- Broken strand and foreign body fault detection method ence on computer vision.Springer,Cham,2016: for power transmission line based on unmanned aerial 354-369 vehicle image[J].Journal of computer applications,2015, [I8]翟永杰，杨旭，赵振兵，等.融合共现推理的Faster R- 35(8):2404-2408 CNN输电线路金具检测].智能系统学报，2021 [10]胡彩石，吴功平，曹珩，等.高压输电线路巡线机器人障 16(2:237-246 碍物视觉检测识别研究[].传感技术学报，2008， ZHAI Yongjie,YANG Xu,ZHAO Zhenbing,et al.Integ- 21(12):2092-2096. rating co-occurrence reasoning for Faster R-CNN trans- HU Caishi,WU Gongping,CAO Heng,et al.Research of mission line fitting detection[J].CAAI transactions on in- obstacle recognition based on vision for high voltage telligent systems,2021,16(2):237-246. transmission line inspection robot[J.Chinese journal of [19]JIANG CHENHAN,XU HANG,LIANG XIANGDAN, sensors and actuators,2008,21(12):2092-2096. et al.Hybrid knowledge routed modules for large-scale [11]张东，邱翔，曹成功，等.结合聚合通道和复频域特征的 object detection[EB/OL].(2018-10-30)[2021-01- 防震锤检测算法[).计算机技术与发展，2020,30(3)： 01].https://arxiv.org/abs/1810.12681. 147-151 [20]GORI M.MONFARDINI G.SCARSELLI F.A new ZHANG Dong,QIU Xiang,CAO Chenggong,et al.An model for learning in graph domains[C]//Proceedings of vibration damper detection algorithm combined with ag- 2005 IEEE International Joint Conference on Neural Net- gregation channel and complex frequency domain fea- works.Montreal,IEEE,2005:729-734 tures[J].Computer technology and development,2020, [21]DEFFERRARD M.BRESSON X.VANDERGHEYNST P. 30(3):147-151 Convolutional neural networks on graphs with fast local- [12]付晶，邵瑰玮，吴亮，等.利用层次模型进行训练学习的 ized spectral filtering[C]//Proceedings of the 30th Interna- 线路设备缺陷检测方法.高电压技术，2017,43(1)： tional Conference on Neural Information Processing Sys- 266-275 tems.Red Hook,Curran Associates Inc.,2016: FU Jing,SHAO Guiwei,WU Liang,et al.Defect detec- 3844-3852. tion of line facility using hierarchical model with learn- [22]BRUNA J,ZAREMBA W,SZLAM A,et al.Spectral net- ing algorithm[J].High voltage engineering,2017,43(1): works and locally connected networks on graphs[EB/OL]. 266-275. (2014-05-21)[2020-12-12].https:/axiv.org/abs/1312. [13]汤踊，韩军，魏文力，等.深度学习在输电线路中部件识 6203 别与缺陷检测的研究J几.电子测量技术，2018,41(6)： [23]KIPF T N,WELLING M.Semi-supervised classification 6065. with graph convolutional networks[EB/OL].(2016- TANG Yong,HAN Jun,WEI Wenli,et al.Research on 12-09)[2020-11-30].https:/axiv.org/abs/1609.02907. part recognition and defect detection of trainsmission line [24]VELICKOVIC P.CUCURULL G.CASANOVA A,et al. in deep learning[J].Electronic measurement technology, Graph attention networks[EB/OL].(2018-02-04) 2018.41(6):60-65 T2020-10-011l.https:/arxiv.org/abs/1710.10903 [14]高强，廉启旺.航拍图像中绝缘子目标检测的研究[)。 [25]JIANG Borui,LUO Ruixuan,MAO Jiayuan,et al.Ac- 电测与仪表，2019,56(5)：119-123 quisition of Localization Confidence for Accurate Object GAO Qiang,LIAN Qiwang.Research on target detection Detection[C]//European Conference on Computer Vision. of insulator in aerial image[J].Electrical measurement Cham:Springer,2018:816-832
geoscience and remote sensing, 2014, 52(6): 3613–3626. 金立军, 胡娟, 闫书佳. 基于图像的高压输电线间隔棒 故障诊断方法 [J]. 高电压技术, 2013, 39(5): 1040–1045. JIN Lijun, HU Juan, YAN Shujia. Method of spacer fault diagnose on transmission line based on image procession[J]. High voltage engineering, 2013, 39(5): 1040– 1045. [8] 王万国, 张晶晶, 韩军, 等. 基于无人机图像的输电线断 股与异物缺陷检测方法 [J]. 计算机应用, 2015, 35(8): 2404–2408. WANG Wanguo, ZHANG Jingjing, HAN Jun, et al. Broken strand and foreign body fault detection method for power transmission line based on unmanned aerial vehicle image[J]. Journal of computer applications, 2015, 35(8): 2404–2408. [9] 胡彩石, 吴功平, 曹珩, 等. 高压输电线路巡线机器人障 碍物视觉检测识别研究 [J]. 传感技术学报, 2008, 21(12): 2092–2096. HU Caishi, WU Gongping, CAO Heng, et al. Research of obstacle recognition based on vision for high voltage transmission line inspection robot[J]. Chinese journal of sensors and actuators, 2008, 21(12): 2092–2096. [10] 张东, 邱翔, 曹成功, 等. 结合聚合通道和复频域特征的 防震锤检测算法 [J]. 计算机技术与发展, 2020, 30(3): 147–151. ZHANG Dong, QIU Xiang, CAO Chenggong, et al. An vibration damper detection algorithm combined with aggregation channel and complex frequency domain features[J]. Computer technology and development, 2020, 30(3): 147–151. [11] 付晶, 邵瑰玮, 吴亮, 等. 利用层次模型进行训练学习的 线路设备缺陷检测方法 [J]. 高电压技术, 2017, 43(1): 266–275. FU Jing, SHAO Guiwei, WU Liang, et al. Defect detection of line facility using hierarchical model with learning algorithm[J]. High voltage engineering, 2017, 43(1): 266–275. [12] 汤踊, 韩军, 魏文力, 等. 深度学习在输电线路中部件识 别与缺陷检测的研究 [J]. 电子测量技术, 2018, 41(6): 60–65. TANG Yong, HAN Jun, WEI Wenli, et al. Research on part recognition and defect detection of trainsmission line in deep learning[J]. Electronic measurement technology, 2018, 41(6): 60–65. [13] 高强, 廉启旺. 航拍图像中绝缘子目标检测的研究 [J]. 电测与仪表, 2019, 56(5): 119–123. GAO Qiang, LIAN Qiwang. Research on target detection of insulator in aerial image[J]. Electrical measurement & [14] instrumentation, 2019, 56(5): 119–123. HU Han, GU Jiayuan, ZHANG Zheng, et al. Relation networks for object detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, IEEE, 2018: 3588−3597. [15] CHEN Xinlei, GUPTA A. Spatial memory for context reasoning in object detection[C]//2017 IEEE International Conference on Computer Vision. Venice, IEEE, 2017: 4106−4116. [16] ZENG X, OUYANG Wanli，YANG Bin, et al. Gated bidirectional cnn for object detection[C]//European conference on computer vision. Springer, Cham, 2016: 354−369. [17] 翟永杰, 杨旭, 赵振兵, 等. 融合共现推理的 Faster RCNN 输电线路金具检测 [J]. 智能系统学报, 2021, 16(2): 237–246. ZHAI Yongjie, YANG Xu, ZHAO Zhenbing, et al. Integrating co-occurrence reasoning for Faster R-CNN transmission line fitting detection[J]. CAAI transactions on intelligent systems, 2021, 16(2): 237–246. [18] JIANG CHENHAN, XU HANG, LIANG XIANGDAN, et al. Hybrid knowledge routed modules for large-scale object detection[EB/OL]. (2018−10−30)[2021−01− 01].https://arxiv.org/abs/1810.12681. [19] GORI M, MONFARDINI G, SCARSELLI F. A new model for learning in graph domains[C]//Proceedings of 2005 IEEE International Joint Conference on Neural Networks. Montreal, IEEE, 2005: 729−734. [20] DEFFERRARD M, BRESSON X, VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook, Curran Associates Inc., 2016: 3844−3852. [21] BRUNA J, ZAREMBA W, SZLAM A, et al. Spectral networks and locally connected networks on graphs[EB/OL]. (2014−05−21)[2020−12−12].https://arxiv.org/abs/1312. 6203. [22] KIPF T N, WELLING M. Semi-supervised classification with graph convolutional networks[EB/OL]. (2016− 12−09)[2020−11−30].https://arxiv.org/abs/1609.02907. [23] VELIČKOVIĆ P, CUCURULL G, CASANOVA A, et al. Graph attention networks[EB/OL]. (2018−02−04) [2020−10−01].https://arxiv.org/abs/1710.10903. [24] JIANG Borui, LUO Ruixuan, MAO Jiayuan, et al. Acquisition of Localization Confidence for Accurate Object Detection[C]//European Conference on Computer Vision. Cham: Springer, 2018: 816−832. [25] 第 17 卷 智 能 系 统 学 报 ·988·
·989· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第5期 [26]WU Yue,CHEN Yinpeng,YUAN Lu,et al.Rethinking tion[EB/OL].(2020-04-23)[2021-01-10].htps:/arxiv classification and localization for object detection[C]// org/abs/2004.10934. 2020 IEEE/CVF Conference on Computer Vision and 作者简介： Pattern Recognition (CVPR).Seattle,IEEE,2020: 翟永杰，教授，博土，主要研究方 10183-10192. 向为电力视觉。主持国家自然科学基 [27]SONG Guanglu,LIU Yu,WANG Xiaogang.Revisiting 金面上项目1项、河北省自然科学基 the sibling head in object detector[Cl//2020 IEEE/CVF 金项目1项，主持横向科研项目多项， 参与国家重点研发计划项目1项，获 Conference on Computer Vision and Pattern Recognition 山东省科技进步一等奖1项。授权发 (CVPR).Seattle,IEEE,2020:11560-11569. 明专利10项，编著1部，参编教材 [28]REN Shaoqing,HE Kaiming,GIRSHICK R,et al.Faster 1部、著作3部，发表学术论文30余篇。 R-CNN:towards real-time object detection with region 王乾铭，博士研究生，主要研究方 proposal networks[J].IEEE transactions on pattern ana- 向为电力视觉与知识推理。 lysis and machine intelligence,2017,39(6):1137-1149 [29]LIU Wei,ANGUELOV D,ERHAN D,et al.SSD:single shot MultiBox detector[Ml//Computer Vision-ECCV 2016.Cham:Springer International Publishing,2016: 21-37. [30]LIN T Y,GOYAL P,GIRSHICK R,et al.Focal loss for 赵振兵，教授，博土，主要研究方 dense object detection[C]//Proceedings of the IEEE inter- 向为电力视觉。主持国家自然科学 基金等纵向课题10项，获省科技进步 national conference on computer vision.2017:2980- 一等奖1项（第3完成人）。以第1完 2988. 成人获得国家专利授权6项，以第 [31]BOCHKOVSKIY A.WANG C Y,LIAO H Y M. 1作者出版专著2部，发表学术论文 YOLOv4:optimal speed and accuracy of object detec- 50余篇。 2022第十一届中国智能产业高峰论坛 The 11%China Intelligence Industry Summit (2022) 2022第十一届中国智能产业高峰论坛（简称CIS2022)于2022年在素有“海上花园”美称的厦门举办。 厦门是我国东南沿海的璀璨明珠，胸中藏海、向海而兴造就了这座城市海纳百川的独特气度，这场人文与科 技相映生辉的学术盛宴将带我们共同领略二者交织之美、探索深度融合之道。 “十四五”规划和2035年远景目标建议明确提出，推动互联网、大数据、人工智能同各产业深度融合，推 动先进制造业集群发展。以技术变革为引领，以趋势洞察为导向，中国智能产业高峰论坛历经十载春秋，走 过十座创新名城，在推动区域智能产业发展征程中，塑造了“一年一城市”的鲜明标签。CIS2022将从产业 应用需求角度出发，解构人工智能商业实践现状，探索智能产业未来发展路径，为区域经济发展、产业布局 和智能生态建设注入了新动能。 主办单位：中国人工智能学会 支持单位：厦门市工业和信息化局、厦门市集美区人民政府、厦门火炬高新区管委会
WU Yue, CHEN Yinpeng, YUAN Lu, et al. Rethinking classification and localization for object detection[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, IEEE, 2020: 10183−10192. [26] SONG Guanglu, LIU Yu, WANG Xiaogang. Revisiting the sibling head in object detector[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, IEEE, 2020: 11560−11569. [27] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137–1149. [28] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: single shot MultiBox detector[M]//Computer Vision – ECCV 2016. Cham: Springer International Publishing, 2016: 21−37. [29] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2980− 2988. [30] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detec- [31] tion[EB/OL]. (2020−04−23)[2021−01−10].https://arxiv. org/abs/2004.10934. 作者简介： 翟永杰，教授，博士，主要研究方 向为电力视觉。主持国家自然科学基 金面上项目 1 项、河北省自然科学基 金项目 1 项，主持横向科研项目多项， 参与国家重点研发计划项目 1 项，获 山东省科技进步一等奖 1 项。授权发 明专利 10 项，编著 1 部，参编教材 1 部、著作 3 部，发表学术论文 30 余篇。 王乾铭，博士研究生，主要研究方 向为电力视觉与知识推理。 赵振兵，教授，博士，主要研究方 向为电力视觉。主持国家自然科学 基金等纵向课题 10 项，获省科技进步 一等奖 1 项 (第 3 完成人)。以第 1 完 成人获得国家专利授权 16 项，以第 1 作者出版专著 2 部，发表学术论文 50 余篇。 2022 第十一届中国智能产业高峰论坛 The 11th China Intelligence Industry Summit (2022) 2022 第十一届中国智能产业高峰论坛（简称 CIIS 2022）于 2022 年在素有“海上花园”美称的厦门举办。 厦门是我国东南沿海的璀璨明珠，胸中藏海、向海而兴造就了这座城市海纳百川的独特气度，这场人文与科 技相映生辉的学术盛宴将带我们共同领略二者交织之美、探索深度融合之道。 “十四五”规划和 2035 年远景目标建议明确提出，推动互联网、大数据、人工智能同各产业深度融合，推 动先进制造业集群发展。以技术变革为引领，以趋势洞察为导向，中国智能产业高峰论坛历经十载春秋，走 过十座创新名城，在推动区域智能产业发展征程中，塑造了“一年一城市”的鲜明标签。CIIS 2022 将从产业 应用需求角度出发，解构人工智能商业实践现状，探索智能产业未来发展路径，为区域经济发展、产业布局 和智能生态建设注入了新动能。 主办单位：中国人工智能学会 支持单位：厦门市工业和信息化局、厦门市集美区人民政府、厦门火炬高新区管委会 ·989· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第 5 期