第15卷第4期 智能系统学报 Vol.15 No.4 2020年7月 CAAI Transactions on Intelligent Systems Jul.2020 D0:10.11992tis.202001008 嵌入遮挡关系模块的SSD模型的 输电线路图像金具检测 赵振兵，江爱雪，戚银城，张薇，赵文清 (1.华北电力大学电气与电子工程学院，河北保定071003,2.华北电力大学控制与计算机工程学院，河北保 定071003) 摘要：为了提升深度学习目标检测模型在输电线路金具自动化检测任务中的准确率，针对金具检测数据集中 金具目标标注框之间不可避免地广泛存在相交而导致金具目标检测定位不准确的问题，本文利用相交区域的 相似性作为金具目标的上下文信息，提出目标间遮挡关系的描述方法，用于规则性描述图像中金具目标间的相 互遮挡，设计遮挡关系模块，并将其嵌人到单次多框检测器(single shot multibox detector,SSD)模型中。为了验证 嵌入遮挡关系模块的SSD模型的有效性，选择了8类目标标注框普遍存在相交的小目标金具进行实验，实验使 用的金具检测数据集的训练集和测试集中金具目标数分别为6271和1713。实验证明.原始SSD模型的平均精度 均值(mean average precision,.mAP)为72.10%，嵌入遮挡关系模块的SSD模型的mAP为76.56%.性能提升了4.46%。 关键词：输电线路金具；遮挡度：遮挡关系描述；遮挡关系模块：SSD:标注框：目标检测；深度学习 中图分类号：TP18:TN911.73文献标志码：A文章编号：1673-4785(2020)04-0656-07 中文引用格式：赵振兵，江爱雪，喊银城，等.嵌入遮挡关系模块的SSD模型的输电线路图像金具检测.智能系统学报， 2020,15(4):656-662. 英文引用格式：ZHAO Zhenbing,.JIANG Aixue,.QI Yincheng,etal.Fittings detection in transmission line images with SSD model embedded occlusion relation module[Jl.CAAI transactions on intelligent systems,2020,15(4):656-662. Fittings detection in transmission line images with SSD model embedded occlusion relation module ZHAO Zhenbing',JIANG Aixue',QI Yincheng,ZHANG Wei,ZHAO Wenqing (1.School of Electrical and Electronic Engineering,North China Electric Power University,Baoding 071003,China;2.School of Control and Computer Engineering,North China Electric Power University,Baoding 071003,China) Abstract:In order to improve the accuracy of the deep learning object detection model in the automatic detection of transmission fittings,aiming at the problem of inaccurate detection and location of fittings due to the inevitable extens- ive intersection between the groundtruth boxes of fittings in the fittings dataset,this article proposes a description meth- od of the occlusion relation between the objects,so as to regularly describe the mutual occlusion between the objects by using the similarity of the intersection area as the context information of the fittings.The occlusion relation module is designed and embedded in the single shot multibox detector(SSD)model.In order to verify the effectiveness of the SSD model embedded with the occlusion relation module,eight kinds of small objects with intersecting groundtruth boxes are selected for experiments,and the object number of the training set and the test set of the fittings dataset used in the ex- periment is 6271 and 1713 respectively.The experiments show that the mean average precision(mAP)of the original SSD model is 72.10%,the mAP of the SSD model embedded in the occlusion relation module is 76.56%,and the per- formance is improved by 4.46%. Keywords:transmission line fittings;occlusion;occlusion relationship description;occlusion relationship module; single shot multibox detector,groundtruth box;object detection;deep learning 收稿日期：2020-01-06. 基金项目：国家自然科学基金项目(61871182,61773160)：北京 输电线路故障是造成电网大面积停电事故的 市自然科学基金项目(4192055)：河北省自然科学基 重要原因之一，线路运维是保证电力系统安全的 金项目(F2020502009):中央高校基本科研业务费专 项资金项目(2018MS095,2020YJ006):模式识别国家 重要环节。金具是输电线路中起到固定、防护 重点实验室开放课题(201900051)：国家留学基金项 目(201906735011). 接续等作用的电力部件川，其长期处于野外恶劣 通信作者：赵振兵.E-mail:zhaoz小enbing@ncepu..edu.cn 环境中，极易发生锈蚀、变形、破损等缺陷，从而
DOI: 10.11992/tis.202001008 嵌入遮挡关系模块的 SSD 模型的 输电线路图像金具检测 赵振兵1 ，江爱雪1 ，戚银城1 ，张薇1 ，赵文清2 （1. 华北电力大学 电气与电子工程学院，河北 保定 071003; 2. 华北电力大学 控制与计算机工程学院，河北 保 定 071003） 摘 要：为了提升深度学习目标检测模型在输电线路金具自动化检测任务中的准确率，针对金具检测数据集中 金具目标标注框之间不可避免地广泛存在相交而导致金具目标检测定位不准确的问题，本文利用相交区域的 相似性作为金具目标的上下文信息，提出目标间遮挡关系的描述方法，用于规则性描述图像中金具目标间的相 互遮挡，设计遮挡关系模块，并将其嵌入到单次多框检测器 (single shot multibox detector, SSD) 模型中。为了验证 嵌入遮挡关系模块的 SSD 模型的有效性，选择了 8 类目标标注框普遍存在相交的小目标金具进行实验，实验使 用的金具检测数据集的训练集和测试集中金具目标数分别为 6 271 和 1 713。实验证明，原始 SSD 模型的平均精度 均值 (mean average precision, mAP) 为 72.10%，嵌入遮挡关系模块的 SSD 模型的 mAP 为 76.56%，性能提升了 4.46%。 关键词：输电线路金具；遮挡度；遮挡关系描述；遮挡关系模块；SSD；标注框；目标检测；深度学习 中图分类号：TP18；TN911.73 文献标志码：A 文章编号：1673−4785(2020)04−0656−07 中文引用格式：赵振兵, 江爱雪, 戚银城, 等. 嵌入遮挡关系模块的 SSD 模型的输电线路图像金具检测 [J]. 智能系统学报, 2020, 15(4): 656–662. 英文引用格式：ZHAO Zhenbing, JIANG Aixue, QI Yincheng, et al. Fittings detection in transmission line images with SSD model embedded occlusion relation module[J]. CAAI transactions on intelligent systems, 2020, 15(4): 656–662. Fittings detection in transmission line images with SSD model embedded occlusion relation module ZHAO Zhenbing1 ，JIANG Aixue1 ，QI Yincheng1 ，ZHANG Wei1 ，ZHAO Wenqing2 (1. School of Electrical and Electronic Engineering, North China Electric Power University, Baoding 071003, China; 2. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China) Abstract: In order to improve the accuracy of the deep learning object detection model in the automatic detection of transmission fittings, aiming at the problem of inaccurate detection and location of fittings due to the inevitable extensive intersection between the groundtruth boxes of fittings in the fittings dataset, this article proposes a description method of the occlusion relation between the objects, so as to regularly describe the mutual occlusion between the objects by using the similarity of the intersection area as the context information of the fittings. The occlusion relation module is designed and embedded in the single shot multibox detector (SSD) model. In order to verify the effectiveness of the SSD model embedded with the occlusion relation module, eight kinds of small objects with intersecting groundtruth boxes are selected for experiments, and the object number of the training set and the test set of the fittings dataset used in the experiment is 6271 and 1713 respectively. The experiments show that the mean average precision (mAP) of the original SSD model is 72.10%, the mAP of the SSD model embedded in the occlusion relation module is 76.56%, and the performance is improved by 4.46%. Keywords: transmission line fittings; occlusion; occlusion relationship description; occlusion relationship module; single shot multibox detector; groundtruth box; object detection; deep learning 输电线路故障是造成电网大面积停电事故的 重要原因之一，线路运维是保证电力系统安全的 重要环节。金具是输电线路中起到固定、防护、 接续等作用的电力部件[1] ，其长期处于野外恶劣 环境中，极易发生锈蚀、变形、破损等缺陷，从而 收稿日期：2020−01−06. 基金项目：国家自然科学基金项目 (61871182，61773160)；北京 市自然科学基金项目 (4192055)；河北省自然科学基 金项目 (F2020502009)；中央高校基本科研业务费专 项资金项目 (2018MS095，2020YJ006)；模式识别国家 重点实验室开放课题 (201900051)；国家留学基金项 目 (201906735011). 通信作者：赵振兵. E-mail：zhaozhenbing@ncepu.edu.cn. 第 15 卷第 4 期 智 能 系 统 学 报 Vol.15 No.4 2020 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2020
第4期 赵振兵，等：嵌入遮挡关系模块的SSD模型的输电线路图像金具检测 ·657· 影响输电线路正常运行。目前图像识别技术已应 体间的关系信息有助于更好地实现目标精确检测 用于电力线路巡检工作中)，但拍摄角度和视距 定位92。现有通用目标检测模型由于场景的复 的多变性以及输电线路背景复杂性，增加了图像 杂性、多类目标共有的上下文信息少、难以实现 识别输电线路运行状态任务的难度，必须利用适 规则性描述上下文信息，大多数模型还是针对每 用性强的图像处理算法来解决该问题。通过对巡 个物体单独地进行检测，没有很好地利用到场景 检图像的处理可得到输电线路的基本状况，发现 中的上下文信息。区别于通用目标检测场景，输 设备缺陷和故障隐患，将极大地提高输电线路巡 电线路金具具有所处背景较为单一、组装具有一 检的自动化水平。 定规则性等特点，故结合金具上下文信息可以有 输电线路巡检图像检测算法在过去的几十年 助于更好实现金具检测。 研究历程中，主要有3类算法：基于传统特征描述 在输电线路中金具的组装具有一定的规则 子的算法、基于经典机器学习的算法和基于深度 性，比如重锤作为增加绝缘子串垂直荷重或防止 学习的算法。利用目标的纹理、形态学特征 导线振动的防护金具，通常通过3个及以上的提 图形基元)和多特征融合向进行输电线路部件检 包式悬垂线夹与导线连接，现有金具检测数据集 测的基于传统特征描述子的算法主要针对单一类 中大部分的重锤目标的标注框中都包含了部分提 别金具识别，方法的有效性和可靠性表现一般， 包式悬垂线夹目标。在对金具数据集的分析中发 不具有扩展性。基于经典机器学习算法主要思路 现，金具目标标注框间不可避免地存在广泛的相 是通过人工特征描述子和线性分类器的结合完成 交，金具数据集中部分目标标注框相交区域具有 部件检测任务，不适用于复杂背景下输电线路 一定的相似性。图1给出了在金具数据集中部分 部件检测，没有很好地利用无人机巡线采集到的 目标标注框相交区域的相似性，其中图1(a)是提 大规模巡检数据，检测结果不会随着样本增加而 包式悬垂线夹与重锤标注框的相交区域，图1(b) 有进一步提升，且无法适应跨巡线导致背景和目 是提包式悬垂线夹与联板标注框的相交区域。可 标形态变化的巡检图像处理。在深度学习浪潮的 以看出两两相交的标注框具有一定的相似性，相 推进下，采用在通用目标检测领域表现良好的目 交区域往往包含两类目标的部分特征信息。 标检测模型用于高压线缆目标检测1和输电线 路部件检测方法研究成为热点，后者主要在均压 环山、绝缘子2、防震锤等在巡检图像中占比 大且目标形态单一的金具检测中取得一定的效 (a)提包式悬垂线夹与重锤目标标注框遮挡区域示例 果，输电线路航拍图像背景复杂，目标多尺度，直 接使用以上算法检测效果不佳。输电线路遍布着 种类繁多且形态各异的金具，因此能够综合检测 多类金具和细小金具算法的研究具有极高价值。 (b)提包式悬垂线夹与联板目标标注框遮挡区域示例 单次多框检测器(single shot multibox detector, SSD)s1m是深度学习目标检测模型中的经典模型， 图1金具检测数据集中目标标注框遮挡区域示例 Fig.1 Example of occluded area of object annotation box SSD模型输出离散化的多尺度网、多比例的提取框， in fittings detection dataset 采用多尺度的特征图和在多个特征图上同时进行 为了实现以相交区域的相似性作为金具目标 分类和回归任务，实现了速度和准确度的综合提升。 的上下文信息指导深度模型训练，首先需要完成 本文关注深度学习目标检测算法在输电线路 对金具目标间关于遮挡的上下文信息表达，其次 巡检图像金具检测应用的问题，选取综合图像处 需要解决上下文信息与深度模型结合的相关问 理速度和精度平衡的SSD模型，主要针对在巡检 题。本文受文献22]中位置关系模块启发，提出 图像中金具目标广泛存在遮挡的问题，提出了目 了金具目标间遮挡关系的描述方法，设计了描述 标间遮挡关系的描述方法，设计了遮挡关系模 目标标注框间遮挡信息的关系模块，使用关系模 块，并将其嵌入SSD模型中，实现了输电线路巡 块提取目标间遮挡关系并嵌入SSD模型中，实现 检图像中金具的检测。 了融合金具目标间遮挡关系的深度目标检测。 1研究方法 11遮挡关系描述 由图1可知，金具标注框相交区域与金具的 计算机视觉领域，普遍认为上下文信息或物 连接关系相关，为了完成遮挡关系模块的设计
影响输电线路正常运行。目前图像识别技术已应 用于电力线路巡检工作中[2] ，但拍摄角度和视距 的多变性以及输电线路背景复杂性，增加了图像 识别输电线路运行状态任务的难度，必须利用适 用性强的图像处理算法来解决该问题。通过对巡 检图像的处理可得到输电线路的基本状况，发现 设备缺陷和故障隐患，将极大地提高输电线路巡 检的自动化水平。 输电线路巡检图像检测算法在过去的几十年 研究历程中，主要有 3 类算法：基于传统特征描述 子的算法、基于经典机器学习的算法和基于深度 学习的算法。利用目标的纹理[3] 、形态学特征[4] 、 图形基元[5] 和多特征融合[6] 进行输电线路部件检 测的基于传统特征描述子的算法主要针对单一类 别金具识别，方法的有效性和可靠性表现一般， 不具有扩展性。基于经典机器学习算法主要思路 是通过人工特征描述子和线性分类器的结合完成 部件检测任务[7-9] ，不适用于复杂背景下输电线路 部件检测，没有很好地利用无人机巡线采集到的 大规模巡检数据，检测结果不会随着样本增加而 有进一步提升，且无法适应跨巡线导致背景和目 标形态变化的巡检图像处理。在深度学习浪潮的 推进下，采用在通用目标检测领域表现良好的目 标检测模型用于高压线缆目标检测[10] 和输电线 路部件检测方法研究成为热点，后者主要在均压 环 [11] 、绝缘子[12-14] 、防震锤[15] 等在巡检图像中占比 大且目标形态单一的金具检测中取得一定的效 果，输电线路航拍图像背景复杂，目标多尺度，直 接使用以上算法检测效果不佳。输电线路遍布着 种类繁多且形态各异的金具，因此能够综合检测 多类金具和细小金具算法的研究具有极高价值。 单次多框检测器 (single shot multibox detector, SSD)[16-17] 是深度学习目标检测模型中的经典模型， SSD 模型输出离散化的多尺度[18] 、多比例的提取框， 采用多尺度的特征图和在多个特征图上同时进行 分类和回归任务，实现了速度和准确度的综合提升。 本文关注深度学习目标检测算法在输电线路 巡检图像金具检测应用的问题，选取综合图像处 理速度和精度平衡的 SSD 模型，主要针对在巡检 图像中金具目标广泛存在遮挡的问题，提出了目 标间遮挡关系的描述方法，设计了遮挡关系模 块，并将其嵌入 SSD 模型中，实现了输电线路巡 检图像中金具的检测。 1 研究方法 计算机视觉领域，普遍认为上下文信息或物 体间的关系信息有助于更好地实现目标精确检测 定位[19-21]。现有通用目标检测模型由于场景的复 杂性、多类目标共有的上下文信息少、难以实现 规则性描述上下文信息，大多数模型还是针对每 个物体单独地进行检测，没有很好地利用到场景 中的上下文信息。区别于通用目标检测场景，输 电线路金具具有所处背景较为单一、组装具有一 定规则性等特点，故结合金具上下文信息可以有 助于更好实现金具检测。 在输电线路中金具的组装具有一定的规则 性，比如重锤作为增加绝缘子串垂直荷重或防止 导线振动的防护金具，通常通过 3 个及以上的提 包式悬垂线夹与导线连接，现有金具检测数据集 中大部分的重锤目标的标注框中都包含了部分提 包式悬垂线夹目标。在对金具数据集的分析中发 现，金具目标标注框间不可避免地存在广泛的相 交，金具数据集中部分目标标注框相交区域具有 一定的相似性。图 1 给出了在金具数据集中部分 目标标注框相交区域的相似性，其中图 1(a) 是提 包式悬垂线夹与重锤标注框的相交区域，图 1(b) 是提包式悬垂线夹与联板标注框的相交区域。可 以看出两两相交的标注框具有一定的相似性，相 交区域往往包含两类目标的部分特征信息。 (b) 提包式悬垂线夹与联板目标标注框遮挡区域示例 (a) 提包式悬垂线夹与重锤目标标注框遮挡区域示例 图 1 金具检测数据集中目标标注框遮挡区域示例 Fig. 1 Example of occluded area of object annotation box in fittings detection dataset 为了实现以相交区域的相似性作为金具目标 的上下文信息指导深度模型训练，首先需要完成 对金具目标间关于遮挡的上下文信息表达，其次 需要解决上下文信息与深度模型结合的相关问 题。本文受文献 [22] 中位置关系模块启发，提出 了金具目标间遮挡关系的描述方法，设计了描述 目标标注框间遮挡信息的关系模块，使用关系模 块提取目标间遮挡关系并嵌入 SSD 模型中，实现 了融合金具目标间遮挡关系的深度目标检测。 1.1 遮挡关系描述 由图 1 可知，金具标注框相交区域与金具的 连接关系相关，为了完成遮挡关系模块的设计， 第 4 期 赵振兵，等：嵌入遮挡关系模块的 SSD 模型的输电线路图像金具检测 ·657·
·658. 智能系统学报 第15卷 需要对多类金具目标遮挡关系进行描述。 征的集合，通过这两种特征的相互作用同时处理 单张图片中标注框m相对于标注框n的遮挡 一组目标物体，从而描述这组目标物体之间的遮 关系描述为 挡关系。 2ymn Wmnt hmn 借鉴基本注意力模块scaled dot-product atten- Xm+xn ym+yn Wm him (1) tion)的思想，设计遮挡关系模块描述第n个目 式中：(xmym,wm,hn)和(xnyn,wn,hn)为两个目标 标和其他目标的遮挡关系特征f()为 m和n的几何特征向量；(xa,ym,wm,hmn)为目标 例=∑0m.(w,) (4) m和n的相交区域矩形坐标。为了使其特征具有 平移旋转不变性特征，对相交区域矩形坐标进行 式中：f”为第m个目标框的图像特征：w,是一个 变换，产生了一个如式(1)所示的4维关联几何空 线性变换操作，在代码中用1×1的卷积层实现： 间特征。为了筛选与目标n有遮挡的目标，并得 m是用来描述不同目标之间的遮挡关系权重， 到相交区域坐标，目标遮挡区域算法主要包含 该变量通过式(5)~(8)可以得到，在模型中通过 3个步骤： softmax实现。 1)输人为目标m和n坐标(mym,wm,hm)、(xa,yn 其中遮挡关系权重通过式（⑤）实现： wn,hn),计算目标m和n的中心点坐标(xm,ym)、 w·exp(u) ∑咄epu啊 (5) (xno,yo）o 2)判断目标m和n存在相互遮挡的条件为 式中主要通过几何特征权重⊙6和图像特征权重 (+w) wA计算遮挡关系权重dm,其中分式的分母为集 2) 合中所有目标相对第n个目标关系权重的和，目 tm-yaml≤hm+h.) 的是实现对第n个目标的遮挡关系权重的归一 化。其中w为第m个目标相对于第n个目标的 若同时满足式(2)、(3)，则目标m和n存在相 互遮挡。 图像特征权重，w为第m个目标相对于第n个 目标的几何特征权重，这两个特征权重的计算分 3)输出相交区域坐标(xmr,ym,wm,hnm)。当目 别通过式(6)和式(7)得到： 标m和n未遮挡时，相交区域坐标为(0,0,0,0)；当 dot(Wxfm,Wnf） 两目标存在相互遮挡时，通过式(3)计算相交区 (6) vde 域坐标： 式中Wx和W。分别表示将目标m和目标n映射 Xmn =max(m,n) 到低维空间，然后通过向量的内积来衡量两个目 ymn=max(ym:y) (3) 标框图像特征的相似性，分母d表示降维之后的 Winn min(W+x Wa+x)-xm 维度；dot代表点乘。 ha=min(h+yh+y)+ymm w=max0,Wc·ec(f,f)} (7) 1.2遮挡关系模块设计 式中u"表示为该目标集合的几何关系权重ωwc 本文通过设计遮挡关系模块提取图像中不同 与第m个目标相对于第n个目标的几何特征权重 标注框的相对遮挡程度，并通过升维操作将提取 的升维后向量的乘积。其中c函数用来将4维 到的遮挡信息转换为可以与全连接层提取到的特 的第m个目标框和第n个目标框之间的遮挡关系 征图进行融合的遮挡关系模块层。接下来将阐述 向量映射到高维空间。c将低维数据映射到了高 遮挡关系模块的具体设计方法。 维，映射后的维数为dc,本文选取了d=de=64。 假设SSD模型输入中有N个目标框，那么 在文献[22]中，sc函数中关于目标间的关系 N个目标框有2种特征集合fa和f6,fA是常规的 描述为 图像特征，即图片经过卷积提取到的目标框的外 观特征。f6是几何特征，即在数据集标注中得到 eeH）ee (8) 的目标框的位置特征（标注框的左上角顶点坐标 该方式仅仅描述了目标m相对于n的距离 和长宽，是一个4维的向量，在模型训练过程中 仅能体现简单的距离关系描述，不具有目标的相 4个向量大小随着图片相对于卷积层大小改变进 对方位等信息，且对一张图像中的所有目标都计 行缩放)。这两种特征是后续算法的基础，通过模 算了几何关系，而在输电线路巡检图像中，由于 型中卷积层的输出可得到一组目标框的这两种特 无人机巡检拍摄位置环境的不确定，金具间的相
需要对多类金具目标遮挡关系进行描述。 单张图片中标注框 m 相对于标注框 n 的遮挡 关系描述为 [ 2xmn xm + xn 2ymn ym +yn wmn wm hmn hm ]T (1) (xm, ym,wm,hm) (xn, yn,wn,hn) (xmn, ymn,wmn,hmn) 式中： 和 为两个目 标 m 和 n 的几何特征向量； 为目标 m 和 n 的相交区域矩形坐标。为了使其特征具有 平移旋转不变性特征，对相交区域矩形坐标进行 变换，产生了一个如式 (1) 所示的 4 维关联几何空 间特征。为了筛选与目标 n 有遮挡的目标，并得 到相交区域坐标，目标遮挡区域算法主要包含 3 个步骤： (xm, ym,wm,hm) (xn, yn, wn,hn) (xmo, ymo) (xno, yno) 1) 输入为目标 m 和 n 坐标 、 ，计算目标 m 和 n 的中心点坐标 、 。 2) 判断目标 m 和 n 存在相互遮挡的条件为 |xmo − xno| ⩽ 1 2 (wm +wn) |ymo −yno| ⩽ 1 2 (hm +hn) (2) 若同时满足式 (2)、(3)，则目标 m 和 n 存在相 互遮挡。 3) 输出相交区域坐标 (xmn, ymn,wmn,hmn) 。当目 标 m 和 n 未遮挡时，相交区域坐标为 (0,0,0,0)；当 两目标存在相互遮挡时，通过式（3）计算相交区 域坐标： xmn = max(xm, xn) ymn = max(ym, yn) wmn = min(wm + xm,wn + xn)− xmn hmn = min(hm +ym,hn +yn)+ymn (3) 1.2 遮挡关系模块设计 本文通过设计遮挡关系模块提取图像中不同 标注框的相对遮挡程度，并通过升维操作将提取 到的遮挡信息转换为可以与全连接层提取到的特 征图进行融合的遮挡关系模块层。接下来将阐述 遮挡关系模块的具体设计方法。 fA fG fA fG 假设 SSD 模型输入中有 N 个目标框，那么 N 个目标框有 2 种特征集合 和 ， 是常规的 图像特征，即图片经过卷积提取到的目标框的外 观特征。 是几何特征，即在数据集标注中得到 的目标框的位置特征 (标注框的左上角顶点坐标 和长宽，是一个 4 维的向量，在模型训练过程中 4 个向量大小随着图片相对于卷积层大小改变进 行缩放)。这两种特征是后续算法的基础，通过模 型中卷积层的输出可得到一组目标框的这两种特 征的集合，通过这两种特征的相互作用同时处理 一组目标物体，从而描述这组目标物体之间的遮 挡关系。 fR(n) 借鉴基本注意力模块 scaled dot-product attention[23] 的思想，设计遮挡关系模块描述第 n 个目 标和其他目标的遮挡关系特征 为 fR(n) = ∑ m ω mn ·(WV · f m A ) (4) f m A WV ω mn 式中： 为第 m 个目标框的图像特征； 是一个 线性变换操作，在代码中用 1×1 的卷积层实现； 是用来描述不同目标之间的遮挡关系权重， 该变量通过式 (5)~(8) 可以得到，在模型中通过 softmax 实现。 其中遮挡关系权重通过式 (5) 实现： ω mn = ω mn G · exp(ω mn A ∑ ) k ω kn G · exp(ω kn A ) (5) ωG ωA ω mn ω mn A ω mn G 式中主要通过几何特征权重 和图像特征权重 计算遮挡关系权重 ，其中分式的分母为集 合中所有目标相对第 n 个目标关系权重的和，目 的是实现对第 n 个目标的遮挡关系权重的归一 化。其中 为第 m 个目标相对于第 n 个目标的 图像特征权重， 为第 m 个目标相对于第 n 个 目标的几何特征权重，这两个特征权重的计算分 别通过式 (6) 和式 (7) 得到： ω mn A = dot(WK f m A ,WP f n A ) √ dk (6) WK WP dk 式中 和 分别表示将目标 m 和目标 n 映射 到低维空间，然后通过向量的内积来衡量两个目 标框图像特征的相似性，分母 表示降维之后的 维度；dot 代表点乘。 ω mn G = max{0,WG · εG(f m G , f n G )} (7) ω mn G ωG εG εG dG dk = dG = 64 式中 表示为该目标集合的几何关系权重 与第 m 个目标相对于第 n 个目标的几何特征权重 的升维后向量的乘积。其中 函数用来将 4 维 的第 m 个目标框和第 n 个目标框之间的遮挡关系 向量映射到高维空间。 将低维数据映射到了高 维，映射后的维数为 ，本文选取了 。 在文献 [22] 中，εG 函数中关于目标间的关系 描述为 [ lg( |xm − xn| wm ) lg( |ym −yn| hm ) lg( wn wm ) lg( hn hm )]T (8) 该方式仅仅描述了目标 m 相对于 n 的距离， 仅能体现简单的距离关系描述，不具有目标的相 对方位等信息，且对一张图像中的所有目标都计 算了几何关系，而在输电线路巡检图像中，由于 无人机巡检拍摄位置环境的不确定，金具间的相 ·658· 智 能 系 统 学 报 第 15 卷
第4期 赵振兵，等：嵌入遮挡关系模块的SSD模型的输电线路图像金具检测 ·659· 对位置关系容易受拍摄角度影响，远距离的金具 关系特征层与两个全连接层(FC)大小相同，因而 目标间往往不存在连接关系，原始关系模块不适 可以作为附加特征与前一层全连接层输出图像特 用于金具目标检测任务。相对于金具间的固定位 征相加作为最终用于目标分类和回归的特征图层。 置关系，金具标注框的相互遮挡信息更具代表性 特征图 遮挡关系层 遮挡关系+特征图 且其遮挡区域具有一定的结构化特点。在本文设 计的遮挡关系模块中，将原有关系模块中描述距 分类 离关系的式(8)改进为描述具有相互遮挡的两个 目标框间的遮挡关系，计算方法见式(I)。 根据式(1)(8)即可得到第n个目标的关系特 回明 征f(m,根据这个集合中目标数量N,使用N个 遮挡关系模块分别提取该模块中不同目标的关系 图3遮挡关系模块嵌入两层全连接层中间的示意图 特征，最后级联起来，如式(9)： Fig.3 Schematic diagram of occlusion relationship mod- ule embedded in the middle of two full connection f开=fr+Contact[f(m),fn,…,f(n】(9) layers 遮挡关系模块结构如图222，图中Wx、Wp、 SSD模型以VGG16网络24]为基础模型，并 Wc都起到了一定的变换维度的作用。首先单 且在基础模型后新增了卷积层以获得丰富的特征 个遮挡关系模块的输入为图像特征？和两个目 图用于目标检测，最后基于模型的Conv43、 标的几何特征f、f,通过1×1卷积得到W·”、 Conv6(FC6)、Conv7(FC7)、Conv8_2、Conv9_2、 Wx·f和Wf,然后对三者进行求和并将其输 Conv102、Conv112这7个层提取的特征图分 入到scaled dot模块中实现点乘操作并映射到 别做分类和回归，其中Conv6(FC6)和Conv7 64维。输入的两个目标的几何特征先通过c函 (FC7)两个卷积层大小维度相同。基于此，将遮 数映射到高维空间，与W。做内积后经过relu激 挡关系模块灵活地嵌入这两个层之间，完成遮挡 活函数得到w。然后将该目标几何中所有相对 关系模块的嵌入，最终SSD模型可以在融合遮挡 于第n个目标的wm与wv·f相乘并求和，得到 关系模块的Conv7层进行分类和回归，其示意如 第n个目标的关系特征f(m)。最后将N个目标的 图4。 遮挡关系模块提取的关系特征级联后，与图像特 征？相加后，得到融合遮挡关系特征的目标特 征负。 nv102 巡检图像 U SSD+关系模块 fg 相乘并求和 关系引 图4嵌入遮挡关系模块的SSD模型结构 Fig.4 SSD model structure embedded in occlusion rela- 级联 式(2) tionship module (ReLU 缩放点乘 2实验结果及分析 册6， 实验选取金具检测数据集中均压环、调整 va./aY 板、联板、重锤、U型挂环、挂板、提包式悬垂线 图2遮挡关系模块结构图 夹、防震锤8类金具作为实验对象。实验使用的 Fig.2 Occlusion relationship module structural diagram 金具训练集和测试集样本数分别为1167和288 1.3嵌入遮挡关系模块的SSD模型 张，分别包含了6271和1713个金具目标。 已设计的遮挡关系模块能够遍历目标集合中 本文中运行环境是基于Python3.5的tensor- 其他目标与该目标的遮挡关系，通过一系列维度 flow1.8.0框架，硬件环境为Ubuntul6.04以及 变换等操作，可以得到基于目标检测遮挡关系特 8GB内存，显卡为NVIDIA GeForce TITAN Xp。 征。图3给出了遮挡关系模块提取的关系特征层 为了验证遮挡关系模块的有效性，在SSD300的 嵌入两层全连接层中间的示意图，在遮挡关系模 基础上加入关系模块。本文采用主流的目标检测 块设计中，可以选取合适的矩阵变换使得生成的 模型的评价指标平均精度均值(mean average pre-
对位置关系容易受拍摄角度影响，远距离的金具 目标间往往不存在连接关系，原始关系模块不适 用于金具目标检测任务。相对于金具间的固定位 置关系，金具标注框的相互遮挡信息更具代表性 且其遮挡区域具有一定的结构化特点。在本文设 计的遮挡关系模块中，将原有关系模块中描述距 离关系的式 (8) 改进为描述具有相互遮挡的两个 目标框间的遮挡关系，计算方法见式 (1)。 fR(n) 根据式 (1)~(8) 即可得到第 n 个目标的关系特 征 ，根据这个集合中目标数量 N，使用 N 个 遮挡关系模块分别提取该模块中不同目标的关系 特征，最后级联起来，如式 (9)： ˆf n A = f n A +Contact[f 1 R (n), f 2 R (n),··· , f N R (n)] (9) WK WP WG f n A f m G f n G WV · f m A WK · f m A WP · f n A εG WG ω mn ω mn WV · f m A fR(n) f n A ˆf n A 遮挡关系模块结构如图 2 [ 2 2 ] ，图中 、 、 都起到了一定的变换维度的作用。首先单 个遮挡关系模块的输入为图像特征 和两个目 标的几何特征 、 ，通过 1×1 卷积得到 、 和 ，然后对三者进行求和并将其输 入到 scaled dot 模块中实现点乘操作并映射到 64 维。输入的两个目标的几何特征先通过 函 数映射到高维空间，与 做内积后经过 relu 激 活函数得到 。然后将该目标几何中所有相对 于第 n 个目标的 与 相乘并求和，得到 第 n 个目标的关系特征 。最后将 N 个目标的 遮挡关系模块提取的关系特征级联后，与图像特 征 相加后，得到融合遮挡关系特征的目标特 征 。 级联 相乘并求和 ReLU 缩放点乘 关系 关系 关系 ... 关系 ˆ 式 (2) WG WV WP WK εG {fR n} {fA n} {fA n} {fA n} {fG m , fG n} {fG m , fG n} 图 2 遮挡关系模块结构图 Fig. 2 Occlusion relationship module structural diagram 1.3 嵌入遮挡关系模块的 SSD 模型 已设计的遮挡关系模块能够遍历目标集合中 其他目标与该目标的遮挡关系，通过一系列维度 变换等操作，可以得到基于目标检测遮挡关系特 征。图 3 给出了遮挡关系模块提取的关系特征层 嵌入两层全连接层中间的示意图，在遮挡关系模 块设计中，可以选取合适的矩阵变换使得生成的 关系特征层与两个全连接层 (FC) 大小相同，因而 可以作为附加特征与前一层全连接层输出图像特 征相加作为最终用于目标分类和回归的特征图层。 遮挡关系层 分类 回归 FC FC 特征图 遮挡关系 + 特征图 图 3 遮挡关系模块嵌入两层全连接层中间的示意图 Fig. 3 Schematic diagram of occlusion relationship module embedded in the middle of two full connection layers SSD 模型以 VGG16 网络[24] 为基础模型，并 且在基础模型后新增了卷积层以获得丰富的特征 图用于目标检测，最后基于模型的 Conv4_3、 Conv6(FC6)、Conv7(FC7)、Conv8_2、Conv9_2、 Conv10_2、Conv11_2 这 7 个层提取的特征图分 别做分类和回归，其中 Conv6(FC6) 和 Conv7 (FC7) 两个卷积层大小维度相同。基于此，将遮 挡关系模块灵活地嵌入这两个层之间，完成遮挡 关系模块的嵌入，最终 SSD 模型可以在融合遮挡 关系模块的 Conv7 层进行分类和回归，其示意如 图 4。 关系 巡检图像 Conv4_3 VGG16 FC6 SSD + 关系模块 Conv7 Conv8_2 Conv9_2 Conv10_2 Pool11 NMS 图 4 嵌入遮挡关系模块的 SSD 模型结构 Fig. 4 SSD model structure embedded in occlusion relationship module 2 实验结果及分析 实验选取金具检测数据集中均压环、调整 板、联板、重锤、U 型挂环、挂板、提包式悬垂线 夹、防震锤 8 类金具作为实验对象。实验使用的 金具训练集和测试集样本数分别为 1 167 和 288 张，分别包含了 6 271 和 1 713 个金具目标。 本文中运行环境是基于 Python3.5 的 tensorflow1.8.0 框架，硬件环境为 Ubuntu16.04 以及 8 GB 内存，显卡为 NVIDIA GeForce TITAN Xp。 为了验证遮挡关系模块的有效性，在 SSD300 的 基础上加入关系模块。本文采用主流的目标检测 模型的评价指标平均精度均值 (mean average pre- 第 4 期 赵振兵，等：嵌入遮挡关系模块的 SSD 模型的输电线路图像金具检测 ·659·
·660· 智能系统学报 第15卷 cision,mAP)对模型进行评估，其中平均精度(av- 没有明显提升，但与之存在广泛遮挡连接关系的 erage precision,AP)是通过度量模型输出与Ground 提包式悬垂线夹、挂板、U型挂环等金具的准确 truth的距离来计算单类目标的检测准确率，mAP 率都有了明显的提升。 是多目标检测模型中的通用评价指标，即对检测 为了更好地评估本文方法，在相同的网络优 任务中所有类目标的AP计算平均值。表1给出 化参数设置、相同的骨干网络VGG16的基础上， 了加入遮挡关系模块前后的SSD模型的金具 对比了SSD、DSSD(deconvolutional single shot de- AP的结果。表中所有的实验结果都是在同一台 tector)2和本文方法的模型性能，实验中使用的 机器上进行，并且使用相同的网络优化超参数， 训练超参数相同，且输入均为300×300，实验结果 学习率设为0.001，最大迭代次数为12万次，批样 见表2 本处理数为16。 表2检测方法性能对比 表1遮挡关系模块加入前后金具的AP结果 Table 2 Performance comparison results of detection Table 1 Results of AP before and after adding occlusion methods relationship module 方法 mAP/% 召回率% 时长ms AP/ SSD 72.10 76.54 86 金具 SSD 本文方法 DSSD 75.26 87.73 174 重锤 88.89 87.66 本文方法 76.56 80.71 117 均压环 81.28 83.06 表2分别比较了模型的mAP、召回率和时 提包式悬垂线夹 长，其中第3列是模型的召回率recall,.即正确检 81.16 85.62 测出样本的概率，第4列是模型在检测速度上的 防震锤 80.43 87.01 比较，以模型在检测一张图片中所需的时长为标 联板 68.64 70.47 准。可以看出，与原始SSD和DSSD相比，本文 具有更高的mAP,而DSSD模型由于使用了对称 调整板 75.01 78.78 的反卷积结构，模型在小目标检测中表现更好， 挂板 45.38 54.09 具有更高的召回率，但模型的检测速度也随之降低。 U型挂环 56.01 65.78 图5给出了基于遮挡关系模块的SSD模型的 检测结果，为了便于观察，在图中标示了白色圆 从表1中可以看到，遮挡关系模块的嵌入对 角矩形框为误检目标，黑色圆角矩形框为漏检目 实验选用的8类金具的AP都有了2%~9%的提 标。可以看出，在原始SSD模型检测结果中，图5a) 升。其中在输电线路中起到连接作用的挂板、 中将塔材误检为联板，图5(c)中漏检了与左侧均 U型挂环均达到了9%左右的提升。在输电线路 压环上球头挂环连接的U型挂环，图5()中右下 中起到防止导线震动的防护金具防震锤，由于其 角被重锤遮挡的提包式悬垂线夹也没被原始 在巡检图像中成群出现，数据集中防震锤标注框 SSD模型检测出来，而在图5(b)、(d)、()中，这些 存在同类别相互遮挡，使用本文方法检测的AP值 图像在嵌入了遮挡关系模块的SSD模型进行测 有了6.58%的提升。重锤和均压环作为巡检图像 试的结果均有了很好的改善，验证了遮挡关系模 中相对较大的金具，使用本文方法其AP值虽然 块的有效性。 (a)原始SSD模型塔材错误检测结果 (b)嵌入遮挡关系模块后SSD模型 (c)原始SSD模型U型挂环漏检结果 金其正确检测结果
cision, mAP) 对模型进行评估，其中平均精度 (average precision, AP) 是通过度量模型输出与 Ground truth 的距离来计算单类目标的检测准确率，mAP 是多目标检测模型中的通用评价指标，即对检测 任务中所有类目标的 AP 计算平均值。表 1 给出 了加入遮挡关系模块前后的 SSD 模型的金具 AP 的结果。表中所有的实验结果都是在同一台 机器上进行，并且使用相同的网络优化超参数， 学习率设为 0.001，最大迭代次数为 12 万次，批样 本处理数为 16。 表 1 遮挡关系模块加入前后金具的 AP 结果 Table 1 Results of AP before and after adding occlusion relationship module 金具 AP/% SSD 本文方法 重锤 88.89 87.66 均压环 81.28 83.06 提包式悬垂线夹 81.16 85.62 防震锤 80.43 87.01 联板 68.64 70.47 调整板 75.01 78.78 挂板 45.38 54.09 U型挂环 56.01 65.78 从表 1 中可以看到，遮挡关系模块的嵌入对 实验选用的 8 类金具的 AP 都有了 2%~9% 的提 升。其中在输电线路中起到连接作用的挂板、 U 型挂环均达到了 9% 左右的提升。在输电线路 中起到防止导线震动的防护金具防震锤，由于其 在巡检图像中成群出现，数据集中防震锤标注框 存在同类别相互遮挡，使用本文方法检测的 AP 值 有了 6.58% 的提升。重锤和均压环作为巡检图像 中相对较大的金具，使用本文方法其 AP 值虽然 没有明显提升，但与之存在广泛遮挡连接关系的 提包式悬垂线夹、挂板、U 型挂环等金具的准确 率都有了明显的提升。 为了更好地评估本文方法，在相同的网络优 化参数设置、相同的骨干网络 VGG16 的基础上， 对比了 SSD、DSSD（deconvolutional single shot detector） [25] 和本文方法的模型性能，实验中使用的 训练超参数相同，且输入均为 300×300，实验结果 见表 2。 表 2 检测方法性能对比 Table 2 Performance comparison results of detection methods 方法 mAP/% 召回率/% 时长/ms SSD 72.10 76.54 86 DSSD 75.26 87.73 174 本文方法 76.56 80.71 117 表 2 分别比较了模型的 mAP、召回率和时 长，其中第 3 列是模型的召回率 recall，即正确检 测出样本的概率，第 4 列是模型在检测速度上的 比较，以模型在检测一张图片中所需的时长为标 准。可以看出，与原始 SSD 和 DSSD 相比，本文 具有更高的 mAP，而 DSSD 模型由于使用了对称 的反卷积结构，模型在小目标检测中表现更好， 具有更高的召回率，但模型的检测速度也随之降低。 图 5 给出了基于遮挡关系模块的 SSD 模型的 检测结果，为了便于观察，在图中标示了白色圆 角矩形框为误检目标，黑色圆角矩形框为漏检目 标。可以看出，在原始 SSD 模型检测结果中，图 5(a) 中将塔材误检为联板，图 5(c) 中漏检了与左侧均 压环上球头挂环连接的 U 型挂环，图 5(e) 中右下 角被重锤遮挡的提包式悬垂线夹也没被原始 SSD 模型检测出来，而在图 5(b)、(d)、(f) 中，这些 图像在嵌入了遮挡关系模块的 SSD 模型进行测 试的结果均有了很好的改善，验证了遮挡关系模 块的有效性。 Shockproof hammer/91.7% Yoke plate/29.6% Bag-type su Shockproof hammer/100.0% Grading ring/100.0% Grading ring/100.0% U-type hanging ring/20.9% Bag-type s (a) 原始 SSD 模型塔材错误检测结果 (b) 嵌入遮挡关系模块后 SSD 模型 金具正确检测结果 (c) 原始 SSD 模型 U 型挂环漏检结果 ·660· 智 能 系 统 学 报 第 15 卷
第4期 赵振兵，等：嵌入遮挡关系模块的SSD模型的输电线路图像金具检测 ·661· (d)嵌入遮挡关系模块后SSD模型 (C)原始SSD模型提包式悬 ()嵌入遮挡关系模块后SSD模型 U型挂环正确检测结果 垂线夹漏检结果 线夹正确检测结果 图5嵌入遮挡关系模块前后SSD模型检测结果 Fig.5 Detection results of SSD model before and after embedding occlusion relationship module 3结束语 diagnose on transmission line based on image procession[J].High voltage engineering,2013,39(5): 针对由于金具在输电线路中组装具有一定规 1040-1045. 则性导致的输电线路巡检图像中金具目标存在普 [5]陈晓娟，吴英石，赵亮.基于随机Hough变换的OP 遍遮挡、巡检图像金具检测数据集中目标标注框 GW防震锤识别.黑龙江电力，2010,32(1)上1-2. 相交且相交区域存在相似性的问题，本文提出了 CHEN Xiaojuan,WU Yingshi,ZHAO Liang.Identifica- 金具检测数据集中目标标注框间遮挡信息的描述 tion of OPGW vibration damper based on random Hough 方法，设计了基于遮挡关系描述的遮挡关系模 transformation[J].Heilongjiang electric power,2010, 32(1)少：1-2. 块，并将该模块嵌入SSD模型中。通过在包含 [6]江慎旺，许廷发，张增，等.基于无人机的输电网故障跳 8类金具的数据集上进行实验，嵌入遮挡关系模 线联板识别[U液晶与显示，2016,31(12)：1149-1155. 块的SSD的检测平均准确率较原始SSD模型有 JIANG Shenwang,XU Tingfa,ZHANG Zeng.Recogni- 了4.46%的提升，单类目标的AP提升最多达到 tion algorithm for fault jumper connection plate of trans- 9.77%。实验表明，结合金具目标中广泛存在的遮 mission network based on UAV[J].Chinese journal of li- 挡问题，提升模型在遮挡情况下的检测能力是实 quid crystals and displays,2016,31(12):1149-1155. 现金具检测效果进一步提升的有效思路。此外， [7]翟永杰，王迪，赵振兵.基于目标建议与结构搜索的绝缘 在金具标注框的重叠区域分析中，发现大部分的 子识别方法).华北电力大学学报，2016,43(4)：66-71. 重叠区域包含螺栓组件的部分信息，这为进一步 ZHAI Yongjie,WANG Di,ZHAO Zhenbing.Recognition 研究金具上的螺栓及其缺陷奠定了坚实的基础。 method of insulator based on object proposals and struc- ture research[J].Journal of North China Electric Power 参考文献 University,2016,43(4):66-71. [8]王森.输电线路图像上防震锤检测算法研究D1.北京： [1]赵强，左石.输电线路金具理论与应用M.北京：中国电 北京交通大学，2017：21-44 力出版社，2013：2-12. WANG Sen.Research on algorithms of vibration damper [2]傅博，姜勇，王洪光，等.输电线路巡检图像智能诊断系 detection on power line image[D].Beijing:Beijing Jiao- 统[).智能系统学报，2016,11(1)70-77. tong University,2017:21-44. FU Bo,JIANG Yong,WANG Hongguang,et al.Intelli- [9]刘永姣.输电线路绝缘子视觉跟踪技术应用研究D].成 gent diagnosis system for patrol check images of power 都：电子科技大学，2017：35-45. transmission lines[J].CAAI transactions on intelligent sys- LIU Yongjiao.Research on application of visual tracking tems,2016,11(1):70-77. technology of insulator for transmission line[D].Chengdu: [3]王身丽，黄力，侯金华，等.基于最大嫡的复合绝缘子表 University of Electronic Science and Technology of China, 面水珠图像分割算法研究[J】.通信电源技术，2018， 2017:35-45. 35(1):48-50. [1O]刘召，张黎明，耿美晓，等.基于改进的Faster R-CNN高 WANG Shenli,HUANG Li,HOU Jinhua,et al.Study on 压线缆目标检测方法).智能系统学报，2019,14(4)： segmentation method of water drops image on composite 627-634. insulator based on maximum entropy[J].Telecom power LIU Zhao,ZHANG Liming,GENG Meixiao,et al.Ob- technology,2018,35(1)48-50. ject detection of high-voltage cable based on improved [4]金立军，胡娟，闫书佳.基于图像的高压输电线间隔棒故 Faster R-CNN[J].CAAl transactions on intelligent sys- 障诊断方法).高电压技术，2013,39(5)：1040-1045. tems.2019,144):627-634. JIN Lijun,HU Juan,YAN Shujia.Method of spacer fault [11]汤踊，韩军，魏文力，等.深度学习在输电线路中部件识
Grading ring/87.1% Grading ring/100.0% U-type hanging ring/21.9% U-type hanging ring/98.4% Bag-type suspension clamp/100.0% Bag-type suspension clamp/100.0% Weight/100.0% Bag-type suspension clamp/89.2% Weight/92.2% Bag-type suspension clamp/55.0% Bag-type suspension clamp/95.1% Bag-type suspension clamp/97.2% Bag-type suspension clamp/24.0% (d) 嵌入遮挡关系模块后 SSD 模型 U 型挂环正确检测结果 (e) 原始 SSD 模型提包式悬 垂线夹漏检结果 (f) 嵌入遮挡关系模块后 SSD 模型 线夹正确检测结果 图 5 嵌入遮挡关系模块前后 SSD 模型检测结果 Fig. 5 Detection results of SSD model before and after embedding occlusion relationship module 3 结束语 针对由于金具在输电线路中组装具有一定规 则性导致的输电线路巡检图像中金具目标存在普 遍遮挡、巡检图像金具检测数据集中目标标注框 相交且相交区域存在相似性的问题，本文提出了 金具检测数据集中目标标注框间遮挡信息的描述 方法，设计了基于遮挡关系描述的遮挡关系模 块，并将该模块嵌入 SSD 模型中。通过在包含 8 类金具的数据集上进行实验，嵌入遮挡关系模 块的 SSD 的检测平均准确率较原始 SSD 模型有 了 4.46% 的提升，单类目标的 AP 提升最多达到 9.77%。实验表明，结合金具目标中广泛存在的遮 挡问题，提升模型在遮挡情况下的检测能力是实 现金具检测效果进一步提升的有效思路。此外， 在金具标注框的重叠区域分析中，发现大部分的 重叠区域包含螺栓组件的部分信息，这为进一步 研究金具上的螺栓及其缺陷奠定了坚实的基础。 参考文献： 赵强, 左石. 输电线路金具理论与应用 [M]. 北京: 中国电 力出版社, 2013: 2−12. [1] 傅博, 姜勇, 王洪光, 等. 输电线路巡检图像智能诊断系 统 [J]. 智能系统学报, 2016, 11(1): 70–77. FU Bo, JIANG Yong, WANG Hongguang, et al. Intelligent diagnosis system for patrol check images of power transmission lines[J]. CAAI transactions on intelligent systems, 2016, 11(1): 70–77. [2] 王身丽, 黄力, 侯金华, 等. 基于最大熵的复合绝缘子表 面水珠图像分割算法研究 [J]. 通信电源技术, 2018, 35(1): 48–50. WANG Shenli, HUANG Li, HOU Jinhua, et al. Study on segmentation method of water drops image on composite insulator based on maximum entropy[J]. Telecom power technology, 2018, 35(1): 48–50. [3] 金立军, 胡娟, 闫书佳. 基于图像的高压输电线间隔棒故 障诊断方法 [J]. 高电压技术, 2013, 39(5): 1040–1045. JIN Lijun, HU Juan, YAN Shujia. Method of spacer fault [4] diagnose on transmission line based on image procession[J]. High voltage engineering, 2013, 39(5): 1040–1045. 陈晓娟, 吴英石, 赵亮. 基于随机 Hough 变换的 OPGW 防震锤识别 [J]. 黑龙江电力, 2010, 32(1): 1–2. CHEN Xiaojuan, WU Yingshi, ZHAO Liang. Identification of OPGW vibration damper based on random Hough transformation[J]. Heilongjiang electric power, 2010, 32(1): 1–2. [5] 江慎旺, 许廷发, 张增, 等. 基于无人机的输电网故障跳 线联板识别 [J]. 液晶与显示, 2016, 31(12): 1149–1155. JIANG Shenwang, XU Tingfa, ZHANG Zeng. Recognition algorithm for fault jumper connection plate of transmission network based on UAV[J]. Chinese journal of liquid crystals and displays, 2016, 31(12): 1149–1155. [6] 翟永杰, 王迪, 赵振兵. 基于目标建议与结构搜索的绝缘 子识别方法 [J]. 华北电力大学学报, 2016, 43(4): 66–71. ZHAI Yongjie, WANG Di, ZHAO Zhenbing. Recognition method of insulator based on object proposals and structure research[J]. Journal of North China Electric Power University, 2016, 43(4): 66–71. [7] 王森. 输电线路图像上防震锤检测算法研究 [D]. 北京: 北京交通大学, 2017: 21−44. WANG Sen. Research on algorithms of vibration damper detection on power line image[D]. Beijing: Beijing Jiaotong University, 2017: 21−44. [8] 刘永姣. 输电线路绝缘子视觉跟踪技术应用研究 [D]. 成 都: 电子科技大学, 2017: 35−45. LIU Yongjiao. Research on application of visual tracking technology of insulator for transmission line[D]. Chengdu: University of Electronic Science and Technology of China, 2017: 35−45. [9] 刘召, 张黎明, 耿美晓, 等. 基于改进的 Faster R-CNN 高 压线缆目标检测方法 [J]. 智能系统学报, 2019, 14(4): 627–634. LIU Zhao, ZHANG Liming, GENG Meixiao, et al. Object detection of high-voltage cable based on improved Faster R-CNN[J]. CAAI transactions on intelligent systems, 2019, 14(4): 627–634. [10] [11] 汤踊, 韩军, 魏文力, 等. 深度学习在输电线路中部件识 第 4 期 赵振兵，等：嵌入遮挡关系模块的 SSD 模型的输电线路图像金具检测 ·661·
·662· 智能系统学报 第15卷 别与缺陷检测的研究).电子测量技术，2018,41(6)： [20]MOTTAGHI R,CHEN X,LIU X,et al.The role of con- 60-65. text for object detection and semantic segmentation in the TANG Yong.HAN Jun,WEI Wenli,et al.Research on wild[Cl//Proceedings of the IEEE Conference on Com- part recognition and defect detection of transmission line puter Vision and Pattern Recognition,Columbus,USA, in deep learning[J].Electronic measurement technology, 2014:891-898. 2018.41(6):60-65 [21]LIU Y,WANG R,SHAN S,et al.Structure inference net: [12]高强，廉启旺.航拍图像中绝缘子目标检测的研究) object detection using scene-level context and instance- 电测与仪表，2019,56(5)：119-123 level relationships[C]//Proceedings of the IEEE Confer- GAO Qiang,LIAN Qiwang.Research on target detection ence on Computer Vision and Pattern Recognition,Salt of insulator in aerial image[J].Electrical measurement Lake City,USA,2018:6985-6994. and instrumentation,2019,56(5):119-123 [22]HU H,GU J,ZhANG Z,et al.Relation networks for ob- [13]赵振兵，崔雅萍，戚银城，等.基于改进的R-FCN航拍 ject detection[C]//Proceedings of the IEEE Conference on 巡线图像中的绝缘子检测方法.计算机科学，2019， Computer Vision and Pattern Recognition,Salt Lake City, 46(3):159-163. USA,2018:3588-3597. ZHAO Zhenbing,CUI Yaping,QI Yincheng,et al.Detec- [23]VASWANI A,SHAZEER N,PARMAR N,et al.Atten- tion method of insulator in aerial inspection image based tion is all you need[C]//Advances in Neural Information on modified R-FCN[J].Computer science,2019,46(3): Processing Systems.Long Beach,USA,2017:5998- 159-163. 6008. [14]赵文清，程幸福，赵振兵，等.注意力机制和Faster [24]葛园园，许有疆，赵帅，等.自动驾驶场景下小且密集的 RCNN相结合的绝缘子识别).智能系统学报，2020， 交通标志检测).智能系统学报，2018,13(3：366-372 15(192-98 GE Yuanyuan,XU Youjiang,ZHAO Shuai,et al.Detec- ZHAO Wenqing,CHENG Xingfu,ZHAO Zhenbing,et tion of small and dense traffic signs in self-driving scen- al.Insulator recognition based on attention mechanism arios[J].CAAI transactions on intelligent systems,2018, and Faster RCNN[J].CAAI transactions on intelligent 13(3366-372. systems..2020,15(1):92-98. [25]FU C Y,LIU W,RANGA A,et al.DSSD:deconvolution- [15]张东，邱翔，曹成功，等.结合聚合通道和复频域特征的 al single shot detector[C]//Proceedings of the IEEE Con- 防震锤检测算法).计算机技术与发展，2020(2)：1-7. ference on Computer Vision and Pattern Recognition. ZHANG Dong,QIU Xiang,CAO Chenggong,et al.Al- Hawaii Convention Center,USA.2017:2881-2890. gorithm of vibration damper detection combined with ag- 作者简介： gregation channel and complex frequency domain fea- tures[J].Computer technology and development,2020(2): 1-7. 赵振兵，副教授，博士，主要研究 [16]LIU W.ANGUELOV D.ERHAN D,et al.SSD:single 方向为电力视觉。主持国家自然科学 基金等纵向课题10项：获河北省科技 shot multibox detector[C]//European Conference on Com- 进步一等奖1项。以第一完成人获得 puterVision.Amsterdam,Netherlands,2016:21-37. 国家专利授权16项。发表学术论文 [17刀赵文清，周震东，翟永杰.基于反卷积和特征融合的 30余篇，出版专著2部。 SSD小目标检测算法[).智能系统学报，2020,15(2)： 310-316 ZHAO Wenqing,ZHOU Zhendong,ZHAI Yongjie.SSD 江爱雪，硕士研究生，主要研究方 small target detection algorithm based on deconvolution 向为电力目标检测与深度学习。 and feature fusion[J].CAAI transactions on intelligent systems,2020,15(2):310-316. [18]伍鹏瑛，张建明.彭建，等.多层卷积特征的真实场景下 行人检测研究).智能系统学报，2019,14(2)：306-315. WU Pengying,ZHANG Jianming,PENG Jian,et al.Re- search on pedestrian detection based on multi-layer con- 赵文清，教授，博士，主要研究方 volution feature in real scene[J].CAAI transactions on in- 向为人工智与数据挖掘。发表学术论 telligent systems,2019,14(2):306-315. 文50余篇。 [19]CHEN X,GUPTA A.Spatial memory for context reason- ing in object detection[Cl//Proceedings of the IEEE Inter- national Conference on Computer Vision,Venice,Italy, 2017:4086-4096
别与缺陷检测的研究 [J]. 电子测量技术, 2018, 41(6): 60–65. TANG Yong, HAN Jun, WEI Wenli, et al. Research on part recognition and defect detection of transmission line in deep learning[J]. Electronic measurement technology, 2018, 41(6): 60–65. 高强, 廉启旺. 航拍图像中绝缘子目标检测的研究 [J]. 电测与仪表, 2019, 56(5): 119–123. GAO Qiang, LIAN Qiwang. Research on target detection of insulator in aerial image[J]. Electrical measurement and instrumentation, 2019, 56(5): 119–123. [12] 赵振兵, 崔雅萍, 戚银城, 等. 基于改进的 R-FCN 航拍 巡线图像中的绝缘子检测方法 [J]. 计算机科学, 2019, 46(3): 159–163. ZHAO Zhenbing, CUI Yaping, QI Yincheng, et al. Detection method of insulator in aerial inspection image based on modified R-FCN[J]. Computer science, 2019, 46(3): 159–163. [13] 赵文清, 程幸福, 赵振兵, 等. 注意力机制和 Faster RCNN 相结合的绝缘子识别 [J]. 智能系统学报, 2020, 15(1): 92–98. ZHAO Wenqing, CHENG Xingfu, ZHAO Zhenbing, et al. Insulator recognition based on attention mechanism and Faster RCNN[J]. CAAI transactions on intelligent systems, 2020, 15(1): 92–98. [14] 张东, 邱翔, 曹成功, 等. 结合聚合通道和复频域特征的 防震锤检测算法 [J]. 计算机技术与发展, 2020(2): 1–7. ZHANG Dong, QIU Xiang, CAO Chenggong, et al. Algorithm of vibration damper detection combined with aggregation channel and complex frequency domain features[J]. Computer technology and development, 2020(2): 1–7. [15] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[C]//European Conference on ComputerVision. Amsterdam, Netherlands, 2016: 21−37. [16] 赵文清, 周震东, 翟永杰. 基于反卷积和特征融合的 SSD 小目标检测算法 [J]. 智能系统学报, 2020, 15(2): 310–316. ZHAO Wenqing, ZHOU Zhendong, ZHAI Yongjie. SSD small target detection algorithm based on deconvolution and feature fusion[J]. CAAI transactions on intelligent systems, 2020, 15(2): 310–316. [17] 伍鹏瑛, 张建明, 彭建, 等. 多层卷积特征的真实场景下 行人检测研究 [J]. 智能系统学报, 2019, 14(2): 306–315. WU Pengying, ZHANG Jianming, PENG Jian, et al. Research on pedestrian detection based on multi-layer convolution feature in real scene[J]. CAAI transactions on intelligent systems, 2019, 14(2): 306–315. [18] CHEN X, GUPTA A. Spatial memory for context reasoning in object detection[C]//Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 2017: 4086−4096. [19] MOTTAGHI R, CHEN X, LIU X, et al. The role of context for object detection and semantic segmentation in the wild[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 891−898. [20] LIU Y, WANG R, SHAN S, et al. Structure inference net: object detection using scene-level context and instancelevel relationships[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 6985−6994. [21] HU H, GU J, ZhANG Z, et al. Relation networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 3588−3597. [22] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. Long Beach, USA, 2017: 5998− 6008. [23] 葛园园, 许有疆, 赵帅, 等. 自动驾驶场景下小且密集的 交通标志检测 [J]. 智能系统学报, 2018, 13(3): 366–372. GE Yuanyuan, XU Youjiang, ZHAO Shuai, et al. Detection of small and dense traffic signs in self-driving scenarios[J]. CAAI transactions on intelligent systems, 2018, 13(3): 366–372. [24] FU C Y, LIU W, RANGA A, et al. DSSD: deconvolutional single shot detector[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii Convention Center, USA, 2017: 2881−2890. [25] 作者简介： 赵振兵，副教授，博士，主要研究 方向为电力视觉。主持国家自然科学 基金等纵向课题 10 项；获河北省科技 进步一等奖 1 项。以第一完成人获得 国家专利授权 16 项。发表学术论文 30 余篇，出版专著 2 部。 江爱雪，硕士研究生，主要研究方 向为电力目标检测与深度学习。 赵文清，教授，博士，主要研究方 向为人工智与数据挖掘。发表学术论 文 50 余篇。 ·662· 智 能 系 统 学 报 第 15 卷