第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feh.2016 D0I:10.11992/is.201503043 网络出版地址:htp:/www.cmki.net/kcms/detail/23.1538.TP.20151229.0837.008.html 输电线路巡检图像智能诊断系统 傅博1,姜勇1,王洪光1,姜文东2,宋屹峰1,王灿灿3,初金良3,赵彦平4 (1.中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁沈阳110016:2.国家电网浙江省电力公司,浙江 杭州310007:3.国网浙江省电力公司丽水供电公司,浙江丽水323000:4.国网山西省电力公司检修分公司,山西太 原030000) 摘要:随着电网系统对安全性的要求不断提高,机器人等自动化设备越来越多地应用到电力巡检中,人工手段对 设备采集的图像进行缺陷检测存在效率低、检测结果不稳定的缺点。为此提出并开发了一种输电线路巡检图像智 能诊断系统。在系统中构建了分层软件结构,基于Visual Studio2010开发环境,开发了图像导人、数据库访问、文本 输出等功能模块,使用了多种检测算法,且利用AD0技术以实现对数据库的访问和修改。软件测试的结果表明该系 统具有工作效率高、错误率低、界面友好等优点,适用于输电线路巡检图像的检测工作。 关键词:机器人:输电线路巡检:智能诊断:图像处理:批量检测:数据库:分层软件结构 中图分类号:TP311.1文献标志码:A文章编号:1673-4785(2016)01-0070-08 中文引用格式:傅博,姜勇,王洪光,等.输电线路巡检图像智能诊断系统[J].智能系统学报,2016,11(1):70-77. 英文引用格式:FUBo,JIANG Yong,WANG Hongguang,etal.Intelligent diagnosis system for patrol check images of power trans- mission lines[J].CAAI Transactions on Intelligent Systems,2016,11(1):70-77. Intelligent diagnosis system for patrol check images of power transmission lines FU Bo',JIANG Yong',WANG Hongguang',JIANG Wendong?,SONG Yifeng', WANG Cancan3,CHU Jinliang,ZHAO Yanping (1.State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110016,China; 2.State Grid Zhejiang Electric Power Company,Hangzhou 310007,China;3.Lishui Power Supply Company,Lishui 323000,China; 4.State Grid Shanxi Electric Power Maintenance Company,Taiyuan 030000,China) Abstract:With the growing demand for safety in power systems,more automatic equipment is being used for power inspection.The manual detection of defects from equipment-collected images has a number of drawbacks,including low efficiency and unreliable detection results.In this study,we propose an intelligent diagnosis system for patrol check images of power transmission lines.In the proposed system,we constructed a layered software structure,and using the Visual Studio 2010 development environment,we developed an image importing module,a database ac- cess module,and a text output module.We also applied various diagnostic algorithms in the system.Based on Mi- crosoft's ADO technology,we entered access and modification operations into the database.The software test re- sults show that the system has a number of advantages,including high efficiency,a low error rate,and a user- friendly interface.It is readily applicable for detection of defects in patrol check images of power transmission lines. Keywords:robot;patrol check for power transmission line;intelligent diagnosis;image processing;batch detec- tion;database;layered software structure 在电力行业,机器人在对输电线路进行巡检的 过程中,会拍摄下沿线的照片作为缺陷诊断的依据。 但是大量的巡检照片目前仍是通过人工检查,不仅 收稿日期:2015-03-27.网络出版日期:2015-12-29. 需要花费较多的时间精力,也不能保障检测结果的 通信作者:傅博.E-mail:fbo@sia.cn
第 11 卷第 1 期 智 能 系 统 学 报 Vol.11 №.1 2016 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2016 DOI:10.11992 / tis.201503043 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20151229.0837.008.html 输电线路巡检图像智能诊断系统 傅博1 ,姜勇1 ,王洪光1 ,姜文东2 ,宋屹峰1 ,王灿灿3 ,初金良3 ,赵彦平4 (1.中国科学院沈阳自动化研究所 机器人学国家重点实验室,辽宁 沈阳 110016; 2.国家电网浙江省电力公司,浙江 杭州 310007; 3.国网浙江省电力公司丽水供电公司,浙江 丽水 323000; 4.国网山西省电力公司检修分公司,山西 太 原 030000) 摘 要:随着电网系统对安全性的要求不断提高,机器人等自动化设备越来越多地应用到电力巡检中,人工手段对 设备采集的图像进行缺陷检测存在效率低、检测结果不稳定的缺点。 为此提出并开发了一种输电线路巡检图像智 能诊断系统。 在系统中构建了分层软件结构,基于 Visual Studio 2010 开发环境,开发了图像导入、数据库访问、文本 输出等功能模块,使用了多种检测算法,且利用 ADO 技术以实现对数据库的访问和修改。 软件测试的结果表明该系 统具有工作效率高、错误率低、界面友好等优点,适用于输电线路巡检图像的检测工作。 关键词:机器人;输电线路巡检;智能诊断;图像处理;批量检测;数据库;分层软件结构 中图分类号:TP311.1 文献标志码:A 文章编号:1673⁃4785(2016)01⁃0070⁃08 中文引用格式:傅博,姜勇,王洪光,等.输电线路巡检图像智能诊断系统[J]. 智能系统学报, 2016, 11(1): 70⁃77. 英文引用格式:FU Bo, JIANG Yong, WANG Hongguang,et al. Intelligent diagnosis system for patrol check images of power trans⁃ mission lines[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 70⁃77. Intelligent diagnosis system for patrol check images of power transmission lines FU Bo 1 , JIANG Yong 1 , WANG Hongguang 1 , JIANG Wendong 2 , SONG Yifeng 1 , WANG Cancan 3 , CHU Jinliang 3 , ZHAO Yanping 4 (1. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China; 2. State Grid Zhejiang Electric Power Company, Hangzhou 310007, China; 3. Lishui Power Supply Company, Lishui 323000, China; 4. State Grid Shanxi Electric Power Maintenance Company, Taiyuan 030000, China) Abstract:With the growing demand for safety in power systems, more automatic equipment is being used for power inspection. The manual detection of defects from equipment⁃collected images has a number of drawbacks, including low efficiency and unreliable detection results. In this study, we propose an intelligent diagnosis system for patrol check images of power transmission lines. In the proposed system, we constructed a layered software structure, and using the Visual Studio 2010 development environment, we developed an image importing module, a database ac⁃ cess module, and a text output module. We also applied various diagnostic algorithms in the system. Based on Mi⁃ crosoft’s ADO technology, we entered access and modification operations into the database. The software test re⁃ sults show that the system has a number of advantages, including high efficiency, a low error rate, and a user⁃ friendly interface. It is readily applicable for detection of defects in patrol check images of power transmission lines. Keywords:robot; patrol check for power transmission line; intelligent diagnosis; image processing; batch detec⁃ tion; database; layered software structure 收稿日期:2015⁃03⁃27. 网络出版日期:2015⁃12⁃29. 通信作者:傅博. E⁃mail: fubo@ sia.cn. 在电力行业,机器人在对输电线路进行巡检的 过程中,会拍摄下沿线的照片作为缺陷诊断的依据。 但是大量的巡检照片目前仍是通过人工检查,不仅 需要花费较多的时间精力,也不能保障检测结果的
第1期 傅博,等:输电线路巡检图像智能诊断系统 ·71 稳定性和准确率。 1 目前国内外在电力图像检测领域的研究主要是 算法介绍 针对常见的线路缺陷类型或特定问题进行检测、识 11算法总体概述 别,例如输电线断股、螺丝脱落、绝缘子破损、防振锤 出于实际需要,系统集成了“线上悬挂异物”、 破损、线夹破损、间隔棒的定位等。国外方面 “线路断股”、“间隔棒断裂”、“玻璃绝缘子自爆”、 Wai Ho Li博士研究的算法能够通过对导线的定位 “导线磨损”等几种缺陷检测算法。 以及对导线间断点的分析,判断出间隔棒的位 “线上悬挂异物”和“线路断股”两种算法均利 置[)。国内方面刘国海等通过简单的区域几何特 用LSD对导线进行定位并计算沿线矩阵的迹,设定 性分析,并结合遗传径向基网络实现绝缘瓷瓶的识 不同的阈值,来判断导线上是存在异物还是存在断 别[6。魏振中等通过霍夫变换结合投影统计实现 股现象。 导线检测与缺陷识别,并在阈值法图像分割的基础 “玻璃绝缘子自爆算法”在Lab特征空间中,采 上,使用查询模板与置信度分析相结合的方法实现 用Osu法定位绝缘子,再通过计算绝缘子各部件间 绝缘子与障碍物的判别)。王晓鹏等对输电设备 的相似性并搜索相似度最小值,从而估计绝缘子缺 积冰的图像分析方法进行了研究,提出了基于小波 陷所处的位置。 变换以及浮动阈值的釉积冰检测以及基于优化阈值 “间隔棒断裂”算法将图像进行二值化处理后, 与图像形态学操作的不透明雾淞积冰识别算法[劉。 计算连通域的个数,如果个数大于1,则认为存在间 总的来说,该方向的研究工作仍处于理论研究 隔棒断裂情况。 与仿真测试阶段。根据所查,目前尚无整合多种算 算法均被封装为动态链接库的形式,被主程序 法,对图像进行批量检测,并对缺陷检测的整个流程 调用,方便日后的升级维护。 进行管理的系统应用。本文提出了一种输电线路巡 1.2“导线磨损”检测算法分析 检图像检测系统,该系统使用多种智能缺陷诊断算 本节主要以“导线磨损检测”为例,对算法的检 法,用于巡检图片的批量检测工作,并能够对图像信 测原理进行介绍。 息进行集中管理,最终可以将分析结果输出为标准 “导线磨损”检测算法针对导线上的磨损缺陷 格式的检测报告。减少了人力工作量,提高了工作 进行检测。检测流程可以分为4步,如图1所示。 效率,也保证了缺陷检测的准确率。 原始图像 图 灰度图转化 二值化处理 像特征 水平投影获取直方图 处理 高斯滤波 取 信号周期分析 加 感 线路边缘提取 周期性特点 特 趣区 保留线路区域 :满足周期性特 的 :点,无缺陷 不满足周期特 7 检测结果 点,存在缺陷 别 取 图像裁剪与旋转 记录 检测完毕 图1“导线磨损”检测算法流程图 Fig.1 Flow diagram of "conductor abrasion"detection algorithm
稳定性和准确率。 目前国内外在电力图像检测领域的研究主要是 针对常见的线路缺陷类型或特定问题进行检测、识 别,例如输电线断股、螺丝脱落、绝缘子破损、防振锤 破损、线夹破损、间隔棒的定位等[1⁃4] 。 国外方面 Wai Ho Li 博士研究的算法能够通过对导线的定位 以及对 导 线 间 断 点 的 分 析, 判 断 出 间 隔 棒 的 位 置[5] 。 国内方面刘国海等通过简单的区域几何特 性分析,并结合遗传径向基网络实现绝缘瓷瓶的识 别[6] 。 魏振中等通过霍夫变换结合投影统计实现 导线检测与缺陷识别,并在阈值法图像分割的基础 上,使用查询模板与置信度分析相结合的方法实现 绝缘子与障碍物的判别[7] 。 王晓鹏等对输电设备 积冰的图像分析方法进行了研究,提出了基于小波 变换以及浮动阈值的釉积冰检测以及基于优化阈值 与图像形态学操作的不透明雾凇积冰识别算法[8] 。 总的来说,该方向的研究工作仍处于理论研究 与仿真测试阶段。 根据所查,目前尚无整合多种算 法,对图像进行批量检测,并对缺陷检测的整个流程 进行管理的系统应用。 本文提出了一种输电线路巡 检图像检测系统,该系统使用多种智能缺陷诊断算 法,用于巡检图片的批量检测工作,并能够对图像信 息进行集中管理,最终可以将分析结果输出为标准 格式的检测报告。 减少了人力工作量,提高了工作 效率,也保证了缺陷检测的准确率。 1 算法介绍 1.1 算法总体概述 出于实际需要,系统集成了 “线上悬挂异物”、 “线路断股”、“间隔棒断裂”、“玻璃绝缘子自爆”、 “导线磨损”等几种缺陷检测算法。 “线上悬挂异物”和“线路断股”两种算法均利 用 LSD 对导线进行定位并计算沿线矩阵的迹,设定 不同的阈值,来判断导线上是存在异物还是存在断 股现象。 “玻璃绝缘子自爆算法”在 Lab 特征空间中,采 用 Ostu 法定位绝缘子,再通过计算绝缘子各部件间 的相似性并搜索相似度最小值,从而估计绝缘子缺 陷所处的位置。 “间隔棒断裂”算法将图像进行二值化处理后, 计算连通域的个数,如果个数大于 1,则认为存在间 隔棒断裂情况。 算法均被封装为动态链接库的形式,被主程序 调用,方便日后的升级维护。 1.2 “导线磨损”检测算法分析 本节主要以“导线磨损检测”为例,对算法的检 测原理进行介绍。 “导线磨损” 检测算法针对导线上的磨损缺陷 进行检测。 检测流程可以分为 4 步,如图 1 所示。 图 1 “导线磨损”检测算法流程图 Fig.1 Flow diagram of “conductor abrasion” detection algorithm 第 1 期 傅博,等:输电线路巡检图像智能诊断系统 ·71·
.72 智能系统学报 第11卷 图2(a)为一张有磨损缺陷的原始图像。 2)第2步为获取感兴趣区域,通过图像边缘检 1)第1步为图像预处理阶段,主要完成图像的 测的手段,得到输电线路[)。 灰度图转化、降噪。 图像的边缘有方向和幅度2个属性,沿边缘方 在RGB模型中,如果R=G=B时,则彩色表示 向像素变化平缓,垂直于边缘方向像素变化剧烈,如 一种灰度颜色,其中R=G=B的值叫灰度值。因此 图3(a)所示。边缘上的这种变化可以用微分算子 灰度图像每个像素只需一个字节存放灰度值(又称 强度值、亮度值),灰度范围为0~255。这里采用平 检测出来,通常用一阶或二阶导数来检测边缘。 均值法进行处理。处理后,图像的灰度值是彩色图 像三分量的平均值。 fi,j》=(R(i,)+G(i,j)+B(i,j))/3 经灰度化处理后的图像如图2(b)。为了抑制 噪声、改善图像质量,采用中值平滑滤波器对图像进 行平滑处理。降噪后的结果如图2(c)所示。 (a)边缘检测前图像 (a)原始图像 (b)确定电线位置 图3边缘检测 Fig.3 Edge detection 采用Hough变换提取图像中的直线信息,输电 线边缘直线L,与L,在图像坐标系w中的表达分 别为ucosB,+vsin B,=p1与ucos B2+sinB,=p2,满足 (b)灰度化处理后图像 如下条件: [sin B cosB] B1-B|≤52 IB2-Ba|≤2 式中:B-BB:为线路边缘直线方向:u4如]”为 2 从输电线边缘直线L,上一点到直线L2上一点的矢 量;ω。与B。分别为线路宽度对应的像素数与线路 (c)降噪处理后图像 角度;1、52为设定的阈值。 图2灰度化、降噪处理 以获取的线路边缘作为基准,对线路图像进行 Fig.2 Gray and noise reduction processing 裁剪,得到输电线路对象。如图3(b)所示
图 2(a)为一张有磨损缺陷的原始图像。 1)第 1 步为图像预处理阶段,主要完成图像的 灰度图转化、降噪。 在 RGB 模型中,如果 R = G = B 时,则彩色表示 一种灰度颜色,其中 R = G = B 的值叫灰度值。 因此 灰度图像每个像素只需一个字节存放灰度值(又称 强度值、亮度值),灰度范围为 0 ~ 255。 这里采用平 均值法进行处理。 处理后,图像的灰度值是彩色图 像三分量的平均值。 f(i,j) = (R(i,j) + G(i,j) + B(i,j)) / 3 经灰度化处理后的图像如图 2( b)。 为了抑制 噪声、改善图像质量,采用中值平滑滤波器对图像进 行平滑处理。 降噪后的结果如图 2(c)所示。 (a)原始图像 (b)灰度化处理后图像 (c)降噪处理后图像 图 2 灰度化、降噪处理 Fig.2 Gray and noise reduction processing 2)第 2 步为获取感兴趣区域,通过图像边缘检 测的手段,得到输电线路[9] 。 图像的边缘有方向和幅度 2 个属性,沿边缘方 向像素变化平缓,垂直于边缘方向像素变化剧烈,如 图 3(a)所示。 边缘上的这种变化可以用微分算子 检测出来,通常用一阶或二阶导数来检测边缘。 (a)边缘检测前图像 (b)确定电线位置 图 3 边缘检测 Fig.3 Edge detection 采用 Hough 变换提取图像中的直线信息,输电 线边缘直线 L1 与 L2 在图像坐标系 uv 中的表达分 别为 ucos β1 +vsin β1 = ρ1 与 ucos β2 +vsin β2 = ρ2 ,满足 如下条件: [sin β cos β]· Δu Δv é ë ê ê ù û ú ú - ωd ≤ ζ1 β1 - βd ≤ ζ2 β2 - βd ≤ ζ2 ì î í ï ï ï ï ïï 式中:β = β1 +β2 2 为线路边缘直线方向; [Δu Δv] T 为 从输电线边缘直线 L1 上一点到直线 L2 上一点的矢 量;ωd 与 βd 分别为线路宽度对应的像素数与线路 角度;ζ1 、ζ2 为设定的阈值。 以获取的线路边缘作为基准,对线路图像进行 裁剪,得到输电线路对象。 如图 3(b)所示。 ·72· 智 能 系 统 学 报 第 11 卷
第1期 傅博,等:输电线路巡检图像智能诊断系统 ·73 3)第3步为图像特征提取。 在图5所示的直方图中,未磨伤线路呈现出规 首先对输电线路范围进行二值化处理,而后将 律的周期性,线股与线股间隙交替出现,出现在竖直 图像旋转r(τ为线股与线路边缘的夹角),使输电 方向的距离分别为线股宽度与线股间隙宽度。而磨 线路线股处于水平方向,如图4所示。 伤缺陷将导致磨伤区域线股间隙不明显,是否存在 周期性规律,可以作为磨伤的判别标准,最后将对应 区域进行定位,智能化地将缺陷标注出来,得到分析 y 结果如图6所示。 图4旋转后的二值化图像 Fig.4 Binary image after rotation 沿竖直方向计算每一列中灰度值为1的像素个 数,可以得到二值化图像的分布直方图,如图5。 300 250 磨伤区域 茶200 编150 图6诊断结果 Fig.6 Diagnosis result 以上就是“导线磨损检测”算法的实现原理。 坚直方向距离 2软件设计 2.1软件总体结构 图5二值化图像的分布直方图 为了便于软件的开发和维护,提高系统的工作 Fig.5 Distribution histogram of binary image 效率,提出了分层式架构,软件系统由底层至顶层分 4)第4步为特征假设判别,通过对二值化图像 别是:数据层、数据访问层、算法层、应用层和用户 分布直方图进行周期性分析,来完成缺陷的检测。 层,如图7所示。 状态显示界面 指令参数界面 图像界面 分析显示界面 用户层 状态接口 指令接口 图像数据接口 应用层 任务调度管理 缺陷诊断 数据统计 系统信息 预警 分析 管理 文档处理 算法层 图像预处形态学 滤波去噪 边缘检测 图像分判特征提取图像匹配缺陷识别 理算法 算法 算法 算法 算法 算法 算法 算法 数据访问层圆 数据访问接口 变 数据层 输电线路巡检图像 算法处理后图像 数据库 数据库 图7分层式软件结构 Fig.7 Stratified software structure
3)第 3 步为图像特征提取。 首先对输电线路范围进行二值化处理,而后将 图像旋转 τ( τ 为线股与线路边缘的夹角),使输电 线路线股处于水平方向,如图 4 所示。 图 4 旋转后的二值化图像 Fig.4 Binary image after rotation 沿竖直方向计算每一列中灰度值为 1 的像素个 数,可以得到二值化图像的分布直方图,如图 5。 图 5 二值化图像的分布直方图 Fig.5 Distribution histogram of binary image 4)第 4 步为特征假设判别,通过对二值化图像 分布直方图进行周期性分析,来完成缺陷的检测。 在图 5 所示的直方图中,未磨伤线路呈现出规 律的周期性,线股与线股间隙交替出现,出现在竖直 方向的距离分别为线股宽度与线股间隙宽度。 而磨 伤缺陷将导致磨伤区域线股间隙不明显,是否存在 周期性规律,可以作为磨伤的判别标准,最后将对应 区域进行定位,智能化地将缺陷标注出来,得到分析 结果如图 6 所示。 图 6 诊断结果 Fig.6 Diagnosis result 以上就是“导线磨损检测”算法的实现原理。 2 软件设计 2.1 软件总体结构 为了便于软件的开发和维护,提高系统的工作 效率,提出了分层式架构,软件系统由底层至顶层分 别是:数据层、数据访问层、算法层、应用层和用户 层,如图 7 所示。 图 7 分层式软件结构 Fig.7 Stratified software structure 第 1 期 傅博,等:输电线路巡检图像智能诊断系统 ·73·
·74 智能系统学报 第11卷 数据层是基于SQL Server平台开发的整个软件 模块化的设计利于系统管理和后续维护工作。 架构的主体,可根据用户权限对数据进行访问、更 系统的工作流程如图8所示。用户在登录系统 新、添加或删除等操作:数据库中的表单数据方便后 时,需要输入自己的帐户名和密码,以便系统根据用 期归档信息的统计、整理、保存、更新及输出。 户权限开放对应的功能。登陆界面如图9(a)所示。 数据访问层是数据层与算法层、应用层和用户 登录 层进行数据交互的桥梁,为各类型数据的写入和读 取提供统一的标准接口,同时提供访问授权、密码验 图像批量导入 证等功能。考虑到本次项目的具体情况和安全问 题,不采用wb访问形式[o,而采用本地访问模式。 数据库检索 图停诊断 利用NET提供的ADO技术实现对数据库的访 是否要维护 N 结果查询 问山。创建了DbOperation类,用于实现ADO数据 模型的具体操作。 TY 生成 诊断报告 算法层是系统软件架构的核心,是由专门针对 系统维护 输电线路巡检图像智能诊断任务研究设计的各种图 图8系统工作流程 像处理和模式识别算法组成的,包括图像预处理算 Fig.8 System flow diagram 法[)]、匹配算法和缺陷识别算法等。算法的软件开 发使用C语言,是在OpenCV和MATLAB的跨平台 登录成功后,即可进入系统的主界面。为了方 环境下实现的。算法以动态链接库的形式给出,便 便对图像进行管理,在导入巡检图像时,需要先输入 于程序的封装、移植、调用以及后续的算法升级 相应的信息,如线路名称、杆塔号、巡线员等,并确定 工作。 目标路径,方可进行图像的批量导入工作。图像的 应用层是系统软件架构的任务管理层,负责将 导入工作由系统的子线程实现,确保图像的导人工 整个系统架构组织协调成有机的整体,包括:任务调 作不会对主线程造成拥塞,并且方便用户随时中止 度管理、缺陷诊断、数据统计分析、系统信息管理和 导入线程。导入功能界面如图9(b)。在导入过程 文档处理等。该层采用多线程设计思路,通过前后 中,图像的所有信息均被保存到本地数据库。 台的并行处理来提高系统软件的运行效率。 系统能够通过关键字对这些图像进行检索,搜 用户层是系统软件的人机接口层,分为人机界 索结果以可视化的方式把搜索结果反馈出来。数据 面和数据接口两个部分,人机界面部分包括:状态显 检索界面如图9(c)。 示界面、指令参数界面、图像界面和分析显示界面。 若用户具有管理员权限,则可以选择“系统维 状态显示界面主要用于实时监视系统的运行状态, 护”功能,对图像信息进行批量修改或删除操作。 便于用户在必要时采取适当的干预措施:指令参数 如图9(d)所示。此外图像的总数会被实时反馈。 界面为用户提供相应的指令输入和参数调整窗口, 由于输电线路存在不同类型的缺陷,系统集成 以便用户在图像分析过程中进行控制和调整:图像 了多种算法,在对特定类型的图像进行检测时,算法 界面和分析显示界面分别用于显示当前图像的预览 会对指定路径内的原始图像进行遍历,并调用对应 图和详细信息。数据接口通过与数据库的通信将底 算法检测。界面如图9(e)所示。 层数据和人机界面连通起来。 算法基于OpenCV视觉库进行图像的分析工 这种设计结构层次清晰,将缺陷检测算法、数据 作。对于被诊断出有缺陷的图像,算法会将缺陷所 库表访问功能、界面管理等模块单独封装,高内聚低 在的位置标注出来,随后系统会将这张处理后的图 耦合,易于多种算法的集成与维护。 像和它的信息保存在数据库内,供用户对诊断结果 2.2功能模块 进行查询或进行其他后续工作。 通过对人工检测的工作进行总结,系统开发了 处理后的图像信息可以通过关键字或选择路径 用户登录、图像导入、数据库检索、系统维护管理、图 进行查询,如图9(f)所示,检测结果可以生成Wod 像处理缺陷识别、结果查询、文本输出7个功能模 格式的检测报告[)。 块,这些功能模块都和数据库操作紧密关联,能确保 系统的各个功能模块高内聚低耦合,完成对巡 数据库信息的实时性,方便图像信息的跟踪管理。 检图像的缺陷定位和信息管理
数据层是基于 SQL Server 平台开发的整个软件 架构的主体,可根据用户权限对数据进行访问、更 新、添加或删除等操作;数据库中的表单数据方便后 期归档信息的统计、整理、保存、更新及输出。 数据访问层是数据层与算法层、应用层和用户 层进行数据交互的桥梁,为各类型数据的写入和读 取提供统一的标准接口,同时提供访问授权、密码验 证等功能。 考虑到本次项目的具体情况和安全问 题,不采用 web 访问形式[10] ,而采用本地访问模式。 利用 NET 提供的 ADO 技术实现对数据库的访 问[11] 。 创建了 DbOperation 类,用于实现 ADO 数据 模型的具体操作。 算法层是系统软件架构的核心,是由专门针对 输电线路巡检图像智能诊断任务研究设计的各种图 像处理和模式识别算法组成的,包括图像预处理算 法[12] 、匹配算法和缺陷识别算法等。 算法的软件开 发使用 C 语言,是在 OpenCV 和 MATLAB 的跨平台 环境下实现的。 算法以动态链接库的形式给出,便 于程序的封装、 移植、 调用以及后续的算法升级 工作。 应用层是系统软件架构的任务管理层,负责将 整个系统架构组织协调成有机的整体,包括:任务调 度管理、缺陷诊断、数据统计分析、系统信息管理和 文档处理等。 该层采用多线程设计思路,通过前后 台的并行处理来提高系统软件的运行效率。 用户层是系统软件的人机接口层,分为人机界 面和数据接口两个部分,人机界面部分包括:状态显 示界面、指令参数界面、图像界面和分析显示界面。 状态显示界面主要用于实时监视系统的运行状态, 便于用户在必要时采取适当的干预措施;指令参数 界面为用户提供相应的指令输入和参数调整窗口, 以便用户在图像分析过程中进行控制和调整;图像 界面和分析显示界面分别用于显示当前图像的预览 图和详细信息。 数据接口通过与数据库的通信将底 层数据和人机界面连通起来。 这种设计结构层次清晰,将缺陷检测算法、数据 库表访问功能、界面管理等模块单独封装,高内聚低 耦合,易于多种算法的集成与维护。 2.2 功能模块 通过对人工检测的工作进行总结,系统开发了 用户登录、图像导入、数据库检索、系统维护管理、图 像处理缺陷识别、结果查询、文本输出 7 个功能模 块,这些功能模块都和数据库操作紧密关联,能确保 数据库信息的实时性,方便图像信息的跟踪管理。 模块化的设计利于系统管理和后续维护工作。 系统的工作流程如图 8 所示。 用户在登录系统 时,需要输入自己的帐户名和密码,以便系统根据用 户权限开放对应的功能。 登陆界面如图 9(a)所示。 图 8 系统工作流程 Fig.8 System flow diagram 登录成功后,即可进入系统的主界面。 为了方 便对图像进行管理,在导入巡检图像时,需要先输入 相应的信息,如线路名称、杆塔号、巡线员等,并确定 目标路径,方可进行图像的批量导入工作。 图像的 导入工作由系统的子线程实现,确保图像的导入工 作不会对主线程造成拥塞,并且方便用户随时中止 导入线程。 导入功能界面如图 9( b)。 在导入过程 中,图像的所有信息均被保存到本地数据库。 系统能够通过关键字对这些图像进行检索,搜 索结果以可视化的方式把搜索结果反馈出来。 数据 检索界面如图 9(c)。 若用户具有管理员权限,则可以选择“系统维 护”功能,对图像信息进行批量修改或删除操作。 如图 9(d)所示。 此外图像的总数会被实时反馈。 由于输电线路存在不同类型的缺陷,系统集成 了多种算法,在对特定类型的图像进行检测时,算法 会对指定路径内的原始图像进行遍历,并调用对应 算法检测。 界面如图 9(e)所示。 算法基于 OpenCV 视觉库进行图像的分析工 作。 对于被诊断出有缺陷的图像,算法会将缺陷所 在的位置标注出来,随后系统会将这张处理后的图 像和它的信息保存在数据库内,供用户对诊断结果 进行查询或进行其他后续工作。 处理后的图像信息可以通过关键字或选择路径 进行查询,如图 9(f)所示,检测结果可以生成 Word 格式的检测报告[13] 。 系统的各个功能模块高内聚低耦合,完成对巡 检图像的缺陷定位和信息管理。 ·74· 智 能 系 统 学 报 第 11 卷
第1期 傅博,等:输电线路巡检图像智能诊断系统 ·75. E(onB 登录 6其他人员·管理员 用户名ain 老码0●0 ■登录 新用户注册 ·其他人员。管理员(须特殊授权) 用户名 密码 (e)图像诊断界面 密码确认 注册 (a)登陆界面 60 黑 ()结果查询界面 图9各功能界面 Fig.9 Functions interfaces 3软件测试 (b)图像导入界面 分别针对算法的性能和系统的稳定性两方面内 容进行了测试。 3.1算法有效性测试 针对每种系统集成的算法,各导人500张符合 检测条件的输电线路巡检图像,对其进行批量检测, 记录下了每种算法的单张图像检测时间、诊断结果 的误检率。 测试结果见表1,样本数量为500张,“玻璃绝 缘子自爆”检测算法的单张平均耗时为1.43s,误报 率为10.2%:“线上悬挂异物”检测算法的单张平均 (c)数据库检索界面 耗时为1.56s,误报率为6.5%;“线路断股”检测算 法的单张平均耗时为1.62s,误报率为7.4%:“间隔 棒断裂”检测算法的单张平均耗时为1.67s,误报率 为16%:“导线磨损”检测算法的单张平均耗时为1. 72s,误报率为18%。 3.2系统稳定性测试 针对系统的各项功能模块,开展了稳定性测试。 每个功能模块都进行了500次的重复性操作,并观察 程序是否发生异常。经检测,各个功能模块表现良好, (d)系统维护界面 没有发生程序崩溃等异常情况,符合使用要求
(a)登陆界面 (b)图像导入界面 (c)数据库检索界面 (d)系统维护界面 (e)图像诊断界面 (f)结果查询界面 图 9 各功能界面 Fig.9 Functions interfaces 3 软件测试 分别针对算法的性能和系统的稳定性两方面内 容进行了测试。 3.1 算法有效性测试 针对每种系统集成的算法,各导入 500 张符合 检测条件的输电线路巡检图像,对其进行批量检测, 记录下了每种算法的单张图像检测时间、诊断结果 的误检率。 测试结果见表 1,样本数量为 500 张,“玻璃绝 缘子自爆”检测算法的单张平均耗时为 1.43 s,误报 率为 10.2%;“线上悬挂异物” 检测算法的单张平均 耗时为 1.56 s,误报率为 6.5%;“线路断股”检测算 法的单张平均耗时为 1.62 s,误报率为 7.4%;“间隔 棒断裂”检测算法的单张平均耗时为 1.67 s,误报率 为 16%;“导线磨损”检测算法的单张平均耗时为 1. 72 s,误报率为 18%。 3.2 系统稳定性测试 针对系统的各项功能模块,开展了稳定性测试。 每个功能模块都进行了 500 次的重复性操作,并观察 程序是否发生异常。 经检测,各个功能模块表现良好, 没有发生程序崩溃等异常情况,符合使用要求。 第 1 期 傅博,等:输电线路巡检图像智能诊断系统 ·75·
·76 智能系统学报 第11卷 表1算法有效性测试结果 Table 1 Test result of algorithm validity 本系统 同类研究2,4.16 序号 测试项 单张图像耗时/s 误报率/% 单张图像耗时/s 误报率/% 玻璃绝缘子自爆 1.43 10.2 0.31 23.1 2 线上悬挂异物 1.56 6.50 9.33 3 线路断股 1.62 7.40 4 间隔棒断裂 1.67 16.0 5 导线磨损 1.72 18.0 3.3同类工作对比 monitoring icing for transmission line based on image pro- 将算法的有效性与同类研究进行了对 cessing[J].China measurement test,2011,37(2):1-4. 比2.4o。相比之下,本系统“玻璃绝缘子自爆”算 [2]蒋兴良,夏云峰,张志劲,等.基于优化Gbor滤波器的 法的分析时间稍长,但是误报率有大幅降低:“线上 输电导线断股图像检测[J].电力系统自动化,2011,35 悬挂异物”算法的误报率也有所降低:“线路断股”、 (15):78-83. “间隔棒断裂”和“导线磨损”算法的其他相关研究 JIANG Xingliang,XIA Yunfeng,ZHANG Zhijin,et al.Im- age detection for broken strand faults of transmission con- 没有查到具体的实验数据。 ductor based on optimized gabor filter[J.Automation of e- 4结论 lectric power systems,2011,35(15):78-83. [3]单成,吴洪潭,石成龙,等.图像处理中的绝缘子缺陷 根据电力巡检图像检测的流程,本系统利用多 检测方法[J].中国计量学院学报,2010,21(4):297. 平台协同协作的方式,采用多种检测算法,开发了输 300.304 电线路巡检图像智能诊断系统。 SHAN Cheng,WU Hongtan,SHI Chenglong,et al.Defect 平台实现了如下功能: detection method on insulators by image processing[J]. 1)以SQL Server为依托,构建了输电线路巡检 Journal of China University of metrology,2010,21(4): 图像数据库: 297-300.304. [4]PAN Lizhi,XIAO Xiaohui.Image recognition for on-line 2)采用多种基于OpenCV视觉库设计的先进算 vibration monitoring system of transmission line[C]//Pro- 法实现了对巡检图像的缺陷检测功能: ceedings of the 9 International Conference on Electronic 3)支持多平台的协同工作,在整个流程的工作 Measurement Instruments.Beijing,China,2009:3. 中,实现了数据信息的无缝链接: 1078-3-1081. 4)对检测出缺陷的图像进行存档,并能生成标 [5]LI W H,TAJBAKHSH A,RATHBONE C,et al.Image 准格式的检测报告: processing to automate condition assessment of overhead line 5)能够对输电线路的图像进行自动化批量检 components[C]//Proceedings of the 1"International Con- 测,规范了工作流程,大大提升了工作效率。并提供 ference on Applied Robotics for the Power Industry.Montre- 了便捷、可追踪的图像检测方式。 al,QC,Canada,2010:1-6. 测试结果表明软件采用的算法具有较高性能 [6]刘国海,朱珠.图像处理技术在超高压巡检机器人视觉 各功能模块均能保证正常工作,提高了图像检测的 系统中的应用研究[J].计算机工程与设计,2009,30 (1):136-140. 工作效率。系统不仅实现了对巡检图像进行检测、 LIU Guohai,ZHU Zhu.Application study of image process- 数据检索等基本功能,还具有界面友好、操作简便、 ing technology applied in vision system of inspection robot 升级方便等优点。 on power transmission lines[].Computer engineering and 参考文献: desigr,2009,30(1):136-140. 「7]魏振中.超高压输电线路智能巡检机器人的视觉监控系 [1]王专忠,胡晓光,耿鑫。一种基于图像处理的输电线路 统研究[D].沈阳:沈阳工业大学,2004:60-68 覆冰监测方法[J].中国测试,2011,37(2):14. WEI Zhenzhong.A visual inspection system of patrol robot WANG Zhuanzhong,HU Xiaoguang,GENG Xin.Method of for EHV power line[D].Shenyang,China:Shenyang Uni-
表 1 算法有效性测试结果 Table 1 Test result of algorithm validity 序号 测试项 本系统 同类研究[2,14⁃16] 单张图像耗时/ s 误报率/ % 单张图像耗时/ s 误报率/ % 1 玻璃绝缘子自爆 1.43 10.2 0.31 23.1 2 线上悬挂异物 1.56 6.50 \ 9.33 3 线路断股 1.62 7.40 \ \ 4 间隔棒断裂 1.67 16.0 \ \ 5 导线磨损 1.72 18.0 \ \ 3.3 同类工作对比 将算 法 的 有 效 性 与 同 类 研 究 进 行 了 对 比[2,14⁃16] 。 相比之下,本系统“玻璃绝缘子自爆” 算 法的分析时间稍长,但是误报率有大幅降低;“线上 悬挂异物”算法的误报率也有所降低;“线路断股”、 “间隔棒断裂”和“导线磨损”算法的其他相关研究 没有查到具体的实验数据。 4 结论 根据电力巡检图像检测的流程,本系统利用多 平台协同协作的方式,采用多种检测算法,开发了输 电线路巡检图像智能诊断系统。 平台实现了如下功能: 1)以 SQL Server 为依托,构建了输电线路巡检 图像数据库; 2)采用多种基于 OpenCV 视觉库设计的先进算 法实现了对巡检图像的缺陷检测功能; 3)支持多平台的协同工作,在整个流程的工作 中,实现了数据信息的无缝链接; 4)对检测出缺陷的图像进行存档,并能生成标 准格式的检测报告; 5)能够对输电线路的图像进行自动化批量检 测,规范了工作流程,大大提升了工作效率。 并提供 了便捷、可追踪的图像检测方式。 测试结果表明软件采用的算法具有较高性能, 各功能模块均能保证正常工作,提高了图像检测的 工作效率。 系统不仅实现了对巡检图像进行检测、 数据检索等基本功能,还具有界面友好、操作简便、 升级方便等优点。 参考文献: [1]王专忠, 胡晓光, 耿鑫. 一种基于图像处理的输电线路 覆冰监测方法[J]. 中国测试, 2011, 37(2): 1⁃4. WANG Zhuanzhong, HU Xiaoguang, GENG Xin. Method of monitoring icing for transmission line based on image pro⁃ cessing[J]. China measurement & test, 2011, 37(2): 1⁃4. [2]蒋兴良, 夏云峰, 张志劲, 等. 基于优化 Gabor 滤波器的 输电导线断股图像检测[J]. 电力系统自动化, 2011, 35 (15): 78⁃83. JIANG Xingliang, XIA Yunfeng, ZHANG Zhijin, et al. Im⁃ age detection for broken strand faults of transmission con⁃ ductor based on optimized gabor filter[J]. Automation of e⁃ lectric power systems, 2011, 35(15): 78⁃83. [3]单成, 吴洪潭, 石成龙, 等. 图像处理中的绝缘子缺陷 检测方法[J]. 中国计量学院学报, 2010, 21( 4): 297⁃ 300, 304. SHAN Cheng, WU Hongtan, SHI Chenglong, et al. Defect detection method on insulators by image processing [ J ]. Journal of China University of metrology, 2010, 21 ( 4): 297⁃300, 304. [4] PAN Lizhi, XIAO Xiaohui. Image recognition for on -line vibration monitoring system of transmission line[C] / / Pro⁃ ceedings of the 9 th International Conference on Electronic Measurement & Instruments. Beijing, China, 2009: 3⁃ 1078⁃3⁃1081. [5] LI W H, TAJBAKHSH A, RATHBONE C, et al. Image processing to automate condition assessment of overhead line components[C] / / Proceedings of the 1 st International Con⁃ ference on Applied Robotics for the Power Industry. Montre⁃ al, QC, Canada, 2010: 1⁃6. [6]刘国海, 朱珠. 图像处理技术在超高压巡检机器人视觉 系统中的应用研究[ J]. 计算机工程与设计, 2009, 30 (1): 136⁃140. LIU Guohai, ZHU Zhu. Application study of image process⁃ ing technology applied in vision system of inspection robot on power transmission lines[ J]. Computer engineering and design, 2009, 30(1): 136⁃140. [7]魏振中. 超高压输电线路智能巡检机器人的视觉监控系 统研究[D]. 沈阳: 沈阳工业大学, 2004: 60⁃68. WEI Zhenzhong. A visual inspection system of patrol robot for EHV power line[D]. Shenyang, China: Shenyang Uni⁃ ·76· 智 能 系 统 学 报 第 11 卷
第1期 傅博,等:输电线路巡检图像智能诊断系统 ·77: versity of Technology,2004:60-68. ZHANG Shaoping,YANG Zhong,HUANG Xiaoning,et [8]王小朋,胡建林,吴彬.输电线路覆冰图像边缘提取方 al.Defects detection and positioning for glass insulator from 法研究[J].高电压技术,2008,34(12):2687-2693. aerial images[J.Joumal of terahertz science and electron- WANG Xiaopeng,HU Jianlin,WU Bin,et al.Study on ic information technology,2013,11(4):609-613 edge extraction methods for image-based icing on-line moni- [15]金立军,姚春羽,月书佳,等.基于航拍图像的输电线 toring on overhead transmission lines[].High voltage engi- 路异物识别J].同济大学学报:自然科学版,2013,41 neering,2008,34(12):2687-2693. (2):277-281. [9]宋屹峰,王洪光,李贞辉,等.基于视觉方法的输电线 JIN Lijun,YAO Chunyu,YAN Shujia,et al.Recognition 断股检测与机器人行为规划[J].机器人,2015,37(2): of extra matters on transmission lines based on aerial ima- 204-211,223. ges[].Journal of Tongji University:natural science, SONG Yifeng,WANG Hongguang,LI Zhenhui,et al.Vi- 2013,41(2):277-281. sion based transmission line broken strand detection and ro- [16]金立军,胡娟,闫书佳.基于图像的高压输电线间隔棒 bot behaviour planning [J].Robot,2015,37(2):204- 故障诊断方法[J].高电压技术,2013,39(5):1040 211.223. 1045. [10]夏志昌,张伟,王吉如.珊溪水电厂巡检数据库系统的 JIN Lijun,HU Juan,YAN Shujia.Method of spacer fault 设计与实现[J].制冷空调与电力机械,2009,30(3): diagnose on transmission line based on image procession 85-87. J].High voltage engineering,2013,39(5):1040-1045. XIA Zhichang,ZHANG Wei,WANG Jiru.Design and im- 作者简介: plementation of tour inspection database system for Shanxi 傅博,男,1987年生,研究实习员, hydropower plant[J].Refrigeration air conditioning e- 主要研究方向为多传感器数据融合技 lectric power machinery,2009,30(3):85-87. 术、软件设计。 [11]王宝样.基于ADO.NET的数据库访问技术研究[J].计 算机应用与软件,2004,21(2):120-122. WANG Baoxiang.Study of database access technology u- sing ADO.NET method [J].Computer applications and 姜勇,男,1975年生,副研究员,博 software,2004,21(2):120-122. 士,主要研究方向为机器人控制、智能 [12]SUN Fengjie,LI Yuanyuan,FAN Jieqing.Monitoring 控制理论与方法、嵌入式控制系统、特 method of transmission line based on video image recogni- 种机器人系统与应用等。发表学术论 tion technique[C]//Proceedings of International Confer- 文20余篇。 ence on Business Management and Electronic Information. Guangzhou,China,2011:136-139. [13]李萍.一种图像数据库管理系统的实现方法[C]/图 像、仿真、信息技术第二届联合学术会议论文集.南昌, 王洪光,男,1965年生,研究员,博 中国.2002:4. 士生导师,主要研究方向为机器人机构 [14]张少平,杨忠,黄宵宁,等.航拍图像中玻璃绝缘子自 学,特种机器人和机电一体化技术等。 爆缺陷的检测及定位[J].太赫兹科学与电子信息学 发表学术论文70余篇,获得发明和实 报.2013,11(4):609-613. 用新型专利30余项
versity of Technology, 2004: 60⁃68. [8]王小朋, 胡建林, 吴彬. 输电线路覆冰图像边缘提取方 法研究[J]. 高电压技术, 2008, 34(12): 2687⁃2693. WANG Xiaopeng, HU Jianlin, WU Bin, et al. Study on edge extraction methods for image⁃based icing on⁃line moni⁃ toring on overhead transmission lines[J]. High voltage engi⁃ neering, 2008, 34(12): 2687⁃2693. [9]宋屹峰, 王洪光, 李贞辉, 等. 基于视觉方法的输电线 断股检测与机器人行为规划[J]. 机器人, 2015, 37(2): 204⁃211, 223. SONG Yifeng, WANG Hongguang, LI Zhenhui, et al. Vi⁃ sion based transmission line broken strand detection and ro⁃ bot behaviour planning [ J]. Robot, 2015, 37 ( 2): 204⁃ 211, 223. [10]夏志昌, 张伟, 王吉如. 珊溪水电厂巡检数据库系统的 设计与实现[J]. 制冷空调与电力机械, 2009, 30(3): 85⁃87. XIA Zhichang, ZHANG Wei, WANG Jiru. Design and im⁃ plementation of tour inspection database system for Shanxi hydropower plant [ J]. Refrigeration air conditioning & e⁃ lectric power machinery, 2009, 30(3): 85⁃87. [11]王宝祥. 基于 ADO.NET 的数据库访问技术研究[J]. 计 算机应用与软件, 2004, 21(2): 120⁃122. WANG Baoxiang. Study of database access technology u⁃ sing ADO. NET method [ J ]. Computer applications and software, 2004, 21(2): 120⁃122. [ 12 ] SUN Fengjie, LI Yuanyuan, FAN Jieqing. Monitoring method of transmission line based on video image recogni⁃ tion technique[C] / / Proceedings of International Confer⁃ ence on Business Management and Electronic Information. Guangzhou, China, 2011: 136⁃139. [13]李萍. 一种图像数据库管理系统的实现方法[C] / / 图 像、仿真、信息技术第二届联合学术会议论文集. 南昌, 中国, 2002: 4. [14]张少平, 杨忠, 黄宵宁, 等. 航拍图像中玻璃绝缘子自 爆缺陷的检测及定位[ J]. 太赫兹科学与电子信息学 报, 2013, 11(4): 609⁃613. ZHANG Shaoping, YANG Zhong, HUANG Xiaoning, et al. Defects detection and positioning for glass insulator from aerial images[J]. Journal of terahertz science and electron⁃ ic information technology, 2013, 11(4): 609⁃613. [15]金立军, 姚春羽, 闫书佳, 等. 基于航拍图像的输电线 路异物识别[J]. 同济大学学报:自然科学版, 2013, 41 (2): 277⁃281. JIN Lijun, YAO Chunyu, YAN Shujia, et al. Recognition of extra matters on transmission lines based on aerial ima⁃ ges [ J ]. Journal of Tongji University: natural science, 2013, 41(2): 277⁃281. [16]金立军, 胡娟, 闫书佳. 基于图像的高压输电线间隔棒 故障诊断方法[ J]. 高电压技术, 2013, 39( 5): 1040⁃ 1045. JIN Lijun, HU Juan, YAN Shujia. Method of spacer fault diagnose on transmission line based on image procession [ J]. High voltage engineering, 2013, 39(5): 1040⁃1045. 作者简介: 傅博,男,1987 年生,研究实习员, 主要研究方向为多传感器数据融合技 术、软件设计。 姜勇,男,1975 年生,副研究员,博 士,主要研究方向为机器人控制、智能 控制理论与方法、嵌入式控制系统、特 种机器人系统与应用等。 发表学术论 文 20 余篇。 王洪光,男,1965 年生,研究员,博 士生导师,主要研究方向为机器人机构 学、特种机器人和机电一体化技术等。 发表学术论文 70 余篇,获得发明和实 用新型专利 30 余项。 第 1 期 傅博,等:输电线路巡检图像智能诊断系统 ·77·