工程科学学报 Chinese Journal of Engineering 基于TATLNet的输电场景威胁检测 李梅郭飞张立中王波张俊岭李兆桐 Threat detection in transmission scenario based on TATLNet LI Mei,GUO Fei,ZHANG Li-zhong.WANG Bo,ZHANG Jun-ling.LI Zhao-tong 引用本文: 李梅,郭飞,张立中,王波,张俊岭,李兆桐.基于TATLNetf的输电场景威胁检测.工程科学学报,2020.42(4):509-515.doi: 10.13374j.issn2095-9389.2019.09.15.004 LI Mei,GUO Fei,ZHANG Li-zhong,WANG Bo,ZHANG Jun-ling.LI Zhao-tong.Threat detection in transmission scenario based on TATLNet[J].Chinese Journal of Engineering,2020,42(4):509-515.doi:10.13374/j.issn2095-9389.2019.09.15.004 在线阅读View online::htps:/ldoi.org10.13374.issn2095-9389.2019.09.15.004 您可能感兴趣的其他文章 Articles you may be interested in 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019.41(10:1229 https:/1doi.org10.13374.issn2095-9389.2019.03.27.002 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on integrated neural network 工程科学学报.优先发表hps:/doi.org/10.13374.issn2095-9389.2019.10.10.005 基于深度学习的高效火车号识别 Efficient Wagon Number Recognition Based on Deep Learning 工程科学学报.优先发表https:ldoi.org/10.13374j.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6:817 https:oi.org10.13374j.issn2095-9389.2019.06.014 弱光照条件下交通标志检测与识别 Traffic signs detection and recognition under low illumination conditions 工程科学学报.优先发表htps:1doi.org10.13374.issn2095-9389.2019.08.14.003
基于TATLNet的输电场景威胁检测 李梅 郭飞 张立中 王波 张俊岭 李兆桐 Threat detection in transmission scenario based on TATLNet LI Mei, GUO Fei, ZHANG Li-zhong, WANG Bo, ZHANG Jun-ling, LI Zhao-tong 引用本文: 李梅, 郭飞, 张立中, 王波, 张俊岭, 李兆桐. 基于TATLNet的输电场景威胁检测[J]. 工程科学学报, 2020, 42(4): 509-515. doi: 10.13374/j.issn2095-9389.2019.09.15.004 LI Mei, GUO Fei, ZHANG Li-zhong, WANG Bo, ZHANG Jun-ling, LI Zhao-tong. Threat detection in transmission scenario based on TATLNet[J]. Chinese Journal of Engineering, 2020, 42(4): 509-515. doi: 10.13374/j.issn2095-9389.2019.09.15.004 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.09.15.004 您可能感兴趣的其他文章 Articles you may be interested in 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on integrated neural network 工程科学学报.优先发表 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005 基于深度学习的高效火车号识别 Efficient Wagon Number Recognition Based on Deep Learning 工程科学学报.优先发表 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 弱光照条件下交通标志检测与识别 Traffic signs detection and recognition under low illumination conditions 工程科学学报.优先发表 https://doi.org/10.13374/j.issn2095-9389.2019.08.14.003
工程科学学报.第42卷,第4期:509-515.2020年4月 Chinese Journal of Engineering,Vol.42,No.4:509-515,April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.15.004;http://cje.ustb.edu.cn 基于TATLNet的输电场景威胁检测 李梅,郭飞”,张立中》,王波,张俊岭》,李兆桐 1)国网宁夏电力有限公司.银川7500012)国网宁夏电力有限公司吴忠供电公司,吴忠7511013)山东鲁能软件技术有限公司,济南 2500014)中国石油大学(华东)计算机科学与技术学院.青岛266580 ☒通信作者,E-mail:sl8070027@s.upc.edu.cn 摘要在输电场景中,吊车等大型机械的运作会威胁到输电线路的安全.针对此问题,从训练数据、网络结构和算法超参 数的角度进行研究,设计了一种新的端到端的输电线路威胁检测网络结构TATLNet..其中包括可疑区域生成网络VRGNet和 威胁判别网铬VTCNet,VRGNet与VTCNet共享部分卷积网络以实现特征共享,并利用模型压缩的方式压缩模型体积,提升 检测效率,从计算机视觉和系统工程的角度对入侵输电场景的大型机械进行精确预警.针对训练数据偏少的问题,利用多种 数据增强技术相结合的方式对数据集进行扩充.通过充分的试验对本方法的多个超参数进行探究,综合检测准确率和推理 速度来研究其最优配置.研究结果表明,随着网格数目的增加,准确率也随之增加,而召回率有先增加后降低的趋势,检测效 率则随着网格的增加迅速降低.综合检测准确率与推理速度,确定9×9为最优网格划分方案:随着输人图像尺寸的增加,检 测准确率稳步上升而检测效率逐渐下降,综合检测准确率和效率,选择480×480像素作为最终的图像输入尺寸.输人实验以 及现场部署表明,相对于其他的轻量级目标检测算法,该方法对输电现场人侵的吊车等大型机械的检测具有更优秀的准确性 和效率,满足实际应用的需要 关键词深度学习:威胁检测:特征共享:输电场景:轻量级神经网络 分类号TP277 Threat detection in transmission scenario based on TATLNet LI Mei.GUO Fei,ZHANG Li-zhong,WANG Bo2,ZHANG Jun-ling LI Zhao-tong 1)Ningxia Electric Power Co.Ltd.,Yinchuan 750001,China 2)Wuzhong Power Supply Company of Ningxia Electric Power Co.Ltd.,Wuzhong 751101,China 3)Shandong Luneng Software Technology Co.Ltd.,Jinan 250001,China 4)College of Computer Science and Technology,China University of Petroleum,Qingdao 266580,China Corresponding author,E-mail:s18070027@s.upc.edu.cn ABSTRACT The operation of cranes and other large machinery threatens the safety of transmission lines.In order to solve this problem in the transmission scenario,the research from the aspects of data enhancement,network structure and the hyperparameters of the algorithm were performed.And a new end-to-end transmission line threat detection method based on TATLNet were proposed in this paper,which included the suspicious areas generation network VRGNet and threat discrimination network VTCNet.VRGNet and VTCNet share part of the convolution network for feature sharing and we used the model compression to compress the model volume and improved the detection efficiency.The method can realize accurate detection of large-scale machinery invading in the transmission scene from the perspective of computer vision and system engineering.To mend the insufficient training data,the data set was expanded by a combination of various data enhancement techniques.The sufficient experiments were carried out to explore the multiple hyperparameters of this method,and its optimal configuration was studied by synthesizing detection accuracy and inference speed.The 收稿日期:2019-09-15 基金项目:国家重点研发计划资助项目(2017ZX05013-002):山东省自然基金资助项目(ZR2019MF049)
基于 TATLNet 的输电场景威胁检测 李 梅1),郭 飞1),张立中1),王 波2),张俊岭3),李兆桐4) 苣 1) 国网宁夏电力有限公司,银川 750001 2) 国网宁夏电力有限公司吴忠供电公司,吴忠 751101 3) 山东鲁能软件技术有限公司,济南 250001 4) 中国石油大学(华东)计算机科学与技术学院,青岛 266580 苣通信作者,E-mail: s18070027@s.upc.edu.cn 摘 要 在输电场景中,吊车等大型机械的运作会威胁到输电线路的安全. 针对此问题,从训练数据、网络结构和算法超参 数的角度进行研究,设计了一种新的端到端的输电线路威胁检测网络结构 TATLNet,其中包括可疑区域生成网络 VRGNet 和 威胁判别网络 VTCNet,VRGNet 与 VTCNet 共享部分卷积网络以实现特征共享,并利用模型压缩的方式压缩模型体积,提升 检测效率,从计算机视觉和系统工程的角度对入侵输电场景的大型机械进行精确预警. 针对训练数据偏少的问题,利用多种 数据增强技术相结合的方式对数据集进行扩充. 通过充分的试验对本方法的多个超参数进行探究,综合检测准确率和推理 速度来研究其最优配置. 研究结果表明,随着网格数目的增加,准确率也随之增加,而召回率有先增加后降低的趋势,检测效 率则随着网格的增加迅速降低. 综合检测准确率与推理速度,确定 9×9 为最优网格划分方案;随着输入图像尺寸的增加,检 测准确率稳步上升而检测效率逐渐下降,综合检测准确率和效率,选择 480×480 像素作为最终的图像输入尺寸. 输入实验以 及现场部署表明,相对于其他的轻量级目标检测算法,该方法对输电现场入侵的吊车等大型机械的检测具有更优秀的准确性 和效率,满足实际应用的需要. 关键词 深度学习;威胁检测;特征共享;输电场景;轻量级神经网络 分类号 TP277 Threat detection in transmission scenario based on TATLNet LI Mei1) ,GUO Fei1) ,ZHANG Li-zhong1) ,WANG Bo2) ,ZHANG Jun-ling3) ,LI Zhao-tong4) 苣 1) Ningxia Electric Power Co. Ltd., Yinchuan 750001, China 2) Wuzhong Power Supply Company of Ningxia Electric Power Co. Ltd., Wuzhong 751101, China 3) Shandong Luneng Software Technology Co. Ltd., Jinan 250001, China 4) College of Computer Science and Technology, China University of Petroleum, Qingdao 266580, China 苣 Corresponding author, E-mail: s18070027@s.upc.edu.cn ABSTRACT The operation of cranes and other large machinery threatens the safety of transmission lines. In order to solve this problem in the transmission scenario, the research from the aspects of data enhancement, network structure and the hyperparameters of the algorithm were performed. And a new end-to-end transmission line threat detection method based on TATLNet were proposed in this paper, which included the suspicious areas generation network VRGNet and threat discrimination network VTCNet. VRGNet and VTCNet share part of the convolution network for feature sharing and we used the model compression to compress the model volume and improved the detection efficiency. The method can realize accurate detection of large-scale machinery invading in the transmission scene from the perspective of computer vision and system engineering. To mend the insufficient training data, the data set was expanded by a combination of various data enhancement techniques. The sufficient experiments were carried out to explore the multiple hyperparameters of this method, and its optimal configuration was studied by synthesizing detection accuracy and inference speed. The 收稿日期: 2019−09−15 基金项目: 国家重点研发计划资助项目(2017ZX05013-002);山东省自然基金资助项目(ZR2019MF049) 工程科学学报,第 42 卷,第 4 期:509−515,2020 年 4 月 Chinese Journal of Engineering, Vol. 42, No. 4: 509−515, April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.15.004; http://cje.ustb.edu.cn
510 工程科学学报,第42卷,第4期 research results are sufficient.With increase in the number of grids,the accuracy and recall first increase and then decrease,whereas,the detection efficiency decreases rapidly with increase in the number of grids.Considering the detection accuracy and reasoning speed,9x 9 is the optimal division strategy.With the increase in the input image resolution,the detection accuracy increases steadily and detection efficiency decreases gradually.To balance the detection accuracy and inference efficiency,480 x 480 is selected as the final image input resolution.Experimental results and field deployment demonstrate that compared with other lightweight object detection algorithms,this method has better accuracy and efficiency in large-scale machinery invasion detection such as cranes in transmission fields,and meets the demands of practical applications KEY WORDS deep learning;threat detection;feature sharing;transmission scene;lightweight network 输电线路的安全对国家的发展至关重要,由 像进行分析.文献[]中,摄像头拍摄监控区域图 于吊车等大型机械运作时的高度跟输电线路的高 像,通过对大型运动目标进行实时匹配,来确定运 度比较接近甚至更高,当这些设备在输电线附近 动目标与输电线路的位置和距离.文献[8]中,应 进行作业时会对输电线路的安全造成威胁.因此, 用红外滤片式自动切换网络摄像机,对监控区域 设计一种能够对输电线路威胁进行自动报警的方 进行24h全天候监控,并将图像上传至服务器,在 法显得十分必要山 服务器中应用混合高斯背景建模实现对大型机械 国家电网在输电塔上配备了图像抓拍设备, 入侵的定向识别 但目前其供电方式为太阳能充电,能够提供的功 1.2深度学习 率较小并且难以支撑监控设备的长时间运行.因 自从Hinton等9在2012年提出深度学习的概念, 此,对输电线路进行全天候监控并利用常规深度 深度学习便逐渐取代了传统的检测算法而成为目 学习目标检测的方式来进行报警变得不再可行 标检测领域的主流方法.近年来深度学习的发展 针对以上问题,本文提出了一种基于TATLNet的 为输电线路威胁报警提供了新的方案,卷积神经 输电线路威胁报警方法,该方法通过红外传感器 网络对于目标的几何变换、光照等因素适应性较 来对过往的大型设备进行监控,当检测到大型机 强,有效克服了目标外观的多样性带来的识别阻 械时再唤醒系统加以分析以减少能耗.利用本文 力.它可以根据输入到网络的数据而自动生成相 提出的一种新的输电线路威胁检测网络TATLNet, 应的特征描述,具有较高的灵活性和普适性0-1) 并用通道剪枝的策略来对模型进行压缩),提高 目前图像中的目标检测主要分为单步检测方 检测速度,使之可以在轻量级计算平台上运行.同 法和两步检测方法两种.其中,单步检测方法包 时,由于可以采集到的吊车、起重机等大型机械入 SSD(Single shot multibox detector),YOLO(You 侵图像较少,采用传统图像几何变换与GAN阿 only look once)和CornerNet(基于角点的目标检测 (Generative adversarial network.对抗生成网络)相 神经网络)等4-1(,两步检测方法包括如R-CNN 结合的方式来对数据集进行数据增强 (Region-CNN)、Fast R-CNN、Faster R-CNN和Mask 该方法的贡献主要有以下几点: R-CNN等7-20单步检测方法直接在图像上经过计 (1)解决了如何在无人值守的情况下对入侵 算生成检测结果;两步检测方法先在图像上提取 输电场地的吊车等大型机械进行报警的难题; 候选区域,再基于候选区域进行特征提取,然后在 (2)针对低能耗计算平台的限制以及入侵输 图像中进行预测.相对来说单步检测方法速度快, 电场地机械在图像中的特点,设计了一种新的端 准确率略低:而两步检测方法准确率高,速度略 到端输电线路威胁检测网络TATLNet; 慢.但是因为输电塔上的设备由太阳能电池供电, (3)提出了目标检测的一个新思路,即将大多 摄像头无法全天开启并且难以支撑大型计算平台 数计算用于提出更精确的候选区域,并针对具有 的运行,因此上述传统目标检测方法在此场景下 较高准确率的候选区域设计较小的分类网络 并不适用.而最近新提出的YOLO-Lite、MobileNet 和ShuffleNet等轻型网络结构-2),尽管在速度和 1相关研究 体积上有了极大的提升,但因此产生的准确率损 1.1 输电线路监控 失使得其难以在此场景下满足检测要求 目前对输电线路威胁的监控大多通过采集监 综上所述,将深度学习用于输电场景的威胁 控图像,并利用图像匹配或者深度学习方法对图 报警是当前的一个研究趋势.目前常规的深度学
research results are sufficient. With increase in the number of grids, the accuracy and recall first increase and then decrease, whereas, the detection efficiency decreases rapidly with increase in the number of grids. Considering the detection accuracy and reasoning speed, 9 × 9 is the optimal division strategy. With the increase in the input image resolution, the detection accuracy increases steadily and detection efficiency decreases gradually. To balance the detection accuracy and inference efficiency, 480 × 480 is selected as the final image input resolution. Experimental results and field deployment demonstrate that compared with other lightweight object detection algorithms, this method has better accuracy and efficiency in large-scale machinery invasion detection such as cranes in transmission fields, and meets the demands of practical applications. KEY WORDS deep learning;threat detection;feature sharing;transmission scene;lightweight network 输电线路的安全对国家的发展至关重要,由 于吊车等大型机械运作时的高度跟输电线路的高 度比较接近甚至更高,当这些设备在输电线附近 进行作业时会对输电线路的安全造成威胁. 因此, 设计一种能够对输电线路威胁进行自动报警的方 法显得十分必要[1] . 国家电网在输电塔上配备了图像抓拍设备, 但目前其供电方式为太阳能充电,能够提供的功 率较小并且难以支撑监控设备的长时间运行. 因 此,对输电线路进行全天候监控并利用常规深度 学习目标检测的方式来进行报警变得不再可行. 针对以上问题,本文提出了一种基于 TATLNet 的 输电线路威胁报警方法,该方法通过红外传感器 来对过往的大型设备进行监控[2] ,当检测到大型机 械时再唤醒系统加以分析以减少能耗. 利用本文 提出的一种新的输电线路威胁检测网络 TATLNet, 并用通道剪枝的策略来对模型进行压缩[3−5] ,提高 检测速度,使之可以在轻量级计算平台上运行. 同 时,由于可以采集到的吊车、起重机等大型机械入 侵图像较少 ,采用传统图像几何变换 与 GAN[6] (Generative adversarial network,对抗生成网络)相 结合的方式来对数据集进行数据增强. 该方法的贡献主要有以下几点: (1)解决了如何在无人值守的情况下对入侵 输电场地的吊车等大型机械进行报警的难题; (2)针对低能耗计算平台的限制以及入侵输 电场地机械在图像中的特点,设计了一种新的端 到端输电线路威胁检测网络 TATLNet; (3)提出了目标检测的一个新思路,即将大多 数计算用于提出更精确的候选区域,并针对具有 较高准确率的候选区域设计较小的分类网络. 1 相关研究 1.1 输电线路监控 目前对输电线路威胁的监控大多通过采集监 控图像,并利用图像匹配或者深度学习方法对图 像进行分析. 文献 [7] 中,摄像头拍摄监控区域图 像,通过对大型运动目标进行实时匹配,来确定运 动目标与输电线路的位置和距离. 文献 [8] 中,应 用红外滤片式自动切换网络摄像机,对监控区域 进行 24 h 全天候监控,并将图像上传至服务器,在 服务器中应用混合高斯背景建模实现对大型机械 入侵的定向识别. 1.2 深度学习 自从 Hinton 等[9] 在 2012 年提出深度学习的概念, 深度学习便逐渐取代了传统的检测算法而成为目 标检测领域的主流方法. 近年来深度学习的发展 为输电线路威胁报警提供了新的方案,卷积神经 网络对于目标的几何变换、光照等因素适应性较 强,有效克服了目标外观的多样性带来的识别阻 力. 它可以根据输入到网络的数据而自动生成相 应的特征描述,具有较高的灵活性和普适性[10−13] . 目前图像中的目标检测主要分为单步检测方 法和两步检测方法两种. 其中,单步检测方法包 括 SSD(Single shot multibox detector) 、YOLO(You only look once)和 CornerNet(基于角点的目标检测 神经网络)等[14−16] ;两步检测方法包括如 R-CNN (Region-CNN)、Fast R-CNN、Faster R-CNN 和 Mask R-CNN 等[17−20] . 单步检测方法直接在图像上经过计 算生成检测结果;两步检测方法先在图像上提取 候选区域,再基于候选区域进行特征提取,然后在 图像中进行预测. 相对来说单步检测方法速度快, 准确率略低;而两步检测方法准确率高,速度略 慢. 但是因为输电塔上的设备由太阳能电池供电, 摄像头无法全天开启并且难以支撑大型计算平台 的运行,因此上述传统目标检测方法在此场景下 并不适用. 而最近新提出的 YOLO-Lite、MobileNet 和 ShuffleNet 等轻型网络结构[21−23] ,尽管在速度和 体积上有了极大的提升,但因此产生的准确率损 失使得其难以在此场景下满足检测要求. 综上所述,将深度学习用于输电场景的威胁 报警是当前的一个研究趋势. 目前常规的深度学 · 510 · 工程科学学报,第 42 卷,第 4 期
李梅等:基于TATLNet的输电场景威胁检测 511 习方法已经取得了一定的效果,但是在检测准确 数据增强方式对数据集进行扩充,包括传统的几 率和效率方面仍有一定的提升空间,并且在限定 何变换数据增强和GAN生成新图像的数据增强 能耗的条件下也不再适用.因此,针对输电场景大 方法.在用GAN对数据集进行扩充时,采用深度 型机械入侵的偶然性和图像特征,需要提出一整 卷积对抗生成网络(Deep convolutional generative 套新的输电场景大型机械入侵检测方法. adversarial network,DCGAN)来生成新的图像P 考虑计算机显存的限制,在训练时统一将图像在 2设计与实现 960×640像素的尺寸上进行训练,每16张图像为 2.1架构设计 一个批次,训练过程中生成的图像样本如图2(a) 基于TATLNet的输电场景下的威胁报警方法 所示.对于传统的图像几何变换方法,采用随机裁 通过开启或者关闭红外传感器控制系统来减少运 剪、水平翻转、图像倾斜、添加噪声和图像缩放的 行能耗,当红外传感器探测到大型机械的运行时 方式对数据集进行了扩充,图2(b)为添加椒盐噪 会唤醒摄像头并加载神经网络,在对摄像头采集 声的图像 的视频解码后将图像传输至输电线路威胁检测 (a) (b) 网络TATLNet.TATLNet分为可疑区域生成网络 VRGNet(Vehicle regions generation network)和威胁 判别网络VTCNet(Vehicle threat classification network).VRGNet提取图像中可能存在目标的区 域,VTCNet实现与VRGNet的特征共享并对候选 图2数据增强图像.(a)GAN生成图像:(b)椒盐噪声图像 区域进行进一步的分类.检测结果通过无线传输 Fig.2 Images from data enhancement:(a)image generated from GAN; 发送至服务器,在服务器上实现对大型机械入侵 (b)image with salt and pepper noise 的报警,流程图如图1所示. 2.3 TATLNet设计 针对计算平台低能耗的需求以及入侵输电 Infared sensor 场地的机械在图像中的特点,设计了一种端到 端的输电线路威胁检测网络TATLNet,分别设计 可疑区域生成网络VRGNet和吊车分类网络 Waking camera up VTCNet两部分,并采用模型压缩的方式来对模型 进行压缩以减少非必要参数数量、缩小模型体 Video decoding 积、提高运算速度.其中,VRGNet负责输电场景 Loading model 下吊车的粗略检测,VTCNet负责对VRGNet的检 测结果进行进一步判断(可以将VRGNet视为一个 更为精确的RPNP),VTCNet与VRGNet共享部 TLTANet 分卷积层以减少检测的计算量,TATLNet结构图 VRGNet VTCNet 如图3所示 2.3.1 VRGNet结构设计 VRGNet借鉴了YOLO边框回归计算的思想, Detection result 并对其主体网络做了一定的精简以尽可能缩小模 型的体积,网络结构如图4所示,其中Conv为卷 积层(Convolutional layer),同时包含一个最大池化 Control server 层(Max pooling layer)和relu激活层(Rectified linear 图1系统流程图 unit layer),Fc为全连接层(Fully connection layer) Fig.I System flow chart 首先将输入图像缩放至统一尺寸后在图像中划分 出多个网格,如果目标中心点落在某个网格中,则 2.2数据增强 该网格就负责对该目标的检测.由于大型机械在 由于可以获得的数据集样本较少,采用多种 运作时不会十分密集,并且该网络的主要任务为
习方法已经取得了一定的效果,但是在检测准确 率和效率方面仍有一定的提升空间,并且在限定 能耗的条件下也不再适用. 因此,针对输电场景大 型机械入侵的偶然性和图像特征,需要提出一整 套新的输电场景大型机械入侵检测方法. 2 设计与实现 2.1 架构设计 基于 TATLNet 的输电场景下的威胁报警方法 通过开启或者关闭红外传感器控制系统来减少运 行能耗,当红外传感器探测到大型机械的运行时 会唤醒摄像头并加载神经网络,在对摄像头采集 的视频解码后将图像传输至输电线路威胁检测 网络 TATLNet. TATLNet 分为可疑区域生成网络 VRGNet(Vehicle regions generation network)和威胁 判 别 网 络 VTCNet( Vehicle threat classification network). VRGNet 提取图像中可能存在目标的区 域,VTCNet 实现与 VRGNet 的特征共享并对候选 区域进行进一步的分类. 检测结果通过无线传输 发送至服务器,在服务器上实现对大型机械入侵 的报警,流程图如图 1 所示. 2.2 数据增强 由于可以获得的数据集样本较少,采用多种 数据增强方式对数据集进行扩充,包括传统的几 何变换数据增强和 GAN 生成新图像的数据增强 方法. 在用 GAN 对数据集进行扩充时,采用深度 卷积对抗生成网络( Deep convolutional generative adversarial network, DCGAN)来生成新的图像 [24] . 考虑计算机显存的限制,在训练时统一将图像在 960×640 像素的尺寸上进行训练,每 16 张图像为 一个批次,训练过程中生成的图像样本如图 2(a) 所示. 对于传统的图像几何变换方法,采用随机裁 剪、水平翻转、图像倾斜、添加噪声和图像缩放的 方式对数据集进行了扩充,图 2(b)为添加椒盐噪 声的图像. 2.3 TATLNet 设计 针对计算平台低能耗的需求以及入侵输电 场地的机械在图像中的特点,设计了一种端到 端的输电线路威胁检测网络 TATLNet,分别设计 可 疑 区 域 生 成 网 络 VRGNet 和 吊 车 分 类 网 络 VTCNet 两部分,并采用模型压缩的方式来对模型 进行压缩以减少非必要参数数量、缩小模型体 积、提高运算速度. 其中,VRGNet 负责输电场景 下吊车的粗略检测,VTCNet 负责对 VRGNet 的检 测结果进行进一步判断(可以将 VRGNet 视为一个 更为精确的 RPN[25] ) ,VTCNet 与 VRGNet 共享部 分卷积层以减少检测的计算量,TATLNet 结构图 如图 3 所示. 2.3.1 VRGNet 结构设计 VRGNet 借鉴了 YOLO 边框回归计算的思想, 并对其主体网络做了一定的精简以尽可能缩小模 型的体积,网络结构如图 4 所示,其中 Conv 为卷 积层(Convolutional layer),同时包含一个最大池化 层(Max pooling layer)和 relu 激活层(Rectified linear unit layer) ,Fc 为全连接层(Fully connection layer). 首先将输入图像缩放至统一尺寸后在图像中划分 出多个网格,如果目标中心点落在某个网格中,则 该网格就负责对该目标的检测. 由于大型机械在 运作时不会十分密集,并且该网络的主要任务为 Infared sensor Waking camera up Loading model Video decoding Detection result Control server TLTANet VRGNet VTCNet 图 1 系统流程图 Fig.1 System flow chart (a) (b) 图 2 数据增强图像. (a) GAN 生成图像;(b)椒盐噪声图像 Fig.2 Images from data enhancement: (a)image generated from GAN; (b) image with salt and pepper noise 李 梅等: 基于 TATLNet 的输电场景威胁检测 · 511 ·
512 工程科学学报,第42卷,第4期 Input image Confidence Feature Feature Input imag哭 extraction sharing layer Regression Input image Coordinates Rol pooling Detection result 图3 TATLNet结构图 Fig.3 Structure of TATLNet 384 384 96 48 24 192 256 1024 1024 024 Conv Conv Conv Conv Conv Conv 图4 VRGNet结构图 Fig.4 Structure of VRGNet 检测大型机械是否存在,对目标的个数没有很高 Coordinates 的要求,因此每个网格只预测至多一个目标出现 的坐标和概率.由于需要检测的目标只有吊车这 Rol 一类,所以VRGNet并不需要单独的分类器,因而 舍弃了目标类别预测的分支,采用置信度来衡量 Uniform size Conv Conv Fc Rol feature map map 边框中存在目标的概率.根据对数据集中吊车尺 图5 VTCNet结构图 寸的统计,可以发现图像中目标的尺寸大小没有 Fig.5 Structure of VTCNet 大的波动,因此舍弃了特征金字塔结构来减小 计算量.经过实验,将图像划分为9×9的网格时模 2.3.3损失函数设计 型准确率最高 由于TATLNet只需要检测一类目标而不用进 2.3.2 VTCNet结构设计 行多类别分类,所以最终的分类损失函数只需要 对于由VRGNet经过回归计算得到的可疑区 判断单类别的置信度,目标置信度Lcr采用交叉 域坐标,将其映射到VRGNet得到的特征图上.由 嫡损失函数,具体如公式(1)所示 s2 此VTCNet与VRGNet实现了部分特征共享,所以 Lconf cnc;+1-c)n1-C】 (1) VTCNet对候选区域图像的判别不必从原图开始 i=0 对候选区域进行特征提取,因此VTCNet层数不必 其中,S2表示网格单元的总数,C,表示第i个网格 太多,由此可以大幅度减少由图像特征提取带来 目标检测器所产生的预测结果的置信度,C,表示 的计算量.如图5所示,VTCNet根据区域坐标在 预测目标框与真实目标之间的交并比.目标坐标 特征图上得到候选区域,通过RolPooling以及双线 的损失函数Lioe如公式(2)所示,其中pro代表所 性插值将候选区域缩放至统一尺寸,经过两个卷 有目标,(x,》表示第i个网格所产生的预测结果 积层后通过一个全连接层生成固定长度的特征向 的中心点坐标,(xny)为真实的中心点坐标.相应 量,该向量通过Softmax算法实现对候选区域的 地,(wh,)和(w,h)分别代表预测目标和真实目 判别. 标的宽、高
检测大型机械是否存在,对目标的个数没有很高 的要求,因此每个网格只预测至多一个目标出现 的坐标和概率. 由于需要检测的目标只有吊车这 一类,所以 VRGNet 并不需要单独的分类器,因而 舍弃了目标类别预测的分支,采用置信度来衡量 边框中存在目标的概率. 根据对数据集中吊车尺 寸的统计,可以发现图像中目标的尺寸大小没有 大的波动,因此舍弃了特征金字塔结构[14] 来减小 计算量. 经过实验,将图像划分为 9×9 的网格时模 型准确率最高. 2.3.2 VTCNet 结构设计 对于由 VRGNet 经过回归计算得到的可疑区 域坐标,将其映射到 VRGNet 得到的特征图上. 由 此 VTCNet 与 VRGNet 实现了部分特征共享,所以 VTCNet 对候选区域图像的判别不必从原图开始 对候选区域进行特征提取,因此 VTCNet 层数不必 太多,由此可以大幅度减少由图像特征提取带来 的计算量. 如图 5 所示,VTCNet 根据区域坐标在 特征图上得到候选区域,通过 RoIPooling 以及双线 性插值将候选区域缩放至统一尺寸,经过两个卷 积层后通过一个全连接层生成固定长度的特征向 量,该向量通过 Softmax 算法实现对候选区域的 判别. 2.3.3 损失函数设计 由于 TATLNet 只需要检测一类目标而不用进 行多类别分类,所以最终的分类损失函数只需要 判断单类别的置信度,目标置信度 Lconf 采用交叉 熵损失函数,具体如公式(1)所示. Lconf = S ∑2 i=0 [ Ci lnC ∗ i +(1−Ci)ln( 1−C ∗ i )] (1) 其中,S 2 表示网格单元的总数,Ci 表示第 i 个网格 目标检测器所产生的预测结果的置信度,C * i 表示 预测目标框与真实目标之间的交并比. 目标坐标 的损失函数 Lloc 如公式(2)所示,其中 pro 代表所 有目标,(xi , yi ) 表示第 i 个网格所产生的预测结果 的中心点坐标,(x * i , y * i ) 为真实的中心点坐标. 相应 地,(wi , hi ) 和 (w * i , h * i ) 分别代表预测目标和真实目 标的宽、高. Feature extraction Feature sharing layer Regression Confidence Detection result RoI pooling Input image Coordinates Input image Input image 图 3 TATLNet 结构图 Fig.3 Structure of TATLNet 1 024 6 12 512 24 24 256 48 48 192 96 96 3 384 384 1 024 12 6 Conv Fc Fc 6 6 6 6 1 024 4 096 10 Conv Conv Conv Conv Conv 图 4 VRGNet 结构图 Fig.4 Structure of VRGNet Softmax Coordinates Feature map RoI Uniform size RoI feature map Conv Conv Fc 图 5 VTCNet 结构图 Fig.5 Structure of VTCNet · 512 · 工程科学学报,第 42 卷,第 4 期
李梅等:基于TATLNet的输电场景威胁检测 513 模型进行测试,训练数据和测试数据均采用自制 xiln+(1-xi)In(1)+yi lny+ 的吊车图像数据集,测试结果如表1所示.可以看 1-yln(l-y)+v网nm+-V网n1-√网+ 出,随着网格数目的增加,准确率也随之增加,而 召回率有先增加后降低的趋势,检测效率则随着 瓜nV所+-同n-网n 网格的增加迅速降低.综合准确率与检测效率, (2) 9×9为最优网格划分方案. 结合TATLNet的结构图,如公式(3)所示, 表1 VRGNet中网格划分对检测结果的影响 TATLNet的损失函数L可以设计为对置信度损失 Table 1 Different strategies of grid cells partitioning 和坐标损失的加权相加,其中α为加权系数. Grids Precision/% Recall/% Efficiency/ms L=aLconf +(1-a)Lloc (3) 2×2 72.23 68.49 33.61 2.3.4模型压缩 3×3 84.80 71.99 35.85 通过通道剪枝的方式来对模型进行压缩,对 4×4 89.60 79.59 36.48 已经训练好的模型,选择出相对不重要的通道,将 5×5 84.37 83.87 40.37 这些通道删除,然后构造新的模型图,经过重新训 6×6 88.48 86.90 45.62 练,恢复原先模型的准确率,消除由于模型压缩带 8×8 92.62 90.14 47.66 来的准确率损失. 9×9 95.19 92.40 51.63 对于每一个通道上的卷积核,首先计算出其 10×10 93.28 95.15 67.21 Frobenius范数.然后将其二值化,即如果计算出 12×12 81.14 84.36 8.29 的Frobenius范数大于0则令其为l,如果等于0则 14×14 75.61 84.49 7.29 保持不变.将通道上的这一指标累加起来,以此找 15×15 75.11 86.30 6.05 出神经网络各层中的冗余通道,实现对神经网络 作用较小的分支的剪枝,获得体积更小的模型图 3.2数据增强 通过剪枝获得的模型,利用训练集进行重新训练, 为了测试该方法所采用的数据增强技术对准 以弥补由于剪枝带来的准确率损失,在不损失模 确率的影响,对无数据增强、传统的图像几何变 型准确率的基础上实现对深度学习模型的体积压 换、GAN以及GAN与图形变换相结合的方式进 缩和速度提升, 行了对照实验,其中原始图像500张,传统的图像 3实验与应用分析 几何变换生成新的图像1500张,GAN生成新图像 1500张.实验结果表2所示,可以看出,GAN与传 为了测试TATLNet的各项性能指标,在英伟 统图像几何变换相结合的方式可以极大地提高模 达轻量级计算平台NVIDIA Tegra X2上进行了各 型的准确率 项实验,算法的性能以准确率(Precision)、召回率 (Recall)和检测效率(Efficiency)为指标: 表2数据增强效果 TP Precision (4) Table 2 Effect of data enhancement TP+FP p Data enhancement methods Precision Recall TP Recall =TP+FN (5) Original images 78.19 71.52 Time Traditional methods 85.73 81.35 Efficiency=Number (6) GAN 93.62 90.55 其中,TP为测试集检测对的目标数;FP为漏检数; GAN+traditional methos 95.19 92.40 FN为误检数;Time为算法在测试集进行推理上所 用时间总和,ms:Number为测试集样本总数 3.3不同输入图像尺寸比较 3.1 VRGNet网格划分策略对比 般而言,输人图像的尺寸越高,神经网络检 考虑现场监控场景下目标在监控图像中的比 测的准确率越高,与此同时会伴随着推理时间的 例对检测结果的影响,为了选取合适的VRGNet网 增加,为了在模型准确率和推理速度之间达到平 格单元划分比例,对不同尺度网格单元下的检测 衡,对输入图像的不同尺寸进行了测试,测试结果
Lloc = ∑ i∈pro [ xi ln x ∗ i +(1− xi)ln(1− x ∗ i )+yi lny ∗ i + (1−yi)ln(1−y ∗ i )+ √ wi ln √ w ∗ i + ( 1− √ wi ) ln( 1− √ w ∗ i ) + √ hi ln √ h ∗ i + ( 1− √ hi ) ln( 1− √ h ∗ i ) ] n (2) 结 合 TATLNet 的结构图 ,如公式 ( 3)所示 , TATLNet 的损失函数 L 可以设计为对置信度损失 和坐标损失的加权相加,其中 α 为加权系数. L = αLconf +(1−α)Lloc (3) 2.3.4 模型压缩 通过通道剪枝的方式来对模型进行压缩,对 已经训练好的模型,选择出相对不重要的通道,将 这些通道删除,然后构造新的模型图,经过重新训 练,恢复原先模型的准确率,消除由于模型压缩带 来的准确率损失. 对于每一个通道上的卷积核,首先计算出其 Frobenius 范数. 然后将其二值化,即如果计算出 的 Frobenius 范数大于 0 则令其为 1,如果等于 0 则 保持不变. 将通道上的这一指标累加起来,以此找 出神经网络各层中的冗余通道,实现对神经网络 作用较小的分支的剪枝,获得体积更小的模型图. 通过剪枝获得的模型,利用训练集进行重新训练, 以弥补由于剪枝带来的准确率损失,在不损失模 型准确率的基础上实现对深度学习模型的体积压 缩和速度提升. 3 实验与应用分析 为了测试 TATLNet 的各项性能指标,在英伟 达轻量级计算平台 NVIDIA Tegra X2 上进行了各 项实验,算法的性能以准确率(Precision)、召回率 (Recall)和检测效率(Efficiency)为指标: Precision = TP TP+FP (4) Recall = TP TP+FN (5) Efficiency = Time Number (6) 其中,TP 为测试集检测对的目标数;FP 为漏检数; FN 为误检数;Time 为算法在测试集进行推理上所 用时间总和,ms;Number 为测试集样本总数. 3.1 VRGNet 网格划分策略对比 考虑现场监控场景下目标在监控图像中的比 例对检测结果的影响,为了选取合适的 VRGNet 网 格单元划分比例,对不同尺度网格单元下的检测 模型进行测试,训练数据和测试数据均采用自制 的吊车图像数据集,测试结果如表 1 所示. 可以看 出,随着网格数目的增加,准确率也随之增加,而 召回率有先增加后降低的趋势,检测效率则随着 网格的增加迅速降低. 综合准确率与检测效率, 9×9 为最优网格划分方案. 3.2 数据增强 为了测试该方法所采用的数据增强技术对准 确率的影响,对无数据增强、传统的图像几何变 换、GAN 以及 GAN 与图形变换相结合的方式进 行了对照实验,其中原始图像 500 张,传统的图像 几何变换生成新的图像 1500 张,GAN 生成新图像 1500 张. 实验结果表 2 所示,可以看出,GAN 与传 统图像几何变换相结合的方式可以极大地提高模 型的准确率. 3.3 不同输入图像尺寸比较 一般而言,输入图像的尺寸越高,神经网络检 测的准确率越高,与此同时会伴随着推理时间的 增加. 为了在模型准确率和推理速度之间达到平 衡,对输入图像的不同尺寸进行了测试,测试结果 表 1 VRGNet 中网格划分对检测结果的影响 Table 1 Different strategies of grid cells partitioning Grids Precision/% Recall/% Efficiency/ms 2×2 72.23 68.49 33.61 3×3 84.80 71.99 35.85 4×4 89.60 79.59 36.48 5×5 84.37 83.87 40.37 6×6 88.48 86.90 45.62 8×8 92.62 90.14 47.66 9×9 95.19 92.40 51.63 10×10 93.28 95.15 67.21 12×12 81.14 84.36 8.29 14×14 75.61 84.49 7.29 15×15 75.11 86.30 6.05 表 2 数据增强效果 Table 2 Effect of data enhancement % Data enhancement methods Precision Recall Original images 78.19 71.52 Traditional methods 85.73 81.35 GAN 93.62 90.55 GAN+traditional methos 95.19 92.40 李 梅等: 基于 TATLNet 的输电场景威胁检测 · 513 ·
514 工程科学学报,第42卷,第4期 表3所示.根据实际场景的需要,综合检测准确率 和效率,选择480×480像素作为最终的图像输入 尺寸 表3不同输入图像尺寸的比较 Table 3 Comparison of different image scales Image scales Precision/% Recall/% Efficiency/ms 240×240 64.71 59.32 30.75 320×320 68.55 64.08 39.65 416×416 80.24 81.46 47.39 480×480 95.19 92.40 51.63 图6实地部署检测效果 640x640 92.10 95.14 185.19 Fig.6 Detection result in field deployment 960x960 95.14 95.72 486.49 于距离较远的目标也具有较高的准确性 3.4与其他轻量级目标检测方法的比较 4 结论与展望 为了测试TATLNet的性能,将其与未经压缩 的TATLNet、.MobileNet和ShuffleNet进行了对比 针对输电场景中的大型机械检测问题,本文 实验,实验结果如表4所示.可以看出,经过压缩 以一种新的输电线路威胁检测网络TATLNet为主 以后的TATLNet在准确率损失可控的情况下实现 体提出了一种基于深度学习的输电线路威胁报警 了检测速度的大幅提升.跟其他轻量级目标检测 方法.通过一系列实验证明了TATLNet在对大型 算法相比,无论是检测准确率还是检测效率,压缩 入侵机械上的优越性,并测试了不同的检测策略 后的TATLNet都要更胜一筹 及超参数对检测准确率和效率的影响,实现了输 电场景下大型机械入侵检测的优化研究.主要结 表4与其他方法的比较 论为: Table 4 Comparison with other methods (1)以传统几何变换与GAN相结合的方式进 Methods Precision/%Recall/%Efficiency/ms 行数据增强,在此情境下可以获得最高的准确率 TATLNet 94.68 92.40 51.63 增益 MobileNet 88.35 82.47 67.48 (2)采用模型压缩策略可以在不大量损失准 ShuffleNet 83.65 84.91 58.78 确率的前提下实现检测速度的大幅提升 Uncompressed TATLNet 95.19 93.15 253.64 (3)以准确率、召回率和检测效率作为评价指 标,对网格划分策略以及输入图像尺寸进行比较, 3.5现场部署分析 在将图片划分为9×9时各项指标达到最优,图像 为了测试方法性能,在宁夏省银川市进行了 输入尺寸在480×480像素时准确率和效率达到最 现场部署测试.现场使用的摄像机为HIKVISION 佳平衡 DS-2CD3T25D-I5,安装在50个输电塔35~40m的 (4)通过跟其他检测方法的对比实验以及现 高度,采集到的图像尺寸为1920×1080像素,计算 场部署结果表明,该方法在准确率和效率上都要 平台为NVIDIA Tegra X2,生成的识别结果示例如 优于已有算法,具有较强的可用性、实时性和健 图6所示,在一个月中的报警数据如表5所示 壮性 从中可以看出,该方法可以有效地检测出摄 在实际应用中发现了新的业务优化需求,由 像头监控范围内入侵的吊车等大型机械,并且对 于该方法检测图像中的所有大型机械并发出提 表5现场部署检测统计 Table 5 Detection statistics in field deployment Alarms Actual number of intrusions Correct alarms Precision/% Recall/% Efficiency/ms 79 76 74 93.67 97.37 96.10
表 3 所示. 根据实际场景的需要,综合检测准确率 和效率,选择 480×480 像素作为最终的图像输入 尺寸. 3.4 与其他轻量级目标检测方法的比较 为了测试 TATLNet 的性能,将其与未经压缩 的 TATLNet、MobileNet 和 ShuffleNet 进行了对比 实验,实验结果如表 4 所示. 可以看出,经过压缩 以后的 TATLNet 在准确率损失可控的情况下实现 了检测速度的大幅提升. 跟其他轻量级目标检测 算法相比,无论是检测准确率还是检测效率,压缩 后的 TATLNet 都要更胜一筹. 3.5 现场部署分析 为了测试方法性能,在宁夏省银川市进行了 现场部署测试. 现场使用的摄像机为 HIKVISION DS-2CD3T25D-I5,安装在 50 个输电塔 35~40 m 的 高度,采集到的图像尺寸为 1920×1080 像素,计算 平台为 NVIDIA Tegra X2,生成的识别结果示例如 图 6 所示,在一个月中的报警数据如表 5 所示. 从中可以看出,该方法可以有效地检测出摄 像头监控范围内入侵的吊车等大型机械,并且对 于距离较远的目标也具有较高的准确性. 4 结论与展望 针对输电场景中的大型机械检测问题,本文 以一种新的输电线路威胁检测网络 TATLNet 为主 体提出了一种基于深度学习的输电线路威胁报警 方法. 通过一系列实验证明了 TATLNet 在对大型 入侵机械上的优越性,并测试了不同的检测策略 及超参数对检测准确率和效率的影响,实现了输 电场景下大型机械入侵检测的优化研究. 主要结 论为: (1)以传统几何变换与 GAN 相结合的方式进 行数据增强,在此情境下可以获得最高的准确率 增益. (2)采用模型压缩策略可以在不大量损失准 确率的前提下实现检测速度的大幅提升. (3)以准确率、召回率和检测效率作为评价指 标,对网格划分策略以及输入图像尺寸进行比较, 在将图片划分为 9×9 时各项指标达到最优,图像 输入尺寸在 480×480 像素时准确率和效率达到最 佳平衡. (4)通过跟其他检测方法的对比实验以及现 场部署结果表明,该方法在准确率和效率上都要 优于已有算法,具有较强的可用性、实时性和健 壮性. 在实际应用中发现了新的业务优化需求,由 于该方法检测图像中的所有大型机械并发出提 表 3 不同输入图像尺寸的比较 Table 3 Comparison of different image scales Image scales Precision/% Recall/% Efficiency/ms 240×240 64.71 59.32 30.75 320×320 68.55 64.08 39.65 416×416 80.24 81.46 47.39 480×480 95.19 92.40 51.63 640×640 92.10 95.14 185.19 960×960 95.14 95.72 486.49 表 4 与其他方法的比较 Table 4 Comparison with other methods Methods Precision/% Recall/% Efficiency/ms TATLNet 94.68 92.40 51.63 MobileNet 88.35 82.47 67.48 ShuffleNet 83.65 84.91 58.78 Uncompressed TATLNet 95.19 93.15 253.64 表 5 现场部署检测统计 Table 5 Detection statistics in field deployment Alarms Actual number of intrusions Correct alarms Precision/% Recall/% Efficiency/ms 79 76 74 93.67 97.37 96.10 图 6 实地部署检测效果 Fig.6 Detection result in field deployment · 514 · 工程科学学报,第 42 卷,第 4 期
李梅等:基于TATLNet的输电场景威胁检测 515· 示,会产生一定的误报警.在后续的研究中将会对 [12]Jiao L,Zhang F,Liu F,et al.A survey of deep learning-based 系统进行进一步延伸,实现大型机械与输电线路 object detection.IEEE Access,2019(7):128837 相对距离的检测,从而消除大型机械在输电线路 [13]Zou Z,Shi Z,Guo Y,et al Object detection in 20 years:a survey[J/OL].arXiv preprint (2019-05-13)[2019-09-15]. 威胁距离以外时产生的报警 https://arxiv.org/abs/1905.05241 参考文献 [14]Liu W,Anguelov D,Erhan D,et al.SSD:single shot multibox detector /European Conference on Computer Vision.Amsterdam, [1]Minker G A.Transmission Line Safery Monitoring System:U.S. 2016:21 Patent,,6377184.2002-4-23 [15]Redmon J,Divvala S,Girshick R,et al.You only look once: [2]Luo X,Zhang L Y,Luo W J,et al.Research on UAV patrol unified,real-time object detection /Proceedings of the IEEE control system based on pyroelectric infrared sensor.Technol Conference on Computer Vision and Pattern Recognition Econom Guide,2019,27(8):3 Amsterdam,2016:779 (罗霞,张良勇,罗文金,等.基于热释电红外传感器的无人机巡 [16]Law H,Deng J.CornerNet:detecting objects as paired keypoints// 检控制系统研究.科技经济导刊,2019,27(8):3) Proceedings of the European Conference on Computer Vision. [3]Lu Y X,Kumar A,Zhai S F,et al.Fully-adaptive feature sharing Munich,2018:734 in multi-task networks with applications in person attribute [17]Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for classification l Proceedings of the IEEE Conference on Computer accurate object detection and semantic segmentation / Vision and Pattern Recognition.Honolulu,2017:5334 Proceedings of the IEEE Conference on Computer Vision and [4]He Y H,Zhang X Y,Sun J.Channel pruning for accelerating very Pattern Recognition.Columbus,2014:580 deep neural networks l Proceedings of the IEEE International [18]Girshick R.Fast R-CNN Proceedings of the IEEE International Conference on Computer Vision.Venice,2017:1389 Conference on Computer Vision.Santiago,2015:1440 Han S,Mao HZ.Dally WJ.Deep compression:compressing deep [19]Ren S Q,He K M,Girshick R,et al.Faster R-CNN:towards real- neural networks with pruning,trained quantization and huffman time object detection with region proposal networks /Advances in coding[J/OL].arXiv preprint (2016-02-15)[2019-09-15] Neural Information Processing Systems.Montreal,2015:91 https://arxiv.org/abs/1510.00149 [20]He K M,Gkioxari G,Dollar P,et al.Mask R-CNN /Proceedings [6]Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generative of the IEEE International Conference on Computer Vision adversarial nets l/Advances in Neural Information Processing Honolulu,2017:2961 Systems.Montreal,2014:2672 [21]Huang R,Pedoeem J,Chen C X.YOLO-LITE:a real-time object [7]Duan S Z,Wei K Q.Research on active early warning monitoring detection algorithm optimized for non-GPU computers //2018 system for preventing exteral force damage of transmission lines. IEEE International Conference on Big Data (Big Data).Seattle, Theor Res Urban Constr,2017(15):6 2018:2503 (段树忠,魏可强.输电线路主动预警式防外力破坏监控系统研 [22]Howard A G,Zhu M,Chen B,et al.MobileNets:efficient 究.城市建设理论研究,2017(15):6) convolutional neural networks for mobile vision [8]Guo S,Zeng Y H,Zhang J B,et al.Application of intelligent applications[J/OL].arXiv preprint (2017-04-17)[2019-09-15]. monitoring system for external force damage prevention for https://arxiv.org/abs/1704.04861 transmission lines.Guangdong Electr Power,2018,31(4):139 [23]Zhang X Y,Zhou X Y,Lin M X,et al.ShuffleNet:an extremely (郭圣,曾懿辉,张纪宾,等.输电线路防外力破坏智能监控系统 efficient convolutional neural network for mobile devices / 的应用.广东电力,2018,31(4):139) Proceedings of the IEEE Conference on Computer Vision and [9]LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015, Pattern Recognition.Salt Lake City,2018:6848 521(7553):436 [24]Radford A,MetzL,Chintala S.Unsupervised representation [10]Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification learning with deep convolutional generative adversarial with deep convolutional neural networks /Advances in Neural networks[J/OL].arXiv preprint (2016-01-07)[2019-09-15] Information Processing Systems.Lake Tahoe,2012:1097 https://arxiv.org/abs/1511.06434 [11]Papageorgiou C P,Oren M,Poggio T.A general framework for [25]Lin T Y,Dollar P,Girshick R,et al.Feature pyramid networks for object detection ll Sixth International Conference on Computer object detection Proceedings of the IEEE Conference on Vision.Tampa,1998:555 Computer Vision and Pattern Recognition.Honolulu,2017:2117
示,会产生一定的误报警. 在后续的研究中将会对 系统进行进一步延伸,实现大型机械与输电线路 相对距离的检测,从而消除大型机械在输电线路 威胁距离以外时产生的报警. 参 考 文 献 Minker G A. Transmission Line Safety Monitoring System: U.S. Patent, 6377184. 2002-4-23 [1] Luo X, Zhang L Y, Luo W J, et al. Research on UAV patrol control system based on pyroelectric infrared sensor. Technol Econom Guide, 2019, 27(8): 3 (罗霞, 张良勇, 罗文金, 等. 基于热释电红外传感器的无人机巡 检控制系统研究. 科技经济导刊, 2019, 27(8):3) [2] Lu Y X, Kumar A, Zhai S F, et al. Fully-adaptive feature sharing in multi-task networks with applications in person attribute classification // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, 2017: 5334 [3] He Y H, Zhang X Y, Sun J. Channel pruning for accelerating very deep neural networks // Proceedings of the IEEE International Conference on Computer Vision. Venice, 2017: 1389 [4] Han S, Mao H Z, Dally W J. Deep compression: compressing deep neural networks with pruning, trained quantization and huffman coding[J/OL]. arXiv preprint (2016-02-15)[2019-09-15]. https://arxiv.org/abs/1510.00149 [5] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets // Advances in Neural Information Processing Systems. Montreal, 2014: 2672 [6] Duan S Z, Wei K Q. Research on active early warning monitoring system for preventing external force damage of transmission lines. Theor Res Urban Constr, 2017(15): 6 (段树忠, 魏可强. 输电线路主动预警式防外力破坏监控系统研 究. 城市建设理论研究, 2017(15):6) [7] Guo S, Zeng Y H, Zhang J B, et al. Application of intelligent monitoring system for external force damage prevention for transmission lines. Guangdong Electr Power, 2018, 31(4): 139 (郭圣, 曾懿辉, 张纪宾, 等. 输电线路防外力破坏智能监控系统 的应用. 广东电力, 2018, 31(4):139) [8] LeCun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521(7553): 436 [9] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. Lake Tahoe, 2012: 1097 [10] Papageorgiou C P, Oren M, Poggio T. A general framework for object detection // Sixth International Conference on Computer Vision. Tampa, 1998: 555 [11] Jiao L, Zhang F, Liu F, et al. A survey of deep learning-based object detection. IEEE Access, 2019(7): 128837 [12] Zou Z, Shi Z, Guo Y, et al Object detection in 20 years: a survey[J/OL]. arXiv preprint (2019-05-13)[2019-09-15]. https://arxiv.org/abs/1905.05241 [13] Liu W, Anguelov D, Erhan D, et al. SSD: single shot multibox detector // European Conference on Computer Vision. Amsterdam, 2016: 21 [14] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Amsterdam, 2016: 779 [15] Law H, Deng J. CornerNet: detecting objects as paired keypoints // Proceedings of the European Conference on Computer Vision. Munich, 2018: 734 [16] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus, 2014: 580 [17] Girshick R. Fast R-CNN // Proceedings of the IEEE International Conference on Computer Vision. Santiago, 2015: 1440 [18] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards realtime object detection with region proposal networks // Advances in Neural Information Processing Systems. Montreal, 2015: 91 [19] He K M, Gkioxari G, Dollár P, et al. Mask R-CNN // Proceedings of the IEEE International Conference on Computer Vision. Honolulu, 2017: 2961 [20] Huang R, Pedoeem J, Chen C X. YOLO-LITE: a real-time object detection algorithm optimized for non-GPU computers // 2018 IEEE International Conference on Big Data (Big Data). Seattle, 2018: 2503 [21] Howard A G, Zhu M, Chen B, et al. MobileNets: efficient convolutional neural networks for mobile vision applications[J/OL]. arXiv preprint (2017-04-17)[2019-09-15]. https://arxiv.org/abs/1704.04861 [22] Zhang X Y, Zhou X Y, Lin M X, et al. ShuffleNet: an extremely efficient convolutional neural network for mobile devices // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 6848 [23] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J/OL]. arXiv preprint (2016-01-07)[2019-09-15]. https://arxiv.org/abs/1511.06434 [24] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, 2017: 2117 [25] 李 梅等: 基于 TATLNet 的输电场景威胁检测 · 515 ·