第16卷第6期 智能系统学报 Vol.16 No.6 2021年11月 CAAI Transactions on Intelligent Systems Now.2021 D0:10.11992/tis.202011003 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210330.1755.006.html 改进Faster R-CNN的汽车仪表指针实时检测 伍锡如，邱涛涛 (桂林电子科技大学电子工程与自动化学院，广西桂林541004) 摘要：针对产业化的汽车仪表指针人工视觉检测效果差、检测速度慢和实时性低等问题，本文提出了一种改 进的Faster R-CNN汽车仪表指针实时检测算法。通过改进原始的RolI网络层结构，实现小目标高低层特征之 间的完整传递：采用双线性内插算法替代两次量化操作，使得特征聚集变成连续的过程，能够有效减少计算时 间：最后将工业机采集的视频数据，预处理成VOC格式数据集进行训练，调整超参数得到改进汽车仪表指针检 测模型。实验结果表明：所提出的方法能够快速、准确地实现汽车仪表指针检测，单张图片的平均检测时间为 0.197s,平均检测精度可达92.7%。在不同类别仪表指针的迁移实验中，展示了良好的泛化性能。 关键词：卷积神经网络；汽车仪表指针；实时检测：双线性内插；深度学习；模式识别：特征提取；特征聚集 中图分类号：TP183:TP391.41文献标志码：A文章编号：1673-47852021)06-1056-08 中文引用格式：伍锡如，邱涛涛.改进Faster R-CNN的汽车仪表指针实时检测JL.智能系统学报，2021,16(6)：1056-1063. 英文引用格式：WU Xiru,,QIU Taotao.Improved Faster R-CNN vehicle instrument pointer real--time detection algorithm.CAAl transactions on intelligent systems,2021,16(6):1056-1063. Improved Faster R-CNN vehicle instrument pointer real-time detection algorithm WU Xiru,QIU Taotao (College of Electronic Engineering and Automation,Guilin University of Electronic Technology,Guilin 541004,China) Abstract:This paper proposes an improved Faster R-CNN vehicle instrument pointer real-time detection algorithm to solve the problems of the poor artificial visual detection effect,slow detection speed,and low real-time performance of industrialized vehicle instrument pointers.First,complete transfer between the high-and low-layer features of a small target is realized by improving an original Rol network layer structure.Subsequently,continuous feature aggregation re- duces calculation time using a bilinear interpolation algorithm to replace two quantization operations.Finally,video data collected by an industrial machine are preprocessed into a VOC format data set for training,and hyperparameters are ad- justed to obtain an improved vehicle instrument pointer detection model.Experimental results show that the proposed method can quickly and accurately detect the vehicle instrument pointer.The average detection time of a single picture is 0.197s,and the average detection accuracy can reach 92.7%.The good generalization performance of this method is demonstrated in the migration experiment of different instrument pointer types. Keywords:convolutional neural network;vehicle instrument pointer;real-time detection;bilinear interpolation;deep learning;pattern recognition;feature extraction;feature aggregation 随着汽车仪表生产过程的自动化需求不断提动检测技术不断激增的需求4，大多数企业仍采 高，如何开发出一种高效、实时的指针检测方法 用人工视觉视检的方法来检测仪表指针，人工检 成为当前人工智能领域的热点课题。面对自 测方法受工作状态影响，导致检测标准难以统 一，无法满足流水线上仪表的产量需求，检测效 收稿日期：2020-11-03.网络出版日期：2021-03-31. 基金项目：国家自然科学基金项目(61863007)：广西自然科学 率和精度也随之受到影响。由于指针目标较小， 基金项目(2020 GXNSFDA238029):广西研究生教有 创新计划项目(YCSW2020159). 对应的像素中包含的特征很少，会导致存在漏检 通信作者：邱涛涛.E-mail:18339171275@163.com 的情况
DOI: 10.11992/tis.202011003 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210330.1755.006.html 改进 Faster R-CNN 的汽车仪表指针实时检测 伍锡如，邱涛涛 （桂林电子科技大学 电子工程与自动化学院，广西 桂林 541004） 摘 要：针对产业化的汽车仪表指针人工视觉检测效果差、检测速度慢和实时性低等问题，本文提出了一种改 进的 Faster R-CNN 汽车仪表指针实时检测算法。通过改进原始的 RoI 网络层结构，实现小目标高低层特征之 间的完整传递；采用双线性内插算法替代两次量化操作，使得特征聚集变成连续的过程，能够有效减少计算时 间；最后将工业机采集的视频数据，预处理成 VOC 格式数据集进行训练，调整超参数得到改进汽车仪表指针检 测模型。实验结果表明：所提出的方法能够快速、准确地实现汽车仪表指针检测，单张图片的平均检测时间为 0.197 s，平均检测精度可达 92.7%。在不同类别仪表指针的迁移实验中，展示了良好的泛化性能。 关键词：卷积神经网络；汽车仪表指针；实时检测；双线性内插；深度学习；模式识别；特征提取；特征聚集 中图分类号：TP183; TP391.41 文献标志码：A 文章编号：1673−4785(2021)06−1056−08 中文引用格式：伍锡如, 邱涛涛. 改进 Faster R-CNN 的汽车仪表指针实时检测 [J]. 智能系统学报, 2021, 16(6): 1056–1063. 英文引用格式：WU Xiru, QIU Taotao. Improved Faster R-CNN vehicle instrument pointer real-time detection algorithm[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1056–1063. Improved Faster R-CNN vehicle instrument pointer real-time detection algorithm WU Xiru，QIU Taotao (College of Electronic Engineering and Automation, Guilin University of Electronic Technology, Guilin 541004, China) Abstract: This paper proposes an improved Faster R-CNN vehicle instrument pointer real-time detection algorithm to solve the problems of the poor artificial visual detection effect, slow detection speed, and low real-time performance of industrialized vehicle instrument pointers. First, complete transfer between the high- and low-layer features of a small target is realized by improving an original RoI network layer structure. Subsequently, continuous feature aggregation reduces calculation time using a bilinear interpolation algorithm to replace two quantization operations. Finally, video data collected by an industrial machine are preprocessed into a VOC format data set for training, and hyperparameters are adjusted to obtain an improved vehicle instrument pointer detection model. Experimental results show that the proposed method can quickly and accurately detect the vehicle instrument pointer. The average detection time of a single picture is 0.197 s, and the average detection accuracy can reach 92.7%. The good generalization performance of this method is demonstrated in the migration experiment of different instrument pointer types. Keywords: convolutional neural network; vehicle instrument pointer; real-time detection; bilinear interpolation; deep learning; pattern recognition; feature extraction; feature aggregation 随着汽车仪表生产过程的自动化需求不断提 高，如何开发出一种高效、实时的指针检测方法 成为当前人工智能领域的热点课题[1-3]。面对自 动检测技术不断激增的需求[4-5] ，大多数企业仍采 用人工视觉视检的方法来检测仪表指针，人工检 测方法受工作状态影响，导致检测标准难以统 一，无法满足流水线上仪表的产量需求，检测效 率和精度也随之受到影响。由于指针目标较小， 对应的像素中包含的特征很少，会导致存在漏检 的情况。 收稿日期：2020−11−03. 网络出版日期：2021−03−31. 基金项目：国家自然科学基金项目 (61863007)；广西自然科学 基金项目 (2020GXNSFDA238029)；广西研究生教育 创新计划项目 (YCSW2020159). 通信作者：邱涛涛. E-mail：18339171275@163.com. 第 16 卷第 6 期 智 能 系 统 学 报 Vol.16 No.6 2021 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2021
第6期 伍锡如，等：改进Faster R-CNN的汽车仪表指针实时检测 ·1057· 现有的仪表指针检测主要基于经典图像处理 测，提高了人脸检测的效率。文献[20]使用Faster 方法来实现向，通过匹配目标形状与颜色特征来 R-CNN网络实现了人、车及动物等铁路异物的侵 检测指针位置。例如，文献[10]中，作者提出了 限检测，取得了较好的效果。深度学习使得识别 种改进的中心投影法，通过定位圆形比例区域 与检测纳入一个整体流程，实现端到端的学习P2。 来匹配指针轮廓获得指针位置。Hao等)基于 鉴于以上研究，本文提出了一种基于改进 OpenCV提出并实现了一种汽车仪表自动检测指 Faster R-CNN汽车仪表指针实时检测方法。采用 针系统；Gao等提出了一种鲁棒的字符分割分 RoI Align层替代原始的Rol Pooling层，保留了小 类器，该分类器是通过级联定向梯度直方图HOG/ 目标的完整像素信息。基于双线性内插方法使特 支持向量机SVM二进制分类器来识别仪表板指 征聚集过程连续化，缩短了特征映射的计算时 针。基于形状特征与颜色特征的方法抗噪性较 间。通过多组不同类型的仪表指针实验，在检测 好，但提取的信息并不充分，且计算量大对硬件 时间和检测精度上进行实验评估，验证了所提方 支持需求较大，没有考虑实时性与泛化性的需 法的高效性和实时性。 求。因此研究一种汽车仪表指针快速实时检测方 法具有重要的现实意义。 1 Faster R-CNN检测原理 近年来，深度学习方法在图像的识别和检测 方面涌现了许多优秀成果，成为当前热点研究领 Faster R-CNN算法网络框架如图1所示。整 域。例如，曹锦纲等提出一种基于生成式对 体框架由区域建议网络(region proposal network, 抗网络应用于交通场景运动模糊图像增强，能够 RPN)和Fast R-CNN检测网络两部分构成。当图 以较好的图像视觉效果完成模糊图像的增强。文 像输入网络后，由检测网络中的卷积网络层提取 献[17]通过卷积神经网络(CNN)与循环神经网络 仪表指针特征，得到卷积特征层。卷积特征层被 (RNN)结合，能够实现交通场景端到端语义描述， 后续的RPN层与检测网络层共享。RPN层使用 具有很好的鲁棒性。Ren等提出基于卷积神经 锚点与特征层，获取指针位置信息并输入到RoI 网络的Faster R-CNN算法，该网络拥有较强的语 Pooling中，Rol层利用所得到指针位置，进一步微 义表达和特征表达能力，泛化性能良好。Wu等 调指针在原图像中的位置，获取仪表指针的精确 基于Faster R-CNN实现不同尺度的人脸面部检 位置信息，输出标定结果。 分类层 256-d vector 回层 RPN层 滑动商百 输入图像 卷积网络层 卷积特征层 Rol Pooling层 全连接层 标定结果 Fast R-CNN检测网络 图1 Faster R-CNN整体框架 Fig.1 Faster R-CNN overall framework L.IRPN网络 获得的9个锚点用来预测9个候选区域，每 RPN是一个全卷积网络，用来得到候选区域 个候选区域用一个四维向量(x,y,w,)来表示， 并输出一组矩形区域建议。它使用一个n×n滑 x、y、w、h分别代表边界框的中心点坐标及其高 动窗口在卷积网络层输出的卷积特征层上滑动来 和宽。通过式(1)实现检测框与真实框的重叠 提取区域建议，该网络同时提供多个预测区域建 校准： 议，每个位置最大的滑窗建议数量为k。对于不 F[A:,Ay,A..A=[GG.G,G] (1) 同大小的对象，使用3个比例尺1282、2562、 式中：A、A,、A。、Ah表示检测框的4个坐标向 512与3种长宽比(1：1、1：2、2：1)的滑动窗口， 量；G、G,、G、G表示真实框的4个坐标向 可以得到k=9种类型滑动窗口。 量。通过平移、变换来对式(1)求解，可得到以下
现有的仪表指针检测主要基于经典图像处理 方法来实现[6] ，通过匹配目标形状与颜色特征来 检测指针位置[7-9]。例如，文献 [10] 中，作者提出了 一种改进的中心投影法，通过定位圆形比例区域 来匹配指针轮廓获得指针位置。Hao 等 [11] 基于 OpenCV 提出并实现了一种汽车仪表自动检测指 针系统；Gao 等 [12] 提出了一种鲁棒的字符分割分 类器，该分类器是通过级联定向梯度直方图 HOG/ 支持向量机 SVM 二进制分类器来识别仪表板指 针。基于形状特征与颜色特征的方法抗噪性较 好，但提取的信息并不充分，且计算量大对硬件 支持需求较大，没有考虑实时性与泛化性的需 求。因此研究一种汽车仪表指针快速实时检测方 法具有重要的现实意义。 近年来，深度学习方法在图像的识别和检测 方面涌现了许多优秀成果，成为当前热点研究领 域 [13-15]。例如，曹锦纲等[16] 提出一种基于生成式对 抗网络应用于交通场景运动模糊图像增强，能够 以较好的图像视觉效果完成模糊图像的增强。文 献 [17] 通过卷积神经网络 (CNN) 与循环神经网络 (RNN) 结合，能够实现交通场景端到端语义描述， 具有很好的鲁棒性。Ren 等 [18] 提出基于卷积神经 网络的 Faster R-CNN 算法，该网络拥有较强的语 义表达和特征表达能力，泛化性能良好。Wu 等 [19] 基于 Faster R-CNN 实现不同尺度的人脸面部检 测，提高了人脸检测的效率。文献 [20] 使用 Faster R-CNN 网络实现了人、车及动物等铁路异物的侵 限检测，取得了较好的效果。深度学习使得识别 与检测纳入一个整体流程，实现端到端的学习[21-24]。 鉴于以上研究，本文提出了一种基于改进 Faster R-CNN 汽车仪表指针实时检测方法。采用 RoI Align 层替代原始的 RoI Pooling 层，保留了小 目标的完整像素信息。基于双线性内插方法使特 征聚集过程连续化，缩短了特征映射的计算时 间。通过多组不同类型的仪表指针实验，在检测 时间和检测精度上进行实验评估，验证了所提方 法的高效性和实时性。 1 Faster R-CNN 检测原理 Faster R-CNN 算法网络框架如图 1 所示。整 体框架由区域建议网络 (region proposal network, RPN) 和 Fast R-CNN 检测网络两部分构成。当图 像输入网络后，由检测网络中的卷积网络层提取 仪表指针特征，得到卷积特征层。卷积特征层被 后续的 RPN 层与检测网络层共享。RPN 层使用 锚点与特征层，获取指针位置信息并输入到 RoI Pooling 中，RoI 层利用所得到指针位置，进一步微 调指针在原图像中的位置，获取仪表指针的精确 位置信息，输出标定结果。 卷积网络层 RPN 层 输入图像 Fast R-CNN 检测网络 分类层 回归层 卷积特征层 滑动窗口 RoI Pooling 层 全连接层 标定结果 回归 分类 256-d vector 图 1 Faster R-CNN 整体框架 Fig. 1 Faster R-CNN overall framework 1.1 RPN 网络 n×n k k = 9 RPN 是一个全卷积网络，用来得到候选区域 并输出一组矩形区域建议。它使用一个 滑 动窗口在卷积网络层输出的卷积特征层上滑动来 提取区域建议，该网络同时提供多个预测区域建 议，每个位置最大的滑窗建议数量为 。对于不 同大小的对象，使 用 3 个比例 尺 128 2 、 256 2 、 5122 与 3 种长宽比 (1∶1、1∶2、2∶1) 的滑动窗口， 可以得到 种类型滑动窗口。 (x, y,w, h) x、y、w、h 获得的 9 个锚点用来预测 9 个候选区域，每 个候选区域用一个四维向量 来表示， 分别代表边界框的中心点坐标及其高 和宽。通过式 (1) 实现检测框与真实框的重叠 校准： F[Ax , Ay , Aw, Ah] = [G ′ x ,G ′ y ,G ′ w ,G ′ h ] (1) Ax、Ay、Aw、Ah G ′ x、G ′ y、G ′ w、G ′ h 式中： 表示检测框的 4 个坐标向 量 ； 表示真实框 的 4 个坐标向 量。通过平移、变换来对式 (1) 求解，可得到以下 第 6 期 伍锡如，等：改进 Faster R-CNN 的汽车仪表指针实时检测 ·1057·
·1058· 智能系统学报 第16卷 4个变换，即平移2个和缩放2个。 图2)，包括在线实时检测与离线训练模型两个过 平移： 程。在线实时检测通过加载待检测指针图像，网 G:=Awd(A)+A: 络对其进行学习与检测，给出指针检测结果。离 G,=And(A)+A, (2) 线训练通过工业机采集仪表指针数据之后，以预 缩放： 训练的模型在数据集上进行训练，通过特征提取 G=A.exp(d.) (3) 和学习不同类型的仪表指针，得到优化后的指针 G=Ah·exp(dh) 检测模型，根据指针类型不同，通过反馈机制实 式中dr、d,、dw、dn表示线性变换。 现检测模型的及时更新。离线训练能够保证模型 计算边界框的回归： 适应不同类别仪表指针，提升模型迁移能力。对 tr=(x-xa)÷wa 于所获得的更新之后的训练模型，在线实时检测 =0y-ya)÷ha tw=log(x÷xa) (4) 可以调用更新之后的网络模型，实现将待检测的 th=log(h÷h) 仪表指针数据集加载进去并实现自动给出检测结 式中：x和y表示边界框的中心坐标；1、，表示平 果，完成在线实时检测。 移因子；t、表示缩放因子。 对于单一图像，损失函数定义为 up.W=∑LcP+∑L.)5 加载图像 预训练模型+数据集 卷积层提取特征 分类和回归损失函数分别为 特征提取+候选区域 L(P,P)=-log[P:P+(1-P)(1-P)] (6) RPN生成候选区域 Legt,）)=RG-t) (7) ↓ 共享特征卷积 式中：i表示最小采样中锚点的指数；P:表示锚点 训练Fast R-CNN 预测目标的概率，当锚点为正样本，P=1;当锚点 为负样本，P:=0;入为常量，用于控制分类损失和 回归调整标定框 目标位置+标记指针 回归损失的平衡；表示候选框的参数化坐标； 回归原图目标标定 表示锚点为正样本候选框的坐标。 微调+训练网络模型 1.2检测网络 检测结果 从图1中可以得到，Fast R-CNN作为检测网 络，卷积网络层由卷积、Relu和池化组成，负责对 在线实时检测 离线训练模型 输入图像提取特征，对于全图只进行一次区域特 图2检测算法流程 征的提取，减少了特征的搜索时间。RoI Pool- Fig.2 Detection algorithm flow ing层由共享特征卷积层与RPN层给出的多个建 2.1数据集 议区域作为输入。全连接层结构实现将高维数据 为保证算法检测准确度，本文从真实指针仪 进行一系列非线性变换，通过卷积操作将对应指 表生产线获取工业机录制的仪表指针转动视频， 针区域合并成固定大小的特征图，利用标定框回 按照固定帧数裁剪成图片集，图片分辨率为 归实现指针检测框修正以更加准确的位置，输出 2448×2050,再使用LabelImg标注软件转换成 指针检测结果。 VOC200721数据集格式，构成网络模型预训练的 检测网络实现流程如下： 数据集。VOC格式数据集主要包括：1)训练样本 1)使用卷积网络层提取图片中指针的特征； 集、验证样本集和测试样本集；2)每个样本图像 2)通过RPN网络给出的建议区域，判定是否 对应的XML信息文件；3)样本图像类别标签的 属于检测目标指针： TXT文件。为了保证预训练模型的泛化能力，通 3)使用标定框回归来不断逼近真实目标区域； 过收集并扩充不同类别的指针仪表添加到数据集 4)通过全连接网络层回归获取指针精确的 中，数据集总量为8000张，对其按比例进行划 位置： 分，以总体数据集的70%作为训练样本集，20% 5)输出指针检测结果。 作为验证样本集，10%作为测试样本集。 2改进Faster R-CNN实现指针检测 2.2网络改进 检测网络中的RoI Pooling层，在特征计算中 改进的Faster R-CNN指针检测实现流程（见 需要通过两次量化操作来得到回归框的位置，输
4 个变换，即平移 2 个和缩放 2 个。 平移： G ′ x = Aw · dx (A)+ Ax G ′ y = Ah · dy (A)+ Ay (2) 缩放： G ′ w = Aw · exp(dw) G ′ h = Ah · exp(dh) (3) 式中 dx、dy、dw、dh 表示线性变换。 计算边界框的回归： tx = (x− xa)÷wa ty = (y− ya)÷ ha tw = log(x÷ xa) th = log(h÷ ha) (4) x y tx ty tw th 式中： 和 表示边界框的中心坐标； 、 表示平 移因子； 、 表示缩放因子。 对于单一图像，损失函数定义为 L(pi ,ti) = 1 Ncls ∑ i Lcls (Pi ,Pi ∗ )+λ 1 Nreg ∑ i Lreg (ti ,ti ∗ ) (5) 分类和回归损失函数分别为 Lcls(Pi ,P ∗ i ) = −log[PiP ∗ i +(1− P ∗ i )(1− Pi)] (6) Lreg(ti ,t ∗ i ) = R(ti −t ∗ i ) (7) i P ∗ i P ∗ i = 1 P ∗ i = 0 λ ti ti ∗ 式中： 表示最小采样中锚点的指数； 表示锚点 预测目标的概率，当锚点为正样本， ；当锚点 为负样本， ； 为常量，用于控制分类损失和 回归损失的平衡； 表示候选框的参数化坐标； 表示锚点为正样本候选框的坐标。 1.2 检测网络 从图 1 中可以得到，Fast R-CNN 作为检测网 络，卷积网络层由卷积、Relu 和池化组成，负责对 输入图像提取特征，对于全图只进行一次区域特 征的提取，减少了特征的搜索时间。RoI Pooling 层由共享特征卷积层与 RPN 层给出的多个建 议区域作为输入。全连接层结构实现将高维数据 进行一系列非线性变换，通过卷积操作将对应指 针区域合并成固定大小的特征图，利用标定框回 归实现指针检测框修正以更加准确的位置，输出 指针检测结果。 检测网络实现流程如下： 1) 使用卷积网络层提取图片中指针的特征； 2) 通过 RPN 网络给出的建议区域，判定是否 属于检测目标指针； 3) 使用标定框回归来不断逼近真实目标区域； 4) 通过全连接网络层回归获取指针精确的 位置； 5) 输出指针检测结果。 2 改进 Faster R-CNN 实现指针检测 改进的 Faster R-CNN 指针检测实现流程 (见 图 2)，包括在线实时检测与离线训练模型两个过 程。在线实时检测通过加载待检测指针图像，网 络对其进行学习与检测，给出指针检测结果。离 线训练通过工业机采集仪表指针数据之后，以预 训练的模型在数据集上进行训练，通过特征提取 和学习不同类型的仪表指针，得到优化后的指针 检测模型，根据指针类型不同，通过反馈机制实 现检测模型的及时更新。离线训练能够保证模型 适应不同类别仪表指针，提升模型迁移能力。对 于所获得的更新之后的训练模型，在线实时检测 可以调用更新之后的网络模型，实现将待检测的 仪表指针数据集加载进去并实现自动给出检测结 果，完成在线实时检测。 加载图像 卷积层提取特征 RPN 生成候选区域 训练 Fast R-CNN 回归调整标定框 回归原图目标标定 检测结果 在线实时检测 预训练模型+数据集 特征提取+候选区域 共享特征卷积 目标位置+标记指针 微调+训练网络模型 离线训练模型 图 2 检测算法流程 Fig. 2 Detection algorithm flow 2.1 数据集 为保证算法检测准确度，本文从真实指针仪 表生产线获取工业机录制的仪表指针转动视频， 按照固定帧数裁剪成图片集，图片分辨率为 2 448×2 050，再使用 LabelImg 标注软件转换成 VOC2007[25] 数据集格式，构成网络模型预训练的 数据集。VOC 格式数据集主要包括：1) 训练样本 集、验证样本集和测试样本集；2) 每个样本图像 对应的 XML 信息文件；3) 样本图像类别标签的 TXT 文件。为了保证预训练模型的泛化能力，通 过收集并扩充不同类别的指针仪表添加到数据集 中，数据集总量为 8 000 张，对其按比例进行划 分，以总体数据集的 70% 作为训练样本集，20% 作为验证样本集，10% 作为测试样本集。 2.2 网络改进 检测网络中的 RoI Pooling 层，在特征计算中 需要通过两次量化操作来得到回归框的位置，输 ·1058· 智 能 系 统 学 报 第 16 卷
第6期 伍锡如，等：改进Faster R-CNN的汽车仪表指针实时检测 ·1059· 出固定大小的特征映射。两次量化操作是不连续 于小目标检测，像素的丢失可能会导致特征的丢 的且像素计算形式为整数（见图3），计算过程会 失，以至于检测不到目标对象。同时，两次的量 舍去小数点后的数值，从而丢失图像像素。而对 化操作也会增加网络的计算时间，影响实时性。 Rol Align 960/32=30 23.9/7=3.4 765/32=23.9 960 765 96032=30 765/32=23 特征图 23 CNN卷积层 全连接层 Rol Pooling 图3 Rol Pooling与Rol Align改进实现机制 Fig.3 Improved implementation mechanism of Rol Pooling and Rol Align 针对两次量化操作导致的图像像素丢失问 对式(10)求偏导，可得 题，本文采用RoI Align层取代RoI Pooling层的策 略进行改进。改进的机制是使用双线性内插取代 =∑∑di.iu00),分情况 所示，对于大小为960×960的特征区域，如果使用 讨论，当01时为放 原始的RoI Pooling层，第一次量化操作舍去了 大。首先，计算原始图像矩阵，结果表示为 0.9个像素，缩放到原图就是30个像素的差别，并 IH×Iw×Io(H、W表示图像的宽和高)，灰度图像 且像素的分辨率越大，丢失的像素信息越多。与 通道的Io为1，彩色RGB图像通道Io为3，将缩 之相比，使用Rol Align层的改进处理，完整地保 放因子整合计算，生成一个全零矩阵(mr×IH)x 留了图像的像素信息，在检测准确度上得到了较 (亿m×Iw)×Io。其次，将原始图像矩阵I增加一个 大的提升。双线性内插算法定义如下： 单位，记为Ir,增加单位后的矩阵为(IH+2)× 沿x方向的线性插值为 (Iw+2)×Io。对于任意像素坐标位置（亿，），通过 fxwW≈=xfei)+-fe2） (8) 缩放（亿，/久，乙j/2t)映射到原图像中得到对应目标 2一x 3-x 像素坐标(x,y)。如果(x,y)不为整数，则通过向下 fx2)≈=f0m)+-fea） (9) 取整得到（位，），得到计算结果为(x=i+u,y= x2-x1 式中：Qm=(x,y%)(a=1,2:b=1,2),表示已知的4个 j+v),u,v∈[0,1)，此时，根据式(11)进行双线性内 点坐标；fx,y)、fx,y2)表示沿x方向进行线性 插值计算，遍历计算每个映射像素的原目标像素 插值。 坐标，直至填充完缩放矩阵Z1。 沿y方向的进行线性插值为 3实验结果分析 fx,)≈2-fxy)+y-业fx,) (10) y2-y1 y2-y1 本实验基于Caffe深度学习平台，操作系统 目标线性插值的结果为 为Ubuntul6.04,网络选用端到端的训练方式。修 fx,)≈2-y-xf0)+-xf0+ 改网络结构之后，同时调整网络超参数。网络学 y2-y12-1 x2-X1 y-y f(Or)+xxfQn) 习率初始化为0.01，一共迭代13000次，迭代到 y2-y1x2-x1 3-x1 8500次时将学习率改为0.001。得到训练模型之 (11) 后，随机选取测试集中的样本，使用所得到的训
出固定大小的特征映射。两次量化操作是不连续 的且像素计算形式为整数 (见图 3)，计算过程会 舍去小数点后的数值，从而丢失图像像素。而对 于小目标检测，像素的丢失可能会导致特征的丢 失，以至于检测不到目标对象。同时，两次的量 化操作也会增加网络的计算时间，影响实时性。 特征图 765 765/32=23.9 765/32=23 960 960/32=30 23.9/7=3.4 23/7=3 960/32=30 960 30 30 23 23.9 765 CNN 卷积层 RoI Align RoI Pooling 全连接层 图 3 RoI Pooling 与 RoI Align 改进实现机制 Fig. 3 Improved implementation mechanism of RoI Pooling and RoI Align 针对两次量化操作导致的图像像素丢失问 题，本文采用 RoI Align 层取代 RoI Pooling 层的策 略进行改进。改进的机制是使用双线性内插取代 两次量化操作，使得特征聚集的计算变成一个连 续的过程。RoI Align 层通过遍历每一个候选区 域，能以浮点数的形式计算回归框的位置，保留 了像素坐标的小数部分而不作量化处理，有效提 高了小目标的检测能力。改进前后的效果如图 3 所示，对于大小为 960×960 的特征区域，如果使用 原始的 RoI Pooling 层，第一次量化操作舍去了 0.9 个像素，缩放到原图就是 30 个像素的差别，并 且像素的分辨率越大，丢失的像素信息越多。与 之相比，使用 RoI Align 层的改进处理，完整地保 留了图像的像素信息，在检测准确度上得到了较 大的提升。双线性内插算法定义如下： 沿 x 方向的线性插值为 f(x, y1) ≈ x2 − x x2 − x1 f(Q11)+ x− x1 x2 − x1 f(Q21) (8) f(x, y2) ≈ x2 − x x2 − x1 f(Q12)+ x− x1 x2 − x1 f(Q22) (9) Qab = (xa, yb)(a = 1,2;b = 1,2) f(x, y1) f(x, y2) x 式中： ，表示已知的 4 个 点坐标； 、 表示沿 方向进行线性 插值。 沿 y 方向的进行线性插值为 f(x, y) ≈ y2 −y y2 −y1 f(x, y1)+ y−y1 y2 −y1 f(x, y2) (10) 目标线性插值的结果为 f(x, y) ≈ y2 −y y2 −y1 ( x2 − x x2 − x1 f(Q11)+ x− x1 x2 − x1 f(Q21) ) + y−y1 y2 −y1 ( x2 − x x2 − x1 f(Q12)+ x− x1 x2 − x1 f(Q22) ) (11) 对式 (10) 求偏导，可得 ∂L ∂xi = ∑ r ∑ j [ d (i,i ∗ (r, j)) 0 0 1 IH × IW × ID H、W ID ID (zmf × IH)× (zmf × IW )× ID I IT (IH +2)× (IW +2)× ID (zi ,zj) (zi/zmf,zj/zmf) (x, y) (x, y) (i, j) (x = i+u, y = j+v) u, v ∈ [0,1) Z I 双线性内插计算步骤为：针对加载图像信息， 设定图像矩阵为 、缩放因子 ( )，分情况 讨论，当 时为缩小，当 时为放 大。首先，计算原始图像矩阵，结果表示为 ( 表示图像的宽和高)，灰度图像 通道的 为 1，彩色 RGB 图像通道 为 3，将缩 放因子整合计算，生成一个全零矩阵 。其次，将原始图像矩阵 增加一个 单位，记为 ，增加单位后的矩阵为 。对于任意像素坐标位置 ，通过 缩放 映射到原图像中得到对应目标 像素坐标 。如果 不为整数，则通过向下 取整得到 ，得到计算结果为 ， ，此时，根据式 (11) 进行双线性内 插值计算，遍历计算每个映射像素的原目标像素 坐标，直至填充完缩放矩阵 。 3 实验结果分析 本实验基于 Caffe 深度学习平台，操作系统 为 Ubuntu16.04，网络选用端到端的训练方式。修 改网络结构之后，同时调整网络超参数。网络学 习率初始化为 0.01，一共迭代 13 000 次，迭代到 8 500 次时将学习率改为 0.001。得到训练模型之 后，随机选取测试集中的样本，使用所得到的训 第 6 期 伍锡如，等：改进 Faster R-CNN 的汽车仪表指针实时检测 ·1059·
·1060· 智能系统学报 第16卷 练模型检测不同类别的仪表指针图片，评估模型 测网络YOLO-V3进行了比较，实验结果如图6 的检测能力测试结果如图4所示。由图4(a) 所示。 ()可知，对于不同的两类速度仪表指针，本文采 TT 用的方法可以有效地标定出指针的准确位置。针 W002040160 对图4(e)、()中不同类型的转速仪表盘指针，同 km/h 180 200 60 200 样具有较准确的检测效果，表明改进网络能有效 220 40 220 地提取并学习仪表指针的高维特征，证明实际生 240 240 产环境下，改进的Faster R-CNN算法对于仪表指 260 针的检测是可行和有效的。 (a)速度仪表1 (b)速度仪表2 nr w 100120 140 80 100120 140 120140160 160 、60 160 80100120 40② 80 40 6 my市 180 1807 160 80 200 200 20 200 40 180 60 220 -40 240 0 220 0 200 220 20 260. E E 280 (a)速度仪表1 (b)速度仪表2 (c)速度仪表3 (d)速度仪表4 图5迁移实验检测结果 Fig.5 Migration test results T 。1001207 80 140 8 140 、60 160 、60 160 40 180 180 20 200 20 200 (c)速度仪表3 (d)速度仪表4 0 220、 -0 220 5 6 (a)速度仪表1 (b)速度仪表2 7 图6Y0L0-v3检测结果 Fig.6 YOLO-v3 test results 从YOLO-v3实验结果可知，单阶段网络可以 H 实现仪表指针检测，但是存在指针检测区域有偏 (e)转速仪表1 (⑤转速仪表2 差且准确率不高的问题。YOLO-v3网络将采集 的特征直接用于检测，虽然降低了检测时间，但 图4不同类型的仪表指针检测结果 缺少标定框的回归与参数学习，导致其检测准确 Fig.4 Different types of instrument pointer test results 率相对较低，计算性能如表1所示。 为了验证训练模型的泛化能力，使用未经过 表1单张图片检测时间和精度对比 训练的不同类型速度仪表指针图片作为检测样 Table 1 Single-image detection time and accuracy com 本，测试结果如图5所示。从图5可知，不同类型 parison 的仪表外观差异很大，表盘颜色和指针形状变化 方法 时间/s 精度% 明显。对于未经过训练的仪表样本，本文方法依 原始Faster R-CNN 0.360 86.3 然可以检测并准确地标出指针的位置，表明所训 改进Faster R-CNN 0.197 92.7 练的模型具有较强的泛化能力与迁移能力。 YOLO-v3 0.031 79.6 本文所提的检测网络为两阶段网络，为了 Houghl圆/直线检测 3.500 71.2 HOG/SVM分类器 验证所提算法网络性能，将本文方法与单阶段检 1.827
练模型检测不同类别的仪表指针图片，评估模型 的检测能力测试结果如图 4 所示。由图 4(a)~ (d) 可知，对于不同的两类速度仪表指针，本文采 用的方法可以有效地标定出指针的准确位置。针 对图 4(e)、(f) 中不同类型的转速仪表盘指针，同 样具有较准确的检测效果，表明改进网络能有效 地提取并学习仪表指针的高维特征，证明实际生 产环境下，改进的 Faster R-CNN 算法对于仪表指 针的检测是可行和有效的。 (a) 速度仪表 1 (b) 速度仪表 2 (c) 速度仪表 3 (d) 速度仪表 4 (e) 转速仪表 1 (f) 转速仪表 2 图 4 不同类型的仪表指针检测结果 Fig. 4 Different types of instrument pointer test results 为了验证训练模型的泛化能力，使用未经过 训练的不同类型速度仪表指针图片作为检测样 本，测试结果如图 5 所示。从图 5 可知，不同类型 的仪表外观差异很大，表盘颜色和指针形状变化 明显。对于未经过训练的仪表样本，本文方法依 然可以检测并准确地标出指针的位置，表明所训 练的模型具有较强的泛化能力与迁移能力。 本文所提的检测网络为两阶段网络，为了 验证所提算法网络性能，将本文方法与单阶段检 测网络 YOLO-v3 进行了比较，实验结果如图 6 所示。 (a) 速度仪表 1 (b) 速度仪表 2 (c) 速度仪表 3 (d) 速度仪表 4 图 5 迁移实验检测结果 Fig. 5 Migration test results (a) 速度仪表 1 (b) 速度仪表 2 图 6 YOLO-v3 检测结果 Fig. 6 YOLO-v3 test results 从 YOLO-v3 实验结果可知，单阶段网络可以 实现仪表指针检测，但是存在指针检测区域有偏 差且准确率不高的问题。YOLO-v3 网络将采集 的特征直接用于检测，虽然降低了检测时间，但 缺少标定框的回归与参数学习，导致其检测准确 率相对较低，计算性能如表 1 所示。 表 1 单张图片检测时间和精度对比 Table 1 Single-image detection time and accuracy comparison 方法 时间/s 精度/% 原始Faster R-CNN 0.360 86.3 改进Faster R-CNN 0.197 92.7 YOLO-v3 0.031 79.6 Hough圆/直线检测 3.500 71.2 HOG/SVM分类器 1.827 — ·1060· 智 能 系 统 学 报 第 16 卷
第6期 伍锡如，等：改进Faster R-CNN的汽车仪表指针实时检测 ·1061· 进一步验证本文算法的有效性，对现有的 征，回归损失能够快速收敛，并且加以更正标定 Hough方法采用相同的数据集进行实验，实验结 框完成指针检测。 果如图7所示。检测时间和精度对比由表1可 0.3 见，Hough直线检测需要计算坐标并将其映射到 0.2 另一坐标空间点的峰值，导致其运算检测时间较 长，且易受到图片中其他直线空间复杂度干扰， 0 导致检测精度低，算法鲁棒性较差。 0 2 468101214 迭代次数/10的 (a)原始网络回归损失 0.3 220 0 2 4 68101214 迭代次数/10 (b)原始网络分类损失 (a)速度仪表1 (b)速度仪表2 0.3 hhw业hasa 0 2 4.68101214 选代次数/10 (c)改进网络回归损失 0.3 (C)速度仪表3 (d速度仪表4 ou 图7 Hough算法检测结果 0 2 468101214 Fig.7 Hough algorithm test results 迭代次数/10 (d)改进网络分类损失 将本文算法与YOLO-v3网络、经典Hough方 图8回归与分类损失曲线对比 法以及HOG/SVM方法进行对比，具体结果如表1 Fig.8 Comparison of the regression and classification loss 所示。经过计算，本文提出的改进Faster R-CNN curves 算法在验证集的平均测试精度高达92.7%，在单 0.6 个GPU上单张图片的平均检测时间约为0.197s, 04 优于其他方法检测精度与检测时间，可达到实时 检测的目的。以上结果表明，改进方法能够实现 仪表指针快速检测且满足准确度的要求，满足指 bojilbimyiaurdupbpw 4.68101214 针仪表在实际检测应用中的需求。 迭代次数/103 为了保证模型学习性能，原始与改进的网络 (a)原始网络训练损失 分别在训练8500次的时候改变一次学习率，训练 0.6 过程的各阶段网络损失如图8、9所示。图8(a)、 0.4 (b)是原始Faster R-CNN的回归与分类损失曲线， 图8(c)、(d)表示改进Faster R-CNN的回归与分类 损失曲线。图9是训练损失曲线对比。结合图8 0 2 468101214 和图9可知，原始的网络损失出现波动，且下降不 迭代次数/10的 稳定。改进网络能够更快地收敛速度下降，且下 (b)改进网络训练损失 降稳定，出现波动小。损失值快速下降表明改进 图9训练损失曲线对比 Faster R-CNN网络可以有效地学习仪表指针的特 Fig.9 Comparison of the training loss curves
进一步验证本文算法的有效性，对现有的 Hough 方法采用相同的数据集进行实验，实验结 果如图 7 所示。检测时间和精度对比由表 1 可 见，Hough 直线检测需要计算坐标并将其映射到 另一坐标空间点的峰值，导致其运算检测时间较 长，且易受到图片中其他直线空间复杂度干扰， 导致检测精度低，算法鲁棒性较差。 (a) 速度仪表 1 (b) 速度仪表 2 (c) 速度仪表 3 (d) 速度仪表 4 图 7 Hough 算法检测结果 Fig. 7 Hough algorithm test results 将本文算法与 YOLO-v3 网络、经典 Hough 方 法以及 HOG/SVM 方法进行对比，具体结果如表 1 所示。经过计算，本文提出的改进 Faster R-CNN 算法在验证集的平均测试精度高达 92.7%，在单 个 GPU 上单张图片的平均检测时间约为 0.197 s， 优于其他方法检测精度与检测时间，可达到实时 检测的目的。以上结果表明，改进方法能够实现 仪表指针快速检测且满足准确度的要求，满足指 针仪表在实际检测应用中的需求。 为了保证模型学习性能，原始与改进的网络 分别在训练 8 500 次的时候改变一次学习率，训练 过程的各阶段网络损失如图 8、9 所示。图 8(a)、 (b) 是原始 Faster R-CNN 的回归与分类损失曲线， 图 8(c)、(d) 表示改进 Faster R-CNN 的回归与分类 损失曲线。图 9 是训练损失曲线对比。结合图 8 和图 9 可知，原始的网络损失出现波动，且下降不 稳定。改进网络能够更快地收敛速度下降，且下 降稳定，出现波动小。损失值快速下降表明改进 Faster R-CNN 网络可以有效地学习仪表指针的特 征，回归损失能够快速收敛，并且加以更正标定 框完成指针检测。 0.3 0.2 0.1 0 2 4 6 8 10 12 14 迭代次数/103 0 2 4 6 8 10 12 14 迭代次数/103 0 2 4 6 8 10 12 14 迭代次数/103 函数损失值 (a) 原始网络回归损失 0.3 0.2 0.1 函数损失值 (b) 原始网络分类损失 0.3 0.2 0.1 函数损失值 (c) 改进网络回归损失 0 2 4 6 8 10 12 14 迭代次数/103 (d) 改进网络分类损失 0.3 0.2 0.1 函数损失值 图 8 回归与分类损失曲线对比 Fig. 8 Comparison of the regression and classification loss curves 0.6 0.4 损失值 0.2 (a) 原始网络训练损失 0.6 0.4 损失值 0.2 (b) 改进网络训练损失 0 2 4 6 8 10 12 14 迭代次数/103 0 2 4 6 8 10 12 14 迭代次数/103 图 9 训练损失曲线对比 Fig. 9 Comparison of the training loss curves 第 6 期 伍锡如，等：改进 Faster R-CNN 的汽车仪表指针实时检测 ·1061·
·1062· 智能系统学报 第16卷 4结束语 Journal of Beijing University of Aeronautics and Astro- nautics,2019,45(9):1765-1776. 汽车的仪表指针快速实时检测是汽车制造行 [7]ALEGRIA E C.SERRA A C.Automatic calibration of 业生产过程自动化与智能化迫切需要攻破的技术 analog and digital measuring instruments using computer 难题。实际生产环境中，人工视检任务繁重，自 vision[J].IEEE transactions on instrumentation and meas- 动化程度低，检测难度较大。本文以深度学习主 urement,.2000,49(1):94-99. 流框架Faster R-CNN为基础，通过改进网络层架 [8]岳娟，高思莉，李范鸣，等.具有近似仿射尺度不变特征 构，提高图像特征传递能力，调整超参数，实现了 的快速图像匹配[J.光学精密工程，2020,28(10)： 仪表指针的快速检测。通过实验结果验证，单张 2349-2359. 图片检测时间为0.197s,检测精度达到92.7%，证 YUE Juan,GAO Sili,LI Fanming,et al.Fast image matching algorithm with approximate affine and scale in- 明了所提方法的有效性和实时性。后续的迁移测 variance[J].Optics and precision engineering,2020. 试表明训练的模型具有良好的迁移泛化能力。 28(10):2349-2359 参考文献： [9]JAFFERY Z A.DUBEY A K.Architecture of noninvas- ive real time visual monitoring system for dial type meas- [1]BEHAINE C A R,SCHARCANSKI J.Remote visual uring instrument[J].IEEE sensors journal,2013,13(4): monitoring of analogue meter displays using deformable 1236-1244. models[J].IET science,measurement technology, [10]CHI Jiannan,LIU Lei,LIU Jiwei,et al.Machine vision 2014,8(4):228-235. based automatic detection method of indicating values of [2]BAO Haojing,TAN Qingchang,LIU Siyuan,et al.Com- a pointer gauge[J].Mathematical problems in engineer- puter vision measurement of pointer meter readings based ing2015,2015:1-19. on inverse perspective mapping[J].Applied sciences, [11]HAO Zelong,CHEN Xuhui,HU Jianqiang,et al 2019,918):3729 OpenCV-based automatic detection system for auto. [3]韩绍超，徐遵义，尹中川，等.指针式仪表自动读数识别 mobile meter[J].Applied mechanics and materials,2014, 技术的研究现状与发展.计算机科学，2018,45(S1): 615:149-152 54-57 [12]GAO Huijun,YI Ming,YU Jinyong,et al.Character HAN Shaochao,XU Zunyi,YIN Zhongchuan,et al.Re- segmentation-based coarse-fine approach for auto- search review and development for automatic reading re- mobile dashboard detection[J].IEEE transactions on in- cognition technology of pointer instruments[J].Computer dustrial informatics,2019,15(10):5413-5424. science,2018,45(S1):54-57 [13]王建新，王子亚，田萱.基于深度学习的自然场景文本 [4]袁立祥，龙斌，杨志伟，等.基于智能网络信息系统的车 检测与识别综述「J1.软件学报，2020,31(5)： 轮加工自动化生产线设计与应用[J几.机械设计，2019， 1465-1496. 36(S1):295-297. WANG Jianxin,WANG Ziya,TIAN Xuan.Review of YUAN Lixiang,LONG Bin,YANG Zhiwei,et al.Design natural scene text detection and recognition based on and application of wheel automatically processing pro- deep learning[J].Journal of software,2020,31(5): duction line based on intelligent network information sys- 1465-1496. tem[J].Journal of machine design,2019,36(S1): [14]HOU Tianyue,AN Yi,CHANG Qi,et al.Deep-learn- 295-297. ing-assisted,two-stage phase control method for high- [5]李光平，唐月夏.自动化生产线装配单元三维仿真平台 power mode-programmable orbital angular momentum 的构建).实验技术与管理，2020,37(1)141-144,148 beam generation[J].Photonics research,2020,8(5): LI Guangping,TANG Yuexia.Construction of 3D simu- 715-722 lation platform for assembly unit of automatic production [15]张新钰，高洪波，赵建辉，等.基于深度学习的自动驾 line[J].Experimental technology and management,2020, 驶技术综述「J几.清华大学学报（自然科学版），2018 37(1):141-144.148. 58(4):438-444 [6]杨虹，张雅声，尹灿斌.空间目标的SAR成像及轮廓特 ZHANG Xinyu,GAO Hongbo,ZHAO Jianhui,et al. 征提取J].北京航空航天大学学报，2019,45(9)： Overview of deep learning intelligent driving 1765-1776 methods[J].Journal of Tsinghua University (science and YANG Hong,ZHANG Yasheng,YIN Canbin.ISAR technology edition),2018,58(4):438-444. imaging and contour feature extraction of space targets[J]. [16]曹锦纲，李金华，郑顾平.基于生成式对抗网络的道路
4 结束语 汽车的仪表指针快速实时检测是汽车制造行 业生产过程自动化与智能化迫切需要攻破的技术 难题。实际生产环境中，人工视检任务繁重，自 动化程度低，检测难度较大。本文以深度学习主 流框架 Faster R-CNN 为基础，通过改进网络层架 构，提高图像特征传递能力，调整超参数，实现了 仪表指针的快速检测。通过实验结果验证，单张 图片检测时间为 0.197 s，检测精度达到 92.7%，证 明了所提方法的有效性和实时性。后续的迁移测 试表明训练的模型具有良好的迁移泛化能力。 参考文献： BEHAINE C A R, SCHARCANSKI J. Remote visual monitoring of analogue meter displays using deformable models[J]. IET science, measurement & technology, 2014, 8(4): 228–235. [1] BAO Haojing, TAN Qingchang, LIU Siyuan, et al. Computer vision measurement of pointer meter readings based on inverse perspective mapping[J]. Applied sciences, 2019, 9(18): 3729. [2] 韩绍超, 徐遵义, 尹中川, 等. 指针式仪表自动读数识别 技术的研究现状与发展 [J]. 计算机科学, 2018, 45(S1): 54–57. HAN Shaochao, XU Zunyi, YIN Zhongchuan, et al. Research review and development for automatic reading recognition technology of pointer instruments[J]. Computer science, 2018, 45(S1): 54–57. [3] 袁立祥, 龙斌, 杨志伟, 等. 基于智能网络信息系统的车 轮加工自动化生产线设计与应用 [J]. 机械设计, 2019, 36(S1): 295–297. YUAN Lixiang, LONG Bin, YANG Zhiwei, et al. Design and application of wheel automatically processing production line based on intelligent network information system[J]. Journal of machine design, 2019, 36(S1): 295–297. [4] 李光平, 唐月夏. 自动化生产线装配单元三维仿真平台 的构建 [J]. 实验技术与管理, 2020, 37(1): 141–144, 148. LI Guangping, TANG Yuexia. Construction of 3D simulation platform for assembly unit of automatic production line[J]. Experimental technology and management, 2020, 37(1): 141–144, 148. [5] 杨虹, 张雅声, 尹灿斌. 空间目标的 ISAR 成像及轮廓特 征提取 [J]. 北京航空航天大学学报, 2019, 45(9): 1765–1776. YANG Hong, ZHANG Yasheng, YIN Canbin. ISAR imaging and contour feature extraction of space targets[J]. [6] Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(9): 1765–1776. ALEGRIA E C, SERRA A C. Automatic calibration of analog and digital measuring instruments using computer vision[J]. IEEE transactions on instrumentation and measurement, 2000, 49(1): 94–99. [7] 岳娟, 高思莉, 李范鸣, 等. 具有近似仿射尺度不变特征 的快速图像匹配 [J]. 光学精密工程, 2020, 28(10): 2349–2359. YUE Juan, GAO Sili, LI Fanming, et al. Fast image matching algorithm with approximate affine and scale invariance[J]. Optics and precision engineering, 2020, 28(10): 2349–2359. [8] JAFFERY Z A, DUBEY A K. Architecture of noninvasive real time visual monitoring system for dial type measuring instrument[J]. IEEE sensors journal, 2013, 13(4): 1236–1244. [9] CHI Jiannan, LIU Lei, LIU Jiwei, et al. Machine vision based automatic detection method of indicating values of a pointer gauge[J]. Mathematical problems in engineering, 2015, 2015: 1–19. [10] HAO Zelong, CHEN Xuhui, HU Jianqiang, et al. OpenCV-based automatic detection system for automobile meter[J]. Applied mechanics and materials, 2014, 615: 149–152. [11] GAO Huijun, YI Ming, YU Jinyong, et al. Character segmentation-based coarse-fine approach for automobile dashboard detection[J]. IEEE transactions on industrial informatics, 2019, 15(10): 5413–5424. [12] 王建新, 王子亚, 田萱. 基于深度学习的自然场景文本 检测与识别综述 [J]. 软件学报, 2020, 31(5): 1465–1496. WANG Jianxin, WANG Ziya, TIAN Xuan. Review of natural scene text detection and recognition based on deep learning[J]. Journal of software, 2020, 31(5): 1465–1496. [13] HOU Tianyue, AN Yi, CHANG Qi, et al. Deep-learning-assisted, two-stage phase control method for highpower mode-programmable orbital angular momentum beam generation[J]. Photonics research, 2020, 8(5): 715–722. [14] 张新钰, 高洪波, 赵建辉, 等. 基于深度学习的自动驾 驶技术综述 [J]. 清华大学学报(自然科学版), 2018, 58(4): 438–444. ZHANG Xinyu, GAO Hongbo, ZHAO Jianhui, et al. Overview of deep learning intelligent driving methods[J]. Journal of Tsinghua University (science and technology edition), 2018, 58(4): 438–444. [15] [16] 曹锦纲, 李金华, 郑顾平. 基于生成式对抗网络的道路 ·1062· 智 能 系 统 学 报 第 16 卷
第6期 伍锡如，等：改进Faster R-CNN的汽车仪表指针实时检测 ·1063· 交通模糊图像增强).智能系统学报，2020,15(3)： on Faster R-CNN method[J].IEEE access,2020,8: 491-498 21804-21812. CAO Jingang,LI Jinhua,ZHENG Guping.Enhance- [23]CHENG Gong,HAN Junwei,ZHOU Peicheng,et al. ment of blurred road-traffic images based on generative Learning rotation-invariant and Fisher discriminative adversarial network[J].CAAI transactions on intelligent convolutional neural networks for object detection[. systems,2020,15(3):491-498. IEEE transactions on image processing,2019,28(1): [17刀曲仕茹，席玉玲，丁松涛.基于深度学习的交通场景语 265-278. 义描述U.西北工业大学学报，2018,36(3)522-527. [24]刘召，张黎明，耿美晓，等.基于改进的Faster R- QU Shiru,XI Yuling,DING Songtao.Image caption de- CNN高压线缆目标检测方法J].智能系统学报， scription of traffic scene based on deep learning[J]. 2019.144):627-634 Journal of Northwestern Polytechnical University,2018, LIU Zhao,ZHANG Liming,GENG Meixiao,et al.Ob- 36(3):522-527 ject detection of high-voltage cable based on improved [18]REN Shaoqing.HE Kaiming,GIRSHICK R,et al.Faster Faster R-CNN[J].CAAI transactions on intelligent sys- R-CNN:towards real-time object detection with region tems,2019,144):627-634 proposal networks[J].IEEE transactions on pattern ana- [25]EVERINGHAM M.VAN GOOL L,WILLIAMS C K I. lysis and machine intelligence,2017,39(6):1137-1149. [19]WU Wenqi,YIN Yingjie,WANG Xingang,et al.Face et al.The PASCAL visual object classes (VOC)chal- detection with different scales based on Faster R- lenge[J].International journal of computer vision,2010, CNN[J].IEEE transactions on cybernetics,2019,49(11): 882:303-338. 4017-4028. 作者简介： [20]徐岩，陶慧青，虎丽丽.基于Faster R-CNN网络模型的 伍锡如.教授.博士，主要研究方 铁路异物侵限检测算法研究「J几.铁道学报，2020. 向为深度学习、复杂网络、机器人控制。 42(5):91-98. XU Yan,TAO Huiqing,HU Lili.Railway foreign body intrusion detection based on Faster R-CNN network model[J].Journal of the China railway society,2020, 42(5):91-98. [21]FANG Fen,LI Liyuan,ZHU Hongyuan,et al.Combin- 邱涛涛，硕士研究生，主要研究方 向为深度学习、图像处理、计算机视觉。 ing Faster R-CNN and model-driven clustering for elongated object detection[J].IEEE transactions on im- age processing,2019,29:2052-2065. [22]LIU Xiaobo,WANG Huaiyuan,JING Hongdi,et al.Re- search on intelligent identification of rock types based
交通模糊图像增强 [J]. 智能系统学报, 2020, 15(3): 491–498. CAO Jingang, LI Jinhua, ZHENG Guping. Enhancement of blurred road-traffic images based on generative adversarial network[J]. CAAI transactions on intelligent systems, 2020, 15(3): 491–498. 曲仕茹, 席玉玲, 丁松涛. 基于深度学习的交通场景语 义描述 [J]. 西北工业大学学报, 2018, 36(3): 522–527. QU Shiru, XI Yuling, DING Songtao. Image caption description of traffic scene based on deep learning[J]. Journal of Northwestern Polytechnical University, 2018, 36(3): 522–527. [17] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(6): 1137–1149. [18] WU Wenqi, YIN Yingjie, WANG Xingang, et al. Face detection with different scales based on Faster RCNN[J]. IEEE transactions on cybernetics, 2019, 49(11): 4017–4028. [19] 徐岩, 陶慧青, 虎丽丽. 基于 Faster R-CNN 网络模型的 铁路异物侵限检测算法研究 [J]. 铁道学报, 2020, 42(5): 91–98. XU Yan, TAO Huiqing, HU Lili. Railway foreign body intrusion detection based on Faster R-CNN network model[J]. Journal of the China railway society, 2020, 42(5): 91–98. [20] FANG Fen, LI Liyuan, ZHU Hongyuan, et al. Combining Faster R-CNN and model-driven clustering for elongated object detection[J]. IEEE transactions on image processing, 2019, 29: 2052–2065. [21] LIU Xiaobo, WANG Huaiyuan, JING Hongdi, et al. Research on intelligent identification of rock types based [22] on Faster R-CNN method[J]. IEEE access, 2020, 8: 21804–21812. CHENG Gong, HAN Junwei, ZHOU Peicheng, et al. Learning rotation-invariant and Fisher discriminative convolutional neural networks for object detection[J]. IEEE transactions on image processing, 2019, 28(1): 265–278. [23] 刘召, 张黎明, 耿美晓, 等. 基于改进的 Faster RCNN 高压线缆目标检测方法 [J]. 智能系统学报, 2019, 14(4): 627–634. LIU Zhao, ZHANG Liming, GENG Meixiao, et al. Object detection of high-voltage cable based on improved Faster R-CNN[J]. CAAI transactions on intelligent systems, 2019, 14(4): 627–634. [24] EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The PASCAL visual object classes (VOC) challenge[J]. International journal of computer vision, 2010, 88(2): 303–338. [25] 作者简介： 伍锡如，教授，博士，主要研究方 向为深度学习、复杂网络、机器人控制。 邱涛涛，硕士研究生，主要研究方 向为深度学习、图像处理、计算机视觉。 第 6 期 伍锡如，等：改进 Faster R-CNN 的汽车仪表指针实时检测 ·1063·