第6期 伍锡如，等：改进Faster R-CNN的汽车仪表指针实时检测 ·1057· 现有的仪表指针检测主要基于经典图像处理 测，提高了人脸检测的效率。文献[20]使用Faster 方法来实现向，通过匹配目标形状与颜色特征来 R-CNN网络实现了人、车及动物等铁路异物的侵 检测指针位置。例如，文献[10]中，作者提出了 限检测，取得了较好的效果。深度学习使得识别 种改进的中心投影法，通过定位圆形比例区域 与检测纳入一个整体流程，实现端到端的学习P2。 来匹配指针轮廓获得指针位置。Hao等)基于 鉴于以上研究，本文提出了一种基于改进 OpenCV提出并实现了一种汽车仪表自动检测指 Faster R-CNN汽车仪表指针实时检测方法。采用 针系统；Gao等提出了一种鲁棒的字符分割分 RoI Align层替代原始的Rol Pooling层，保留了小 类器，该分类器是通过级联定向梯度直方图HOG/ 目标的完整像素信息。基于双线性内插方法使特 支持向量机SVM二进制分类器来识别仪表板指 征聚集过程连续化，缩短了特征映射的计算时 针。基于形状特征与颜色特征的方法抗噪性较 间。通过多组不同类型的仪表指针实验，在检测 好，但提取的信息并不充分，且计算量大对硬件 时间和检测精度上进行实验评估，验证了所提方 支持需求较大，没有考虑实时性与泛化性的需 法的高效性和实时性。 求。因此研究一种汽车仪表指针快速实时检测方 法具有重要的现实意义。 1 Faster R-CNN检测原理 近年来，深度学习方法在图像的识别和检测 方面涌现了许多优秀成果，成为当前热点研究领 Faster R-CNN算法网络框架如图1所示。整 域。例如，曹锦纲等提出一种基于生成式对 体框架由区域建议网络(region proposal network, 抗网络应用于交通场景运动模糊图像增强，能够 RPN)和Fast R-CNN检测网络两部分构成。当图 以较好的图像视觉效果完成模糊图像的增强。文 像输入网络后，由检测网络中的卷积网络层提取 献[17]通过卷积神经网络(CNN)与循环神经网络 仪表指针特征，得到卷积特征层。卷积特征层被 (RNN)结合，能够实现交通场景端到端语义描述， 后续的RPN层与检测网络层共享。RPN层使用 具有很好的鲁棒性。Ren等提出基于卷积神经 锚点与特征层，获取指针位置信息并输入到RoI 网络的Faster R-CNN算法，该网络拥有较强的语 Pooling中，Rol层利用所得到指针位置，进一步微 义表达和特征表达能力，泛化性能良好。Wu等 调指针在原图像中的位置，获取仪表指针的精确 基于Faster R-CNN实现不同尺度的人脸面部检 位置信息，输出标定结果。 分类层 256-d vector 回层 RPN层 滑动商百 输入图像 卷积网络层 卷积特征层 Rol Pooling层 全连接层 标定结果 Fast R-CNN检测网络 图1 Faster R-CNN整体框架 Fig.1 Faster R-CNN overall framework L.IRPN网络 获得的9个锚点用来预测9个候选区域，每 RPN是一个全卷积网络，用来得到候选区域 个候选区域用一个四维向量(x,y,w,)来表示， 并输出一组矩形区域建议。它使用一个n×n滑 x、y、w、h分别代表边界框的中心点坐标及其高 动窗口在卷积网络层输出的卷积特征层上滑动来 和宽。通过式(1)实现检测框与真实框的重叠 提取区域建议，该网络同时提供多个预测区域建 校准： 议，每个位置最大的滑窗建议数量为k。对于不 F[A:,Ay,A..A=[GG.G,G] (1) 同大小的对象，使用3个比例尺1282、2562、 式中：A、A,、A。、Ah表示检测框的4个坐标向 512与3种长宽比(1：1、1：2、2：1)的滑动窗口， 量；G、G,、G、G表示真实框的4个坐标向 可以得到k=9种类型滑动窗口。 量。通过平移、变换来对式(1)求解，可得到以下现有的仪表指针检测主要基于经典图像处理 方法来实现[6] ，通过匹配目标形状与颜色特征来 检测指针位置[7-9]。例如，文献 [10] 中，作者提出了 一种改进的中心投影法，通过定位圆形比例区域 来匹配指针轮廓获得指针位置。Hao 等 [11] 基于 OpenCV 提出并实现了一种汽车仪表自动检测指 针系统；Gao 等 [12] 提出了一种鲁棒的字符分割分 类器，该分类器是通过级联定向梯度直方图 HOG/ 支持向量机 SVM 二进制分类器来识别仪表板指 针。基于形状特征与颜色特征的方法抗噪性较 好，但提取的信息并不充分，且计算量大对硬件 支持需求较大，没有考虑实时性与泛化性的需 求。因此研究一种汽车仪表指针快速实时检测方 法具有重要的现实意义。 近年来，深度学习方法在图像的识别和检测 方面涌现了许多优秀成果，成为当前热点研究领 域 [13-15]。例如，曹锦纲等[16] 提出一种基于生成式对 抗网络应用于交通场景运动模糊图像增强，能够 以较好的图像视觉效果完成模糊图像的增强。文 献 [17] 通过卷积神经网络 (CNN) 与循环神经网络 (RNN) 结合，能够实现交通场景端到端语义描述， 具有很好的鲁棒性。Ren 等 [18] 提出基于卷积神经 网络的 Faster R-CNN 算法，该网络拥有较强的语 义表达和特征表达能力，泛化性能良好。Wu 等 [19] 基于 Faster R-CNN 实现不同尺度的人脸面部检 测，提高了人脸检测的效率。文献 [20] 使用 Faster R-CNN 网络实现了人、车及动物等铁路异物的侵 限检测，取得了较好的效果。深度学习使得识别 与检测纳入一个整体流程，实现端到端的学习[21-24]。 鉴于以上研究，本文提出了一种基于改进 Faster R-CNN 汽车仪表指针实时检测方法。采用 RoI Align 层替代原始的 RoI Pooling 层，保留了小 目标的完整像素信息。基于双线性内插方法使特 征聚集过程连续化，缩短了特征映射的计算时 间。通过多组不同类型的仪表指针实验，在检测 时间和检测精度上进行实验评估，验证了所提方 法的高效性和实时性。 1 Faster R-CNN 检测原理 Faster R-CNN 算法网络框架如图 1 所示。整 体框架由区域建议网络 (region proposal network, RPN) 和 Fast R-CNN 检测网络两部分构成。当图 像输入网络后，由检测网络中的卷积网络层提取 仪表指针特征，得到卷积特征层。卷积特征层被 后续的 RPN 层与检测网络层共享。RPN 层使用 锚点与特征层，获取指针位置信息并输入到 RoI Pooling 中，RoI 层利用所得到指针位置，进一步微 调指针在原图像中的位置，获取仪表指针的精确 位置信息，输出标定结果。 卷积网络层 RPN 层 输入图像 Fast R-CNN 检测网络 分类层 回归层 卷积特征层 滑动窗口 RoI Pooling 层 全连接层 标定结果 回归 分类 256-d vector 图 1 Faster R-CNN 整体框架 Fig. 1 Faster R-CNN overall framework 1.1 RPN 网络 n×n k k = 9 RPN 是一个全卷积网络，用来得到候选区域 并输出一组矩形区域建议。它使用一个 滑 动窗口在卷积网络层输出的卷积特征层上滑动来 提取区域建议，该网络同时提供多个预测区域建 议，每个位置最大的滑窗建议数量为 。对于不 同大小的对象，使 用 3 个比例 尺 128 2 、 256 2 、 5122 与 3 种长宽比 (1∶1、1∶2、2∶1) 的滑动窗口， 可以得到 种类型滑动窗口。 (x, y,w, h) x、y、w、h 获得的 9 个锚点用来预测 9 个候选区域，每 个候选区域用一个四维向量 来表示， 分别代表边界框的中心点坐标及其高 和宽。通过式 (1) 实现检测框与真实框的重叠 校准： F[Ax , Ay , Aw, Ah] = [G ′ x ,G ′ y ,G ′ w ,G ′ h ] (1) Ax、Ay、Aw、Ah G ′ x、G ′ y、G ′ w、G ′ h 式中： 表示检测框的 4 个坐标向 量 ； 表示真实框 的 4 个坐标向 量。通过平移、变换来对式 (1) 求解，可得到以下 第 6 期 伍锡如，等：改进 Faster R-CNN 的汽车仪表指针实时检测 ·1057·