·1058· 智能系统学报 第16卷 4个变换，即平移2个和缩放2个。 图2)，包括在线实时检测与离线训练模型两个过 平移： 程。在线实时检测通过加载待检测指针图像，网 G:=Awd(A)+A: 络对其进行学习与检测，给出指针检测结果。离 G,=And(A)+A, (2) 线训练通过工业机采集仪表指针数据之后，以预 缩放： 训练的模型在数据集上进行训练，通过特征提取 G=A.exp(d.) (3) 和学习不同类型的仪表指针，得到优化后的指针 G=Ah·exp(dh) 检测模型，根据指针类型不同，通过反馈机制实 式中dr、d,、dw、dn表示线性变换。 现检测模型的及时更新。离线训练能够保证模型 计算边界框的回归： 适应不同类别仪表指针，提升模型迁移能力。对 tr=(x-xa)÷wa 于所获得的更新之后的训练模型，在线实时检测 =0y-ya)÷ha tw=log(x÷xa) (4) 可以调用更新之后的网络模型，实现将待检测的 th=log(h÷h) 仪表指针数据集加载进去并实现自动给出检测结 式中：x和y表示边界框的中心坐标；1、，表示平 果，完成在线实时检测。 移因子；t、表示缩放因子。 对于单一图像，损失函数定义为 up.W=∑LcP+∑L.)5 加载图像 预训练模型+数据集 卷积层提取特征 分类和回归损失函数分别为 特征提取+候选区域 L(P,P)=-log[P:P+(1-P)(1-P)] (6) RPN生成候选区域 Legt,）)=RG-t) (7) ↓ 共享特征卷积 式中：i表示最小采样中锚点的指数；P:表示锚点 训练Fast R-CNN 预测目标的概率，当锚点为正样本，P=1;当锚点 为负样本，P:=0;入为常量，用于控制分类损失和 回归调整标定框 目标位置+标记指针 回归损失的平衡；表示候选框的参数化坐标； 回归原图目标标定 表示锚点为正样本候选框的坐标。 微调+训练网络模型 1.2检测网络 检测结果 从图1中可以得到，Fast R-CNN作为检测网 络，卷积网络层由卷积、Relu和池化组成，负责对 在线实时检测 离线训练模型 输入图像提取特征，对于全图只进行一次区域特 图2检测算法流程 征的提取，减少了特征的搜索时间。RoI Pool- Fig.2 Detection algorithm flow ing层由共享特征卷积层与RPN层给出的多个建 2.1数据集 议区域作为输入。全连接层结构实现将高维数据 为保证算法检测准确度，本文从真实指针仪 进行一系列非线性变换，通过卷积操作将对应指 表生产线获取工业机录制的仪表指针转动视频， 针区域合并成固定大小的特征图，利用标定框回 按照固定帧数裁剪成图片集，图片分辨率为 归实现指针检测框修正以更加准确的位置，输出 2448×2050,再使用LabelImg标注软件转换成 指针检测结果。 VOC200721数据集格式，构成网络模型预训练的 检测网络实现流程如下： 数据集。VOC格式数据集主要包括：1)训练样本 1)使用卷积网络层提取图片中指针的特征； 集、验证样本集和测试样本集；2)每个样本图像 2)通过RPN网络给出的建议区域，判定是否 对应的XML信息文件；3)样本图像类别标签的 属于检测目标指针： TXT文件。为了保证预训练模型的泛化能力，通 3)使用标定框回归来不断逼近真实目标区域； 过收集并扩充不同类别的指针仪表添加到数据集 4)通过全连接网络层回归获取指针精确的 中，数据集总量为8000张，对其按比例进行划 位置： 分，以总体数据集的70%作为训练样本集，20% 5)输出指针检测结果。 作为验证样本集，10%作为测试样本集。 2改进Faster R-CNN实现指针检测 2.2网络改进 检测网络中的RoI Pooling层，在特征计算中 改进的Faster R-CNN指针检测实现流程（见 需要通过两次量化操作来得到回归框的位置，输4 个变换，即平移 2 个和缩放 2 个。 平移： G ′ x = Aw · dx (A)+ Ax G ′ y = Ah · dy (A)+ Ay (2) 缩放： G ′ w = Aw · exp(dw) G ′ h = Ah · exp(dh) (3) 式中 dx、dy、dw、dh 表示线性变换。 计算边界框的回归： tx = (x− xa)÷wa ty = (y− ya)÷ ha tw = log(x÷ xa) th = log(h÷ ha) (4) x y tx ty tw th 式中： 和 表示边界框的中心坐标； 、 表示平 移因子； 、 表示缩放因子。 对于单一图像，损失函数定义为 L(pi ,ti) = 1 Ncls ∑ i Lcls (Pi ,Pi ∗ )+λ 1 Nreg ∑ i Lreg (ti ,ti ∗ ) (5) 分类和回归损失函数分别为 Lcls(Pi ,P ∗ i ) = −log[PiP ∗ i +(1− P ∗ i )(1− Pi)] (6) Lreg(ti ,t ∗ i ) = R(ti −t ∗ i ) (7) i P ∗ i P ∗ i = 1 P ∗ i = 0 λ ti ti ∗ 式中： 表示最小采样中锚点的指数； 表示锚点 预测目标的概率，当锚点为正样本， ；当锚点 为负样本， ； 为常量，用于控制分类损失和 回归损失的平衡； 表示候选框的参数化坐标； 表示锚点为正样本候选框的坐标。 1.2 检测网络 从图 1 中可以得到，Fast R-CNN 作为检测网 络，卷积网络层由卷积、Relu 和池化组成，负责对 输入图像提取特征，对于全图只进行一次区域特 征的提取，减少了特征的搜索时间。RoI Pool￾ing 层由共享特征卷积层与 RPN 层给出的多个建 议区域作为输入。全连接层结构实现将高维数据 进行一系列非线性变换，通过卷积操作将对应指 针区域合并成固定大小的特征图，利用标定框回 归实现指针检测框修正以更加准确的位置，输出 指针检测结果。 检测网络实现流程如下： 1) 使用卷积网络层提取图片中指针的特征； 2) 通过 RPN 网络给出的建议区域，判定是否 属于检测目标指针； 3) 使用标定框回归来不断逼近真实目标区域； 4) 通过全连接网络层回归获取指针精确的 位置； 5) 输出指针检测结果。 2 改进 Faster R-CNN 实现指针检测 改进的 Faster R-CNN 指针检测实现流程 (见 图 2)，包括在线实时检测与离线训练模型两个过 程。在线实时检测通过加载待检测指针图像，网 络对其进行学习与检测，给出指针检测结果。离 线训练通过工业机采集仪表指针数据之后，以预 训练的模型在数据集上进行训练，通过特征提取 和学习不同类型的仪表指针，得到优化后的指针 检测模型，根据指针类型不同，通过反馈机制实 现检测模型的及时更新。离线训练能够保证模型 适应不同类别仪表指针，提升模型迁移能力。对 于所获得的更新之后的训练模型，在线实时检测 可以调用更新之后的网络模型，实现将待检测的 仪表指针数据集加载进去并实现自动给出检测结 果，完成在线实时检测。 加载图像 卷积层提取特征 RPN 生成候选区域 训练 Fast R-CNN 回归调整标定框 回归原图目标标定 检测结果 在线实时检测 预训练模型+数据集 特征提取+候选区域 共享特征卷积 目标位置+标记指针 微调+训练网络模型 离线训练模型 图 2 检测算法流程 Fig. 2 Detection algorithm flow 2.1 数据集 为保证算法检测准确度，本文从真实指针仪 表生产线获取工业机录制的仪表指针转动视频， 按照固定帧数裁剪成图片集，图片分辨率为 2 448×2 050，再使用 LabelImg 标注软件转换成 VOC2007[25] 数据集格式，构成网络模型预训练的 数据集。VOC 格式数据集主要包括：1) 训练样本 集、验证样本集和测试样本集；2) 每个样本图像 对应的 XML 信息文件；3) 样本图像类别标签的 TXT 文件。为了保证预训练模型的泛化能力，通 过收集并扩充不同类别的指针仪表添加到数据集 中，数据集总量为 8 000 张，对其按比例进行划 分，以总体数据集的 70% 作为训练样本集，20% 作为验证样本集，10% 作为测试样本集。 2.2 网络改进 检测网络中的 RoI Pooling 层，在特征计算中 需要通过两次量化操作来得到回归框的位置，输 ·1058· 智 能 系 统 学 报 第 16 卷