第13卷第5期 智能系统学报 Vol.13 No.5 2018年10月 CAAI Transactions on Intelligent Systems Oct.2018 D0:10.11992/tis.201705010 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180418.0900.002.html 一种基于Mark点的点胶机器人视觉目标定位方法 彭刚2，熊超2，夏成林2，林斌3 (1.华中科技大学自动化学院，湖北武汉430074；2.华中科技大学图像信息处理与智能控制教育部重点实验 室，湖北武汉430074,3.深圳市海思科自动化技术有限公司，广东深圳518109) 摘要：针对工业生产中PCB点胶机器人的视觉定位问题，提出了一种基于Mak点辅助的视觉定位算法。分 析了传统模板匹配、Sit、Surf等算法在Mark点识别与定位中的不足，同时考虑到Mark点所具有的规则几何特 征以及算法对于实时性的要求，提出了一种基于Mk点几何特征的改进型模板匹配算法。实验结果表明.这 种基于Mak点几何特征的改进型模板匹配算法具有良好的平移、缩放、旋转不变性，能够准确识别并定位 Mak点，从而实现对PCB上相关点胶目标点的定位，并满足工程可靠性和实时性的要求。 关键词：PCB;点胶机器人；Mak点；轴助；视觉定位；几何特征；改进型模板匹配；不变性 中图分类号：TP242文献标志码：A文章编号：1673-4785(2018)05-0728-06 中文引用格式：彭刚，熊超，夏成林，等.一种基于Mak点的点胶机器人视觉目标定位方法J.智能系统学报，2018,13(5)： 728-733. 英文引用格式：PENG Gang,XIONG Chao,XIA Chenglin,etal.A method of vision target localization for dispensing robot based on mark point Jl.CAAI transactions on intelligent systems,2018,13(5):728-733. A method of vision target localization for dispensing robot based on mark point PENG Gang,XIONG Chao,XIA Chenglin',LIN Bin (1.School of Automation,Huazhong University of Science and Technology,Wuhan 430074,China;2.Key Laboratory of Image Pro- cessing and Intelligent Control of Education Ministry,Huazhong University of Science and Technology,Wuhan 430074,China; 3.Shenzhen Haisike Automation Technology Co.Ltd.,Shenzhen 518109,China) Abstract:To address the problem of visual localization of polychlorinated biphenyl (PCB)-dispensing robots in indus- trial production,a visual localization algorithm based on mark point is proposed in this paper.The results of traditional template matching,Sift and Surf algorithms,were compared and it was found that these algorithms are inadequate for the identification and location of Mark point.Meanwhile,the geometry features of the Mark point and the real-time re- quirements of the algorithm were considered so that an improved template-matching algorithm based on Mark point geometry features was realized.Experimental results show that this improved template-matching algorithm based on Mark point geometry features can keep good invariance under translation,scale,and rotation,which can accurately identify and locate the mark points,and then indirectly locate the PCB target points while satisfying engineering reliabil- ity and real-time constraints. Keywords:PCB:dispensing robot:Mark point:assistant:visual localization:geometric features:improved template matching;invariance 在3C行业的印刷电路板(PCB)制造过程中，点辅助的方式。首先，机器人系统对PCB上的 为了实现点胶机器人对目标的定位，常采用Mark Mark点进行视觉定位，然后根据Mark点与目标 的相对位置关系，可计算出目标位置。其中，Mark 收稿日期：2017-05-09.网络出版日期：2018-04-18. 基金项目：2016年深圳市科技计划项目(CYZZ20160412111639184) 点定位精度直接影响点胶精度。通过优化Mark 通信作者：彭刚.E-mail:penggang(@hust.edu.cn. 点识别与定位算法，可以提高操作的定位精度和
DOI: 10.11992/tis.201705010 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180418.0900.002.html 一种基于 Mark 点的点胶机器人视觉目标定位方法 彭刚1,2，熊超1,2，夏成林2 ，林斌3 （1. 华中科技大学 自动化学院，湖北 武汉 430074; 2. 华中科技大学 图像信息处理与智能控制教育部重点实验 室，湖北 武汉 430074; 3. 深圳市海思科自动化技术有限公司，广东 深圳 518109） 摘 要：针对工业生产中 PCB 点胶机器人的视觉定位问题，提出了一种基于 Mark 点辅助的视觉定位算法。分 析了传统模板匹配、Sift、Surf 等算法在 Mark 点识别与定位中的不足，同时考虑到 Mark 点所具有的规则几何特 征以及算法对于实时性的要求，提出了一种基于 Mark 点几何特征的改进型模板匹配算法。实验结果表明，这 种基于 Mark 点几何特征的改进型模板匹配算法具有良好的平移、缩放、旋转不变性，能够准确识别并定位 Mark 点，从而实现对 PCB 上相关点胶目标点的定位，并满足工程可靠性和实时性的要求。 关键词：PCB；点胶机器人；Mark 点；辅助；视觉定位；几何特征；改进型模板匹配；不变性 中图分类号：TP242 文献标志码：A 文章编号：1673−4785(2018)05−0728−06 中文引用格式：彭刚, 熊超, 夏成林, 等. 一种基于 Mark 点的点胶机器人视觉目标定位方法[J]. 智能系统学报, 2018, 13(5): 728–733. 英文引用格式：PENG Gang, XIONG Chao, XIA Chenglin, et al. A method of vision target localization for dispensing robot based on mark point[J]. CAAI transactions on intelligent systems, 2018, 13(5): 728–733. A method of vision target localization for dispensing robot based on mark point PENG Gang1,2 ，XIONG Chao1,2 ，XIA Chenglin2 ，LIN Bin3 (1. School of Automation, Huazhong University of Science and Technology, Wuhan 430074, China; 2. Key Laboratory of Image Processing and Intelligent Control of Education Ministry, Huazhong University of Science and Technology, Wuhan 430074, China; 3. Shenzhen Haisike Automation Technology Co. Ltd., Shenzhen 518109, China) Abstract: To address the problem of visual localization of polychlorinated biphenyl (PCB)-dispensing robots in industrial production, a visual localization algorithm based on mark point is proposed in this paper. The results of traditional template matching, Sift and Surf algorithms, were compared and it was found that these algorithms are inadequate for the identification and location of Mark point. Meanwhile, the geometry features of the Mark point and the real-time requirements of the algorithm were considered so that an improved template-matching algorithm based on Mark point geometry features was realized. Experimental results show that this improved template-matching algorithm based on Mark point geometry features can keep good invariance under translation, scale, and rotation, which can accurately identify and locate the mark points, and then indirectly locate the PCB target points while satisfying engineering reliability and real-time constraints. Keywords: PCB; dispensing robot; Mark point; assistant; visual localization; geometric features; improved template matching; invariance 在 3C 行业的印刷电路板 (PCB) 制造过程中， 为了实现点胶机器人对目标的定位，常采用 Mark 点辅助的方式。首先，机器人系统对 PCB 上的 Mark 点进行视觉定位，然后根据 Mark 点与目标 的相对位置关系，可计算出目标位置。其中，Mark 点定位精度直接影响点胶精度。通过优化 Mark 点识别与定位算法，可以提高操作的定位精度和 收稿日期：2017−05−09. 网络出版日期：2018−04−18. 基金项目：2016 年深圳市科技计划项目 (CYZZ20160412111639184). 通信作者：彭刚. E-mail：penggang@hust.edu.cn. 第 13 卷第 5 期 智 能 系 统 学 报 Vol.13 No.5 2018 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2018
第5期 彭刚，等：一种基于Mak点的点胶机器人视觉目标定位方法 ·729· 可靠性，从而有效地提高产品质量。当前常用的 R(x.y)=>(T(x.y)-I(x+x.y+y) (1) Mark点定位方式有霍夫曼圆变换-a)、Surf、Sif特 征匹配46等算法，其中霍夫曼圆变换可以适应更 2Mark点几何特征的改进型模板匹 多类型的Mark点，但该算法的准确度易受到圆 的图像规则度影响，一般还需结合其他复杂方法口 配算法 才可保证准确度。而Surf和Sift方法准确率虽 2.1Mark点图像的特征分析 高，但实时性不佳。本文则从工程应用角度对 PCB板上的Mark点一般都是在印刷时通过 Mark点定位算法的旋转不变性、缩放不变性、实 敷铜制成，常由圆形和其他常见几何图像组合而 时性、可靠性等方面综合考虑，对常用Mark点定 成，本文所使用的Mark点的灰度图像如图3所 位算法的实验结果进行分析比较，提出了一种基 示。从Mark点的灰度图可知其显著特征：正中 于Mark点几何特征的改进模板匹配算法。 心白实心圆，八边形轮廓，最外围大圆轮廓，其余 1简单模板匹配的Mark点识别算法 都近似是黑色。 1.1简单模板匹配原理 模板匹配8.1的原理相对简单，如图1所示， (a)是待检测图S,(b)是模板图T。使用模板图 T依次从左至右，从上至下移动扫描图S的每 图3Mark点图像 Fig.3 Mark point 1个像素。每移动1个像素匹配1次结果，扫描 完毕就可找出最佳匹配结果。 除此之外，大圆轮廓外部的图像是冗余信息 且具有不确定性，Mak点信息只包括大圆轮廓内 模板图 部图像。 2.2Mark点图像预处理 相机拍摄的图像一般为彩色图像，为了利于 后续操作需将其转换成灰度图并进行二值化。为 了使边界更加清晰，还可对图像进行锐化处理， 锐化方法主要分为梯度锐化和拉普拉斯锐化法。 本文采用后者，假设2f是拉普拉斯算子，分别对 (a)待检测图 (b)模板图 图像函数f亿，)计算垂直和水平方向的二阶偏导， 图1模板匹配原理示意图 两者之和就是拉普拉斯算子21，如式(2)~(4) Fig.1 Schematic diagram of template matching 所示： 1.2常用的几种简单模板匹配算法的比较 2f=f) (2) 模板匹配类型包括相关匹配、标准相关匹 0x2 配、平方差匹配、标准平方差匹配、相关系数匹配 Vf=f(i.N) 2 (3) 和标准相关系数匹配。这里使用相关匹配、平 方差匹配、相关系数匹配分别进行实验并对比， 2f=V2f+7,2f (4) 匹配效果如图2所示。 对于扩散现象引起的图像模糊，可用式（⑤）作 锐化处理51。 g(i,)=fi,j)-kπfi,) (5) 当kπ=1时，可将拉普拉斯锐化运算转换成模 板运算1，如式(6)所示： (a)平方差匹配 -1-1-1 (b)相关匹配（©）相关系数匹配 9 (6) 图23种匹配方法结果 -1-1-1 Fig.2 Results of three template matching methods 锐化操作会放大图像的部分孤立噪声，所以 从匹配的结果来看，平方差的效果最好。平 在锐化前需滤除这些噪声。本文的孤立噪声滤波 方差模板匹配公式如式(1)，结果为0时匹配效果 方式是判断白色像素的邻域是否全为黑色像素， 最好，值越大匹配效果越差。 若是则将当前像素置为黑色。图4(a)是二值化
可靠性，从而有效地提高产品质量。当前常用的 Mark 点定位方式有霍夫曼圆变换[1-3] 、Surf、Sift 特 征匹配[4-6]等算法，其中霍夫曼圆变换可以适应更 多类型的 Mark 点，但该算法的准确度易受到圆 的图像规则度影响，一般还需结合其他复杂方法[7] 才可保证准确度。而 Surf 和 Sift 方法准确率虽 高，但实时性不佳。本文则从工程应用角度对 Mark 点定位算法的旋转不变性、缩放不变性、实 时性、可靠性等方面综合考虑，对常用 Mark 点定 位算法的实验结果进行分析比较，提出了一种基 于 Mark 点几何特征的改进模板匹配算法。 1 简单模板匹配的 Mark 点识别算法 1.1 简单模板匹配原理 模板匹配[8-10]的原理相对简单，如图 1 所示， (a) 是待检测图 S，(b) 是模板图 T。使用模板图 T 依次从左至右，从上至下移动扫描图 S 的每 1 个像素。每移动 1 个像素匹配 1 次结果，扫描 完毕就可找出最佳匹配结果。 模板图 (a) 待检测图 (b) 模板图 图 1 模板匹配原理示意图 Fig. 1 Schematic diagram of template matching 1.2 常用的几种简单模板匹配算法的比较 模板匹配类型包括相关匹配、标准相关匹 配、平方差匹配、标准平方差匹配、相关系数匹配 和标准相关系数匹配[11]。这里使用相关匹配、平 方差匹配、相关系数匹配分别进行实验并对比， 匹配效果如图 2 所示。 (a) 平方差匹配 (b) 相关匹配 (c) 相关系数匹配 图 2 3 种匹配方法结果 Fig. 2 Results of three template matching methods 从匹配的结果来看，平方差的效果最好。平 方差模板匹配公式如式 (1)，结果为 0 时匹配效果 最好，值越大匹配效果越差。 R(x, y) = ∑ x ′ ,y ′ (T(x ′ , y ′ )− I(x+ x ′ , y+y ′ ))2 (1) 2 Mark 点几何特征的改进型模板匹 配算法 2.1 Mark 点图像的特征分析 PCB 板上的 Mark 点一般都是在印刷时通过 敷铜制成，常由圆形和其他常见几何图像组合而 成，本文所使用的 Mark 点的灰度图像如图 3 所 示。从 Mark 点的灰度图可知其显著特征：正中 心白实心圆，八边形轮廓，最外围大圆轮廓，其余 都近似是黑色。 图 3 Mark 点图像 Fig. 3 Mark point 除此之外，大圆轮廓外部的图像是冗余信息 且具有不确定性，Mark 点信息只包括大圆轮廓内 部图像。 2.2 Mark 点图像预处理 ∇ 2 f f(i, j) 相机拍摄的图像一般为彩色图像，为了利于 后续操作需将其转换成灰度图并进行二值化。为 了使边界更加清晰，还可对图像进行锐化处理， 锐化方法主要分为梯度锐化和拉普拉斯锐化法。 本文采用后者，假设 是拉普拉斯算子，分别对 图像函数 计算垂直和水平方向的二阶偏导， 两者之和就是拉普拉斯算子[12-14] ，如式 (2)～(4) 所示： ∇x 2 f = ∂ 2 f(i, j) ∂x 2 (2) ∇y 2 f = ∂ 2 f(i, j) ∂y 2 (3) ∇ 2 f=∇x 2 f+∇y 2 f (4) 对于扩散现象引起的图像模糊，可用式 (5) 作 锐化处理[15-16]。 g(i, j) = f(i, j)−kτ∇ 2 f(i, j) (5) 当 kτ=1 时，可将拉普拉斯锐化运算转换成模 板运算[17-18]，如式 (6) 所示： A = −1 −1 −1 −1 9 −1 −1 −1 −1 (6) 锐化操作会放大图像的部分孤立噪声，所以 在锐化前需滤除这些噪声。本文的孤立噪声滤波 方式是判断白色像素的邻域是否全为黑色像素， 若是则将当前像素置为黑色。图 4(a) 是二值化 第 5 期 彭刚，等：一种基于 Mark 点的点胶机器人视觉目标定位方法 ·729·
·730· 智能系统学报 第13卷 图，图4b)是单点滤波图，图4（©）是锐化图，从这 几幅图可以看出它们的对比效果。 (a)非旋转态 (b)旋转态 图7正八边形搜索路径图 (a)二值化图(b)滤波图(c)锐化图 Fig.7 Search path of regular octagon 图4Mark点对比 3)大圆的识别可以从步骤2)中搜索得到的 Fig.4 Comparison of mark point images 外八边形轮廓开始，沿上下左右4个方向搜索并 2.3改进型模板匹配算法对Mak点的识别与定位 记录大圆轮廓的首个白像素点。最后判断中心点 2.3.1根据几何特征提取Mark点结果集 沿各方向到大圆轮廓的距离是否基本相等，是则 根据本文2.1节的Mark点几何特征分析，可 计算出大圆半径，否则返回。因为在待检测图中 知Mark点几何特征主要包括3部分：小实心圆、 几乎没有与大圆相近的目标，故可根据霍夫圆变 八边形轮廓、外围大圆轮廓，具体如图5所示。 换和大圆半径参数进一步确认所得大圆轮廓是否 正确。 若上述3个条件都满足要求，就可以将搜索 得到的疑似Mark点目标保存到结果集中。具体 的搜索决策流程如图8所示。 图5Mark点特征 (PCB图) Fig.5 Features of mark point 为了让轮廓更加清晰，根据上述2.2节对待 预处理 检测图进行二值化、滤波和锐化等预处理。图像 下一中 预处理完成后，就可以根据几何特征提取疑似目 检测子图 心点 标集19-20 N 小圆判断 终点 Y结束 本实验中，已知标准Mark点图片最小尺寸 为80×80。在此基础上，对待检测图从左至右、从 边形 判断 上至下逐像素地按步骤进行搜索： Y 1)以待检测图的左上角首个像素点为起始中 大圆判断 心点，判断该像素是否为白色，若否，则返回，若 Y 是则如图6所示继续从中心点沿上下左右搜索各 方向第一个黑点，并记录黑点位置。因为小圆半 径不超过80像素，故可限定搜索半径为80像 素。4个方向都搜索到黑点后就比较中心点与各 结果集 黑点的距离是否基本相等，是则继续，否则返回。 图8决策流程图 Fig.8 Decision-making flowchart 在实现时，为防止漏识别，搜索条件一般较宽 松，最后得到的可能是一个结果集，所以还需要 继续对结果集进行筛选。 图6小圆搜索路径图 2.3.2根据改进型模板匹配算法对Mark点结果 Fig.6 Search path of small circle 集进行筛选 2)如图7所示，由于正八边形旋转周期是 本文采用改进型模板匹配法进行结果集筛 45°，所以从中心点起始并以45°为周期，到8个边 选，为了准确地匹配有旋转和缩放的目标，需要 的距离都相等。故以45°为周期，从当前中心点 计算缩放比例和旋转角度。假定结果集中的任 开始向8个方向搜索第一个八边形轮廓并记录位 一Mark点元素外围大圆半径值为r,且标准Mark 置。最后判断中心点到八边形各边的距离是否基 点对应的该参数为R。同时，设内八边形轮廓与 本相等，是则继续，否则返回。第二个八边形搜索 圆心在水平方向上的距离为L,且标准Mark点对 规则一样，从上一个八边形轮廓继续向前搜索即可。 应的参数为M;则缩放比例T和旋转角度的计算
图，图 4(b) 是单点滤波图，图 4(c) 是锐化图，从这 几幅图可以看出它们的对比效果。 (a) 二值化图 (b) 滤波图 (c) 锐化图 图 4 Mark 点对比 Fig. 4 Comparison of mark point images 2.3 改进型模板匹配算法对 Mark 点的识别与定位 2.3.1 根据几何特征提取 Mark 点结果集 根据本文 2.1 节的 Mark 点几何特征分析，可 知 Mark 点几何特征主要包括 3 部分：小实心圆、 八边形轮廓、外围大圆轮廓，具体如图 5 所示。 图 5 Mark 点特征 Fig. 5 Features of mark point 为了让轮廓更加清晰，根据上述 2.2 节对待 检测图进行二值化、滤波和锐化等预处理。图像 预处理完成后，就可以根据几何特征提取疑似目 标集[19-20]。 本实验中，已知标准 Mark 点图片最小尺寸 为 80×80。在此基础上，对待检测图从左至右、从 上至下逐像素地按步骤进行搜索： 1) 以待检测图的左上角首个像素点为起始中 心点，判断该像素是否为白色，若否，则返回，若 是则如图 6 所示继续从中心点沿上下左右搜索各 方向第一个黑点，并记录黑点位置。因为小圆半 径不超过 80 像素，故可限定搜索半径为 80 像 素。4 个方向都搜索到黑点后就比较中心点与各 黑点的距离是否基本相等，是则继续，否则返回。 图 6 小圆搜索路径图 Fig. 6 Search path of small circle 2) 如图 7 所示，由于正八边形旋转周期是 45°，所以从中心点起始并以 45°为周期，到 8 个边 的距离都相等。故以 45°为周期，从当前中心点 开始向 8 个方向搜索第一个八边形轮廓并记录位 置。最后判断中心点到八边形各边的距离是否基 本相等，是则继续，否则返回。第二个八边形搜索 规则一样，从上一个八边形轮廓继续向前搜索即可。 (a)非旋转态 (b)旋转态 图 7 正八边形搜索路径图 Fig. 7 Search path of regular octagon 3) 大圆的识别可以从步骤 2) 中搜索得到的 外八边形轮廓开始，沿上下左右 4 个方向搜索并 记录大圆轮廓的首个白像素点。最后判断中心点 沿各方向到大圆轮廓的距离是否基本相等，是则 计算出大圆半径，否则返回。因为在待检测图中 几乎没有与大圆相近的目标，故可根据霍夫圆变 换和大圆半径参数进一步确认所得大圆轮廓是否 正确。 若上述 3 个条件都满足要求，就可以将搜索 得到的疑似 Mark 点目标保存到结果集中。具体 的搜索决策流程如图 8 所示。 PCB 图 预处理 检测子图 小圆判断 八边形 判断 大圆判断 霍夫变换 检测大圆 结果集 Y 下一中 心点 终点 结束 N N N N Y N Y Y Y 图 8 决策流程图 Fig. 8 Decision-making flowchart 在实现时，为防止漏识别，搜索条件一般较宽 松，最后得到的可能是一个结果集，所以还需要 继续对结果集进行筛选。 2.3.2 根据改进型模板匹配算法对 Mark 点结果 集进行筛选 θ 本文采用改进型模板匹配法进行结果集筛 选，为了准确地匹配有旋转和缩放的目标，需要 计算缩放比例和旋转角度。假定结果集中的任 一 Mark 点元素外围大圆半径值为 r，且标准 Mark 点对应的该参数为 R。同时，设内八边形轮廓与 圆心在水平方向上的距离为 L，且标准 Mark 点对 应的参数为 M；则缩放比例 T 和旋转角度 的计算 ·730· 智 能 系 统 学 报 第 13 卷
第5期 彭刚，等：一种基于Mak点的点胶机器人视觉目标定位方法 ·731· 如式(7)、(8)所示。因为旋转包括两种相反方向 3实验结果对比 的旋转状态，所以对应的旋转角也有两个值。 T= 3.1 实验条件 (7) 图11为本文实验使用的样本，(a)是待检测 (TM =±arccosL) (8) 图，大小为522×391；(b)是Mark点模板图，大小 根据得到的缩放比例与旋转角，对标准 为160×160。 Mak点进行相应的缩放和旋转变换校正，从而得 到与结果集中Mark点有着相同缩放和旋转状态 的Mark点模板图。由于标准Mark点大圆以外的 冗余图像部分具有不确定性，故只截取并保留校 正变换后Mark点的大圆内接正方形部分，并将 该部分作为Mark点的新匹配模板，如图9所示。 (a)待检测图 (b)Mark点模板图 图11待检测图和模板图 Fig.11 Test image and template image 在主频2.53GHz的CPU,4GB内存，Windows7 系统的电脑上，使用基于MFC和OpenCV2.4.9开 图9。新匹配模板 发的图像识别软件，进行以下实验测试。 Fig.9 New matching template 3.2Sift和Surf算法对Mark点的识别效果 依次将结果集中的疑似Mark点元素与新的 根据前面引言部分所述，Sift和Surf算子都 Mark匹配模板进行传统模板匹配操作，疑似 可用于Mark点识别，本文为了清晰地展现各种 Mark点元素的匹配区域是Mark点的大圆内接正 算法的优劣，特别对Mark点特征图像在缩放和 方形部分。不断重复Mark点模板校正、截取及 旋转变换条件下使用Sif和Surf两种算法进行识 模板匹配步骤，计算并保存各个结果集元素的匹 别实验，实验数据如表1和表2所示。 配值。最后对匹配结果进行比较，选取最佳匹配 表1缩放对比实验结果 结果，具体的Mark点搜索流程如图l0所示。 Table 1 Comparsion of image scaling experiment 开始 参数类型 匹配点对数 匹配时间/ms Mark点坐标 Sift 21 1732 (276,193) 在PCB测试图中遍历像素点并 0.6倍 寻找特定几何特征 Surf 0 812 (268.199) 82 1903 Mark点结果集 1.0倍 Sift (268,196) Surf 51 921 (268,196) 取出一个结果集元素 1.5倍 Sift 473 2106 (269,196) 并计算其伸缩比例和旋转角度 Surf 141 998 (269,196) 标准Mark点模板图的 表2旋转对比实验结果 伸缩旋转校正 Table 2 Comparsion of image rotation experiment 参数类型匹配点对数 匹配时间/ms Mark点坐标 模板匹配 Sift 164 1810 (268.196) 450 Surf 结果集是否 Y 76 967 (192,175) 有未匹配元素 Sift 136 2013 (268,196) 60° Surf 102 951 (192,176) 比较匹配结果 Sift 163 2056 (268,196) 120° 最佳匹配结果 Surf 85 920 (192.176) 图10Mark点搜索流程图 从表中数据可以分析出：Sft算法匹配用时 Fig.10 Mark point search flowchart 是Surf的2~3倍，Sift在图像缩小变换后的匹配
θ 如式 (7)、(8) 所示。因为旋转包括两种相反方向 的旋转状态，所以对应的旋转角 也有两个值。 T= r R (7) θ=±arc cos( T M L ) (8) 根据得到的缩放比例与旋转角，对标 准 Mark 点进行相应的缩放和旋转变换校正，从而得 到与结果集中 Mark 点有着相同缩放和旋转状态 的 Mark 点模板图。由于标准 Mark 点大圆以外的 冗余图像部分具有不确定性，故只截取并保留校 正变换后 Mark 点的大圆内接正方形部分，并将 该部分作为 Mark 点的新匹配模板，如图 9 所示。 图 9 新匹配模板 Fig. 9 New matching template 依次将结果集中的疑似 Mark 点元素与新的 Mark 匹配模板进行传统模板匹配操作，疑似 Mark 点元素的匹配区域是 Mark 点的大圆内接正 方形部分。不断重复 Mark 点模板校正、截取及 模板匹配步骤，计算并保存各个结果集元素的匹 配值。最后对匹配结果进行比较，选取最佳匹配 结果，具体的 Mark 点搜索流程如图 10 所示。 在 PCB 测试图中遍历像素点并 寻找特定几何特征 开始 取出一个结果集元素 并计算其伸缩比例和旋转角度 标准 Mark 点模板图的 伸缩旋转校正 模板匹配 最佳匹配结果 比较匹配结果 结果集是否 Y 有未匹配元素 N Mark 点结果集 图 10 Mark 点搜索流程图 Fig. 10 Mark point search flowchart 3 实验结果对比 3.1 实验条件 图 11 为本文实验使用的样本，(a) 是待检测 图，大小为 522×391；(b) 是 Mark 点模板图，大小 为 160×160。 (a) 待检测图 (b) Mark点模板图 图 11 待检测图和模板图 Fig. 11 Test image and template image 在主频 2.53 GHz 的 CPU，4 GB 内存，Windows7 系统的电脑上，使用基于 MFC 和 OpenCV2.4.9 开 发的图像识别软件，进行以下实验测试。 3.2 Sift 和 Surf 算法对 Mark 点的识别效果 根据前面引言部分所述，Sift 和 Surf 算子都 可用于 Mark 点识别，本文为了清晰地展现各种 算法的优劣，特别对 Mark 点特征图像在缩放和 旋转变换条件下使用 Sift 和 Surf 两种算法进行识 别实验，实验数据如表 1 和表 2 所示。 表 1 缩放对比实验结果 Table 1 Comparsion of image scaling experiment 参数 类型 匹配点对数 匹配时间/ms Mark 点坐标 0.6 倍 Sift 21 1 732 (276,193) Surf 19 812 (268,199) 1.0 倍 Sift 82 1 903 (268,196) Surf 51 921 (268,196) 1.5 倍 Sift 473 2 106 (269,196) Surf 141 998 (269,196) 表 2 旋转对比实验结果 Table 2 Comparsion of image rotation experiment 参数 类型 匹配点对数 匹配时间/ms Mark 点坐标 45° Sift 164 1 810 (268,196) Surf 76 967 (192,175) 60° Sift 136 2 013 (268,196) Surf 102 951 (192,176) 120° Sift 163 2 056 (268,196) Surf 85 920 (192,176) 从表中数据可以分析出：Sift 算法匹配用时 是 Surf 的 2~3 倍，Sift 在图像缩小变换后的匹配 第 5 期 彭刚，等：一种基于 Mark 点的点胶机器人视觉目标定位方法 ·731·
·732· 智能系统学报 第13卷 效果也不如Surf:但是Sift算法的有效匹配点对 数一般都比Suf多，尤其是在旋转状态下。由此可 见，两种算法在Mark点匹配中各有一定优缺点。 3.3传统平方差模板匹配算法对Mak点识别效果 根据OpenCV库中的平方差模板匹配算法， (a)45° (b)60° (c)120° 对经过不同比例缩放（无旋转）后的待检测图进 行测试，测试结果如表3所示。其中待检测图像 图13旋转后的匹配结果 Fig.13 Matching results after images rotation 指标类型为1.0倍，表示未经缩放的待检测图。 根据上述测试结果可得出：提出的基于Mark 表3平方差在模板缩放时的匹配结果 Table 3 Matching results of square difference in different 点几何特征的改进型模板匹配算法识别效果良 template scaling 好。从算法的时间复杂度上看，改进模板匹配算 指标类型 中心点坐标X中心点坐标Y 法的平均速度是Surf的2~3倍，满足实时性要 匹配时间/ms 求。从缩放旋转上看，改进的模板匹配算法同时 0.5倍 297 313 158 具有旋转和缩放不变性，且误差在5个像素以内， 0.8倍 203 268 197 满足实际应用中的可靠性与准确性要求。 1.0倍 234 268 196 1.2倍 203 285 188 4结束语 1.5倍 296 309 165 Mark点作为常用的视觉辅助定位对象，使用 1.8倍 218 343 153 Sift、Suf和简单模板等传统匹配算法对其进行识 别时，不能很好地同时满足缩放旋转及实时性等 从缩放后的匹配结果可以得出：匹配效果随 要求。本文提出了一种基于Mark点几何特征的 着待检测图的缩放程度增大而变差。显然，该算 改进模板匹配算法，针对待检测图像的缩放旋转 法不太适合。 状态，对匹配模板进行相应的缩放旋转变换，不 3.4改进型模板匹配算法对Mark点的识别效果 仅实现了对缩放变换的良好适应性，还保证了良 为了清晰地比较改进型模板匹配算法与St、 好的实时性。应用该算法的视觉系统可以准确可 Suf、平方差模板匹配算法之间的优劣，在相同实 靠地识别出Mark点并定位，从而可以根据相对 验条件下进行实验。 位置关系实现对PCB目标点的准确定位。相比 1)测试经过缩放的PCB板图像。分别对缩 当前常用的Mark点定位算法，该算法保证了较 放倍数为0.6、0.9、1.5和2.0倍的待检测样图进行 高准确率，同时提高了实时性，可以适应当前不 测试，测试耗时分别为125、194、363和513ms, 匹配效果如图12所示。 断提高的视觉定位实时性要求，具有较好的工程 应用价值。 参考文献： [1]陈戈珩，李华杰，房晓伟.基于相位一致性和Hough圆的 贴片机视觉定位系统的研究).科学技术与工程，2015， (a)0.6倍 (b)0.9倍 15(27):59-63 CHEN Geheng,LI Huajie,FANG Xiaowei.Research of the vision positioning system of surface mounting ma- chine based on phase congruence and Hough circle trans- form[J].Science technology and engineering,2015, (c)1.5倍 d)2.0倍 15(27):59-63. 图12缩放后的匹配结果 [2]JIANG Lianyuan.Efficient randomized Hough transform Fig.12 Matching results after images scaling for circle detection using novel probability sampling and 2)测试经过旋转的PCB板图像。分别对旋 feature points[J].Optik-international journal for light and electron optics,.2012,123(20):18341840 转度数为45°、60°和120°的待检测样图进行测 [3]JAIN N,JAIN N.Coin recognition using circular Hough 试，测试耗时分别为484、455和442ms,匹配效果 transform[J].International journal of electronics commu- 如图13所示。 nication and computer technology,2012,2(3):101-104
效果也不如 Surf；但是 Sift 算法的有效匹配点对 数一般都比 Surf 多，尤其是在旋转状态下。由此可 见，两种算法在 Mark 点匹配中各有一定优缺点。 3.3 传统平方差模板匹配算法对 Mark 点识别效果 根据 OpenCV 库中的平方差模板匹配算法， 对经过不同比例缩放 (无旋转) 后的待检测图进 行测试，测试结果如表 3 所示。其中待检测图像 指标类型为 1.0 倍，表示未经缩放的待检测图。 表 3 平方差在模板缩放时的匹配结果 Table 3 Matching results of square difference in different template scaling 指标类型 匹配时间/ms 中心点坐标 X 中心点坐标 Y 0.5 倍 297 313 158 0.8 倍 203 268 197 1.0 倍 234 268 196 1.2 倍 203 285 188 1.5 倍 296 309 165 1.8 倍 218 343 153 从缩放后的匹配结果可以得出：匹配效果随 着待检测图的缩放程度增大而变差。显然，该算 法不太适合。 3.4 改进型模板匹配算法对 Mark 点的识别效果 为了清晰地比较改进型模板匹配算法与 Sift、 Surf、平方差模板匹配算法之间的优劣，在相同实 验条件下进行实验。 1) 测试经过缩放的 PCB 板图像。分别对缩 放倍数为 0.6、0.9、1.5 和 2.0 倍的待检测样图进行 测试，测试耗时分别为 125、194、363 和 513 ms， 匹配效果如图 12 所示。 (a) 0.6 倍 (b) 0.9 倍 (c) 1.5 倍 (d) 2.0 倍 图 12 缩放后的匹配结果 Fig. 12 Matching results after images scaling 2) 测试经过旋转的 PCB 板图像。分别对旋 转度数为 45°、60°和 120°的待检测样图进行测 试，测试耗时分别为 484、455 和 442 ms，匹配效果 如图 13 所示。 (a) 45° (b) 60° (c) 120° 图 13 旋转后的匹配结果 Fig. 13 Matching results after images rotation 根据上述测试结果可得出：提出的基于 Mark 点几何特征的改进型模板匹配算法识别效果良 好。从算法的时间复杂度上看，改进模板匹配算 法的平均速度是 Surf 的 2~3 倍，满足实时性要 求。从缩放旋转上看，改进的模板匹配算法同时 具有旋转和缩放不变性，且误差在 5 个像素以内， 满足实际应用中的可靠性与准确性要求。 4 结束语 Mark 点作为常用的视觉辅助定位对象，使用 Sift、Surf 和简单模板等传统匹配算法对其进行识 别时，不能很好地同时满足缩放旋转及实时性等 要求。本文提出了一种基于 Mark 点几何特征的 改进模板匹配算法，针对待检测图像的缩放旋转 状态，对匹配模板进行相应的缩放旋转变换，不 仅实现了对缩放变换的良好适应性，还保证了良 好的实时性。应用该算法的视觉系统可以准确可 靠地识别出 Mark 点并定位，从而可以根据相对 位置关系实现对 PCB 目标点的准确定位。相比 当前常用的 Mark 点定位算法，该算法保证了较 高准确率，同时提高了实时性，可以适应当前不 断提高的视觉定位实时性要求，具有较好的工程 应用价值。 参考文献： 陈戈珩, 李华杰, 房晓伟. 基于相位一致性和 Hough 圆的 贴片机视觉定位系统的研究[J]. 科学技术与工程, 2015, 15(27): 59–63. CHEN Geheng, LI Huajie, FANG Xiaowei. Research of the vision positioning system of surface mounting machine based on phase congruence and Hough circle transform[J]. Science technology and engineering, 2015, 15(27): 59–63. [1] JIANG Lianyuan. Efficient randomized Hough transform for circle detection using novel probability sampling and feature points[J]. Optik-international journal for light and electron optics, 2012, 123(20): 1834–1840. [2] JAIN N, JAIN N. Coin recognition using circular Hough transform[J]. International journal of electronics communication and computer technology, 2012, 2(3): 101–104. [3] ·732· 智 能 系 统 学 报 第 13 卷
第5期 彭刚，等：一种基于Mak点的点胶机器人视觉目标定位方法 ·733· [4]刘柏江，姜明新.基于si特征的图像匹配算法[).信息 ical image sharpening[J].Computer engineering and ap- 系统工程，2011(5：34-36,41 plications,.2008,44(10):160-162 [5]PANG Yanwei,LI Wei,YUAN Yuan,et al.Fully affine [16]ZHOU Bin,ZHANG Xiongwei,ZOU Xia,et al.Speech invariant SURF for image matching[J].Neurocomputing. enhancement by short-time spectrum estimation with mul- 2012.85:6-10 tivariate Laplace speech model[J].Przeglad elektrotech- [6]YIN Hongpeng,PENG Chao,CHAI Yi,et al.A Robust niczny,2012,88(12338-342. object tracking algorithm based on surf and Kalman [17刀邹滨，刘翱.轮廓波变换与改进MSRCR的图像增强[) filter[J].Intelligent automation soft computing,2013, 计算机工程与设计.2016.37(6)：1560-1566 19(4):567-579. ZOU Bin,LIU Ao.Image enhancement based on contour- [7]王海波，周浩，柳宁.基于Radon变换的高精度Mark点 let transform and improved MSRCR[J].Computer engin- 圆定位算法的改进[J]机电工程技术，2015,44(7)： eering and design,2016,37(6):1560-1566. 78-80. [18]贾海鹏，张云泉，龙国平，等.基于OpenCL的拉普拉斯 WANG Haibo,ZHOU Hao,LIU Ning.The improvement 图像增强算法优化研究】.计算机科学，2012,39(5)： algorithm of high precision mark points detecting circle 271-277. location based on Radon transform[J].Mechanical elec- JIA Haipeng,ZHANG Yunquan,LONG Guoping,et al. trical engineering technology,2015,44(7):78-80. Reasearch on laplace image enhancement algorithm op- [8]ZOU Mingming,LU Di.Recognition algorithm of car li- timization based on OpenCL[J].Computer science,2012. cense plate characters based on modified template 39(5):271-277 match[J].Foreign electronic measurement technology, [19]DJEKOUNE A O.MESSAOUDI K.AMARA K.Incre- 2010,29(1):59-61,80. [9]CHIDAMBARAM C,LOPES H S.An improved artificial mental circle hough transform:an improved method for bee colony algorithm for the object recognition problem in circle detection[J].Optik-international journal for light complex digital images using template matching[J].Inter- and electron optics,2017,133:17-31. national journal of natural computing research,2017,1(2): [20]段黎明，汪威，张霞.改进的Hough变换实现圆检测[U 5470. 计算机集成制造系统，2013,19(9)：2148-2152 [10们吴晓军，邹广华.基于边缘几何特征的高性能模板匹配 DUAN Liming,WANG Wei,ZHANG Xia.Circle detec- 算法[J.仪器仪表学报，2013,34(7)：1462-1469 tion through improved hough transform[J].Computer in- WU Xiaojun,ZOU Guanghua.High performance tem- tegrated manufacturing systems,2013,19(9):2148-2152. plate matching algorithm based on edge geometric fea- 作者简介： tures[J].Chinese journal of scientific instrument,2013. 彭刚.男，1973年生，副教授，博 34(7):1462-1469. 士，主要研究方向为机器人与智能制 [11]ZHANG Sen,ZHOU Yongquan.Template matching us- 造、嵌入式系统与软件开发、生产制造 ing grey wolf optimizer with lateral inhibition[J].Optik- 执行系统。获发明专利3项、实用新 international journal for light and electron optics,2017, 型专利4项、外观设计1项、软件著作 130:1229-1243. 权3项，获湖北省自然科学奖三等奖 [12]田文利.基于双重滤波与锐化的遥感图像增强算法) 1项。发表学术论文40余篇，被SCI 国外电子测量技术，2017,36(4)：13-16. 收录2篇，EI收录20余篇。 TIAN Wenli.Remote sense image enhancement al- gorithm based on filtering and sharpening[J].Foreign 熊超，男，1992年生，硕士研究 electronic measurement technology,2017,36(4):13-16. 生，主要研究方向为机器人与智能制 [13]COMTE F,CUENOD C A,PENSKY M,et al.Laplace 造、嵌入式系统与软件开发。 deconvolution and its application to dynamic contrast en- hanced imaging[J].arXiv preprint arXiv:1207.2231, 2012. [14]WANG Yinggui,YANG Le,TANG Liang,et al.En- hanced multi-task compressive sensing using Laplace pri- 夏成林，男，1990年生，硕士研究 ors and MDL-based task classification[J].EURASIP 生，主要研究方向为机器人与智能制 journal on advances in signal processing,2013,2013: 造、嵌人式系统与软件开发。 1-17. [15]李均利，魏平，陈刚.一种新颖的医学图像锐化增强算 法).计算机工程与应用，2008,44(10)：160-162. LI Junli,WEI Ping,CHEN Gang.Novel method for med-
刘柏江, 姜明新. 基于 sift 特征的图像匹配算法[J]. 信息 系统工程, 2011(5): 34–36, 41. [4] PANG Yanwei, LI Wei, YUAN Yuan, et al. Fully affine invariant SURF for image matching[J]. Neurocomputing, 2012, 85: 6–10. [5] YIN Hongpeng, PENG Chao, CHAI Yi, et al. A Robust object tracking algorithm based on surf and Kalman filter[J]. Intelligent automation & soft computing, 2013, 19(4): 567–579. [6] 王海波, 周浩, 柳宁. 基于 Radon 变换的高精度 Mark 点 圆定位算法的改进[J]. 机电工程技术, 2015, 44(7): 78–80. WANG Haibo, ZHOU Hao, LIU Ning. The improvement algorithm of high precision mark points detecting circle location based on Radon transform[J]. Mechanical & electrical engineering technology, 2015, 44(7): 78–80. [7] ZOU Mingming, LU Di. Recognition algorithm of car license plate characters based on modified template match[J]. Foreign electronic measurement technology, 2010, 29(1): 59–61, 80. [8] CHIDAMBARAM C, LOPES H S. An improved artificial bee colony algorithm for the object recognition problem in complex digital images using template matching[J]. International journal of natural computing research, 2017, 1(2): 54–70. [9] 吴晓军, 邹广华. 基于边缘几何特征的高性能模板匹配 算法[J]. 仪器仪表学报, 2013, 34(7): 1462–1469. WU Xiaojun, ZOU Guanghua. High performance template matching algorithm based on edge geometric features[J]. Chinese journal of scientific instrument, 2013, 34(7): 1462–1469. [10] ZHANG Sen, ZHOU Yongquan. Template matching using grey wolf optimizer with lateral inhibition[J]. Optikinternational journal for light and electron optics, 2017, 130: 1229–1243. [11] 田文利. 基于双重滤波与锐化的遥感图像增强算法[J]. 国外电子测量技术, 2017, 36(4): 13–16. TIAN Wenli. Remote sense image enhancement algorithm based on filtering and sharpening[J]. Foreign electronic measurement technology, 2017, 36(4): 13–16. [12] COMTE F, CUENOD C A, PENSKY M, et al. Laplace deconvolution and its application to dynamic contrast enhanced imaging[J]. arXiv preprint arXiv: 1207.2231, 2012. [13] WANG Yinggui, YANG Le, TANG Liang, et al. Enhanced multi-task compressive sensing using Laplace priors and MDL-based task classification[J]. EURASIP journal on advances in signal processing, 2013, 2013: 1–17. [14] 李均利, 魏平, 陈刚. 一种新颖的医学图像锐化增强算 法[J]. 计算机工程与应用, 2008, 44(10): 160–162. LI Junli, WEI Ping, CHEN Gang. Novel method for med- [15] ical image sharpening[J]. Computer engineering and applications, 2008, 44(10): 160–162. ZHOU Bin, ZHANG Xiongwei, ZOU Xia, et al. Speech enhancement by short-time spectrum estimation with multivariate Laplace speech model[J]. Przeglad elektrotechniczny, 2012, 88(12): 338–342. [16] 邹滨, 刘翱. 轮廓波变换与改进 MSRCR 的图像增强[J]. 计算机工程与设计, 2016, 37(6): 1560–1566. ZOU Bin, LIU Ao. Image enhancement based on contourlet transform and improved MSRCR[J]. Computer engineering and design, 2016, 37(6): 1560–1566. [17] 贾海鹏, 张云泉, 龙国平, 等. 基于 OpenCL 的拉普拉斯 图像增强算法优化研究[J]. 计算机科学, 2012, 39(5): 271–277. JIA Haipeng, ZHANG Yunquan, LONG Guoping, et al. Reasearch on laplace image enhancement algorithm optimization based on OpenCL[J]. Computer science, 2012, 39(5): 271–277. [18] DJEKOUNE A O, MESSAOUDI K, AMARA K. Incremental circle hough transform: an improved method for circle detection[J]. Optik-international journal for light and electron optics, 2017, 133: 17–31. [19] 段黎明, 汪威, 张霞. 改进的 Hough 变换实现圆检测[J]. 计算机集成制造系统, 2013, 19(9): 2148–2152. DUAN Liming, WANG Wei, ZHANG Xia. Circle detection through improved hough transform[J]. Computer integrated manufacturing systems, 2013, 19(9): 2148–2152. [20] 作者简介： 彭刚，男，1973 年生，副教授，博 士，主要研究方向为机器人与智能制 造、嵌入式系统与软件开发、生产制造 执行系统。获发明专利 3 项、实用新 型专利 4 项、外观设计 1 项、软件著作 权 3 项，获湖北省自然科学奖三等奖 1 项。发表学术论文 40 余篇，被 SCI 收录 2 篇，EI 收录 20 余篇。 熊超，男，1992 年生，硕士研究 生，主要研究方向为机器人与智能制 造、嵌入式系统与软件开发。 夏成林，男，1990 年生，硕士研究 生，主要研究方向为机器人与智能制 造、嵌入式系统与软件开发。 第 5 期 彭刚，等：一种基于 Mark 点的点胶机器人视觉目标定位方法 ·733·