《工程科学学报》录用稿，htps:/doi.org/10.13374/i,issn2095-9389.2021.09.02.001©北京科技大学2020 工程科学学报DO: 面向三维复杂焊缝的焊接机器人焊缝跟踪方法 张雨航2)，曹学鹏)，张弓2,38，侯至丞2，)，吴月玉2)，徐群华)，袁海2，) 1)长安大学，西安7100642)广州先进技术研究所，广州5114583)中国科学院大学，北京100049 ☒通信作者，E-mail:gong.zhang@giat.ac.cn 摘要机器人焊接技术具有质量稳定、效率高等特点，为实现空间内的三维复杂焊缝跟原以提出基手分段扫描、滤波、 特征点采集、路径规划的焊缝四步跟踪方法。通过安装于焊接机器人末端的激光传感器、以分段扫描方式连续多段采 集焊缝数据：为提高跟踪精度，采用组合滤波的方式修正数据，有效降低焊件麦面毛刺数据失真和噪声等影响： 通过特征点采集与坐标系标定确定焊接点：最后结合焊接机器人路径规划获得空间焊接路径。对二维$型焊缝与三 维复杂焊缝进行了实验研究，结果表明提出的四步焊缝跟踪方法可形成完整的焊接路径，两种焊件平均跟踪误差约 为0.296mm和0.292mm,满足机器人焊接跟踪误差低于0.5mm的精度要茉 表明所提出焊接跟踪方法的有效性， 可为复杂焊缝的高精度跟踪和自动焊接研究提供有益参考。 关键词焊缝跟踪：三维复杂焊缝：分段扫描：特征点提取： 路径 分类号TP242.2 Welding seam tracking method, of welding robot oriented to 3D complex welding seam ZHANG Yu-hang 2),CAO Xue-peng,ZHANG Gong HOU Zhi-cheng WU Yue-yu,XU Oun-hua YUAN Hars) 1)Chang'an University,Xi'an 710064,Chin 2) Guangzhou Institute of Advanced Teehne zhou 511458,China 3) University of Chinese Academy Berjing 100049.China Corresponding author,E-mai iat.ac.cn ABSTRACT Welding fobo tis widely used in many kinds and working conditions of welding production in the current machinery manufaeturing industry.It plays an important role in the machinery manufacturing industry.At present,in most industries,welding robets still work by teaching and reproduction.When the welding object or welding conditions change, the robot can not make corresponding adjustments in time,which makes the welding gun deviate from the weld center, resulting in the decline of welding quality.In the future,the realization of automatic welding and intelligent welding is the inevitable trend of development.The application of machine vision in the welding field will promote the transformation of welding technology from rigid welding automation to flexible welding intelligence.The purpose of welding automation and intelligence is to improve the working environment,save labor cost and improve product quality.Robotic welding technology has the characteristics of stable quality and high efficiency.To achieve 3D complex weld tracking in space,a four-step welding seam tracking method is proposed based on segmented scanning,filtering,feature points extraction,and path 收稿日期： 基金项目：国家重点研发计划(2018YFA0902903)、国家自然科学基金(62073092)、广东省自然科学基金 (2021A1515012638)、陕西省重点研发计划(2021 ZDLGY09-02)、广州市基础研究计划(202002030320)
工程科学学报 DOI: 面向三维复杂焊缝的焊接机器人焊缝跟踪方法1 张雨航 1,2)，曹学鹏 1)，张弓 2,3)，侯至丞 2,3)，吴月玉 2)，徐群华 2)，袁海 2,3) 1) 长安大学，西安 710064 2) 广州先进技术研究所，广州 511458 3) 中国科学院大学，北京 100049 通信作者，E-mail: gong.zhang@giat.ac.cn 摘 要 机器人焊接技术具有质量稳定、效率高等特点，为实现空间内的三维复杂焊缝跟踪，提出基于分段扫描、滤波、 特征点采集、路径规划的焊缝四步跟踪方法。通过安装于焊接机器人末端的激光传感器，以分段扫描方式连续多段采 集焊缝数据；为提高跟踪精度，采用组合滤波的方式修正数据，有效降低焊件表面毛刺、数据失真和噪声等影响； 通过特征点采集与坐标系标定确定焊接点；最后结合焊接机器人路径规划获得空间焊接路径。对二维 S 型焊缝与三 维复杂焊缝进行了实验研究，结果表明提出的四步焊缝跟踪方法可形成完整的焊接路径，两种焊件平均跟踪误差约 为 0.296 mm 和 0.292 mm，满足机器人焊接跟踪误差低于 0.5 mm 的精度要求。表明所提出焊接跟踪方法的有效性， 可为复杂焊缝的高精度跟踪和自动焊接研究提供有益参考。 关键词 焊缝跟踪；三维复杂焊缝；分段扫描；特征点提取；路径规划 分类号 TP242.2 Welding seam tracking method of welding robot oriented to 3D complex welding seam ZHANG Yu-hang1,2) , CAO Xue-peng1) , ZHANG Gong2,3) , HOU Zhi-cheng2,3) , WU Yue-yu2) , XU Qun-hua2) , YUAN Hai2,3) 1) Chang’an University, Xi’an 710064, China 2) Guangzhou Institute of Advanced Technology, Guangzhou 511458, China 3) University of Chinese Academy of Sciences, Beijing 100049, China Corresponding author, E-mail: gong.zhang@giat.ac.cn ABSTRACT Welding robot is widely used in many kinds and working conditions of welding production in the current machinery manufacturing industry. It plays an important role in the machinery manufacturing industry. At present, in most industries, welding robots still work by teaching and reproduction. When the welding object or welding conditions change, the robot can not make corresponding adjustments in time, which makes the welding gun deviate from the weld center, resulting in the decline of welding quality. In the future, the realization of automatic welding and intelligent welding is the inevitable trend of development. The application of machine vision in the welding field will promote the transformation of welding technology from rigid welding automation to flexible welding intelligence. The purpose of welding automation and intelligence is to improve the working environment, save labor cost and improve product quality. Robotic welding technology has the characteristics of stable quality and high efficiency. To achieve 3D complex weld tracking in space, a four-step welding seam tracking method is proposed based on segmented scanning, filtering, feature points extraction, and path 1收稿日期: 基金项目:国家重点研发计划（2018YFA0902903）、国家自然科学基金（62073092）、广东省自然科学基金 （2021A1515012638）、陕西省重点研发计划（2021ZDLGY09-02）、广州市基础研究计划（202002030320） 《工程科学学报》录用稿，https://doi.org/10.13374/j.issn2095-9389.2021.09.02.001 ©北京科技大学 2020 录用稿件，非最终出版稿
planning.Through the laser sensor installed at the end of the welding robot,the welding seam data is continuously collected in multiple segments in a segmented scanning manner.In order to improve the tracking accuracy,a combined filtering method is used to correct the data to reduce the effects of burrs,data distortion and noise on the surface of the weldment. Then the feature points are collected and the coordinate system is calibrated to determine the welding points.Finally,the spatial welding path is obtained by path planning.Experimental investigations are carried out for two-dimensional type S and 3D complex welding.The results show that the proposed method can form a complete welding path.The average errors of the two weldments are about 0.296 mm and 0.292 mm respectively,which could fulfill the required accuracy of 0.5 mm.It shows that the proposed tracking method is effective and can provide reference for the research of high-precision tracking and automatic welding. KEY WORDS seam tracking:3D complex welding:segmented scanning:feature points extraction;path planning 随着制造业和工业技术的进步，焊接机器人逐渐替代传统手工焊接，泛应用于各种场合， 大大提高了制造效率山。应用于焊接机器人的焊缝跟踪技术可实现焊接的自动花与智能化。目前焊 缝跟踪技术存在跟踪精度不高，跟踪实时性不强等问题，国内外学者对此展了研究。 Chang等开发出差分特征点检测算法与折线式路径规划方法，搭建了便携式机器人跟踪焊接 系统，成功应用于双壳船壁结构。Zhao等l提出基于ERFNet网络算法的焊缝跟踪系统，解决了强 背景噪声下的焊缝特征点提取，实现在线路径规划与偏差实时修企，实验验证误差在0.25m内。 Banafian等开发出基于激光和立体视觉结构光的焊缝跟踪系统，利佣改进的图像处理方式实现精 确跟踪，实验验证误差小于0.4mm。Zhang等I针对复杂儿维焊缝进行焊接实验研究，对特征点精 确定位后，焊接路径的平均误差为0.387mm。针对焊接时焊枪与焊缝中心线不对中的情况，Park等 提出基于移动平均算法的模块化焊缝跟踪系统，成应用于海上管道焊接，并控制误差在0.3mm 内。对于跟踪过程中产生的噪声干扰，Z0山等提出基深度学习的高鲁棒性焊缝检测器，实现了连 续强噪声干扰下的高精度焊缝跟踪。 上述研究促进了焊缝跟踪技术的发展，但研究对象大多以二维平面焊缝为主山，空间焊缝仅 面向螺旋线、相贯线等规则曲线2，对空间内任意复杂焊缝的研究较为缺乏。为此，本文以三维复 杂焊缝为研究对象，提出一种焊缝四步跟踪法，通过分段扫描的方式采集三维焊缝数据，并利用二 阶导数最值法与组合滤波的方法提取特征点，通过三次非均匀有理B样条拟合(NURBS)的方式 实现焊枪的路径规划，完成焊缝跟踪。 1组成与原理 焊缝跟踪系统包含机器入、激光传感器、焊接设备、工控机、控制柜等，其构成原理如图1所示。 本文使用基于结构光的激光传感器作为视觉工具，具有响应快、抗干扰能力强等优点
planning. Through the laser sensor installed at the end of the welding robot, the welding seam data is continuously collected in multiple segments in a segmented scanning manner. In order to improve the tracking accuracy, a combined filtering method is used to correct the data to reduce the effects of burrs, data distortion and noise on the surface of the weldment. Then the feature points are collected and the coordinate system is calibrated to determine the welding points. Finally, the spatial welding path is obtained by path planning. Experimental investigations are carried out for two-dimensional type S and 3D complex welding. The results show that the proposed method can form a complete welding path. The average errors of the two weldments are about 0.296 mm and 0.292 mm respectively, which could fulfill the required accuracy of 0.5 mm. It shows that the proposed tracking method is effective and can provide reference for the research of high-precision tracking and automatic welding. KEY WORDS seam tracking; 3D complex welding; segmented scanning; feature points extraction; path planning 随着制造业和工业技术的进步，焊接机器人逐渐替代传统手工焊接，并广泛应用于各种场合， 大大提高了制造效率[1]。应用于焊接机器人的焊缝跟踪技术可实现焊接的自动化与智能化[2]。目前焊 缝跟踪技术存在跟踪精度不高，跟踪实时性不强等问题，国内外学者对此开展了研究。 Chang 等[3]开发出差分特征点检测算法与折线式路径规划方法，搭建了便携式机器人跟踪焊接 系统，成功应用于双壳船壁结构。Zhao 等[4]提出基于 ERFNet 网络算法的焊缝跟踪系统，解决了强 背景噪声下的焊缝特征点提取，实现在线路径规划与偏差实时修正，实验验证误差在 0.25 mm 内 。 Banafian 等[5]开发出基于激光和立体视觉结构光的焊缝跟踪系统，利用改进的图像处理方式实现精 确跟踪，实验验证误差小于 0.4 mm。Zhang 等[6]针对复杂二维焊缝进行焊接实验研究，对特征点精 确定位后，焊接路径的平均误差为 0.387 mm。针对焊接时焊枪与焊缝中心线不对中的情况，Park 等 [7]提出基于移动平均算法的模块化焊缝跟踪系统，成功应用于海上管道焊接，并控制误差在 0.3 mm 内。对于跟踪过程中产生的噪声干扰，Zou 等[8]提出基于深度学习的高鲁棒性焊缝检测器，实现了连 续强噪声干扰下的高精度焊缝跟踪。 上述研究促进了焊缝跟踪技术的发展，但研究对象大多以二维平面焊缝为主[9-11]，空间焊缝仅 面向螺旋线、相贯线等规则曲线[12-14]，对空间内任意复杂焊缝的研究较为缺乏。为此，本文以三维复 杂焊缝为研究对象，提出一种焊缝四步跟踪法，通过分段扫描的方式采集三维焊缝数据，并利用二 阶导数最值法与组合滤波的方法提取特征点，通过三次非均匀有理 B 样条拟合（NURBS）的方式 实现焊枪的路径规划，完成焊缝跟踪。 1 组成与原理 焊缝跟踪系统包含机器人、激光传感器、焊接设备、工控机、控制柜等，其构成原理如图 1 所示。 本文使用基于结构光的激光传感器作为视觉工具，具有响应快、抗干扰能力强等优点[15]。 录用稿件，非最终出版稿
Groove data Industrial PC ↓Pose signal sensor Seam tracking method Welding power Robot control Robot welding systen cabinet Robot 圖1焊缝跟踪系统构成图 Fig.1 Structure diagram of seam tracking system 从图中可以看出，六轴机器人、控制器与焊接设备组成机器人焊接系统，微光传感器装配于机 器人末端，并由机器人带动采集信息，焊缝信息通过激光传感器上位机间的连接传输，经过焊缝 跟踪方法的运算输出焊接路径，信息传输至机器人控制器指挥焊搂( 从而实现焊缝跟踪。 2焊缝跟踪方法 本文提出的焊缝跟踪系统通过分段扫描、组合滤波处理/特征点提取、焊接路径规划四个步骤实 现三维复杂焊缝的跟踪。首先通过分段扫描采集焊缝坡原始数据；经过Lowess平滑处理u6去除毛 刺及失真，还原焊缝坡口轮廓形貌：随后进行连续两次求导与高斯叨、限幅滤波获取传感器坐标 系下坡口特征点坐标：通过标定，将位于传感器坐标系下的特征点二维坐标转化为基坐标系下三维 坐标u920:将一系列焊接点进行NURBS拟合®处理，形成焊接路径，整体流程如图2所示。 Step.3 Feature points extraction Start d/dt Step.I Scanning Step.2 Combined filtering First Derivative Filtering Step.4 Path planning 帝 Segmented scanning d/dt Sensor calibration Change ting Gaussian Obtain groove data threshold Second Derivative NURBS waypoints interpolation N Extreme point=3 录用 End Output extreme points 圆2焊缝跟踪流程图 Fig.2 Flow chart of welding seam tracking 2.1分段归描与组合滤被 分段扫描的目的在于提取三维空间焊缝数据，是实现三维复杂焊缝跟踪的基础。机器人带动激 光传感器以折线分段的方式连续扫描焊缝，获取原始数据。本文实验对象为平面S型焊缝与三维复 杂焊缝（通过直线焊缝与S型焊缝搭接而成），其中，S型焊缝的分段扫描原理及效果如图3所示
图 1 焊缝跟踪系统构成图 Fig.1 Structure diagram of seam tracking system 从图中可以看出，六轴机器人、控制器与焊接设备组成机器人焊接系统，激光传感器装配于机 器人末端，并由机器人带动采集信息，焊缝信息通过激光传感器与上位机间的连接传输，经过焊缝 跟踪方法的运算输出焊接路径，信息传输至机器人控制器指挥焊接，从而实现焊缝跟踪。 2 焊缝跟踪方法 本文提出的焊缝跟踪系统通过分段扫描、组合滤波处理、特征点提取、焊接路径规划四个步骤实 现三维复杂焊缝的跟踪。首先通过分段扫描采集焊缝坡口原始数据；经过 Lowess 平滑处理[16]去除毛 刺及失真，还原焊缝坡口轮廓形貌；随后进行连续两次求导与高斯[17]、限幅[18]滤波获取传感器坐标 系下坡口特征点坐标；通过标定，将位于传感器坐标系下的特征点二维坐标转化为基坐标系下三维 坐标[19-20]；将一系列焊接点进行 NURBS 拟合[21]处理，形成焊接路径，整体流程如图 2 所示。 图 2 焊缝跟踪流程图 Fig.2 Flow chart of welding seam tracking 2.1 分段扫描与组合滤波 分段扫描的目的在于提取三维空间焊缝数据，是实现三维复杂焊缝跟踪的基础。机器人带动激 光传感器以折线分段的方式连续扫描焊缝，获取原始数据。本文实验对象为平面 S 型焊缝与三维复 杂焊缝（通过直线焊缝与 S 型焊缝搭接而成），其中，S 型焊缝的分段扫描原理及效果如图 3 所示。 录用稿件，非最终出版稿
(a) (d)c) 820 780 850 790 800 Y/mm 1250 1300 5 7501150 1200 x/mm 1160 1180 1200 1220 1240 1260 m Depth/mm ■3分段扫描原理.(a)实物扫描图，(b)原始数据图像：（©风点云图d伪彩图 Fig.3 Segmented scanning:(a)weldment scanning:(b)raw data;(c)point cloud.(d)pseudo-color picture 激光传感器采集数据时受到自然光线、焊件表面反光、毛刺凸起等影响， 导致采集的数据失真。 组合滤波采用Low℃ss滤波、限幅滤波、高斯滤波三种方法人以平滑修正数据图形。 Lowess滤波为加权线性最小二乘结合一阶多项式模型， 能较好的平滑处理波动性数据，用于 处理焊件表面毛刺等失真。坡口数据经由式(1)进行平均回归，过程中引入式(2)加权平滑，推导得 Lowess估计值公式(3)。 f(x)=4ve(y N.(x) (1) ∫)=∑场y/∑K(x) (2) 式中：K(,)=D压-x以，=Q751-)当川△T (4) 式中：与为采样值，△T为阈值。 高斯滤波可有效抑制正态分布的干扰信号，防止检测到局部峰值，高斯函数的一维表达如式 (5): 1- f(x)=- ar e (5) 处理三维空间焊缝坡口过程中，Lowess滤波用于平滑焊件坡口原始图形，限幅、高斯滤波用于 处理一阶、二阶导数，使局部极大极小值更为显著。组合滤波效果如图4所示
图 3 分段扫描原理.(a)实物扫描图; (b)原始数据图像; (c) 点云图; (d) 伪彩图 Fig.3 Segmented scanning: (a) weldment scanning; (b) raw data; (c) point cloud; (d) pseudo-color picture 激光传感器采集数据时受到自然光线、焊件表面反光、毛刺凸起等影响，导致采集的数据失真。 组合滤波采用 Lowess 滤波、限幅滤波、高斯滤波三种方法，以平滑修正数据图形。 Lowess 滤波为加权线性最小二乘结合一阶多项式模型，能较好的平滑处理波动性数据，用于 处理焊件表面毛刺等失真。坡口数据经由式(1)进行平均回归，过程中引入式(2)加权平滑，推导得 Lowess 估计值公式(3)。 f x Ave y x N x i i k i (1) 0 0 0 1 1 = , , N N i i i i i f x K x x y K x x (2) 式中： K x x D x x 0 0 , = i i ， 2 D t t 0.75 1 当 t 1，λ 为窗口宽度。 0 0 i i i f x x y (3) 式中： i 0 x 为权重。 限幅滤波原理如式(4)，用于处理偶然因素引起的脉冲干扰。 -1 -1 -1 n n n n n n y y y T y y y y T (4) 式中：yn与 yn-1为采样值， T 为阈值。 高斯滤波可有效抑制正态分布的干扰信号，防止检测到局部峰值，高斯函数的一维表达如式 (5)： 2 2 ( ) 2 1 ( ) 2 x f x e (5) 处理三维空间焊缝坡口过程中，Lowess 滤波用于平滑焊件坡口原始图形，限幅、高斯滤波用于 处理一阶、二阶导数，使局部极大极小值更为显著。组合滤波效果如图 4 所示。 录用稿件，非最终出版稿
(b)(a) 目[Raw data Original image Smooth image 10 0 0 10 10 Before filtering 0 -10 100 5 0 10 After filtering -15 .10 沙 051015 -10 Width/mm -10 10 ■4滤波效果.(a)Lowess滤波；(b)限幅、高斯滤波 Fig.4 Filter effect:(a)Lowess filtering.(b)Limiting,Gaussian filtering 2.2特征点提取 特征点提取的速度与精度影响焊缝跟踪最终效果。针对三维复杂焊缝，特征点提取算法包括五 个步骤，如图5所示。首先Low©ss滤波平滑焊缝坡口：求导得焊缝坡口轮廓的阶导数：使用限幅、 高斯滤波平滑一阶导数：求二阶导并平滑处理：寻找全局极大、极小值确定特征点坐标。 220 processing 215 210 1 17 18 19 20 21 First derivative after Limiting,Gaussian filtering 19 3.Second derivative 40 23 24 4.Second derivative after Limiting,Gaussian filtering 5.Find the global Max.and Min. 22 2324 25 Width/mm 圆5特征点提取 Fig.5 Feature points extraction 2.3略径规划 各坐标系的经间转换关系是后续研究与计算的基础，通过坐标转换，可实现将实验数据从传感 器坐标系S的维坐标转化为基坐标系B}下的三维坐标，从而进行路径规划。转换过程涉及到 末端坐标系E}与焊枪坐标系T},机器人工作站中各坐标系如图6所示
图 4 滤波效果. (a) Lowess 滤波; (b) 限幅、高斯滤波 Fig.4 Filter effect: (a) Lowess filtering; (b) Limiting, Gaussian filtering 2.2 特征点提取 特征点提取的速度与精度影响焊缝跟踪最终效果。针对三维复杂焊缝，特征点提取算法包括五 个步骤，如图 5 所示。首先 Lowess 滤波平滑焊缝坡口；求导得焊缝坡口轮廓的一阶导数；使用限幅、 高斯滤波平滑一阶导数；求二阶导并平滑处理；寻找全局极大、极小值确定特征点坐标。 图 5 特征点提取 Fig.5 Feature points extraction 2.3 路径规划 各坐标系的空间转换关系是后续研究与计算的基础，通过坐标转换，可实现将实验数据从传感 器坐标系{S}下的二维坐标转化为基坐标系{B}下的三维坐标，从而进行路径规划。转换过程涉及到 末端坐标系{E}与焊枪坐标系 录用稿件，非最终出版稿 {T}，机器人工作站中各坐标系如图 6 所示
● Robot end flange End coordinate systemE)Y Laser sensor ● Welding gun X如C Sensor coordinate YT Artifact system(S Xs LT Welding gun coordinate system(T) YB XB Base coordinate systemB 圆6机器人工作站坐标系 Fig.6 Robot workstation coordinate system 首先进行焊枪TCP标定，使用六点法求得转换矩阵T,继而用 妖迸传感器标定，求 得转换矩阵T,结果如式(6)，式(7)为坐标变换核心公式。由于非本文的重点内容， 故不再赘述。 「0.561-0.267 0 119.601 0.568 -0.423 0590 75.098 0 0.972-0.754 -0.32 -0.521 0278 0.026 6.693 ET= -0.825 0 0.658352.01 ET二 0.199 0.865 0.814303.137 (6) 0 0 0 0 0 1 BP- 最 (7 三次非均匀有理B样条(NURBS)拟合方法在拟合复杂图形时有较大便利，NURBS曲线的拟合和 插值也是领域内研究重点。NURBS曲线拟合公式如式(8)： c-2oaN ∑o,Np(l，a<u<b (8) 式中：o,为控制点权因子，Np(为p次样条基函数，d,为控制顶点。 3实验研究 文中焊缝跟踪系统实验的乎分主要包含六轴机器人ABB IRB1410、控制器RC5、激光传感器 录用 LS-100CN、 焊接电源及焊枪 上位机等，其组成如图7所示。 o LS-100CN Welding gun IRB 1410 Weldment Host computer Welding power Teach pendant IRC5 ■ 圖7焊接实验系统组成 Fig.7 Composition of welding experimental system
图 6 机器人工作站坐标系 Fig.6 Robot workstation coordinate system 首先进行焊枪 TCP 标定[22]，使用六点法求得转换矩阵 E TT ，继而用三点法进行传感器标定，求 得转换矩阵 E ST ，结果如式(6)，式(7)为坐标变换核心公式。由于非本文的重点内容，故不再赘述。 0.561 -0.267 0 119.60 0 0.972 -0.754 -0.32 -0.825 0 0.658 352.01 0 0 0 1 E T Τ 0.568 -0.423 -0.590 75.098 -0.521 0.278 -0.026 6.693 0.199 0.865 -0.814 303.137 0 0 0 1 E S T (6) B B E S P T T P E S (7) 三次非均匀有理 B 样条（NURBS）拟合方法在拟合复杂图形时有较大便利，NURBS 曲线的拟合和 插值也是领域内研究重点。NURBS 曲线拟合公式如式(8)： , , 0 0 n n i i i p i i p i i C u d N u N u ， a u b (8) 式中：i 为控制点权因子， N u i p, 为 p 次 B 样条基函数，di 为控制顶点。 3 实验研究 文中焊缝跟踪系统实验的平台主要包含六轴机器人 ABB IRB 1410、控制器 IRC5、激光传感器 LS-100CN、焊接电源及焊枪、上位机等，其组成如图 7 所示。 图 7 焊接实验系统组成 Fig.7 Composition of welding experimental system 录用稿件，非最终出版稿
实验对象设置为S型焊缝和通过直线焊缝与S型焊缝搭接而成的三维复杂焊缝，以验证实验方 法在不同维度的可行性，并测量不同类型焊缝跟踪精度。焊缝类型如图8所示。 (b) (a) 圆8实验对象.(a)S型焊缝；(b)三维复杂焊缝 尖验过是中，设置机累人移动建隆为0回生为2会位姿数据深集 Fig.8 Test subject:(a)type S;(b)3D curve 频率同为12s)，采集焊缝的二维信息，以时间为第三维信息将其可视化，分段扫描采集原始数 据如图9所示。可以看出，未经过坐标转换的焊缝整体特征表现不明显， 并末显示出焊缝的整体形 貌(S型)，但是坡口特征并未被掩盖，随后对原始数据进行坐标转换，以还原焊缝空间特征。 (b) (a) ■9原始数据AS型焊缝；(b)三维复杂焊缝 Fig.9 Raw data graph:(a)type S;(b)3D curve 激光传感器采集的焊缝信息为焊缝的二维坐标数据，由于受实验环境干扰、激光散射等影响， 存在部分失真、毛刺，故采用2.{节所述方法，对原始数据进行组合滤波，得到相对还原的焊缝形 貌数据。采用2.2节和2.3节所述方法对焊缝特征点进行定位得到传感器坐标系下特征点坐标，再 根据转换矩阵(6)与式(7)计算得基坐标系下特征点坐标。对每对特征点求取中心点得到焊接点，实验 采用NURBS函数拟合焊接点获取焊接路径。使用焊枪末端落于焊缝中心线，记录位置数据作为基 准。将跟踪方法下获得的焊接路泾与基准进行比对，获得跟踪误差。拟合出的焊接路径结合焊件三维 点云图，如图10所东。与图9对比可以看出， 焊缝整体特征被还原，为实现焊缝跟踪提供基础。 (b)760 690 925 Benchmark 740 920 ww/Z 915 72( 910 855 860865 790 00 780 Y/mm 680 770 *来米米 660 840 800820840860880900 920 760 820 X/mm 800 X/mm
实验对象设置为 S 型焊缝和通过直线焊缝与 S 型焊缝搭接而成的三维复杂焊缝，以验证实验方 法在不同维度的可行性，并测量不同类型焊缝跟踪精度。焊缝类型如图 8 所示。 图 8 实验对象. (a) S 型焊缝; (b) 三维复杂焊缝 Fig.8 Test subject: (a) type S; (b) 3D curve 实验过程中，设置机器人移动速度为 20 mm/s[23-24]，采集频率设为 12 f/s（机器人位姿数据采集 频率同为 12 f/s），采集焊缝的二维信息，以时间为第三维信息将其可视化，分段扫描采集原始数 据如图 9 所示。可以看出，未经过坐标转换的焊缝整体特征表现不明显，并未显示出焊缝的整体形 貌（S 型），但是坡口特征并未被掩盖，随后对原始数据进行坐标转换，以还原焊缝空间特征。 图 9 原始数据图. (a) S 型焊缝; (b) 三维复杂焊缝 Fig.9 Raw data graph: (a) type S; (b) 3D curve 激光传感器采集的焊缝信息为焊缝的二维坐标数据，由于受实验环境干扰、激光散射等影响， 存在部分失真、毛刺，故采用 2.1 节所述方法，对原始数据进行组合滤波，得到相对还原的焊缝形 貌数据。采用 2.2 节和 2.3 节所述方法，对焊缝特征点进行定位得到传感器坐标系下特征点坐标，再 根据转换矩阵(6)与式(7)计算得基坐标系下特征点坐标。对每对特征点求取中心点得到焊接点，实验 采用 NURBS 函数拟合焊接点获取焊接路径。使用焊枪末端落于焊缝中心线，记录位置数据作为基 准。将跟踪方法下获得的焊接路径与基准进行比对，获得跟踪误差。拟合出的焊接路径结合焊件三维 点云图，如图 10 所示。与图 9 对比可以看出，焊缝整体特征被还原，为实现焊缝跟踪提供基础。 录用稿件，非最终出版稿
(d) 940 930 920 920 910 900 890 1050 900 1000 880 950 900 Y/mm 850900 X/mm 950 1000 X/mm 1050 860 Y/mm 圆10焊接路径.(a)S型焊缝；(b)S型焊缝点云图；(c)三维复杂焊缝；(d三维复杂焊缝点云图 Fig.10 Welding path:(a)type S;(b)point cloud of type S;(c)3D curve;(d)point cloud of 3D curve 机器人焊接过程中需将跟踪误差保持在0.5mm以内，文中实验所得焊等跟踪误差，如图11 所示。从图中数据可得其平均误差与标准差如表1所示，两种类型焊件实验平误差分别为0.296 mm与0.292mm,均满足机器人焊接的精度要求， 标准差分别为0.0779/和0.1129， 其值越小表示焊 接过程中误差波动越小。以上实验结果，验证了文中焊缝跟踪方法的自效性 (b)1r0.5 04 0.8 0.3 0.2 6 0.1 850 860 860870T880_890900 0. w 800 820 840 860 880 900 850 900 Length/mm Length/mm 圆11误差分析.(aS型焊缝；(b)三维复杂焊缝 Fig.11 Error analysis:(a)type S;(b)3D curve 表1误分析 Table 1 Error analysis Welding type Mean error/mm Standard deviation Type S 0.296 0.0779 3D curve 0.292 0.1129 4结论 (1) 本文渔了焊缝跟踪系统组成与结构，分析了其工作原理与流程，提出基于激光传感器的 焊缝四步跟踪务法 (2)采用四步法对焊缝进行分段扫描，获取原始数据：使用组合滤波平滑处理数据：提取特征 点继而得到焊接点坐标：将焊接点插值处理获得焊接路径。 (3)对S型焊缝与三维复杂焊缝进行了跟踪实验，在焊接速度为20mm/s情况下，跟踪误差分 别为0.296mm和0.292mm,满足机器人焊接的精度要求，表明所提出方法的有效性。 (4)实现了三维复杂焊缝跟踪，未来可将多传感器信息融合技术应用于焊缝跟踪系统，同时引 入深度学习和神经网络，应用于焊缝跟踪技术的图像处理过程以及焊件的质量检测。 参考文献
图 10 焊接路径. (a) S 型焊缝; (b) S 型焊缝点云图; (c) 三维复杂焊缝; (d) 三维复杂焊缝点云图 Fig.10 Welding path: (a) type S; (b) point cloud of type S; (c) 3D curve; (d) point cloud of 3D curve 机器人焊接过程中需将跟踪误差保持在 0.5 mm 以内[25]，文中实验所得焊缝跟踪误差，如图 11 所示。从图中数据可得其平均误差与标准差如表 1 所示，两种类型焊件实验平均误差分别为 0.296 mm 与 0.292 mm，均满足机器人焊接的精度要求，标准差分别为 0.0779 和 0.1129，其值越小表示焊 接过程中误差波动越小。以上实验结果，验证了文中焊缝跟踪方法的有效性。 图 11 误差分析. (a) S 型焊缝; (b) 三维复杂焊缝 Fig.11 Error analysis: (a) type S; (b) 3D curve 表 1 误差分析 Table 1 Error analysis Welding type Mean error/mm Standard deviation Type S 0.296 0.0779 3D curve 0.292 0.1129 4 结论 (1) 本文介绍了焊缝跟踪系统组成与结构，分析了其工作原理与流程，提出基于激光传感器的 焊缝四步跟踪方法。 (2) 采用四步法对焊缝进行分段扫描，获取原始数据；使用组合滤波平滑处理数据；提取特征 点继而得到焊接点坐标；将焊接点插值处理获得焊接路径。 (3) 对 S 型焊缝与三维复杂焊缝进行了跟踪实验，在焊接速度为 20 mm/s 情况下，跟踪误差分 别为 0.296 mm 和 0.292 mm，满足机器人焊接的精度要求，表明所提出方法的有效性。 (4) 实现了三维复杂焊缝跟踪，未来可将多传感器信息融合技术应用于焊缝跟踪系统，同时引 入深度学习和神经网络，应用于焊缝跟踪技术的图像处理过程以及焊件的质量检测。 参 考 文 献 录用稿件，非最终出版稿
[1]Parameshwaran R,Tony Thomas A,Madhu Vishal V.Vision Based Self Adaptive Algorithm for 6 Axis ABB Industrial Welding Robot.J IOP Conference Series:Materials Science and Engineering,2021.1123(1):1123 [2]Baicun Wang,S.Jack Hu,Lei Sun,Theodor Freiheit.Intelligent welding system technologies:State-of-the-art review and perspectives.J Journal of Manufacturing Systems,2020,56:373 [3]Doyoung Chang,Donghoon Son,Jungwoo Lee,et al.A new seam-tracking algorithm through characteristic-point detection for a portable welding robot.JRobotics and Computer Integrated Manufacturing,2011,28(1):1 [4]Zhuang Zhao,Jun Luo,Yeyu Wang,et al.Additive seam tracking technology based on laser vision.J The International Journal ofAdvanced Manufacturing Technology,2021:12 [5]Nahid Banafian,Rasul Fesharakifard,Bagher Menhaj.Precise seam tracking in robotic welding by an improved image processing approach.J The International Journal ofAdvanced Manufacturing Technology,2021:1 [6]Zhang G,Zhang Y H,Tuo S H,et al.A Novel Seam Tracking Technique with a Four-Step Method and Experimental Investigation of Welding Oriented to Complex Welding Seam.J Sensors,2021,21(9):3067 [7]Jin-Hyeong Park,Hyeong-Soon Moon.Advanced Automatic Welding System for Offshore Pipeline System with Seam Tracking Function.JApplied Sciences,2020.10(1):324 [8]Zou Yanbiao,Zhu Mingquan,Chen Xiangzhi.A Robust Detector for Automated Welding Seam Tracking System.JJ. Dyn.Sys.Meas.Control,2021,143(7):071001 [9]Parameshwaran R,Maheswari C,Nithyavathy N,et al.LABVIEW Based Simulation on Weld Seam Tracking Using Edge Detection Technique.J IOP Conference Series:Materials Science and Engineering,2021,1055(1):I [10]Lei Ting,Huang Yu,Wang Hui.Automatic weld seam tracking o-tubesheet TIG welding robot with multiple sensors.J.Journal of Manufacturing Processes,2020:60 [11]Xue Kunxi,Wang Zhijiang,Shen Junqi,et al.Robotic tracking system based on vision sensing and human- machine interaction for multi-pass MAG welding.JJournalof Manufacturing Processes,2020:48 [12]Hong Bo,Jia Aiting,Hong Yuxiang,et al.Online Extraction of Pose Information of 3D Zigzag-Line Welding Seams for Welding Seam Tracking.J Sensors,2021,21(2):375 [13]Inoue Fumihiro,Derakhshandeh Jaber,Lofrano Melina,et al.Fine-pitch bonding technology with surface-planarized solder micro-bump/hybrid for 3D integration.JJapanese Journal ofApplied Physics,2021,60(2):026502 [14]Wen Jun Shao,Yu Huang,Yong Zhang A novel weld seam detection method for space weld seam of narrow butt joint in laser welding JOptics and Laser Techology,2018,99:39 [15]Runquan Xiao,Yanling Xu.Zhen Hou,et al.An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system of Intelligent Manfacturing,2021:1 [16]Zeguang Yi,Nan Pan,Yi Liu,et al.Study of laser displacement measurement data abnormal correction algorithm.J Engineering Compinations,2017,34(1):123 [17]Zheng Xigui.GPNRBNN ARobot Image Edge Detection Method Based on Gaussian Positive-Negative Radial Basis Neural Nework Sensing and Imaging,2021,22(1):33 [18]Aadhi A,Kovaley Anton V,Kues Michael,et al.Highly reconfigurable hybrid laser based on an integrated nonlinear waveguide.JOpfics express,2019,27(18):25251 [19]Xu Jing,Hoo Jian Li,Dritsas Stylianos,et al.Hand-eye calibration for 2D laser profile scanners using straight edges of common objects.J Robotics and Computer-Integrated Manufacturing,2022,73:102221 [20]Li Mingyang,Du Zhijiang,Ma Xiaoxing,et al.A robot hand-eye calibration method of line laser sensor based on 3D reconstruction.J Robotics and Computer-Integrated Manufacturing,2021,71:1 [21]Yan Liu,Lei Shi,Xincheng Tian.Weld seam fitting and welding torch trajectory planning based on NURBS in intersecting curve welding.J Springer London,2018,95(5):2457 [22]Mustafa Cakir,Cengiz Deniz.High precise and zero-cost solution for fully automatic industrial robot TCP calibration.J The Industrial Robot,2019.46(5):650
[1] Parameshwaran R, Tony Thomas A, Madhu Vishal V. Vision Based Self Adaptive Algorithm for 6 Axis ABB Industrial Welding Robot. J IOP Conference Series: Materials Science and Engineering, 2021, 1123(1): 1123 [2] Baicun Wang, S. Jack Hu, Lei Sun, Theodor Freiheit. Intelligent welding system technologies: State-of-the-art review and perspectives. J Journal of Manufacturing Systems, 2020, 56: 373 [3] Doyoung Chang, Donghoon Son, Jungwoo Lee, et al. A new seam-tracking algorithm through characteristic-point detection for a portable welding robot. J Robotics and Computer Integrated Manufacturing, 2011, 28(1): 1 [4] Zhuang Zhao, Jun Luo, Yeyu Wang, et al. Additive seam tracking technology based on laser vision. J The International Journal of Advanced Manufacturing Technology, 2021: 12 [5] Nahid Banafian, Rasul Fesharakifard, Bagher Menhaj. Precise seam tracking in robotic welding by an improved image processing approach. J The International Journal of Advanced Manufacturing Technology, 2021: 1 [6] Zhang G, Zhang Y H, Tuo S H, et al. A Novel Seam Tracking Technique with a Four-Step Method and Experimental Investigation of Welding Oriented to Complex Welding Seam. J Sensors, 2021, 21(9): 3067 [7] Jin-Hyeong Park, Hyeong-Soon Moon. Advanced Automatic Welding System for Offshore Pipeline System with Seam Tracking Function. J Applied Sciences, 2020, 10(1): 324 [8] Zou Yanbiao, Zhu Mingquan, Chen Xiangzhi. A Robust Detector for Automated Welding Seam Tracking System. J J. Dyn. Sys, Meas, Control, 2021, 143(7): 071001 [9] Parameshwaran R, Maheswari C, Nithyavathy N, et al. LABVIEW Based Simulation on Weld Seam Tracking Using Edge Detection Technique. J IOP Conference Series: Materials Science and Engineering, 2021, 1055(1): 1 [10] Lei Ting, Huang Yu, Wang Hui. Automatic weld seam tracking of tube-to-tubesheet TIG welding robot with multiple sensors. J Journal of Manufacturing Processes, 2020: 60 [11] Xue Kunxi, Wang Zhijiang, Shen Junqi, et al. Robotic seam tracking system based on vision sensing and humanmachine interaction for multi-pass MAG welding. J Journal of Manufacturing Processes, 2020: 48 [12] Hong Bo, Jia Aiting, Hong Yuxiang, et al. Online Extraction of Pose Information of 3D Zigzag-Line Welding Seams for Welding Seam Tracking. J Sensors, 2021, 21(2): 375 [13] Inoue Fumihiro, Derakhshandeh Jaber, Lofrano Melina, et al. Fine-pitch bonding technology with surface-planarized solder micro-bump/hybrid for 3D integration. J Japanese Journal of Applied Physics, 2021, 60(2): 026502 [14] Wen Jun Shao, Yu Huang, Yong Zhang. A novel weld seam detection method for space weld seam of narrow butt joint in laser welding. J Optics and Laser Technology, 2018, 99: 39 [15] Runquan Xiao, Yanling Xu, Zhen Hou, et al. An automatic calibration algorithm for laser vision sensor in robotic autonomous welding system. J Journal of Intelligent Manufacturing, 2021: 1 [16] Zeguang Yi, Nan Pan, Yi Liu, et al. Study of laser displacement measurement data abnormal correction algorithm. J Engineering Computations, 2017, 34(1): 123 [17] Zheng Xigui. GPNRBNN: A Robot Image Edge Detection Method Based on Gaussian Positive-Negative Radial Basis Neural Network. J Sensing and Imaging, 2021, 22(1): 33 [18] Aadhi A, Kovalev Anton V, Kues Michael, et al. Highly reconfigurable hybrid laser based on an integrated nonlinear waveguide. J Optics express, 2019, 27(18): 25251 [19] Xu Jing, Hoo Jian Li, Dritsas Stylianos, et al. Hand-eye calibration for 2D laser profile scanners using straight edges of common objects. J Robotics and Computer-Integrated Manufacturing, 2022, 73: 102221 [20] Li Mingyang, Du Zhijiang, Ma Xiaoxing, et al. A robot hand-eye calibration method of line laser sensor based on 3D reconstruction. J Robotics and Computer-Integrated Manufacturing, 2021, 71: 1 [21] Yan Liu, Lei Shi, Xincheng Tian. Weld seam fitting and welding torch trajectory planning based on NURBS in intersecting curve welding. J Springer London, 2018, 95(5): 2457 [22] Mustafa Cakir, Cengiz Deniz. High precise and zero-cost solution for fully automatic industrial robot TCP calibration. J The Industrial Robot, 2019, 46(5): 650 录用稿件，非最终出版稿
[23]Zhang K,Jiang H T,Meng T,et al.Effect of speed on the microstructure and mechanical properties of AA7B04 aluminum alloy joints by robot friction stir welding.J Chinese Journal of Engineering,2018,40(12):1525 (张坤，江海涛，孟强，等.焊接速度对机器人搅拌摩擦焊AA7B04铝合金接头组织和力学性能的影响円.工程科 学学报，2018,40(12：1525) [24]Cao X Y,Luo KL,Lu Y H,et al.The influence of laser welding speed on weld structure and hardness distribution.J Chinese Journal of Engineering,2015,37(06):714 (曹鑫源，罗奎林，陆永浩，等.激光焊接速度对焊缝组织和硬度分布的影响).工程科学学报，2015,37(06)： 714) [25]Lei Ting,Rong Youmin,Wang Hui,et al.A review of vision-aided robotic welding.JComputers in Industry,2020,123: 103326 非最终出版稿 录用稿件
[23] Zhang K, Jiang H T, Meng T, et al. Effect of speed on the microstructure and mechanical properties of AA7B04 aluminum alloy joints by robot friction stir welding. J Chinese Journal of Engineering, 2018, 40(12): 1525 （张坤, 江海涛, 孟强, 等. 焊接速度对机器人搅拌摩擦焊 AA7B04 铝合金接头组织和力学性能的影响[J]. 工程科 学学报, 2018, 40(12): 1525 ） [24] Cao X Y, Luo K L, Lu Y H, et al. The influence of laser welding speed on weld structure and hardness distribution. J Chinese Journal of Engineering, 2015, 37(06): 714 （曹鑫源, 罗奎林, 陆永浩, 等. 激光焊接速度对焊缝组织和硬度分布的影响[J]. 工程科学学报, 2015, 37(06): 714） [25] Lei Ting, Rong Youmin, Wang Hui, et al. A review of vision-aided robotic welding. J Computers in Industry, 2020, 123: 103326 录用稿件，非最终出版稿
