第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202008008 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210402.1009.002.html 工业机器人加工轨迹双目3D激光扫描成像修正方法 赵立明，龙大周，徐晓东，张毅，冯阳，李芳芳 (重庆邮电大学先进制造工程学院，重庆400065) 摘要：为了提高工业机器人作业柔性，本文提出了一种基于双目CCD激光扫描3D成像的“眼在外”(Eye-to hand:ETH)工业机器人末端(tool center point,.TCP)运动轨迹在线修正方法。以激光切割机器人视觉引导为研 究背景，降低加工过程机器人对物理工装定位精度的依赖。首先，为提高机器人视觉控制精度，研究了目标工 件双目3D激光扫描成像空间点云坐标精确提取方法；其次，融合ETH控制特点和扫描成像系统结构，建立了 一种机器人TCP运动轨迹相对偏差在线补偿方法，并通过实验验证了所提方法的可行性，为工业应用奠定基础。 关键词：机器视觉；图像处理；机器人；智能制造；传感器；三维成像；激光扫描；双目视觉 中图分类号：TP242.2文献标志码：A文章编号：1673-4785(2021)04-0690-09 中文引用格式：赵立明，龙大周，徐晓东，等.工业机器人加工轨迹双目3D激光扫描成像修正方法J.智能系统学报，2021， 16(4):690-698. 英文引用格式：ZHAO Liming,.LONG Dazhou,XU Xiaodong,et al.Binocular3 D laser scanning imaging-based industrial robot machining trajectory correction method Jl.CAAI transactions on intelligent systems,2021,16(4):690-698. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method ZHAO Liming,LONG Dazhou,XU Xiaodong,ZHANG Yi,FENG Yang,LI Fangfang (College of Advanced Manufacturing Engineering.Chongqing University of Posts and Telecommunications,Chongqing 400065, China) Abstract:In this paper,to improve the flexibility of industrial robot operations,an eye-to-hand(ETH)industrial robot end-effector(tool center point(TCP))trajectory on-line correction method is proposed based on binocular charge- coupled device laser scanning three-dimensional(3D)imaging.Under the research background on the visual guidance of laser cutting robots,the aim of this study is to reduce the dependence of robots on the positioning accuracy of physical tools in the machining process.First,to improve the vision control accuracy of robots,research was performed on a method of accurately extracting the spatial point cloud coordinates of target workpieces based on binocular 3D laser scanning imaging.Then,an online compensation method for the relative deviation of robot TCP trajectories was estab- lished by combining ETH control characteristics and the scanning imaging system structure.The feasibility of the pro- posed method was verified by experiments,which lays a foundation for industrial applications. Keywords:machine vision;image processing;robot;intelligent manufacturing;sensors;3D imaging;laser scanning; binocular vision 机器人与智能制造是国家制造2025的主攻 线编程的方式执行预定指令，不利于加工柔性和 方向和工业4.0的核心技术，为实施制造业创新 智能化程度的提高。机器人按预先编制的模 驱动发展战略和加速制造业转型升级提供有利支 式工作，当环境变化不被机器人感知时，容易造 撑。传统的工业机器人工作过程主要以示教或离 成加工误差，无法满足产品质量要求，或增加产 品报废率，影响企业产品质量等级或增加生产成 收稿日期：2020-08-10.网络出版日期：2021-04-02. 基金项目：国家自然科学基金项目(51604056)：重庆市基础与 本。因此，基于实时信息感知反馈的机器人柔性 前沿研究计划项日(cstc2016 jcyjA0537):重庆市重点 产业重点研发项目(cstc2017zdcy-zdyfX0025). 位姿控制，是提高机器人智能化水平和产品质量 通信作者：徐晓东.E-mail:xxd@cqupt..edu.cn 的有利条件4。机器人智能化程度的提高有赖DOI: 10.11992/tis.202008008 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210402.1009.002.html 工业机器人加工轨迹双目 3D 激光扫描成像修正方法 赵立明，龙大周，徐晓东，张毅，冯阳，李芳芳 （重庆邮电大学 先进制造工程学院，重庆 400065） 摘 要：为了提高工业机器人作业柔性，本文提出了一种基于双目 CCD 激光扫描 3D 成像的“眼在外”(Eye-to￾hand:ETH) 工业机器人末端 (tool center point, TCP) 运动轨迹在线修正方法。以激光切割机器人视觉引导为研 究背景，降低加工过程机器人对物理工装定位精度的依赖。首先，为提高机器人视觉控制精度，研究了目标工 件双目 3D 激光扫描成像空间点云坐标精确提取方法；其次，融合 ETH 控制特点和扫描成像系统结构，建立了 一种机器人 TCP 运动轨迹相对偏差在线补偿方法，并通过实验验证了所提方法的可行性，为工业应用奠定基础。 关键词：机器视觉；图像处理；机器人；智能制造；传感器；三维成像；激光扫描；双目视觉 中图分类号：TP242.2 文献标志码：A 文章编号：1673−4785(2021)04−0690−09 中文引用格式：赵立明, 龙大周, 徐晓东, 等. 工业机器人加工轨迹双目 3D 激光扫描成像修正方法 [J]. 智能系统学报, 2021, 16(4): 690–698. 英文引用格式：ZHAO Liming, LONG Dazhou, XU Xiaodong, et al. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method[J]. CAAI transactions on intelligent systems, 2021, 16(4): 690–698. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method ZHAO Liming，LONG Dazhou，XU Xiaodong，ZHANG Yi，FENG Yang，LI Fangfang (College of Advanced Manufacturing Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China) Abstract: In this paper, to improve the flexibility of industrial robot operations, an eye-to-hand (ETH) industrial robot end-effector (tool center point (TCP)) trajectory on-line correction method is proposed based on binocular charge￾coupled device laser scanning three-dimensional (3D) imaging. Under the research background on the visual guidance of laser cutting robots, the aim of this study is to reduce the dependence of robots on the positioning accuracy of physical tools in the machining process. First, to improve the vision control accuracy of robots, research was performed on a method of accurately extracting the spatial point cloud coordinates of target workpieces based on binocular 3D laser scanning imaging. Then, an online compensation method for the relative deviation of robot TCP trajectories was estab￾lished by combining ETH control characteristics and the scanning imaging system structure. The feasibility of the pro￾posed method was verified by experiments, which lays a foundation for industrial applications. Keywords: machine vision; image processing; robot; intelligent manufacturing; sensors; 3D imaging; laser scanning; binocular vision 机器人与智能制造是国家制造 2025 的主攻 方向和工业 4.0 的核心技术，为实施制造业创新 驱动发展战略和加速制造业转型升级提供有利支 撑。传统的工业机器人工作过程主要以示教或离 线编程的方式执行预定指令，不利于加工柔性和 智能化程度的提高[1-3]。机器人按预先编制的模 式工作，当环境变化不被机器人感知时，容易造 成加工误差，无法满足产品质量要求，或增加产 品报废率，影响企业产品质量等级或增加生产成 本。因此，基于实时信息感知反馈的机器人柔性 位姿控制，是提高机器人智能化水平和产品质量 的有利条件[4-5]。机器人智能化程度的提高有赖 收稿日期：2020−08−10. 网络出版日期：2021−04−02. 基金项目：国家自然科学基金项目 (51604056)；重庆市基础与 前沿研究计划项目 (cstc2016jcyjA0537)；重庆市重点 产业重点研发项目 (cstc2017zdcy-zdyfX0025). 通信作者：徐晓东. E-mail：xxd@cqupt.edu.cn. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021