第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202008008 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210402.1009.002.html 工业机器人加工轨迹双目3D激光扫描成像修正方法 赵立明，龙大周，徐晓东，张毅，冯阳，李芳芳 (重庆邮电大学先进制造工程学院，重庆400065) 摘要：为了提高工业机器人作业柔性，本文提出了一种基于双目CCD激光扫描3D成像的“眼在外”(Eye-to hand:ETH)工业机器人末端(tool center point,.TCP)运动轨迹在线修正方法。以激光切割机器人视觉引导为研 究背景，降低加工过程机器人对物理工装定位精度的依赖。首先，为提高机器人视觉控制精度，研究了目标工 件双目3D激光扫描成像空间点云坐标精确提取方法；其次，融合ETH控制特点和扫描成像系统结构，建立了 一种机器人TCP运动轨迹相对偏差在线补偿方法，并通过实验验证了所提方法的可行性，为工业应用奠定基础。 关键词：机器视觉；图像处理；机器人；智能制造；传感器；三维成像；激光扫描；双目视觉 中图分类号：TP242.2文献标志码：A文章编号：1673-4785(2021)04-0690-09 中文引用格式：赵立明，龙大周，徐晓东，等.工业机器人加工轨迹双目3D激光扫描成像修正方法J.智能系统学报，2021， 16(4):690-698. 英文引用格式：ZHAO Liming,.LONG Dazhou,XU Xiaodong,et al.Binocular3 D laser scanning imaging-based industrial robot machining trajectory correction method Jl.CAAI transactions on intelligent systems,2021,16(4):690-698. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method ZHAO Liming,LONG Dazhou,XU Xiaodong,ZHANG Yi,FENG Yang,LI Fangfang (College of Advanced Manufacturing Engineering.Chongqing University of Posts and Telecommunications,Chongqing 400065, China) Abstract:In this paper,to improve the flexibility of industrial robot operations,an eye-to-hand(ETH)industrial robot end-effector(tool center point(TCP))trajectory on-line correction method is proposed based on binocular charge- coupled device laser scanning three-dimensional(3D)imaging.Under the research background on the visual guidance of laser cutting robots,the aim of this study is to reduce the dependence of robots on the positioning accuracy of physical tools in the machining process.First,to improve the vision control accuracy of robots,research was performed on a method of accurately extracting the spatial point cloud coordinates of target workpieces based on binocular 3D laser scanning imaging.Then,an online compensation method for the relative deviation of robot TCP trajectories was estab- lished by combining ETH control characteristics and the scanning imaging system structure.The feasibility of the pro- posed method was verified by experiments,which lays a foundation for industrial applications. Keywords:machine vision;image processing;robot;intelligent manufacturing;sensors;3D imaging;laser scanning; binocular vision 机器人与智能制造是国家制造2025的主攻 线编程的方式执行预定指令，不利于加工柔性和 方向和工业4.0的核心技术，为实施制造业创新 智能化程度的提高。机器人按预先编制的模 驱动发展战略和加速制造业转型升级提供有利支 式工作，当环境变化不被机器人感知时，容易造 撑。传统的工业机器人工作过程主要以示教或离 成加工误差，无法满足产品质量要求，或增加产 品报废率，影响企业产品质量等级或增加生产成 收稿日期：2020-08-10.网络出版日期：2021-04-02. 基金项目：国家自然科学基金项目(51604056)：重庆市基础与 本。因此，基于实时信息感知反馈的机器人柔性 前沿研究计划项日(cstc2016 jcyjA0537):重庆市重点 产业重点研发项目(cstc2017zdcy-zdyfX0025). 位姿控制，是提高机器人智能化水平和产品质量 通信作者：徐晓东.E-mail:xxd@cqupt..edu.cn 的有利条件4。机器人智能化程度的提高有赖
DOI: 10.11992/tis.202008008 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210402.1009.002.html 工业机器人加工轨迹双目 3D 激光扫描成像修正方法 赵立明，龙大周，徐晓东，张毅，冯阳，李芳芳 （重庆邮电大学 先进制造工程学院，重庆 400065） 摘 要：为了提高工业机器人作业柔性，本文提出了一种基于双目 CCD 激光扫描 3D 成像的“眼在外”(Eye-tohand:ETH) 工业机器人末端 (tool center point, TCP) 运动轨迹在线修正方法。以激光切割机器人视觉引导为研 究背景，降低加工过程机器人对物理工装定位精度的依赖。首先，为提高机器人视觉控制精度，研究了目标工 件双目 3D 激光扫描成像空间点云坐标精确提取方法；其次，融合 ETH 控制特点和扫描成像系统结构，建立了 一种机器人 TCP 运动轨迹相对偏差在线补偿方法，并通过实验验证了所提方法的可行性，为工业应用奠定基础。 关键词：机器视觉；图像处理；机器人；智能制造；传感器；三维成像；激光扫描；双目视觉 中图分类号：TP242.2 文献标志码：A 文章编号：1673−4785(2021)04−0690−09 中文引用格式：赵立明, 龙大周, 徐晓东, 等. 工业机器人加工轨迹双目 3D 激光扫描成像修正方法 [J]. 智能系统学报, 2021, 16(4): 690–698. 英文引用格式：ZHAO Liming, LONG Dazhou, XU Xiaodong, et al. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method[J]. CAAI transactions on intelligent systems, 2021, 16(4): 690–698. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method ZHAO Liming，LONG Dazhou，XU Xiaodong，ZHANG Yi，FENG Yang，LI Fangfang (College of Advanced Manufacturing Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China) Abstract: In this paper, to improve the flexibility of industrial robot operations, an eye-to-hand (ETH) industrial robot end-effector (tool center point (TCP)) trajectory on-line correction method is proposed based on binocular chargecoupled device laser scanning three-dimensional (3D) imaging. Under the research background on the visual guidance of laser cutting robots, the aim of this study is to reduce the dependence of robots on the positioning accuracy of physical tools in the machining process. First, to improve the vision control accuracy of robots, research was performed on a method of accurately extracting the spatial point cloud coordinates of target workpieces based on binocular 3D laser scanning imaging. Then, an online compensation method for the relative deviation of robot TCP trajectories was established by combining ETH control characteristics and the scanning imaging system structure. The feasibility of the proposed method was verified by experiments, which lays a foundation for industrial applications. Keywords: machine vision; image processing; robot; intelligent manufacturing; sensors; 3D imaging; laser scanning; binocular vision 机器人与智能制造是国家制造 2025 的主攻 方向和工业 4.0 的核心技术，为实施制造业创新 驱动发展战略和加速制造业转型升级提供有利支 撑。传统的工业机器人工作过程主要以示教或离 线编程的方式执行预定指令，不利于加工柔性和 智能化程度的提高[1-3]。机器人按预先编制的模 式工作，当环境变化不被机器人感知时，容易造 成加工误差，无法满足产品质量要求，或增加产 品报废率，影响企业产品质量等级或增加生产成 本。因此，基于实时信息感知反馈的机器人柔性 位姿控制，是提高机器人智能化水平和产品质量 的有利条件[4-5]。机器人智能化程度的提高有赖 收稿日期：2020−08−10. 网络出版日期：2021−04−02. 基金项目：国家自然科学基金项目 (51604056)；重庆市基础与 前沿研究计划项目 (cstc2016jcyjA0537)；重庆市重点 产业重点研发项目 (cstc2017zdcy-zdyfX0025). 通信作者：徐晓东. E-mail：xxd@cqupt.edu.cn. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021
第4期 赵立明，等：工业机器人加工轨迹双目3D激光扫描成像修正方法 ·691· 于传感器技术和信息技术的发展，其中，将机器 术领域，由于存在外界光照干扰或加工工件形状 视觉感知与机器人反馈控制技术相结合，有效利 复杂等因素，提高机器人动态环境适应能力和实 用视觉传感器信息感知能力，自适应地控制机器 现精确路径引导技术仍是研究热点。其中，机器 人执行决策，已成为提高机器人柔性和智能化水 人手眼关系标定、视觉有效信息获取、成像与控 平的一个重要支撑条件6刀。 制模式以及视觉检测控制精度等仍需开展进一步 机器人视觉伺服控制研究领域涉及图像处 的研究工作。本文鉴于前人的研究成果，以激光 理、模式识别、机器人运动学、机器人动力学以及 切割机器人视觉引导为研究背景，为克服环境光 控制理论等。20世纪90年代以来，基于信息感 照干扰、切割工件形状复杂以及检测和控制精度 知的工业机器人柔性加工方法得到广泛的关注并 低等问题，提出了一种基于双目CCD激光扫描 进入快速发展阶段。基于视觉的机器人控制形 3D成像的“眼在外”(Eye-to-hand:ETH)）工.业机器 式在很大程度上克服了机器人自身、视觉系统以 人末端(TCP)运动轨迹在线修正方法。以激光切 及外部环境的不确定性，使机器人定位和跟踪精 割机器人视觉引导为研究背景，降低加工过程机 度有极大的提高。Espiau等9较早地开展了机器 器人对物理工装定位精度的依赖。首先，为提高 人视觉伺服控制算法的研究。Belousov等o基于 机器人视觉控制精度，研究了目标工件双目 计算机网络远程控制方式对机器人实时目标抓取3D激光扫描成像空间，点云坐标精确提取方法；其 技术进行了研究，并采用仿真技术研究了目标定 次，融合ETH控制特点和扫描成像系统结构，建 位和运动轨迹跟踪方法。Chaumette等提出了 立了一种机器人TCP运动轨迹相对偏差在线补 基于21/2D视觉伺服控制方法，对视觉伺服经典 偿方法。该方法可用于混合多形状物料的识别 控制方法进行了优化，并开展了机器人工业应用 抓取与分拣工作。 测试。Schmidt等2采用“眼在手”方式，将单目 相机固定于机器人末端，通过在工件表面粘贴标 1实验系统构建 记物实现定位抓取，目标标记方式可有效提高检 1.1手眼关系与目标检测方法 测和控制精度。尹湘云等)基于支持向量机回 文中机器人视觉信息反馈系统采用了眼在外 归的机器人视觉定位，简化了控制策略并提高了 独立工作方式(Eye-to-hand),因此，利用检测坐标 机器人的控制精度。Ishibashi等提出了基于双 点调整机器人末端执行器姿态，需将工件坐标系 目立体视觉的机器人定位方法，实现了目标对象 和机器人末端执行器坐标系统一到基坐标系下，确 的快速、非接触三维定位，但该方法存在特征点 定机器人基座坐标系B和摄像机坐标系D之间的 难以匹配，较适合于特征点显著的目标物体。Wiso 变换关系，转换关系矩阵可由手眼标定完成9,0。 等将单目摄像头安装在机器人执行器末端，借 本系统由于采用双目激光扫描方式，因此.为便 助物体已知特征点，通过扩展卡尔曼滤波器，研 于确定手眼关系，在系统中定义了两个已知坐标 究了轨迹控制和目标跟踪技术，该方法可在动态 原点，如图1所示，一是由示教获得的机器人工作 环境中具备一定的可靠性。陈影等6采用点云 原点，二是双目3D扫描成像系统扫描原点（双目 切片法得到熔覆路径上的点集，运用非均匀有理 CCD3D点云数据在系统结构不变的情况由 B样条拟合得到加工点的曲线，从而得到枪头的 ICP算法进行一次配准，并确定配准变换矩阵参 运动轨迹，该方法提高了算法实现的可行性和可 数不变)。基于以上定义可知，系统中视觉坐标 靠性。Park等)采用厚度映射法对物体表面进 系D与机器人基坐标系B位姿相对固定，基坐标 行三维重建，同时生成磨削路径，主要应用于船 系B与工具中心坐标系之间的转换矩阵可由机器 舶和飞机螺旋桨磨削加工，该方法验证了机器人 人内部参数确定，位于工作原点中的工具中心点 数字化对大型雕刻面进行重塑和刀具路径生成的 坐标系T,与扫描原点视觉成像坐标系V可通过 有效性。董铃等1采用基于三维视觉的激光再 一次标定获得并确定不变。此处，为便于计算， 制造机器人离线自动编程系统，采用梯度重心法 特将视觉坐标系原点V定义在扫描原点，在双目 提取激光条纹的中心线，依据极限几何理论进行 激光扫描系统标定过程中，将被扫描目标点云坐 特征匹配，根据三角原理得到零件的表面点云数 标确定在V坐标下，具体检测方法不作为本文重 据，该算法在一定程度上提高了测量精度，具有 点论述。因此，扫描获得的目标物体上某一点 较好的理论和实用价值。 p(x,yz)可通过式(1)获得： 目前，在面向工业应用的机器人手眼协调技 BP=BTnXTTvXVPp (1)
于传感器技术和信息技术的发展，其中，将机器 视觉感知与机器人反馈控制技术相结合，有效利 用视觉传感器信息感知能力，自适应地控制机器 人执行决策，已成为提高机器人柔性和智能化水 平的一个重要支撑条件[6-7]。 机器人视觉伺服控制研究领域涉及图像处 理、模式识别、机器人运动学、机器人动力学以及 控制理论等。20 世纪 90 年代以来，基于信息感 知的工业机器人柔性加工方法得到广泛的关注并 进入快速发展阶段[8]。基于视觉的机器人控制形 式在很大程度上克服了机器人自身、视觉系统以 及外部环境的不确定性，使机器人定位和跟踪精 度有极大的提高。Espiau 等 [9] 较早地开展了机器 人视觉伺服控制算法的研究。Belousov 等 [10] 基于 计算机网络远程控制方式对机器人实时目标抓取 技术进行了研究，并采用仿真技术研究了目标定 位和运动轨迹跟踪方法。Chaumette 等 [11] 提出了 基于 21/2D 视觉伺服控制方法，对视觉伺服经典 控制方法进行了优化，并开展了机器人工业应用 测试。Schmidt 等 [12] 采用“眼在手”方式，将单目 相机固定于机器人末端，通过在工件表面粘贴标 记物实现定位抓取，目标标记方式可有效提高检 测和控制精度。尹湘云等[13] 基于支持向量机回 归的机器人视觉定位，简化了控制策略并提高了 机器人的控制精度。Ishibashi 等 [14] 提出了基于双 目立体视觉的机器人定位方法，实现了目标对象 的快速、非接触三维定位，但该方法存在特征点 难以匹配，较适合于特征点显著的目标物体。Wilson 等 [15] 将单目摄像头安装在机器人执行器末端，借 助物体已知特征点，通过扩展卡尔曼滤波器，研 究了轨迹控制和目标跟踪技术，该方法可在动态 环境中具备一定的可靠性。陈影等[16] 采用点云 切片法得到熔覆路径上的点集，运用非均匀有理 B 样条拟合得到加工点的曲线，从而得到枪头的 运动轨迹，该方法提高了算法实现的可行性和可 靠性。Park 等 [17] 采用厚度映射法对物体表面进 行三维重建，同时生成磨削路径，主要应用于船 舶和飞机螺旋桨磨削加工，该方法验证了机器人 数字化对大型雕刻面进行重塑和刀具路径生成的 有效性。董铃等[18] 采用基于三维视觉的激光再 制造机器人离线自动编程系统，采用梯度重心法 提取激光条纹的中心线，依据极限几何理论进行 特征匹配，根据三角原理得到零件的表面点云数 据，该算法在一定程度上提高了测量精度，具有 较好的理论和实用价值。 目前，在面向工业应用的机器人手眼协调技 术领域，由于存在外界光照干扰或加工工件形状 复杂等因素，提高机器人动态环境适应能力和实 现精确路径引导技术仍是研究热点。其中，机器 人手眼关系标定、视觉有效信息获取、成像与控 制模式以及视觉检测控制精度等仍需开展进一步 的研究工作。本文鉴于前人的研究成果，以激光 切割机器人视觉引导为研究背景，为克服环境光 照干扰、切割工件形状复杂以及检测和控制精度 低等问题，提出了一种基于双目 CCD 激光扫描 3D 成像的“眼在外”(Eye-to-hand:ETH) 工业机器 人末端 (TCP) 运动轨迹在线修正方法。以激光切 割机器人视觉引导为研究背景，降低加工过程机 器人对物理工装定位精度的依赖。首先，为提高 机器人视觉控制精度，研究了目标工件双 目 3D 激光扫描成像空间点云坐标精确提取方法；其 次，融合 ETH 控制特点和扫描成像系统结构，建 立了一种机器人 TCP 运动轨迹相对偏差在线补 偿方法。该方法可用于混合多形状物料的识别、 抓取与分拣工作。 1 实验系统构建 1.1 手眼关系与目标检测方法 p(xi , yi ,zi) 文中机器人视觉信息反馈系统采用了眼在外 独立工作方式 (Eye-to-hand)，因此，利用检测坐标 点调整机器人末端执行器姿态，需将工件坐标系 和机器人末端执行器坐标系统一到基坐标系下，确 定机器人基座坐标系 B 和摄像机坐标系 D 之间的 变换关系，转换关系矩阵可由手眼标定完成[19-20]。 本系统由于采用双目激光扫描方式，因此，为便 于确定手眼关系，在系统中定义了两个已知坐标 原点，如图 1 所示，一是由示教获得的机器人工作 原点，二是双目 3D 扫描成像系统扫描原点 (双目 CCD 3D 点云数据在系统结构不变的情况 由 ICP 算法进行一次配准，并确定配准变换矩阵参 数不变)。基于以上定义可知，系统中视觉坐标 系 D 与机器人基坐标系 B 位姿相对固定，基坐标 系 B 与工具中心坐标系之间的转换矩阵可由机器 人内部参数确定，位于工作原点中的工具中心点 坐标系 T1 与扫描原点视觉成像坐标系 V 可通过 一次标定获得并确定不变。此处，为便于计算， 特将视觉坐标系原点 V 定义在扫描原点，在双目 激光扫描系统标定过程中，将被扫描目标点云坐 标确定在 V 坐标下，具体检测方法不作为本文重 点论述。因此，扫描获得的目标物体上某一点 可通过式 (1) 获得： B Pp = BTT1 × T1TV × V Pp (1) 第 4 期 赵立明，等：工业机器人加工轨迹双目 3D 激光扫描成像修正方法 ·691·
·692· 智能系统学报 第16卷 式中：BP。为扫描点位于机器人基坐标系下的坐 BP=RXVP+t (2) 标；Tx,为机器人末端工具中心点姿态；Tv为定 式中：R表示视觉坐标系V相对于基坐标系B的 义的双目扫描视觉坐标系与工具中心点坐标系转 旋转矩阵；t表示对应的平移向量，因此，获得 换关系矩阵；'P。为目标扫描点位于在扫描原点 P为目标坐标系相对于基坐标系B的位置，通过 定义的视觉坐标系中的坐标值，此处，扫描原点 正运动学可获取末端工具中心点坐标系的相对位 为双目扫描系统归零点，即系统扫描开始和结束 置，关系为 编码器指定位置。 P-FR×BP+Ft=ER×(R×CP+)+Bt(3) 依据正运动学求解过程，图1中目标坐标系 式中：R、t分别表示工具中心点坐标系T相 内点P,在视觉坐标系内为"P,通过旋转和平移 对于视觉坐标系V的旋转矩阵和平移向量，则 变换可获得该点在机器人基座坐标系B中的坐 工P为工具中心点坐标系T,相对于视觉坐标系 标值，变换式可表示为 V的位姿。 示教工作原点 。目标3D坐标系 工具坐标系 编码器 CCDI CCD2 一字线激光源 扫描 远点 基坐坐标系 p(x》 目标坐标系 悬臂支架 加工工位 图1系统手眼坐标系空间转换关系 Fig.1 Spatial transformation relationship of system hand to eye coordinate system 对式(2)和(3)引入齐次坐标变换矩阵如下： (4) (5) BQ=-----O ,则： 图2手眼标定关系 P=TVP (6) Fig.2 Hand-eye calibration relationship p=TBP=石TBT'P (7) 图2中，类似于空间尺寸链计算过程，T为 式中变换矩阵T的求解过程需获取相机与工具 一个封闭的环，其中，B为机械人基坐标系，T。为 中心点坐标系的关系矩阵T。在系统中，由于 末端坐标系，T,为工具中心点坐标系，V为视觉坐 已设定扫描原点（扫描成像系统归零点）为视觉 标系，O为目标坐标系，该坐标系可定义为标定 坐标系V的原点，将机器人示教工作原点作为 板坐标系，用于标定目标点位于视觉坐标系下的 ￥T求解的T,坐标系原点，因此，YT变换矩阵可 点云量化检测结果。待求的基坐标系与视觉坐标 假定为眼在手方式固定变换参数。因此，借助工 系之间虚线路径可以转化为实线B到D的路径， 具中心点坐标系T,为便于求解，可将各坐标系 变换关系可表示如下： 的逻辑关系表示为图2所示。 BT=T×,T×0T×0T (8)
B Pp BTT1 T1TV V Pp 式中： 为扫描点位于机器人基坐标系下的坐 标； 为机器人末端工具中心点姿态； 为定 义的双目扫描视觉坐标系与工具中心点坐标系转 换关系矩阵； 为目标扫描点位于在扫描原点 定义的视觉坐标系中的坐标值，此处，扫描原点 为双目扫描系统归零点，即系统扫描开始和结束 编码器指定位置。 P V P B 依据正运动学求解过程，图 1 中目标坐标系 内点 ，在视觉坐标系内为 ，通过旋转和平移 变换可获得该点在机器人基座坐标系 中的坐 标值，变换式可表示为 B P = B VR× V P+ B V t (2) B VR B V t B P 式中： 表示视觉坐标系 V 相对于基坐标系 B 的 旋转矩阵； 表示对应的平移向量，因此，获得 为目标坐标系相对于基坐标系 B 的位置，通过 正运动学可获取末端工具中心点坐标系的相对位 置，关系为 T1 P = T1 B R× B P+ T1 B t = T1 B R×( B C R× C P+ B C t)+ T1 B t (3) T1 B R T1 B t T1P 式中： 、 分别表示工具中心点坐标系 T 相 对于视觉坐标系 V 的旋转矩阵和平移向量，则 为工具中心点坐标系 T1 相对于视觉坐标系 V 的位姿。 B z y x O x y z z y x CCD1 CCD2 扫描 远点 V T1 z y x T0 示教工作原点 工具坐标系 目标 3D 坐标系 编码器 一字线激光源 目标坐标系 基坐坐标系 加工工位 p (xi , yi , zi ) 悬臂支架 图 1 系统手眼坐标系空间转换关系 Fig. 1 Spatial transformation relationship of system hand to eye coordinate system 对式 (2) 和 (3) 引入齐次坐标变换矩阵如下： [ B P 1 ] = [ B VR B V t 0 1 ] [ V P 1 ] (4) [ T1 P 1 ] = [ T1 B R T1 B t 0 1 ] [ B P 1 ] (5) V P˜ = [ V P 1 ] B P˜ = [ B P 1 ] T1 P˜ = [ T1 P 1 ] 令 、 、 ，则： B P˜ = B V T V P˜ (6) T1 P˜ = T1 B T B P˜ = T1 B T B V T V P˜ (7) B V T V T1 T V T1 T V T1 T 式中变换矩阵 的求解过程需获取相机与工具 中心点坐标系的关系矩阵 。在系统中，由于 已设定扫描原点 (扫描成像系统归零点) 为视觉 坐标系 V 的原点，将机器人示教工作原点作为 求解的 T1 坐标系原点，因此， 变换矩阵可 假定为眼在手方式固定变换参数。因此，借助工 具中心点坐标系 T1，为便于求解，可将各坐标系 的逻辑关系表示为图 2 所示。 B V O T0 T1 图 2 手眼标定关系 Fig. 2 Hand-eye calibration relationship B 图 2 中，类似于空间尺寸链计算过程， V T 为 一个封闭的环，其中，B 为机械人基坐标系，T0 为 末端坐标系，T1 为工具中心点坐标系，V 为视觉坐 标系，O 为目标坐标系，该坐标系可定义为标定 板坐标系，用于标定目标点位于视觉坐标系下的 点云量化检测结果。待求的基坐标系与视觉坐标 系之间虚线路径可以转化为实线 B 到 D 的路径， 变换关系可表示如下： B VT = B T1 T × T1 T0 T × T0 O T × O V T (8) ·692· 智 能 系 统 学 报 第 16 卷
第4期 赵立明，等：工业机器人加工轨迹双目3D激光扫描成像修正方法 ·693· 式中：，T可由机器人内部参数求出；T对同一 根据检测实时性和检测精度需求，文中对于 末端工具坐标系为已知；T为视觉系统标定变换 激光线进一步单像素处理采用灰度重心法求出， 矩阵，通过该变换可得到目标检测点位于视觉坐 其重心坐标表达式如下： 标系的量化检测值。因此，通过手眼标定，视觉 ii,/ 系统扫描测量的目标工件三维姿态可通过T变 M (11) 换到相对于机械臂基坐标系下的位姿T: yo= BT=ETYT (9) -. 由以上推导可知，通过运动学计算，将机械臂 式中：(xy)为条纹中心坐标；Ii)是图像上第i 的各关节角度输入到机械臂控制器，驱动机械臂 行第j列的灰度值。 完成指定任务。 特定环境下，算法的抗噪性能会影响检测精 通过机器人视觉引导工作过程可知，视觉系 度26)，算法设计应根据所选激光线特征以及环境 统检测精度是提高机器人加工过程偏差修正可靠 易变情况而定，一般不存在最优或通用性条纹提 性的一个必要条件，本实验系统采用主动成像方 取算法。图4分别为最佳成像状态下Steger算 法，针对机器人所处光照不均、亮度变化环境下， 法、模板法和文中算法激光先中心点提取结果。 对不同清晰度评价函数进行了理论分析和实验研 实际应用中，结构光辅助测量图像中心线提取过 究，确定了激光线最佳成像方法。实现CCD在不 程中，光条宽度越小、目标面对比度越高、平顺性 同光积分时间和聚焦（离焦）状态下有效提取激 越好，算法设计性能会越高。 光线调制信息变化情况，提高扫描系统在复杂变 化环境下的鲁棒性。基于此，实验中同时考虑激 光线成像清晰度曲线的单峰性和计算实时性因 (a)Steger激光条纹提取结果 素，综合对比不同图像清晰度评价函数的清晰度 指数计算结果，依据图像清晰度变化的灵敏度响 应，如图3所示，确定了基于Tenengrad图像梯度 的清晰度自适应控制方法。 (b)模板法激光条纹提取结果 1.0 。-Laplace ◆Brenner 0.8 .Tenengrad 一能量函数 0.6 (c)本文算法提取结果 0.4 g0.2 图4激光条纹提取形态对比 Fig.4 Comparison of laser fringe extraction results 0 12345678 0 1.2基于扫描3D点云的姿态修正方法 图像序列 通过双目3D激光扫描成像技术旨在实现被 图3不同图像清晰度评价函数清晰度计算响应结果对比 测件的三维形貌和笛卡尔空间姿态的精确检测， Fig.3 Comparison of sensitivity response of different im- 输出用于工具中心点位姿的旋转和平移量，并将 age definition evaluation functions 结果传递给机器人关节控制器修正执行器姿态。 在实时获取激光线清晰图像的前提下，机 该方法便于实现基于图像和位置的机器人混合视 器人工作目标点云的精确检测取决于激光线调 觉伺服控制，进一步保证了基于图像和基于位置 制信息的精确提取。本文对比研究了目前较为 的伺服控制的优点（本文在该方面不做进一步论 常用的结构光中心线提取算法，包括极值法2 述)。图5为文中设计的基于双目激光3D扫描成 Steger网算法、曲线拟合法21、模板法以及本文 像机器人加工点修正和控制方法示意图。 确定的自适应灰度重心法阿等。实验中，依据所 该修正方法的优点在于结合了双目激光扫描 选激光线特征，首先对激光线条像使用高斯分布 大视野低遮挡的三维量化检测优势，基于此，在 动态阈值进行自适应二值化处理，其阈值函数表 被测目标：方向提取旋转坐标时可采用两个特征 达式如下： 值获得，其一是被测目标在z坐标方向的距离值： T(x)=ae(Tb (10) 其二是结合目标投影畸变获得。如图6(a)、(b)所 式中：a、b、c为常数，且a>0,Tn表示激光线光带 示，当目标定位存在偏差（如一侧高于另一侧）图 离散阈值。 像将发生投影畸变，此时可根据畸变程度与标准
B T1 T T1 T0 T O V T B V T B OT 式中： 可由机器人内部参数求出； 对同一 末端工具坐标系为已知； 为视觉系统标定变换 矩阵，通过该变换可得到目标检测点位于视觉坐 标系的量化检测值。因此，通过手眼标定，视觉 系统扫描测量的目标工件三维姿态可通过 变 换到相对于机械臂基坐标系下的位姿 ： B OT = B CT V OT (9) 由以上推导可知，通过运动学计算，将机械臂 的各关节角度输入到机械臂控制器，驱动机械臂 完成指定任务。 通过机器人视觉引导工作过程可知，视觉系 统检测精度是提高机器人加工过程偏差修正可靠 性的一个必要条件，本实验系统采用主动成像方 法，针对机器人所处光照不均、亮度变化环境下， 对不同清晰度评价函数进行了理论分析和实验研 究，确定了激光线最佳成像方法。实现 CCD 在不 同光积分时间和聚焦 (离焦) 状态下有效提取激 光线调制信息变化情况，提高扫描系统在复杂变 化环境下的鲁棒性。基于此，实验中同时考虑激 光线成像清晰度曲线的单峰性和计算实时性因 素，综合对比不同图像清晰度评价函数的清晰度 指数计算结果，依据图像清晰度变化的灵敏度响 应，如图 3 所示，确定了基于 Tenengrad 图像梯度 的清晰度自适应控制方法。 0 1 2 3 4 5 6 7 8 9 0.2 0.4 0.6 0.8 1.0 图像序列 归一化清晰度指数 Laplace Brenner Tenengrad 能量函数 图 3 不同图像清晰度评价函数清晰度计算响应结果对比 Fig. 3 Comparison of sensitivity response of different image definition evaluation functions 在实时获取激光线清晰图像的前提下，机 器人工作目标点云的精确检测取决于激光线调 制信息的精确提取。本文对比研究了目前较为 常用的结构光中心线提取算法，包括极值法[21] 、 Steger[22] 算法、曲线拟合法[23] 、模板法[24] 以及本文 确定的自适应灰度重心法[25] 等。实验中，依据所 选激光线特征，首先对激光线条像使用高斯分布 动态阈值进行自适应二值化处理，其阈值函数表 达式如下： T(x) = ae (Tn−b) 2/c 2 (10) 式中：a、b、c 为常数，且 a > 0，Tn 表示激光线光带 离散阈值。 根据检测实时性和检测精度需求，文中对于 激光线进一步单像素处理采用灰度重心法求出， 其重心坐标表达式如下： xo = ∑M i=1 ∑N j=1 i·I(i, j)/ ∑M i=1 ∑N j=1 I(i, j) yo = ∑M i=1 ∑N j=1 j·I(i, j)/ ∑M i=1 ∑N j=1 I(i, j) (11) (xo, yo) I(i, j) i j 式中： 为条纹中心坐标； 是图像上第 行第 列的灰度值。 特定环境下，算法的抗噪性能会影响检测精 度 [26] ，算法设计应根据所选激光线特征以及环境 易变情况而定，一般不存在最优或通用性条纹提 取算法。图 4 分别为最佳成像状态下 Steger 算 法、模板法和文中算法激光先中心点提取结果。 实际应用中，结构光辅助测量图像中心线提取过 程中，光条宽度越小、目标面对比度越高、平顺性 越好，算法设计性能会越高。 (a) Steger 激光条纹提取结果 (b) 模板法激光条纹提取结果 (c) 本文算法提取结果 图 4 激光条纹提取形态对比 Fig. 4 Comparison of laser fringe extraction results 1.2 基于扫描 3D 点云的姿态修正方法 通过双目 3D 激光扫描成像技术旨在实现被 测件的三维形貌和笛卡尔空间姿态的精确检测， 输出用于工具中心点位姿的旋转和平移量，并将 结果传递给机器人关节控制器修正执行器姿态。 该方法便于实现基于图像和位置的机器人混合视 觉伺服控制，进一步保证了基于图像和基于位置 的伺服控制的优点 (本文在该方面不做进一步论 述)。图 5 为文中设计的基于双目激光 3D 扫描成 像机器人加工点修正和控制方法示意图。 该修正方法的优点在于结合了双目激光扫描 大视野低遮挡的三维量化检测优势，基于此，在 被测目标 z 方向提取旋转坐标时可采用两个特征 值获得，其一是被测目标在 z 坐标方向的距离值； 其二是结合目标投影畸变获得。如图 6(a)、(b) 所 示，当目标定位存在偏差 (如一侧高于另一侧) 图 像将发生投影畸变，此时可根据畸变程度与标准 第 4 期 赵立明，等：工业机器人加工轨迹双目 3D 激光扫描成像修正方法 ·693·
·694· 智能系统学报 第16卷 图形反推工件姿态。由于已获得被检测目标三维 二维平面中姿态的读取，包括二维空间中的平移 形貌，因此，被测件与计算机输入的标准件在空 和旋转量，如图6（©）所示，读取值为实际检测值 间上可以快速进行匹配。另一方面是被加工件在 与标准定位图像在二维平面的平移和旋转偏差。 期望 末端 确定 关节 机 位置 精确 位姿 关节 PID 位 控制 放 末端 策略 定值 大 人本体 正后姿态 切制 初始 姿态 给定 末端 位姿 旋转 机器人关节位置控制器 期望1 调整 策 角度 机器 三 人工 图 具 维坐 维 目标 目标激光3D扫描 征 貌 关 描 目标测量 图5基于双目激光三维扫描成像的机器人控制方法 Fig.5 Robot control method based on Binocular Laser 3D scanning imaging 4 0 0 0 (a)投影畸变方向1 (b)投影畸变方向2 (©)平移旋转方向 图6基于图像信息检测的目标姿态提取方式 Fig.6 Image information detection-based approach to target attitude extraction 传统的单目激光三角测量系统，对于复杂三 式中：W:为权因子；D为控制顶点；N(0为B样 维曲面其测量精度易受激光入射角影响，或在某 条的基函数(=0,1，…，n),其定义如下所示： 些区域出现成像遮挡问题，产生视觉盲区。文中 NA0=-4N-1++t1-LN41k-1四） 采用双目扫描和图像ICP配准方式优化了成像空 l4k一h Zi+k+1-l4+1 间，采用激光直射和双目斜射扫描激光调制信 1, (13) 且N:o(W={0, :≤u≤山+1 其他 息，并根据系统标定参数输出被测目标点云坐 标。对于机器人在工件上的连续工作路径，通过 式中：U=[4442…4k+]为节点矢量；k为样条 基的次数。 选择边界特征点，采用NURBS曲线拟合得到工 件边界曲线，拟合方法如下阿： 通常情况下，采用NURBS曲线拟合，需要控 制节点矢量、顶点以及权因子参数，其中，通过控 制顶点的位置和数量可以更清晰地调整曲线的形 P(w)= 0 (12) 状，为简化计算，假定权因子W:=1,由于B样条 Ni(u)W; 的基函数满足∑N4(@=1,故式(12)转化为
图形反推工件姿态。由于已获得被检测目标三维 形貌，因此，被测件与计算机输入的标准件在空 间上可以快速进行匹配。另一方面是被加工件在 二维平面中姿态的读取，包括二维空间中的平移 和旋转量，如图 6(c) 所示，读取值为实际检测值 与标准定位图像在二维平面的平移和旋转偏差。 S + 1 S _ + _ + _ + _ 末端 初始 姿态 给定 期望 位置 末端 位姿 平移 调整 策略 确定 关节 位置 待给 定值 末端 位姿 旋转 调整 策略 期望 旋转 角度 PID 控制 伺 服 放 大 执 行 电 机 关节 位置 机 器 人 本 体 修 正 后 姿 态 精确 切割 机器人关节位置控制器 机器 人工 具与 目标 关系 三 维 坐 标 三 维 特 征 三 维 形 貌 图 像 扫 描 目标激光 3D 扫描 目标测量 × × × × 图 5 基于双目激光三维扫描成像的机器人控制方法 Fig. 5 Robot control method based on Binocular Laser 3D scanning imaging O X Y (a) 投影畸变方向 1 O Y X (b) 投影畸变方向 2 O X Y (c) 平移旋转方向 图 6 基于图像信息检测的目标姿态提取方式 Fig. 6 Image information detection-based approach to target attitude extraction 传统的单目激光三角测量系统，对于复杂三 维曲面其测量精度易受激光入射角影响，或在某 些区域出现成像遮挡问题，产生视觉盲区。文中 采用双目扫描和图像 ICP 配准方式优化了成像空 间，采用激光直射和双目斜射扫描激光调制信 息，并根据系统标定参数输出被测目标点云坐 标。对于机器人在工件上的连续工作路径，通过 选择边界特征点，采用 NURBS 曲线拟合得到工 件边界曲线，拟合方法如下[27] ： P(u) = ∑n i=0 Ni,k(u)WiDi ∑n i=0 Ni,k(u)Wi (12) Wi Di Ni,k(u) i = 0,1,··· ,n 式中： 为权因子； 为控制顶点； 为 B 样 条的基函数 ( )，其定义如下所示： Ni,k(u) = u−ui ui+k −ui Ni,k−1(u)+ ui+k+1 −u ui+k+1 −ui+1 Ni+1,k−1(u) 且Ni,0(u) = { 1, ui ⩽ u ⩽ ui+1 0, 其他 (13) 式中： U = [u0 u1 u2 ··· un+k+1] 为节点矢量； k 为样条 基的次数。 Wi = 1 ∑n i=0 Ni,k(u) 通常情况下，采用 NURBS 曲线拟合，需要控 制节点矢量、顶点以及权因子参数，其中，通过控 制顶点的位置和数量可以更清晰地调整曲线的形 状，为简化计算，假定权因子 ，由于 B 样条 的基函数满足 =1，故式 (12) 转化为 ·694· 智 能 系 统 学 报 第 16 卷
第4期 赵立明，等：工业机器人加工轨迹双目3D激光扫描成像修正方法 ·695· P(u)= ∑ND, (14) 因此，通过遍历各加工路径点，可获得机器人 位姿变化矩阵，并通过逆运动学求解各个关节的 对于每个边界测量离散点P,在进行曲线拟 旋转角度，串联各个边界测量点，完成机器人加 合时曲线上总有点P(u)与之对应： 工路径引导。 月-2an (15) 2实验结果分析 式中：P(4)-P表示每个离散点与曲线偏差； 本文通过搭建实验平台，采用越疆Dobot机 表示对应参数值。 器人首先对三维混合物料抓取方法进行了实验研 为使拟合的曲线与离散点的偏差总和最小， 究。通过物料的三维形貌测量实现机器人按形状 偏差总和与控制顶点函数表示为 次序（同形状按：值排序）控制夹具坐标系的空间 )-pf- (u)Dj-P 定位。图7(a)、(b)分别为软件实验系统和测试平 台，其中，双目CCD采样频率为14帧/s(分辨率： (16) 2592×1944)。系统中主要采用双目扫描检测和三 由式(12)~(15)，可以求解出各个控制顶点的 维形态坐标提取，与机器人形成闭环控制视觉引 值，故可以确定NURBS拟合的工件边缘路径曲 导系统，实现物料的识别、抓取和分拣工作。 线。采用NURBS进行修正点曲线的拟合，通过 调整控制顶点和权值，可以实现复杂曲线的精确 拟合。 通过拟合工件加工路径的3D特征点，可精 确获取机器人工作路径的3D空间姿态调整信 息。根据加工路径曲线拟合数据，完成修正点到 机器人坐标系的转化，实现检测点和机器人控制 点坐标系的统一。基于此，可通过已知检测点的 逆运动学求解，得到加工机器人各个关节旋转角 (a)目标扫描过程和控制点提取 度，并由控制器输出指令完成路径引导。以图1 中已定义坐标系为例，机器人的末端坐标系为T。, 工具坐标系为T。取边界测量数据中一点作为当 前的加工点，其位置矢量为P,法向矢量为v,切 向方向为该点到下一点的连线方向u,另设一个 向量。，使v。=uvn,则该加工点的坐标系相对 于机器人基坐标系的转换矩阵T可表示为 7&06 P (17) 根据变换式，需要将检测点的数据转换成机 器人位姿，转换关系如下： (b)混合物料扫描抓取实验 TTe-TT=ET (18) 图7双目CCD激光扫描成像混合物料识别与抓取实验 式中：，T,表示切割该点p时机器人的位姿矩阵； Fig.7 Identification and grab experiment of mixed materi- T表示工具坐标系相对于末端坐标的变换矩 als based on binocular CCD laser scanning imaging 阵，T由工具坐标系标定已知，因此机器人的位 实验2为注塑件边缘毛刺激光切割路径加工 姿变化矩阵可表示为 点检测与路径曲线拟合实验，图8为检测目标三 Te=ETTT-I (19) 维形貌测量与点云坐标重构图像，图8(b)为目标 双目扫描与配准过程示意图，系统中考虑到数据 8=-(T) (20) 处理速度和系统刚性，配准过程中平移和旋转矩 式中：「-1表示机器人的逆运动学模型；⊙=(06…6) 阵参数均采用PC初始化方式进行确定，后续过 为机器人各个关节旋转角。 程仅按确定参数进行配准以完成最终三维图像生
P(u) = ∑n i=0 Ni,k(u)Di (14) Pj P(uj) 对于每个边界测量离散点 ，在进行曲线拟 合时曲线上总有点 与之对应： Pj ≈ P(uj) = ∑n i=0 Ni,k(u)Di (15) P(uj)− pj 式中： 表示每个离散点与曲线偏差；uj 表示对应参数值。 为使拟合的曲线与离散点的偏差总和最小， 偏差总和与控制顶点函数表示为 P(D0,D1,··· ,Dn)= ∑m j=0 p(uj)− pj 2 = ∑m j=0 ∑n i=0 Ni,k(uj)Dj − pj 2 (16) 由式 (12)～(15)，可以求解出各个控制顶点的 值，故可以确定 NURBS 拟合的工件边缘路径曲 线。采用 NURBS 进行修正点曲线的拟合，通过 调整控制顶点和权值，可以实现复杂曲线的精确 拟合。 P υn υt υe υe = υt · υn B pT 通过拟合工件加工路径的 3D 特征点，可精 确获取机器人工作路径的 3D 空间姿态调整信 息。根据加工路径曲线拟合数据，完成修正点到 机器人坐标系的转化，实现检测点和机器人控制 点坐标系的统一。基于此，可通过已知检测点的 逆运动学求解，得到加工机器人各个关节旋转角 度，并由控制器输出指令完成路径引导。以图 1 中已定义坐标系为例，机器人的末端坐标系为 T0， 工具坐标系为 T1。取边界测量数据中一点作为当 前的加工点，其位置矢量为 ，法向矢量为 ，切 向方向为该点到下一点的连线方向 ，另设一个 向量 ，使 ，则该加工点的坐标系相对 于机器人基坐标系的转换矩阵 可表示为[28] B pT = [ υt υe υn P 0 0 0 1 ] (17) 根据变换式，需要将检测点的数据转换成机 器人位姿，转换关系如下： B T0 TP · T0 T1 T = B pT (18) B T0 Tp p T0 T1 T T1 T0 T 式中： 表示切割该点 时机器人的位姿矩阵； 表示工具坐标系相对于末端坐标的变换矩 阵， 由工具坐标系标定已知，因此机器人的位 姿变化矩阵可表示为 B T0 TP = B pT T0 T1 T −1 (19) Θ = Γ−1 ( B T0 TP) (20) Γ 式中： −1 表示机器人的逆运动学模型； Θ =( θ1θ2 ··· θ6) 为机器人各个关节旋转角。 因此，通过遍历各加工路径点，可获得机器人 位姿变化矩阵，并通过逆运动学求解各个关节的 旋转角度，串联各个边界测量点，完成机器人加 工路径引导。 2 实验结果分析 本文通过搭建实验平台，采用越疆 Dobot 机 器人首先对三维混合物料抓取方法进行了实验研 究。通过物料的三维形貌测量实现机器人按形状 次序 (同形状按 z 值排序) 控制夹具坐标系的空间 定位。图 7(a)、(b) 分别为软件实验系统和测试平 台，其中，双目 CCD 采样频率为 14 帧/s(分辨率： 2 592×1 944)。系统中主要采用双目扫描检测和三 维形态坐标提取，与机器人形成闭环控制视觉引 导系统，实现物料的识别、抓取和分拣工作。 (a) 目标扫描过程和控制点提取 (b) 混合物料扫描抓取实验 图 7 双目 CCD 激光扫描成像混合物料识别与抓取实验 Fig. 7 Identification and grab experiment of mixed materials based on binocular CCD laser scanning imaging 实验 2 为注塑件边缘毛刺激光切割路径加工 点检测与路径曲线拟合实验，图 8 为检测目标三 维形貌测量与点云坐标重构图像，图 8(b) 为目标 双目扫描与配准过程示意图，系统中考虑到数据 处理速度和系统刚性，配准过程中平移和旋转矩 阵参数均采用 IPC 初始化方式进行确定，后续过 程仅按确定参数进行配准以完成最终三维图像生 第 4 期 赵立明，等：工业机器人加工轨迹双目 3D 激光扫描成像修正方法 ·695·
·696· 智能系统学报 第16卷 产。图8(c)、(d)分别为三维扫描重构图和机器人 采用双目三维扫描成像与视觉伺服融合控制的方 加工（机器人切割）路径视觉引导三维空间坐标 式，针对特定应用对象，有利于提高工业机器人 点。通过三维形态特征提取反映工件边界的特征 三维曲面空间的加工柔性。 点，NURBS拟合生成切割轨迹并进行视觉坐标系 转换到机器人基座坐标系的转换，通过逆运动学 求解，得到机器人一系列关节的角度，以此控制 激光切割机器人进行末端位姿修正。 (a)三维模块边界扫描控制点提取 +一1轴角度量() ·一4轴角度量() 。一2轴角度量() ·一5轴角度量(0 (a)注塑件三维扫描 150 一3轴角度量() 一一6轴角度量() 100 50 移+旋转》 0 参考图像 配准结果 浮动图像 50 100 -150 (b)双目图像ICP配准 -200 204056080100 (b)工业机器人关节角度变化量 图9三维模块边界扫描与机器人路径引导关节角度控 100 制曲线 0 8 Fig.9 3D module boundary scanning and robot path guide -300 沙o彩着 joint angle control curve y/pixel 3结束语 pixel (c)三维扫描图 本文以激光切割机器人视觉引导为研究背 景，为克服环境光照干扰、切割工件形状复杂以 及检测和控制精度低等问题，基于工业机器人手 眼协调控制理论，对机器人眼在外(Eye-to-hand) 1 视觉引导系统的设计和控制方法进行了研究，提 1500 2000 号高气汽号汽宫含 出了一种基于双目CCD激光扫描3D成像的眼在 wpixel 外(Eye-to-hand)TCP切割路径在线修正方法。首 (d切割路径提取 先，为提高机器人视觉引导控制点的提取精度， 图8注塑件三维形貌扫描与加工路径提取 研究了双目3D激光扫描成像目标工件空间点云 Fig.8 Three dimensional morphology scanning and ma- 坐标精确检测方法；其次，融合Eye-to-hand控制 chining path extraction on injection modeling object 特点和三维扫描成像系统结构，构建了一种机器 实验3通过FANUC6自由度工业机器人进行 人TCP运动轨迹在线视觉修正方法，并通过实验 了实验测试，基于双目三维扫描方式提取的三维 研究对文中所提方法进行了验证，文中方法同时 模块边界控制点对机器人工具中心点加工路径进 可应用于机器人混合多形状物料的识别、抓取与 行引导。图9所示为机器人完成切割路径引导后 分拣工作，提高机器人的工作柔性程度，对工业 各个关节的角度变化曲线。通过实验研究，证明 实际应用奠定了基础
产。图 8(c)、(d) 分别为三维扫描重构图和机器人 加工 (机器人切割) 路径视觉引导三维空间坐标 点。通过三维形态特征提取反映工件边界的特征 点，NURBS 拟合生成切割轨迹并进行视觉坐标系 转换到机器人基座坐标系的转换，通过逆运动学 求解，得到机器人一系列关节的角度，以此控制 激光切割机器人进行末端位姿修正。 参考图像 配准结果 平移+旋转 浮动图像 (a) 注塑件三维扫描 (b) 双目图像 ICP 配准 100 −100 −200 −300 0 1 800 1 600 1 400 1 200 1 000 800 800 700 600 500 400 300 200 100 0 600 400 200 0 y/pixel x/pixel z/mm (c) 三维扫描图 800 700 600 500 400 300 200 100 0 y/pixel x/pixel z/mm 1 −1 0 0 500 1 000 1 500 2 000 (d) 切割路径提取 图 8 注塑件三维形貌扫描与加工路径提取 Fig. 8 Three dimensional morphology scanning and machining path extraction on injection modeling object 实验 3 通过 FANUC6 自由度工业机器人进行 了实验测试，基于双目三维扫描方式提取的三维 模块边界控制点对机器人工具中心点加工路径进 行引导。图 9 所示为机器人完成切割路径引导后 各个关节的角度变化曲线。通过实验研究，证明 采用双目三维扫描成像与视觉伺服融合控制的方 式，针对特定应用对象，有利于提高工业机器人 三维曲面空间的加工柔性。 150 100 50 0 50 100 −150 −200 20 40 60 80 100 t/s 1 轴角度量 (θ) 2 轴角度量 (θ) 3 轴角度量 (θ) 4 轴角度量 (θ) 5 轴角度量 (θ) 6 轴角度量 (θ) 轴角度量 (θ)/(°) (b) 工业机器人关节角度变化量 (a) 三维模块边界扫描控制点提取 图 9 三维模块边界扫描与机器人路径引导关节角度控 制曲线 Fig. 9 3D module boundary scanning and robot path guide joint angle control curve 3 结束语 本文以激光切割机器人视觉引导为研究背 景，为克服环境光照干扰、切割工件形状复杂以 及检测和控制精度低等问题，基于工业机器人手 眼协调控制理论，对机器人眼在外 (Eye-to-hand) 视觉引导系统的设计和控制方法进行了研究，提 出了一种基于双目 CCD 激光扫描 3D 成像的眼在 外 (Eye-to-hand)TCP 切割路径在线修正方法。首 先，为提高机器人视觉引导控制点的提取精度， 研究了双目 3D 激光扫描成像目标工件空间点云 坐标精确检测方法；其次，融合 Eye-to-hand 控制 特点和三维扫描成像系统结构，构建了一种机器 人 TCP 运动轨迹在线视觉修正方法，并通过实验 研究对文中所提方法进行了验证，文中方法同时 可应用于机器人混合多形状物料的识别、抓取与 分拣工作，提高机器人的工作柔性程度，对工业 实际应用奠定了基础。 ·696· 智 能 系 统 学 报 第 16 卷
第4期 赵立明，等：工业机器人加工轨迹双目3D激光扫描成像修正方法 ·697· 参考文献： 2001 ICRA.IEEE International Conference on Robotics and Automation (Cat.No.01CH37164).Seoul,Korea: [1]谭民，王硕.机器人技术研究进展.自动化学报，2013， IEEE,2001,DOL:10.1109/ROBOT2001.932882 39(7):963-972 [11]CHAUMETTE F,HUTCHINSON S.Visual servo con- TAN Min,WANG Shuo.Research progress on robotics[J]. trol.I.Basic approaches[J].IEEE robotics automation Acta automatica sinica,2013,39(7):963-972. magazine,.2006,13(4:82-90 [2]王麟琨，徐德，谭民.机器人视觉伺服研究进展U).机器 [12]SCHMIDT B.WANG Lihui.Automatic work objects cal- 人，2004,26(3)：277-282. ibration via a global-local camera system[J].Robotics and WANG Linkun,XU De,TAN Min.Survey of research on computer-integrated manufacturing,2014,30(6): robotic visual servoing[J].Robot,2004,26(3):277-282. 678-683. [3]贾丙西，刘山，张凯祥，等.机器人视觉伺服研究进展：视 [13]尹湘云，殷国富，胡晓兵，等.基于支持矢量机回归的机 觉系统与控制策略[J】.自动化学报，2015,41(5)： 器人视觉系统定位精度J.机械工程学报，2011,47(1)： 861-873. 48-54. JIA Bingxi,LIU Shan,ZHANG Kaixiang,et al.Survey on YIN Xiangyun,YIN Guofu,HU Xiaobing,et al.Accur- robot visual servo control:vision system and control acy of robot vision system based on support vector ma- strategies[J].Acta automatica sinica,2015,41(5): chine regression[J].Journal of mechanical engineering, 861-873 2011,47(1):48-54 [4]蔡鹤皋.机器人技术的发展与在制造业中的应用.机 [14]ISHIBASHI S.The stereo vision system for an underwa- 械制造与自动化，2004,33(1)：6-7,10 ter vehicle[C]//Proceedings of the OCEANS 2009- CAI Hegao.Decelopment and application of robot tech- EUROPE.Bremen,Germany:IEEE,2009. niques in manufacture[J].Machine building automation, [15]WILSON W J.Visual servo control of robots using Kal- 2004,33(1):6-7,10 man filter estimates of relative pose[J].IFAC proceed- [5]尹仕斌，任永杰，刘涛，等.机器视觉技术在现代汽车制 ings volumes,1993,26(2):633-638 造中的应用综述[.光学学报，2018,38(8)：0815001， [16]陈影，孙文磊，黄勇，等.激光熔覆曲面零件再制造的机 YIN Shibin,REN Yongjie,LIU Tao,et al.Review on ap- 器人路径规划[).中国激光，2017,44(5)：73-83. plication of machine vision in modern automobile manu- CHEN Ying,SUN Wenlei,HUANG Yong,et al.Robot facturing[J].Acta optica sinica,2018,38(8):0815001. path planning of laser cladding and remanufacturing of [6]袁文礼.机器人装配中的视觉引导定位技术分析.科 curved surface parts[J].Chinese journal of lasers,2017, 技与创新，2017(10)：55. 44(5):73-83. YUAN Wenli.Analysis of vision guided positioning tech- [17]PARK J W,CHO H U,CHUNG C W,et al.Modeling nology in robot assembly[J].Science and technology in- and grinding large sculptured surface by robotic digitiza- novation,201710):55. tion[J].Journal of mechanical science and technology, [7]章炜.机器视觉技术发展及其工业应用.红外，2006， 2012,26(7):2087-2091. 27(2):11-17 [18]董玲，杨洗陈，雷剑波.基于机器视觉的激光再制造机 ZHANG Wei.Development of machine vision and its in- 器人离线自动编程研究[】.中国激光，2013,40(10)： dustrial applications[J].Infrared,2006,27(2):11-17. 109-116. [8]王天苗，陶永.我国工业机器人技术现状与产业化发展 DONG Ling,YANG Xichen,LEI Jianbo.Off-line auto- 战略).机械工程学报，2014,50(9：1-13. matic programming research of laser remanufacturing ro- WANG Tianmiao,TAO Yong.Research status and indus- bot based on machine vision[J].Chinese journal of lasers, trialization development strategy of Chinese industrial ro- 2013,40(10):109-116. bot[J].Journal of mechanical engineering,2014,50(9): [19]雷金周，曾令斌，叶南.工业机器人单目视觉对准技术 1-13. 研究).光学精密工程，2018,26(3)：733-741 [9]ESPIAU B.Effect of camera calibration errors on visual LEI Jinzhou,ZENG Lingbin,YE Nan.Research on indus- servoing in robotics[M]//YOSHIKAWA T,MIYAZAKI F. trial robot alignment technique with monocular vision[J] Experimental Robotics III.Berlin,Heidelberg:Springer, Optics and precision engineering,2018,26(3):733-741. 1994,D0:10.1007/BFb0027594 [20]杨守瑞，尹仕斌，任永杰，等.机器人柔性视觉测量系统 [10]BELOUSOV I R.CHELLALI R.CLAPWORTHY G J. 标定方法的改进[J].光学精密工程，2014,22(12)： Virtual reality tools for internet robotics[C]//Proceedings 3239-3246
参考文献： 谭民, 王硕. 机器人技术研究进展 [J]. 自动化学报, 2013, 39(7): 963–972. TAN Min, WANG Shuo. Research progress on robotics[J]. Acta automatica sinica, 2013, 39(7): 963–972. [1] 王麟琨, 徐德, 谭民. 机器人视觉伺服研究进展 [J]. 机器 人, 2004, 26(3): 277–282. WANG Linkun, XU De, TAN Min. Survey of research on robotic visual servoing[J]. Robot, 2004, 26(3): 277–282. [2] 贾丙西, 刘山, 张凯祥, 等. 机器人视觉伺服研究进展: 视 觉系统与控制策略 [J]. 自动化学报, 2015, 41(5): 861–873. JIA Bingxi, LIU Shan, ZHANG Kaixiang, et al. Survey on robot visual servo control: vision system and control strategies[J]. Acta automatica sinica, 2015, 41(5): 861–873. [3] 蔡鹤皋. 机器人技术的发展与在制造业中的应用 [J]. 机 械制造与自动化, 2004, 33(1): 6–7, 10. CAI Hegao. Decelopment and application of robot techniques in manufacture[J]. Machine building & automation, 2004, 33(1): 6–7, 10. [4] 尹仕斌, 任永杰, 刘涛, 等. 机器视觉技术在现代汽车制 造中的应用综述 [J]. 光学学报, 2018, 38(8): 0815001. YIN Shibin, REN Yongjie, LIU Tao, et al. Review on application of machine vision in modern automobile manufacturing[J]. Acta optica sinica, 2018, 38(8): 0815001. [5] 袁文礼. 机器人装配中的视觉引导定位技术分析 [J]. 科 技与创新, 2017(10): 55. YUAN Wenli. Analysis of vision guided positioning technology in robot assembly[J]. Science and technology & innovation, 2017(10): 55. [6] 章炜. 机器视觉技术发展及其工业应用 [J]. 红外, 2006, 27(2): 11–17. ZHANG Wei. Development of machine vision and its industrial applications[J]. Infrared, 2006, 27(2): 11–17. [7] 王天苗, 陶永. 我国工业机器人技术现状与产业化发展 战略 [J]. 机械工程学报, 2014, 50(9): 1–13. WANG Tianmiao, TAO Yong. Research status and industrialization development strategy of Chinese industrial robot[J]. Journal of mechanical engineering, 2014, 50(9): 1–13. [8] ESPIAU B. Effect of camera calibration errors on visual servoing in robotics[M]//YOSHIKAWA T, MIYAZAKI F. Experimental Robotics III. Berlin, Heidelberg: Springer, 1994, DOI: 10.1007/BFb0027594. [9] BELOUSOV I R, CHELLALI R, CLAPWORTHY G J. Virtual reality tools for internet robotics[C]//Proceedings [10] 2001 ICRA. IEEE International Conference on Robotics and Automation (Cat. No. 01CH37164). Seoul, Korea: IEEE, 2001, DOI: 10.1109/ROBOT.2001.932882. CHAUMETTE F, HUTCHINSON S. Visual servo control. I. Basic approaches[J]. IEEE robotics & automation magazine, 2006, 13(4): 82–90. [11] SCHMIDT B, WANG Lihui. Automatic work objects calibration via a global-local camera system[J]. Robotics and computer-integrated manufacturing, 2014, 30(6): 678–683. [12] 尹湘云, 殷国富, 胡晓兵, 等. 基于支持矢量机回归的机 器人视觉系统定位精度 [J]. 机械工程学报, 2011, 47(1): 48–54. YIN Xiangyun, YIN Guofu, HU Xiaobing, et al. Accuracy of robot vision system based on support vector machine regression[J]. Journal of mechanical engineering, 2011, 47(1): 48–54. [13] ISHIBASHI S. The stereo vision system for an underwater vehicle[C]//Proceedings of the OCEANS 2009- EUROPE. Bremen, Germany: IEEE, 2009. [14] WILSON W J. Visual servo control of robots using Kalman filter estimates of relative pose[J]. IFAC proceedings volumes, 1993, 26(2): 633–638. [15] 陈影, 孙文磊, 黄勇, 等. 激光熔覆曲面零件再制造的机 器人路径规划 [J]. 中国激光, 2017, 44(5): 73–83. CHEN Ying, SUN Wenlei, HUANG Yong, et al. Robot path planning of laser cladding and remanufacturing of curved surface parts[J]. Chinese journal of lasers, 2017, 44(5): 73–83. [16] PARK J W, CHO H U, CHUNG C W, et al. Modeling and grinding large sculptured surface by robotic digitization[J]. Journal of mechanical science and technology, 2012, 26(7): 2087–2091. [17] 董玲, 杨洗陈, 雷剑波. 基于机器视觉的激光再制造机 器人离线自动编程研究 [J]. 中国激光, 2013, 40(10): 109–116. DONG Ling, YANG Xichen, LEI Jianbo. Off-line automatic programming research of laser remanufacturing robot based on machine vision[J]. Chinese journal of lasers, 2013, 40(10): 109–116. [18] 雷金周, 曾令斌, 叶南. 工业机器人单目视觉对准技术 研究 [J]. 光学精密工程, 2018, 26(3): 733–741. LEI Jinzhou, ZENG Lingbin, YE Nan. Research on industrial robot alignment technique with monocular vision[J]. Optics and precision engineering, 2018, 26(3): 733–741. [19] 杨守瑞, 尹仕斌, 任永杰, 等. 机器人柔性视觉测量系统 标定方法的改进 [J]. 光学精密工程, 2014, 22(12): 3239–3246. [20] 第 4 期 赵立明，等：工业机器人加工轨迹双目 3D 激光扫描成像修正方法 ·697·
·698· 智能系统学报 第16卷 YANG Shourui,YIN Shibin,REN Yongjie,et al.Im- 600-607. provement of calibration method for robotic flexible visu- [27]孙玉文，吴宏基，刘健.基于NURBS的自由曲面精确拟 al measurement systems].Optics and precision engin- 合方法研究).机械工程学报，2004,40(3少：10-14. eering,2014,22(12):3239-3246. SUN Yuwen,WU Hongji,LIU Jian.Research on the [21]李莹莹，张志毅，袁林.线结构光光条中心提取综述). method of accurate NURBS surface fitting to scattered 激光与光电子学进展，2013,5010)：9-18 points[J].Chinese journal of mechanical engineering, LI Yingying,ZHANG Zhiyi,YUAN Lin.Survey on lin- 2004,40(3):10-14. ear structured light stripe center extraction[J].Laser op- [28]闫继宏，郭鑫，刘玉斌，等.一种模块化机械臂的设计与 toelectronics progress,2013,50(10):9-18 运动学分析[J】.哈尔滨工业大学学报，2015,47(1)： [22]李伟明，彭国，高兴宇，等.线激光光条中心快速提取算 20-25. 法[).中国激光，2020,47(3)0304002. LI Weiming,PENG Guo,GAO Xingyu,et al.Fast extrac- YAN Jihong,GUO Xin,LIU Yubin,et al.The design and tion algorithm for line laser strip centers[J].Chinese kinematic analysis of a modular manipulator[J].Journal journal of lasers.2020.47(3):0304002. of Harbin Institute of Technology,2015,47(1):20-25. [23]刘枝梅，邓文怡，娄小平.结构光测量系统中光条中心 作者简介： 的提取算法J].北京机械工业学院学报，2009,24(1)： 赵立明，副教授.主要研究方向为 42-45. 多传感器信息融合处理、机器人视觉 LIU Zhimei,DENG Wenyi,LOU Xiaoping.Extraction 引导、医学图像处理与模式识别、机器 视觉与深度学习。主持国家自然科学 algorithm of light stripes center in the measurement sys- 基金项目1项、省部级产业类重点项 tem of structured light[J].Journal of Beijing institute of 目1项、省部级自然科学基金项目 machinery,2009,241):42-45. 2项。发表学术论文20余篇。 [24]刘振，李声，冯常.基于互相关算法的激光条纹中心提 取[U.中国激光，2013,40(5)：197-202 龙大周，硕士研究生，主要研究方 向为机器人视觉引导、图像处理与模 LIU Zhen,LI Sheng,FENG Chang.Laser stripe center 式识别。 extraction based on cross-correlation algorithm[J]. Chinese journal of lasers,2013,40(5):197-202. [25]吴剑波，崔振，赵宏，等.光刀中心自适应阈值提取法 [.半导体光电，2001,22(1)：62-64. WU Jianbo,CUI Zhen,ZHAO Hong,et al.An adaptive 徐晓东，讲师，主要研究方向为机 threshold method for light-knife center acquisition[J]. 器人视觉引导、机器视觉与深度学习。 Semiconductor optoelectronics,2001,22(1):62-64. [26]ZHAO Liming,OUYANG Qi,CHEN D,et al.Study on CCD laser scanning flatness measurement method for hot rolled strip[J].Ironmaking steelmaking,2015,42(8):
YANG Shourui, YIN Shibin, REN Yongjie, et al. Improvement of calibration method for robotic flexible visual measurement systems[J]. Optics and precision engineering, 2014, 22(12): 3239–3246. 李莹莹, 张志毅, 袁林. 线结构光光条中心提取综述 [J]. 激光与光电子学进展, 2013, 50(10): 9–18. LI Yingying, ZHANG Zhiyi, YUAN Lin. Survey on linear structured light stripe center extraction[J]. Laser & optoelectronics progress, 2013, 50(10): 9–18. [21] 李伟明, 彭国, 高兴宇, 等. 线激光光条中心快速提取算 法 [J]. 中国激光, 2020, 47(3): 0304002. LI Weiming, PENG Guo, GAO Xingyu, et al. Fast extraction algorithm for line laser strip centers[J]. Chinese journal of lasers, 2020, 47(3): 0304002. [22] 刘枝梅, 邓文怡, 娄小平. 结构光测量系统中光条中心 的提取算法 [J]. 北京机械工业学院学报, 2009, 24(1): 42–45. LIU Zhimei, DENG Wenyi, LOU Xiaoping. Extraction algorithm of light stripes center in the measurement system of structured light[J]. Journal of Beijing institute of machinery, 2009, 24(1): 42–45. [23] 刘振, 李声, 冯常. 基于互相关算法的激光条纹中心提 取 [J]. 中国激光, 2013, 40(5): 197–202. LIU Zhen, LI Sheng, FENG Chang. Laser stripe center extraction based on cross-correlation algorithm[J]. Chinese journal of lasers, 2013, 40(5): 197–202. [24] 吴剑波, 崔振, 赵宏, 等. 光刀中心自适应阈值提取法 [J]. 半导体光电, 2001, 22(1): 62–64. WU Jianbo, CUI Zhen, ZHAO Hong, et al. An adaptive threshold method for light-knife center acquisition[J]. Semiconductor optoelectronics, 2001, 22(1): 62–64. [25] ZHAO Liming, OUYANG Qi, CHEN D, et al. Study on CCD laser scanning flatness measurement method for hot rolled strip[J]. Ironmaking & steelmaking, 2015, 42(8): [26] 600–607. 孙玉文, 吴宏基, 刘健. 基于 NURBS 的自由曲面精确拟 合方法研究 [J]. 机械工程学报, 2004, 40(3): 10–14. SUN Yuwen, WU Hongji, LIU Jian. Research on the method of accurate NURBS surface fitting to scattered points[J]. Chinese journal of mechanical engineering, 2004, 40(3): 10–14. [27] 闫继宏, 郭鑫, 刘玉斌, 等. 一种模块化机械臂的设计与 运动学分析 [J]. 哈尔滨工业大学学报, 2015, 47(1): 20–25. YAN Jihong, GUO Xin, LIU Yubin, et al. The design and kinematic analysis of a modular manipulator[J]. Journal of Harbin Institute of Technology, 2015, 47(1): 20–25. [28] 作者简介： 赵立明，副教授，主要研究方向为 多传感器信息融合处理、机器人视觉 引导、医学图像处理与模式识别、机器 视觉与深度学习。主持国家自然科学 基金项目 1 项、省部级产业类重点项 目 1 项、省部级自然科学基金项目 2 项。发表学术论文 20 余篇。 龙大周，硕士研究生，主要研究方 向为机器人视觉引导、图像处理与模 式识别。 徐晓东，讲师，主要研究方向为机 器人视觉引导、机器视觉与深度学习。 ·698· 智 能 系 统 学 报 第 16 卷