工程科学学报，第40卷，第3期：381-388,2018年3月 Chinese Journal of Engineering,Vol.40,No.3:381-388,March 2018 DOI:10.13374/j.issn2095-9389.2018.03.015:http://journals.ustb.edu.cn 存在视场丢失的机器视觉精度补偿方法 黄煜，黄翔四，李泷呆，江一帆 南京航空航天大学机电学院，南京210016 ☒通倍作者，E-mail:xhuangnuaa(@l63.com 摘要无论Eye一in-Hand或Eye-to-Hand型式的机器视觉控制系统，均存在视场受限、丢失等情况，从而无法在一定距离、 角度内对目标进行在线视觉测量，进而无法建立全闭环的伺服控制.基于Eye-in-Hand型式的机器视觉控制系统，以及最短 测量距离L,提出一种闭环与开环相结合的伺服控制系统：即测量距离大于L时为位置反馈型闭环控制的原位调姿，在测 量距离小于L时为位置给定型开环控制，机器人以相对线性运动进给到目标位置.针对该过程中的偏移问题，提出了前馈 补偿模型，即利用前期运动数据对运动误差进行估计.实验证明，该方法能有效地补偿定位误差 关键词机器视觉：误差补偿：工业机器人：双目视觉：视场 分类号TP242.2 Compensation method for a robot vision system with an occluded camera field HUANG Yu,HUANG Xiang,LI Shuang-gao,JIANG Yi-fan College of Mechanical and Electrical Engineering,Nanjing University of Aeronautics Astronautics,Nanjing 210016,China Corresponding author,E-mail:xhuangnuaa@163.com ABSTRACT In both Eye-in-Hand and Eye-to-Hand robotic visual controls,problems such as limited field of view or tracking tar- get loss remain.Thus,online measurement cannot be performed within a certain distance and a certain degree,and a closed-oop con- trol cannot be constructed.Based on Eye-in-Hand visual control and the theoretical shortest measuring distanceL a visual servo combining the closed-loop and open-oop controls was proposed.When above L,an iterative compensation method was proposed to adjust the attitude with the online measured data.In contrast,when below L,a feed-forward compensation for relative linear motion was integrated to improve the positioning accuracy,estimating the error by the data determined by actually moving the path of the robot record by the visual system.As shown by several experiments,this method can effectively enhance the position accuracy. KEY WORDS visual servo control;compensation:industrial robots:binocular vision:camera field 对于机器人自主作业来说，视觉测量起着非常 机器人视觉控制中，工业机器人与摄像机的配 重要的作用.根据摄像机获得的视觉信息对目标的 置（手眼关系）通常有两种：固定在周围环境中 位置和姿态进行测量即为视觉测量.将视觉测量系 (Eye-to-Hand)和安装在末端执行器上(Eye一in- 统加入到机器人控制回路中形成闭、开环控制，以视 Hand)因.这两种配置都存在视场受限或目标易丢 觉测量的信息作为给定或反馈对机器人的位置和姿 失的问题.对于Eye一to一Hand视觉控制系统，当机 态进行控制，引导机器人完成对物体的跟踪-习、抓 器人与目标达到一定距离后（即目标处于机械臂的 取同等其他习作业任务，提高了机器人的智能化 操作范围内)机器人就停止运动.根据视觉测量结 水平和自主作业能力. 果，改由机械臂向目标移动并对目标进行操作.机 收稿日期：201705-24 基金项目：航空科学基金资助项目(2016ZE52053):国家重点研发计划‘重大科学仪器设备开发'资助项目(2017YF0107304)工程科学学报，第 40 卷，第 3 期: 381--388，2018 年 3 月 Chinese Journal of Engineering，Vol． 40，No． 3: 381--388，March 2018 DOI: 10． 13374 /j． issn2095--9389． 2018． 03． 015; http: / /journals． ustb． edu． cn 存在视场丢失的机器视觉精度补偿方法 黄 煜，黄 翔，李泷杲，江一帆 南京航空航天大学机电学院，南京 210016 通信作者，E-mail: xhuangnuaa@ 163． com 摘 要 无论 Eye--in--Hand 或 Eye--to--Hand 型式的机器视觉控制系统，均存在视场受限、丢失等情况，从而无法在一定距离、 角度内对目标进行在线视觉测量，进而无法建立全闭环的伺服控制． 基于 Eye--in--Hand 型式的机器视觉控制系统，以及最短 测量距离 Lmin，提出一种闭环与开环相结合的伺服控制系统: 即测量距离大于 Lmin时为位置反馈型闭环控制的原位调姿，在测 量距离小于 Lmin时为位置给定型开环控制，机器人以相对线性运动进给到目标位置． 针对该过程中的偏移问题，提出了前馈 补偿模型，即利用前期运动数据对运动误差进行估计． 实验证明，该方法能有效地补偿定位误差． 关键词 机器视觉; 误差补偿; 工业机器人; 双目视觉; 视场 分类号 TP242. 2 收稿日期: 2017--05--24 基金项目: 航空科学基金资助项目( 2016ZE52053) ; 国家重点研发计划‘重大科学仪器设备开发’资助项目( 2017YFF0107304) Compensation method for a robot vision system with an occluded camera field HUANG Yu，HUANG Xiang ，LI Shuang-gao，JIANG Yi-fan College of Mechanical and Electrical Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 210016，China Corresponding author，E-mail: xhuangnuaa@ 163． com ABSTＲACT In both Eye--in--Hand and Eye--to--Hand robotic visual controls，problems such as limited field of view or tracking tar￾get loss remain． Thus，online measurement cannot be performed within a certain distance and a certain degree，and a closed-loop con￾trol cannot be constructed． Based on Eye--in--Hand visual control and the theoretical shortest measuring distance Lmin，a visual servo combining the closed-loop and open-loop controls was proposed． When above Lmin，an iterative compensation method was proposed to adjust the attitude with the online measured data． In contrast，when below Lmin，a feed-forward compensation for relative linear motion was integrated to improve the positioning accuracy，estimating the error by the data determined by actually moving the path of the robot record by the visual system． As shown by several experiments，this method can effectively enhance the position accuracy． KEY WOＲDS visual servo control; compensation; industrial robots; binocular vision; camera field 对于机器人自主作业来说，视觉测量起着非常 重要的作用． 根据摄像机获得的视觉信息对目标的 位置和姿态进行测量即为视觉测量． 将视觉测量系 统加入到机器人控制回路中形成闭、开环控制，以视 觉测量的信息作为给定或反馈对机器人的位置和姿 态进行控制，引导机器人完成对物体的跟踪［1--2］、抓 取［3］等其他［4--5］作业任务，提高了机器人的智能化 水平和自主作业能力． 机器人视觉控制中，工业机器人与摄像机的配 置( 手 眼 关 系) 通 常 有 两 种: 固 定 在 周 围 环 境 中 ( Eye--to--Hand) 和安装在末端执行器上( Eye--in-- Hand) ［6］． 这两种配置都存在视场受限或目标易丢 失的问题． 对于 Eye--to--Hand 视觉控制系统，当机 器人与目标达到一定距离后( 即目标处于机械臂的 操作范围内) 机器人就停止运动． 根据视觉测量结 果，改由机械臂向目标移动并对目标进行操作． 机