第50卷第1期 哈尔滨工业大学学报 Vol 50 No. 1 2018年1月 JOURNAL OF HARBIN INSTITUTE OF TECHNOLOGY Jan.2018 DOI:10.l1918/ J. ISsn.0367-6234.2017143 机械臂视觉伺服路径规划研究进展 任秉银,魏坤',吴卓琦2 (1哈尔滨工业大学机电工程学院,哈尔滨15001;2.上海交通大学机械与动力工程学院,上海200240) 摘要:视觉伺服控制是机械臂完成各种复杂作业任务的有效手段,而机械臂在动态非结构环境下自主作业的路径规划方法 是视觉伺服控制领域的难点和关键.分析了动态非结构环境下视觉伺服路径规划中存在的两类约東及其处理方法,介绍并评 述了国内外在机械臂视觉伺服控制中路径规划方面的相关研究进展,讨论并分析了不同路径规划方法在收敛性和稳定性等 方面存在的不足,对未来的研究方向进行了展望 关键词:机械臂;视觉伺服;路径规划;约東;动态非结构环境;不确定性 中图分类号:TP391 文献标志码:A 文章编号:0367-6234(2018)01-0001-10 Research progress of path planning for visual servoing of robotic manipulator Ren Bingyin, WEI Kun, wU Zhuo (1. School of Mechatronics Engineering, Harbin Institute of Technology, Harbin 150001, China 2.School of Mechanical and Power Engineering, Shanghai Jiaotong University, Shanghai 200240, CI Abstract: Visual servoing control is an effective means for robotic manipulator to complete complex tasks and the path planning method of the robo tc manp bulator autonomous operation in dynamic unstructured environment is the difficulty and key in the field of visual servoing control. Two types of constraints that exist in the visual servoing path planning in dynamic unstructured environment and the processing methods of constraints are analyzed. The relevant research progresses of path planning in visual servoing control of robotic manipulator at home and abroad are reviewed, and the deficiencies in convergence and stability of different methods of path planning are als The future research direction is prospected based on current research progress Keywords: robotic manipulator; visual servoing; path planning; constraint; dynamic unstructured environment uncertainty 机械臂已经广泛应用于工业自动化领域,但大笛卡尔空间,后者将误差直接定义在二维图像空间 多数情况下,机械臂是在静态结构化环境下作业,即 IBVS对相机标定和建模误差有着较好的鲁棒 机械臂的作业过程是固定不变的,机械臂只需要重性局部稳定性和收敛性切.然而,BVS却经常会遇 复运行预先离线编制好的程序即可完成预定作业任到全局收敛性问题,尤其当目标初始位姿和期望位 务.在未来智能工厂中,需要机械臂能够在动态姿相差较大时,可能会导致视觉伺服失败.此外 变化的非结构环境下完成复杂作业任务,要求机械当图像特征在相机视野之外也会导致伺服任务失 臂具有智能感知外部复杂环境、自主规划作业路径败.当IⅤS不能对机械臂和相机有效控制时,可能 以及安全作业的能力 会因为机械臂与工作空间中的障碍物发生碰撞而导 视觉传感器作为非接触式外部传感器,可以感致机械臂无法执行预定操作.因为在大多数机械臂 知机械臂在定位和跟踪任务中环境的动态变化2.应用中都存在着目标的初始和期望位姿相差较大和 在视觉伺服中,通常将当前特征和期望特征之间的多重环境约束,所以融合路径规划技术的IBVS策 误差定义为反馈函数{,通过视觉传感器反馈信略可以改善视觉伺服过程的鲁棒性. 息实时引导机械臂运动,使这个误差趋向于零 视觉伺服路径规划的主要思想是在特定动态非 根据误差函数的定义,现有的视觉伺服方法主要结构环境约束下规划和生成可执行的图像轨迹,然 可以分为基于位置的视觉伺服( Position-Based visua后驱动机械臂沿着规划的轨迹完成作业任务9 Servoing,PBⅤS)和基于图像的视觉伺服( Image-Based 本文首先介绍存在于动态非结构环境视觉伺服 Visual servoing,IBVS)两大类,前者将误差定义在三维路径规划中的两类重要约束,即相机/图像约束和机 械臂/物理约束;其次,总结视觉伺服路径规划方法 收稿日期:2017-11-28 作者简介:任秉银(1966—),男,教授,博士生导师 的研究进展,并分析各种路径规划方法存在的不足 通信作者:任秉银, denby@ hit. edu.en 最后,对未来的研究方向进行展望第 ５０ 卷 第 １ 期 ２ ０ １ ８ 年 １ 月 哈 尔 滨 工 业 大 学 学 报 ＪＯＵＲＮＡＬ ＯＦ ＨＡＲＢＩＮ ＩＮＳＴＩＴＵＴＥ ＯＦ ＴＥＣＨＮＯＬＯＧＹ Ｖｏｌ􀆰 ５０ Ｎｏ􀆰 １ Ｊａｎ． ２０１８ ＤＯＩ：１０．１１９１８ ／ ｊ．ｉｓｓｎ．０３６７⁃６２３４． ２０１７１１１４３ 机械臂视觉伺服路径规划研究进展 任秉银１ ， 魏 坤１ ， 吴卓琦２ （１．哈尔滨工业大学 机电工程学院， 哈尔滨 １５０００１； ２．上海交通大学 机械与动力工程学院， 上海 ２００２４０） 摘 要： 视觉伺服控制是机械臂完成各种复杂作业任务的有效手段，而机械臂在动态非结构环境下自主作业的路径规划方法 是视觉伺服控制领域的难点和关键． 分析了动态非结构环境下视觉伺服路径规划中存在的两类约束及其处理方法，介绍并评 述了国内外在机械臂视觉伺服控制中路径规划方面的相关研究进展，讨论并分析了不同路径规划方法在收敛性和稳定性等 方面存在的不足，对未来的研究方向进行了展望． 关键词： 机械臂；视觉伺服；路径规划；约束；动态非结构环境；不确定性 中图分类号： ＴＰ３９１ 文献标志码： Ａ 文章编号： ０３６７－６２３４（２０１８）０１－０００１－１０ Ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ ｏｆ ｐａｔｈ ｐｌａｎｎｉｎｇ ｆｏｒ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｏｆ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ＲＥＮ Ｂｉｎｇｙｉｎ １ ， ＷＥＩ Ｋｕｎ １ ， ＷＵ Ｚｈｕｏｑｉ ２ （１． Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｈａｒｂｉｎ １５０００１， Ｃｈｉｎａ； ２．Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｎｉｃａｌ ａｎｄ Ｐｏｗｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｓｈａｎｇｈａｉ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２００２４０， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ： Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｃｏｎｔｒｏｌ ｉｓ ａｎ ｅｆｆｅｃｔｉｖｅ ｍｅａｎｓ ｆｏｒ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ｔｏ ｃｏｍｐｌｅｔｅ ｃｏｍｐｌｅｘ ｔａｓｋｓ ａｎｄ ｔｈｅ ｐａｔｈ ｐｌａｎｎｉｎｇ ｍｅｔｈｏｄ ｏｆ ｔｈｅ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ａｕｔｏｎｏｍｏｕｓ ｏｐｅｒａｔｉｏｎ ｉｎ ｄｙｎａｍｉｃ ｕｎｓｔｒｕｃｔｕｒｅｄ ｅｎｖｉｒｏｎｍｅｎｔ ｉｓ ｔｈｅ ｄｉｆｆｉｃｕｌｔｙ ａｎｄ ｋｅｙ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｃｏｎｔｒｏｌ． Ｔｗｏ ｔｙｐｅｓ ｏｆ ｃｏｎｓｔｒａｉｎｔｓ ｔｈａｔ ｅｘｉｓｔ ｉｎ ｔｈｅ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｐａｔｈ ｐｌａｎｎｉｎｇ ｉｎ ｄｙｎａｍｉｃ ｕｎｓｔｒｕｃｔｕｒｅｄ ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ ｔｈｅ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄｓ ｏｆ ｃｏｎｓｔｒａｉｎｔｓ ａｒｅ ａｎａｌｙｚｅｄ． Ｔｈｅ ｒｅｌｅｖａｎｔ ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓｅｓ ｏｆ ｐａｔｈ ｐｌａｎｎｉｎｇ ｉｎ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｃｏｎｔｒｏｌ ｏｆ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ａｔ ｈｏｍｅ ａｎｄ ａｂｒｏａｄ ａｒｅ ｒｅｖｉｅｗｅｄ， ａｎｄ ｔｈｅ ｄｅｆｉｃｉｅｎｃｉｅｓ ｉｎ ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ ｓｔａｂｉｌｉｔｙ ｏｆ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｆ ｐａｔｈ ｐｌａｎｎｉｎｇ ａｒｅ ａｌｓｏ ａｎａｌｙｚｅｄ． Ｔｈｅ ｆｕｔｕｒｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ｉｓ ｐｒｏｓｐｅｃｔｅｄ ｂａｓｅｄ ｏｎ ｃｕｒｒｅｎｔ ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ． Ｋｅｙｗｏｒｄｓ： ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ； ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ； ｐａｔｈ ｐｌａｎｎｉｎｇ； ｃｏｎｓｔｒａｉｎｔ； ｄｙｎａｍｉｃ ｕｎｓｔｒｕｃｔｕｒｅｄ ｅｎｖｉｒｏｎｍｅｎｔ； ｕｎｃｅｒｔａｉｎｔｙ 收稿日期： ２０１７－１１－２８ 作者简介： 任秉银（１９６６—），男，教授，博士生导师． 通信作者： 任秉银，ｒｅｎｂｙ＠ ｈｉｔ．ｅｄｕ．ｃｎ． 机械臂已经广泛应用于工业自动化领域，但大 多数情况下，机械臂是在静态结构化环境下作业，即 机械臂的作业过程是固定不变的，机械臂只需要重 复运行预先离线编制好的程序即可完成预定作业任 务［１］ ． 在未来智能工厂中，需要机械臂能够在动态 变化的非结构环境下完成复杂作业任务，要求机械 臂具有智能感知外部复杂环境、自主规划作业路径 以及安全作业的能力． 视觉传感器作为非接触式外部传感器，可以感 知机械臂在定位和跟踪任务中环境的动态变化［２］ ． 在视觉伺服中，通常将当前特征和期望特征之间的 误差定义为反馈函数［３－４］ ，通过视觉传感器反馈信 息实时引导机械臂运动，使这个误差趋向于零． 根据误差函数的定义，现有的视觉伺服方法主要 可以分为基于位置的视觉伺服（Ｐｏｓｉｔｉｏｎ⁃Ｂａｓｅｄ Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ， ＰＢＶＳ）和基于图像的视觉伺服（Ｉｍａｇｅ⁃Ｂａｓｅｄ Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ， ＩＢＶＳ）两大类，前者将误差定义在三维 笛卡尔空间，后者将误差直接定义在二维图像空间［５－６］ ． ＩＢＶＳ 对相机标定和建模误差有着较好的鲁棒 性、局部稳定性和收敛性［７］ ． 然而，ＩＢＶＳ 却经常会遇 到全局收敛性问题，尤其当目标初始位姿和期望位 姿相差较大时，可能会导致视觉伺服失败［８］ ． 此外， 当图像特征在相机视野之外也会导致伺服任务失 败． 当 ＩＢＶＳ 不能对机械臂和相机有效控制时，可能 会因为机械臂与工作空间中的障碍物发生碰撞而导 致机械臂无法执行预定操作． 因为在大多数机械臂 应用中都存在着目标的初始和期望位姿相差较大和 多重环境约束，所以融合路径规划技术的 ＩＢＶＳ 策 略可以改善视觉伺服过程的鲁棒性． 视觉伺服路径规划的主要思想是在特定动态非 结构环境约束下规划和生成可执行的图像轨迹，然 后驱动机械臂沿着规划的轨迹完成作业任务［９］ ． 本文首先介绍存在于动态非结构环境视觉伺服 路径规划中的两类重要约束，即相机／ 图像约束和机 械臂／ 物理约束；其次，总结视觉伺服路径规划方法 的研究进展，并分析各种路径规划方法存在的不足； 最后，对未来的研究方向进行展望．