第1期 任秉银,等:机械臂视觉伺服路径规划研究进展 3 合路径规划以解决上述约束问题是非常必要的 2视觉伺服路径规划 视觉伺服路径规划的主要思想是在考虑上述所 Goal gripper 有约束条件下规划和生成可行的图像轨迹,然后以 IBⅤsS驱动机械臂沿着规划的轨迹进行作业0.通 过将较大的初始误差离散化,使得在每个伺服周期 中的误差足够小,从而能够充分地利用IBVS出色 的局部稳定性与鲁棒性5 根据路径规划方法特点和所做的假设,与视觉 伺服相结合的路径规划方法可以分为以下5类:1) 图1虚拟手爪上的点沿直线平移 图像空间路径规划;2)基于优化的路径规划;3)基 Fig.1 Points on the virtual gl ipper moving along a straight line[ 35) 于势场法的路径规划;4)全局路径规划;5)不确定2.12射影单应性 性下视觉伺服路径规划. 法国国家信息与自动化研究所一直致力于图像 2.1图像空间路径规划 空间路径规划方面研究工作.为了避免计算可行相 图像空间路径规划技术旨在初始图像和期望图机路径依赖于相机标定和目标模型,1993年,该研 像之间插入一条路径而不需要任何相机标定或者目究所的 faugeras使用初始图像和期望图像建立 标模型.这种方法的难点在于规划的图像空间路径射影几何关系,由于定义在射影空间,相机在欧几里 可能不会对应唯一的相机路径.所以,学者们又研德空间的位移可以部分参数化,而不需要显式重建 究了规划图像路径对应无标定环境中可执行的相机欧几里德空间分量.射影单应性矩阵可以被应用在 路径.其中,对极几何、射影单应性和射影不变性等路径规划方法中,它体现了同一场景不同视野之间 射影几何知识被应用于图像空间路径规划中. 的关系,可以从两幅图像中的点、线、面和轮廓等特 2.1.1对极几何 征估计得到3-3 1995年,日本大阪大学 Hosoda等基于定义 2003年,NRIA的 Mezouar等又提出一种在 在由机械臂末端的立体相机(眼在手上配置)获得初始图像和期望图像之间插入共线矩阵来获得封闭 图像中的对极几何约束,直接在图像空间中设计视的共线路径的无标定路径规划方法,使用IVs跟 觉伺服轨迹生成器,然后利用基于雅可比估计器的踪求导后的图像特征轨迹.然而,这种方法在存在 无标定视觉伺服控制器跟踪规划好的图像轨迹,从视野约束时却不能保证收敛到期望位置.法国巴黎 而实现了在不需要任何系统或者相机标定等先验知第六大学 Schramm等则在上述研究基础上引入 识的前提下,保证机械臂末端执行器能够在未知环了可见性约束来扩展这种方法,通过引导目标上任 境中避开障碍物 意选择的参考点在图像中沿着直线运动,从而保证 2003年,澳州国立大学 Hartley等通过给定参考点始终处于相机视野内由此带来的问题是 同一场景的多个视角,也采用对极几何研究了无标相机不再沿着直线运动,并且其他特征也可能会不 定视觉伺服问题.在没有目标物体的任何三维信息在相机视野内,所以设计了深度模块,通过控制相机 的情况下,韩国先进科技学院Pak和 chung提出沿着光轴后退来保证无论何时一个特征到达相机视 了基于眼在手外的立体视觉抓取场景中的无标定图野边界时,其它特征都实时可见 像空间路径规划方法,在初始图像和期望图像的射 一些研究人员采用分解欧几里德单应性矩阵的 影空间中利用对极几何沿着一条直线生成机械臂手方法来规划图像路径,从而生成可执行的相机路径 爪的一系列中间视图,这些中间视图组成期望的图而不需要笛卡尔空间相机路径的重建.例如,拉彭 像轨迹,然后利用法国国家信息与自动化研究所兰塔科技大学Kyk等4提出一种基于单应性矩阵 (INRA)的Espa等提出的BVS方法控制机械部分位姿估计的最短路径规划方法,该方法直接沿 臂沿着图像轨迹运动,机械臂跟随轨迹的同时,手爪着单应性矩阵分解得到的方向移动手眼相机到达工 可以在三维工作空间走直线,整个运动过程中手爪作空间的期望位姿,同时保证位于目标物体中心虚 的特征点始终处在相机视野内,如图1所示,可以看拟点的可见性佛罗伦萨大学Aota等提出一个 岀末端执行器手抓虚拟点始终沿着直线运动,而未类似的基于单应性分解的方法,选择螺旋线路径代 逃离相机视野 替直线路径作为参考路径来表示相机从初始位姿到合路径规划以解决上述约束问题是非常必要的． ２ 视觉伺服路径规划 视觉伺服路径规划的主要思想是在考虑上述所 有约束条件下规划和生成可行的图像轨迹，然后以 ＩＢＶＳ 驱动机械臂沿着规划的轨迹进行作业［３０］ ． 通 过将较大的初始误差离散化，使得在每个伺服周期 中的误差足够小，从而能够充分地利用 ＩＢＶＳ 出色 的局部稳定性与鲁棒性［３１］ ． 根据路径规划方法特点和所做的假设，与视觉 伺服相结合的路径规划方法可以分为以下 ５ 类：１） 图像空间路径规划；２）基于优化的路径规划；３） 基 于势场法的路径规划；４）全局路径规划；５） 不确定 性下视觉伺服路径规划． ２．１ 图像空间路径规划 图像空间路径规划技术旨在初始图像和期望图 像之间插入一条路径而不需要任何相机标定或者目 标模型． 这种方法的难点在于规划的图像空间路径 可能不会对应唯一的相机路径． 所以，学者们又研 究了规划图像路径对应无标定环境中可执行的相机 路径． 其中，对极几何、射影单应性和射影不变性等 射影几何知识被应用于图像空间路径规划中． ２．１．１ 对极几何 １９９５ 年，日本大阪大学 Ｈｏｓｏｄａ 等［３２］ 基于定义 在由机械臂末端的立体相机（眼在手上配置） 获得 图像中的对极几何约束，直接在图像空间中设计视 觉伺服轨迹生成器，然后利用基于雅可比估计器的 无标定视觉伺服控制器跟踪规划好的图像轨迹，从 而实现了在不需要任何系统或者相机标定等先验知 识的前提下，保证机械臂末端执行器能够在未知环 境中避开障碍物． ２００３ 年，澳州国立大学 Ｈａｒｔｌｅｙ 等［３３］ 通过给定 同一场景的多个视角，也采用对极几何研究了无标 定视觉伺服问题． 在没有目标物体的任何三维信息 的情况下，韩国先进科技学院 Ｐａｒｋ 和 Ｃｈｕｎｇ ［３４］提出 了基于眼在手外的立体视觉抓取场景中的无标定图 像空间路径规划方法，在初始图像和期望图像的射 影空间中利用对极几何沿着一条直线生成机械臂手 爪的一系列中间视图，这些中间视图组成期望的图 像轨迹，然后利用法国国家信息与自动化研究所 （ＩＮＲＩＡ）的 Ｅｓｐｉａｕ 等［３５］提出的 ＩＢＶＳ 方法控制机械 臂沿着图像轨迹运动，机械臂跟随轨迹的同时，手爪 可以在三维工作空间走直线，整个运动过程中手爪 的特征点始终处在相机视野内，如图 １ 所示，可以看 出末端执行器手抓虚拟点始终沿着直线运动，而未 逃离相机视野． I12 I12 I1 G1 Gk* Gk* G1 * GRk GRk kthvirtual gripper Initialgripper Goalgripper I11 k* k k 2 1 2 1 图 １ 虚拟手爪上的点沿直线平移［３５］ Ｆｉｇ．１ Ｐｏｉｎｔｓ ｏｎ ｔｈｅ ｖｉｒｔｕａｌ ｇｒｉｐｐｅｒ ｍｏｖｉｎｇ ａｌｏｎｇ ａ ｓｔｒａｉｇｈｔ ｌｉｎｅ ［３５］ ２．１．２ 射影单应性 法国国家信息与自动化研究所一直致力于图像 空间路径规划方面研究工作． 为了避免计算可行相 机路径依赖于相机标定和目标模型，１９９３ 年，该研 究所的 Ｆａｕｇｅｒａｓ ［３６］ 使用初始图像和期望图像建立 射影几何关系，由于定义在射影空间，相机在欧几里 德空间的位移可以部分参数化，而不需要显式重建 欧几里德空间分量． 射影单应性矩阵可以被应用在 路径规划方法中，它体现了同一场景不同视野之间 的关系，可以从两幅图像中的点、线、面和轮廓等特 征估计得到［３７－３８］ ． ２００３ 年，ＩＮＲＩＡ 的 Ｍｅｚｏｕａｒ 等［３９］ 又提出一种在 初始图像和期望图像之间插入共线矩阵来获得封闭 的共线路径的无标定路径规划方法，使用 ＩＢＶＳ 跟 踪求导后的图像特征轨迹． 然而，这种方法在存在 视野约束时却不能保证收敛到期望位置． 法国巴黎 第六大学 Ｓｃｈｒａｍｍ 等［４０］ 则在上述研究基础上引入 了可见性约束来扩展这种方法，通过引导目标上任 意选择的参考点在图像中沿着直线运动，从而保证 参考点始终处于相机视野内． 由此带来的问题是， 相机不再沿着直线运动，并且其他特征也可能会不 在相机视野内，所以设计了深度模块，通过控制相机 沿着光轴后退来保证无论何时一个特征到达相机视 野边界时，其它特征都实时可见． 一些研究人员采用分解欧几里德单应性矩阵的 方法来规划图像路径，从而生成可执行的相机路径 而不需要笛卡尔空间相机路径的重建． 例如，拉彭 兰塔科技大学 Ｋｙｒｋｉ 等［４１］提出一种基于单应性矩阵 部分位姿估计的最短路径规划方法，该方法直接沿 着单应性矩阵分解得到的方向移动手眼相机到达工 作空间的期望位姿，同时保证位于目标物体中心虚 拟点的可见性． 佛罗伦萨大学 Ａｌｌｏｔｔａ 等［４２］提出一个 类似的基于单应性分解的方法，选择螺旋线路径代 替直线路径作为参考路径来表示相机从初始位姿到 第 １ 期 任秉银， 等： 机械臂视觉伺服路径规划研究进展 ·３·