·308 智能系统学报 第9卷 装配条件下的双臂机器人协调运动学方程，并完成 1.0r 了简单孔轴装配操作。东南大学芦俊等[)对视觉 0.5 引导下的双臂装配机器人最佳装配位置的确定问题 0 进行了研究，并对基于图像定位的轴与轴孔装配中 -0.5 -1.0 的误差进行了分析。 0 0.51.0 00.51.0 本文的双臂协调操作系统中，给出一个基于六 (g)各关节轨迹 (h)末端坐标分量轨迹 自由度机器人的控制子系统，该子系统通过CCD摄 图1系统结构 像机获取图像，传入图像采集卡中，再存入到计算机 Fig.1 The system structure 内存对图像进行处理，获取目标的位置信息，通过设 双臂协作系统的工作流程如下：通过安装在机械 计好的控制算法得出能够控制机器人运动的命令， 臂末端的摄像机获取目标信息，通过图像误差控制六 机器人控制器通过串口接收指令，从而驱动机器人 自由度机械臂抓取目标并送至指定位置，根据Kinect 相应的运行，完成基于图像的视觉伺服。此外还有 获取的环境信息选取目标特征点，七自由度机械臂通 一个七自由度机械臂控制子系统，其中进行图像获 过路径规划控制末端位姿，自主抓取目标，将目标物放 取和目标检测的是微软公司研制的Kinect视觉传 入指定位置，完成双臂交接任务。整个双臂系统主要 感器，Kinect不仅价格低廉，而且能够同时获取深度 分为视觉单元、控制单元和执行单元3个部分。视觉 信息和彩色信息，被研究者们广泛的应用在机器人 单元由Kinect视觉传感器、CCD摄像机、图像采集卡 领域，如机器人的导航与定位[3)、目标的跟踪4]、 一台高性能计算机和局域网组成，摄像机以10帧/s的 障碍物的检测]等。利用基于工作空间的RRT算 速率采集640×480大小的图像，采集图像的过程中计 法对七自由度机械臂末端进行路径规划完成目标的 算机完成对目标的检测，得出目标中心点在图像平面 自主抓取。通过这2套机械臂子系统最终完成双臂 的坐标。 协作实现物体交接的任务。 控制单元是由伺服放大器、，交流伺服电机及配电 1系统结构 组件等构成，其功能是执行接受到的控制指令，完成对 摄像机的操纵，实现对目标的跟踪。 本文的双臂系统是由视觉传感器、机械臂系统 执行单元由Motoman机械臂、模块化机械臂、主控 以及主控计算机组成，其中，视觉传感器包括挂在顶 计算机和运动控制器构成，此单元可以实时地获取机 上的Kinect和安装在六自由度机械臂末端的CCD 器人的位置信息，并根据图像误差生成对机器人各关 摄像机，机械臂系统包括一台模块化七自由度机械 节的控制指令，控制指令可以根据图像实时刷新，通过 臂和一台六自由度机械臂以及灵巧手。整个系统的 主控计算机和运动控制器控制机器人完成指令任务。 构建模型如图1所示。 0.60 0.65 2目标检测与跟踪算法 0.55 0.60 2.1深度信息的背景相减法 0.50 0.55 -0.28 -0.20 本系统采用微软公司研发的Kinect视觉传感器作 -0.32-0.660.64 .30 0.63 0.4 0.30-0.80.6 -0.2 为深度摄像机。Kinect的硬件结构包括一个普通的低 (a)RRT树 (b)末端轨迹 分辨率RGB摄像机、一个红外发射器和一个红外摄像 1.0 0.5*** 头以及一组麦克风阵列，如图2所示。 o v 0 ★2 红外发射器 0.5 1 2 -102一4 (c)各关节轨迹 (d)末端坐标分量轨迹 0.70r 1.0r 0.65 0.5 0.60 . -0.15 02-0448484 0.5 0.4 彩色CMOS摄像头 -0.20 -0.5-0.80.6 0 红外摄像头 (e)RRT树 ()末端轨迹 图2深度摄像机 Fig.2 The depth of the camera装配条件下的双臂机器人协调运动学方程，并完成 了简单孔轴装配操作。 东南大学芦俊等［２］ 对视觉 引导下的双臂装配机器人最佳装配位置的确定问题 进行了研究，并对基于图像定位的轴与轴孔装配中 的误差进行了分析。 本文的双臂协调操作系统中，给出一个基于六 自由度机器人的控制子系统，该子系统通过 ＣＣＤ 摄 像机获取图像，传入图像采集卡中，再存入到计算机 内存对图像进行处理，获取目标的位置信息，通过设 计好的控制算法得出能够控制机器人运动的命令， 机器人控制器通过串口接收指令，从而驱动机器人 相应的运行，完成基于图像的视觉伺服。 此外还有 一个七自由度机械臂控制子系统，其中进行图像获 取和目标检测的是微软公司研制的 Ｋｉｎｅｃｔ 视觉传 感器，Ｋｉｎｅｃｔ 不仅价格低廉，而且能够同时获取深度 信息和彩色信息，被研究者们广泛的应用在机器人 领域，如机器人的导航与定位［ ３ ］ 、目标的跟踪［ ４ ］ 、 障碍物的检测［ ５ ］等。 利用基于工作空间的 ＲＲＴ 算 法对七自由度机械臂末端进行路径规划完成目标的 自主抓取。 通过这 ２ 套机械臂子系统最终完成双臂 协作实现物体交接的任务。 １ 系统结构 本文的双臂系统是由视觉传感器、机械臂系统 以及主控计算机组成，其中，视觉传感器包括挂在顶 上的 Ｋｉｎｅｃｔ 和安装在六自由度机械臂末端的 ＣＣＤ 摄像机，机械臂系统包括一台模块化七自由度机械 臂和一台六自由度机械臂以及灵巧手。 整个系统的 构建模型如图 １ 所示。 图 １ 系统结构 Ｆｉｇ．１ Ｔｈｅ ｓｙｓｔｅｍ ｓｔｒｕｃｔｕｒｅ 双臂协作系统的工作流程如下：通过安装在机械 臂末端的摄像机获取目标信息，通过图像误差控制六 自由度机械臂抓取目标并送至指定位置，根据 Ｋｉｎｅｃｔ 获取的环境信息选取目标特征点，七自由度机械臂通 过路径规划控制末端位姿，自主抓取目标，将目标物放 入指定位置，完成双臂交接任务。 整个双臂系统主要 分为视觉单元、控制单元和执行单元 ３ 个部分。 视觉 单元由 Ｋｉｎｅｃｔ 视觉传感器、ＣＣＤ 摄像机、图像采集卡、 一台高性能计算机和局域网组成，摄像机以 １０ 帧／ ｓ 的 速率采集 ６４０ × ４８０ 大小的图像，采集图像的过程中计 算机完成对目标的检测，得出目标中心点在图像平面 的坐标。 控制单元是由伺服放大器、交流伺服电机及配电 组件等构成，其功能是执行接受到的控制指令，完成对 摄像机的操纵，实现对目标的跟踪。 执行单元由 Ｍｏｔｏｍａｎ 机械臂、模块化机械臂、主控 计算机和运动控制器构成，此单元可以实时地获取机 器人的位置信息，并根据图像误差生成对机器人各关 节的控制指令，控制指令可以根据图像实时刷新，通过 主控计算机和运动控制器控制机器人完成指令任务。 ２ 目标检测与跟踪算法 ２．１ 深度信息的背景相减法 本系统采用微软公司研发的 Ｋｉｎｅｃｔ 视觉传感器作 为深度摄像机。 Ｋｉｎｅｃｔ 的硬件结构包括一个普通的低 分辨率 ＲＧＢ 摄像机、一个红外发射器和一个红外摄像 头以及一组麦克风阵列，如图 ２ 所示。 图 ２ 深度摄像机 Ｆｉｇ．２ Ｔｈｅ ｄｅｐｔｈ ｏｆ ｔｈｅ ｃａｍｅｒａ ·３０８· 智 能 系 统 学 报 第 ９ 卷