第9卷第3期 智能系统学报 Vol.9 No.3 2014年6月 CAAI Transactions on Intelligent Systems Jun.2014 D0:10.3969/j.issn.1673-4785.201308019 网络出版地址：http://www.enki..net/kcms/doi/10.3969/j.issn.16734785.201308019.html 采用Kinect的多臂协调操作系统 张雪华12，刘华平2，孙富春2，高蒙，韩峥2 (1.石家庄铁道大学电气与电子工程学院，河北石家庄050043：2.清华大学智能技术与系统国家重点实验室，北京100084) 摘要：为完成基于Kinect的多臂协调精细操作的任务，搭建了一套双机械臂操作系统，利用Kinect作为视觉传感 器对场景进行实时检测，并利用基于工作空间的RRT算法对其中一台七自由度机械臂末端进行路径规划完成目标 的自主抓取。根据手眼协调控制技术，利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的 运动，并利用粒子滤波算法对目标进行实时跟踪。通过设计一套双臂协作完成物体交接的实验系统，完成了多臂协 同操作的任务，并验证了实验方法的可靠性。 关键词：Kinect:粒子滤波；多臂：路径规划；视觉伺服 中图分类号：TP242文献标志码：A文章编号：1673-4785(2014)03-0307-06 中文引用格式：张雪华，刘华平，孙富春.量子衍生神经网络模型及其在图像恢复中的应用[J].智能系统学报，2014,9(3)：307 312. 英文引用格式：ZHANG Xuehua,LIU Huaping,SUN Fuchun,etal.Quantum-derived nerve network model and its application for image restoration[J].CAAI Transactions on Intelligent Systems,2014,9(3):307-312. Kinect-based dobby coordinate operating system ZHANG Xuehua'2,LIU Huaping?,SUN Fuchun2,GAO Meng',HAN Zheng'.2 (1.College of Electrical and Electronic Engineering,Shijiazhuang Railway University,Shijiazhuang 050043,China;2.Key Laboratory of Intelligent Technology and Systems,Tsinghua University,Beijing 100084,China) Abstract:Using Kinect and mechanical arm,we build a dual-arm accurate operation system in which Kinect is used for real-time scene dection and a work-space based RRT algorithm is proposed to plan the path for the 7-DOF arm's target grabbing.A camera at the end of the other 6-DOF arm is used to control the arm tracking the target. The method used for optical target tracking is particle filter-based algorithm and the difference between the target position in the image and the image center is used for controling the arm.In order to test the system,a dual-arm co- operation object transfer experiment was proceed and the successful experient result proved the reliability and effi- cience of the system. Keywords:Kinect;particle filter;dual path;trajectory planning;visual servoing 随着人类太空探索活动的不断深入，单臂系统NASA Johnson空间中心已经研制出可以替代或帮 的不断成熟为多臂协调操作系统的发展提供了基 助宇航员出舱活动的舱外灵巧机器人Robonaut((机 础，而在复杂空间环境中进行精细操作的需求也使 器人宇航员)。该机器人由2个七自由度的机械 得多臂协调操作系统拥有更大的发展空间。美国 臂、2个12自由度的多指灵巧手、一个4自由度的 立体视觉平台、一个六自由度的尾巴和一个可以让 收稿日期：2013-08-12.网络出版日期：2014-06-14. 基金项目：国家“973”计划资助项目(G2013CB329403)；国家自然科 遥操作者融入机器人工作环境的遥现系统组成。北 学基金资助项目(91120011)：请华大学自主科研计划资助 京航空航天大学机器人所丁希仑等)对冗余度双 项目(2011THZ0). 通信作者：张雪华.E-mail:lovelywaiwai1988@sina.cm. 臂机器人的协调操作进行了初步研究，建立了孔轴第 ９ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．３ ２０１４ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０８０１９ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｏｉ ／ １０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３４７８５．２０１３０８０１９．ｈｔｍｌ 采用 Ｋｉｎｅｃｔ 的多臂协调操作系统 张雪华１，２ ，刘华平２ ，孙富春２ ，高蒙１ ，韩峥１，２ （１． 石家庄铁道大学 电气与电子工程学院，河北 石家庄 ０５００４３； ２． 清华大学 智能技术与系统国家重点实验室，北京 １０００８４） 摘 要：为完成基于 Ｋｉｎｅｃｔ 的多臂协调精细操作的任务，搭建了一套双机械臂操作系统，利用 Ｋｉｎｅｃｔ 作为视觉传感 器对场景进行实时检测，并利用基于工作空间的 ＲＲＴ 算法对其中一台七自由度机械臂末端进行路径规划完成目标 的自主抓取。 根据手眼协调控制技术，利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的 运动，并利用粒子滤波算法对目标进行实时跟踪。 通过设计一套双臂协作完成物体交接的实验系统，完成了多臂协 同操作的任务，并验证了实验方法的可靠性。 关键词：Ｋｉｎｅｃｔ；粒子滤波；多臂；路径规划；视觉伺服 中图分类号： ＴＰ２４２ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０３⁃０３０７⁃０６ 中文引用格式：张雪华，刘华平，孙富春． 量子衍生神经网络模型及其在图像恢复中的应用［ Ｊ］． 智能系统学报， ２０１４， ９（ ３）： ３０７⁃ ３１２． 英文引用格式：ＺＨＡＮＧ Ｘｕｅｈｕａ，ＬＩＵ Ｈｕａｐｉｎｇ，ＳＵＮ Ｆｕｃｈｕｎ， ｅｔ ａｌ． Ｑｕａｎｔｕｍ⁃ｄｅｒｉｖｅｄ ｎｅｒｖｅ ｎｅｔｗｏｒｋ ｍｏｄｅｌ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｆｏｒ ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（３）： ３０７⁃３１２． Ｋｉｎｅｃｔ⁃ｂａｓｅｄ ｄｏｂｂｙ ｃｏｏｒｄｉｎａｔｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ ＺＨＡＮＧ Ｘｕｅｈｕａ １，２ ，ＬＩＵ Ｈｕａｐｉｎｇ ２ ， ＳＵＮ Ｆｕｃｈｕｎ ２ ， ＧＡＯ Ｍｅｎｇ １ ， ＨＡＮ Ｚｈｅｎｇ １，２ （ １． Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｓｈｉｊｉａｚｈｕａｎｇ Ｒａｉｌｗａｙ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈｉｊｉａｚｈｕａｎｇ ０５００４３， Ｃｈｉｎａ； ２．Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｓｙｓｔｅｍｓ， Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｕｓｉｎｇ Ｋｉｎｅｃｔ ａｎｄ ｍｅｃｈａｎｉｃａｌ ａｒｍ， ｗｅ ｂｕｉｌｄ ａ ｄｕａｌ⁃ａｒｍ ａｃｃｕｒａｔｅ ｏｐｅｒａｔｉｏｎ ｓｙｓｔｅｍ ｉｎ ｗｈｉｃｈ Ｋｉｎｅｃｔ ｉｓ ｕｓｅｄ ｆｏｒ ｒｅａｌ⁃ｔｉｍｅ ｓｃｅｎｅ ｄｅｃｔｉｏｎ ａｎｄ ａ ｗｏｒｋ⁃ｓｐａｃｅ ｂａｓｅｄ ＲＲＴ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｏｐｏｓｅｄ ｔｏ ｐｌａｎ ｔｈｅ ｐａｔｈ ｆｏｒ ｔｈｅ ７⁃ＤＯＦ ａｒｍ’ｓ ｔａｒｇｅｔ ｇｒａｂｂｉｎｇ． Ａ ｃａｍｅｒａ ａｔ ｔｈｅ ｅｎｄ ｏｆ ｔｈｅ ｏｔｈｅｒ ６⁃ＤＯＦ ａｒｍ ｉｓ ｕｓｅｄ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ａｒｍ ｔｒａｃｋｉｎｇ ｔｈｅ ｔａｒｇｅｔ． Ｔｈｅ ｍｅｔｈｏｄ ｕｓｅｄ ｆｏｒ ｏｐｔｉｃａｌ ｔａｒｇｅｔ ｔｒａｃｋｉｎｇ ｉｓ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ⁃ｂａｓｅｄ ａｌｇｏｒｉｔｈｍ ａｎｄ ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｔａｒｇｅｔ ｐｏｓｉｔｉｏｎ ｉｎ ｔｈｅ ｉｍａｇｅ ａｎｄ ｔｈｅ ｉｍａｇｅ ｃｅｎｔｅｒ ｉｓ ｕｓｅｄ ｆｏｒ ｃｏｎｔｒｏｌｉｎｇ ｔｈｅ ａｒｍ． Ｉｎ ｏｒｄｅｒ ｔｏ ｔｅｓｔ ｔｈｅ ｓｙｓｔｅｍ， ａ ｄｕａｌ⁃ａｒｍ ｃｏ⁃ ｏｐｅｒａｔｉｏｎ ｏｂｊｅｃｔ ｔｒａｎｓｆｅｒ ｅｘｐｅｒｉｍｅｎｔ ｗａｓ ｐｒｏｃｅｅｄ ａｎｄ ｔｈｅ ｓｕｃｃｅｓｓｆｕｌ ｅｘｐｅｒｉｅｎｔ ｒｅｓｕｌｔ ｐｒｏｖｅｄ ｔｈｅ ｒｅｌｉａｂｉｌｉｔｙ ａｎｄ ｅｆｆｉ⁃ ｃｉｅｎｃｅ ｏｆ ｔｈｅ ｓｙｓｔｅｍ． Ｋｅｙｗｏｒｄｓ：Ｋｉｎｅｃｔ； ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ； ｄｕａｌ ｐａｔｈ； ｔｒａｊｅｃｔｏｒｙ ｐｌａｎｎｉｎｇ； ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ 收稿日期：２０１３⁃０８⁃１２． 网络出版日期：２０１４⁃０６⁃１４． 基金项目：国家“９７３”计划资助项目（ Ｇ２０１３ＣＢ３２９４０３） ； 国家自然科 学基金资助项目（ ９１１２００１１） ； 清华大学自主科研计划资助 项目（２０１１ＴＨＺ０）． 通信作者：张雪华．Ｅ⁃ｍａｉｌ：ｌｏｖｅｌｙｗａｉｗａｉ１９８８＠ ｓｉｎａ．ｃｎ． 随着人类太空探索活动的不断深入，单臂系统 的不断成熟为多臂协调操作系统的发展提供了基 础，而在复杂空间环境中进行精细操作的需求也使 得多臂协调操作系统拥有更大的发展空间。 美国 ＮＡＳＡ Ｊｏｈｎｓｏｎ 空间中心已经研制出可以替代或帮 助宇航员出舱活动的舱外灵巧机器人 Ｒｏｂｏｎａｕｔ（机 器人宇航员）。 该机器人由 ２ 个七自由度的机械 臂、２ 个 １２ 自由度的多指灵巧手、一个 ４ 自由度的 立体视觉平台、一个六自由度的尾巴和一个可以让 遥操作者融入机器人工作环境的遥现系统组成。 北 京航空航天大学机器人所丁希仑等［１］ 对冗余度双 臂机器人的协调操作进行了初步研究，建立了孔轴