第11卷第2期 智能系统学报 Vol.11 No.2 2016年4月 CAAI Transactions on Intelligent Systems Apr.2016 D0I:10.11992/is.201511020 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160314.1432.006.html 基于Kinect的Nao机器人动作 模仿系统的研究与实现 于建均，门玉森，阮晓钢，赵少琼 （北京工业大学电子信息与控制工程学院，北京100124) 摘要：为避开复杂繁琐的底层运动控制，使机器人能够通过学习实现运动技能的获取，有效提高其智能性，将体态 感知技术与仿人机器人Nao相结合，以机器人的模仿学习框架为指导，开发并实现了基于Kinect的Nao机器人动作 模仿系统。利用Kict体感摄像机的骨骼跟踪技术，采集示教者骨酪点信息，经预处理后得到示教数据，通过高斯 混合模型(GMM)对示教数据进行表征学习，经高斯混合回归(GMR)泛化处理后.映射到No机器人中，实现动作的 模仿。实验结果表明，N0机器人能够进行实时和离线的动作模仿，运动轨迹平滑而稳定，动作模仿的效果较好。 关键词：模仿学习：机器人控制：体态感知：概率模型：高斯混合模型：高斯混合回归 中图分类号：TP242.6文献标志码：A文章编号：1673-4785(2016)02-0180-08 中文引用格式：于建均，门玉森，阮晓钢，等.基于Kinect的Nao机器人动作模仿系统的研究与实现[J].智能系统学报，2016,11 (2):180-1187. 英文引用格式：YU Jianjun,MEN Yusen,RUAN Xiaogang,.etal.The research and implementation of behavior imitation system a- bout Nao robot based on Kinect[J].CAAI transactions on intelligent systems,2016,11(2):180-187. The research and implementation of behavior imitation system about Nao robot based on Kinect YU Jianjun,MEN Yusen,RUAN Xiaogang,ZHAO Shaoqiong (College of Electronic and Control Engineering,Beijing University of Technology,Beijing 100124,China) Abstract:To avoid the complexity of the underlying motor control,make the robot realize motor skills through learning and improve its intelligence,Combining Somatosensory perception with humanoid robot Nao,this paper fo- cuses on the research of robot imitation learning,constructs the behavior imitation system and implements Nao robot 's motion imitation using kinect based on the framework of imitation learning.By means of the skeleton tracking tech- nology of motion-sensing camera,the bone point information is collected,then be pre-processed into demonstration data.The demonstration data is encoded for representative learning through Gaussian mixture model (GMM),and then the output generalized by Gaussian mixture regression (GMR)is mapped to Nao robot to realize the imitation of action.The experiment results indicate that Nao robot is able to implement behavior imitation in real-time and off- line mode and gives good effect owing to the fact that the motion trajectory is smooth and stable. Keywords:imitation learning;robot control;somatosensory perception;probability model;GMM;GMR 仿人机器人是研究人类智能的高级平台，它是 集机械、电子、传感技术、控制、人工智能、仿生学等 多学科的复杂智能系统。在近50年的发展历程中， 收稿日期：2015-11-23.网络出版日期：2016-03-14. 基金项目：国家自然科学基金项目(61375086)：高等学校博士学科点专 仿人机器人技术取得了飞速的发展，已成为机器人 项科研基金项目(20101103110007). 领域的重要研究方向之一。Nao机器人是Aldeba- 通信作者：门玉森.E-mail:menyusen0(927@163.com第 １１ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．２ ２０１６ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５１１０２０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０３１４．１４３２．００６．ｈｔｍｌ 基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作 模仿系统的研究与实现 于建均，门玉森，阮晓钢，赵少琼 （北京工业大学 电子信息与控制工程学院，北京 １００１２４） 摘 要：为避开复杂繁琐的底层运动控制，使机器人能够通过学习实现运动技能的获取，有效提高其智能性，将体态 感知技术与仿人机器人 Ｎａｏ 相结合，以机器人的模仿学习框架为指导，开发并实现了基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作 模仿系统。 利用 Ｋｉｎｅｃｔ 体感摄像机的骨骼跟踪技术，采集示教者骨骼点信息，经预处理后得到示教数据，通过高斯 混合模型（ＧＭＭ）对示教数据进行表征学习，经高斯混合回归（ＧＭＲ）泛化处理后，映射到 Ｎａｏ 机器人中，实现动作的 模仿。 实验结果表明，Ｎａｏ 机器人能够进行实时和离线的动作模仿，运动轨迹平滑而稳定，动作模仿的效果较好。 关键词：模仿学习；机器人控制；体态感知；概率模型；高斯混合模型；高斯混合回归 中图分类号： ＴＰ２４２．６ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０２⁃０１８０⁃０８ 中文引用格式：于建均，门玉森，阮晓钢，等． 基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统的研究与实现［ Ｊ］． 智能系统学报， ２０１６， １１ （２）： １８０⁃１１８７． 英文引用格式：ＹＵ Ｊｉａｎｊｕｎ， ＭＥＮ Ｙｕｓｅｎ， ＲＵＡＮ Ｘｉａｏｇａｎｇ， ｅｔ ａｌ． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｓｙｓｔｅｍ ａ⁃ ｂｏｕｔ Ｎａｏ ｒｏｂｏｔ ｂａｓｅｄ ｏｎ Ｋｉｎｅｃｔ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６， １１（２）： １８０⁃１８７． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｓｙｓｔｅｍ ａｂｏｕｔ Ｎａｏ ｒｏｂｏｔ ｂａｓｅｄ ｏｎ Ｋｉｎｅｃｔ ＹＵ Ｊｉａｎｊｕｎ， ＭＥＮ Ｙｕｓｅｎ， ＲＵＡＮ Ｘｉａｏｇａｎｇ， ＺＨＡＯ Ｓｈａｏｑｉｏｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ ａｎｄ Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｂｅｉｊｉｎｇ １００１２４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏ ａｖｏｉｄ ｔｈｅ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｔｈｅ ｕｎｄｅｒｌｙｉｎｇ ｍｏｔｏｒ ｃｏｎｔｒｏｌ， ｍａｋｅ ｔｈｅ ｒｏｂｏｔ ｒｅａｌｉｚｅ ｍｏｔｏｒ ｓｋｉｌｌｓ ｔｈｒｏｕｇｈ ｌｅａｒｎｉｎｇ ａｎｄ ｉｍｐｒｏｖｅ ｉｔｓ ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｃｏｍｂｉｎｉｎｇ Ｓｏｍａｔｏｓｅｎｓｏｒｙ ｐｅｒｃｅｐｔｉｏｎ ｗｉｔｈ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ Ｎａｏ，ｔｈｉｓ ｐａｐｅｒ ｆｏ⁃ ｃｕｓｅｓ ｏｎ ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｒｏｂｏｔ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ，ｃｏｎｓｔｒｕｃｔｓ ｔｈｅ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｓｙｓｔｅｍ ａｎｄ ｉｍｐｌｅｍｅｎｔｓ Ｎａｏ ｒｏｂｏｔ ＇ｓ ｍｏｔｉｏｎ ｉｍｉｔａｔｉｏｎ ｕｓｉｎｇ ｋｉｎｅｃｔ ｂａｓｅｄ ｏｎ ｔｈｅ ｆｒａｍｅｗｏｒｋ ｏｆ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ．Ｂｙ ｍｅａｎｓ ｏｆ ｔｈｅ ｓｋｅｌｅｔｏｎ ｔｒａｃｋｉｎｇ ｔｅｃｈ⁃ ｎｏｌｏｇｙ ｏｆ ｍｏｔｉｏｎ⁃ｓｅｎｓｉｎｇ ｃａｍｅｒａ，ｔｈｅ ｂｏｎｅ ｐｏｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｃｏｌｌｅｃｔｅｄ，ｔｈｅｎ ｂｅ ｐｒｅ⁃ｐｒｏｃｅｓｓｅｄ ｉｎｔｏ ｄｅｍｏｎｓｔｒａｔｉｏｎ ｄａｔａ．Ｔｈｅ ｄｅｍｏｎｓｔｒａｔｉｏｎ ｄａｔａ ｉｓ ｅｎｃｏｄｅｄ ｆｏｒ ｒｅｐｒｅｓｅｎｔａｔｉｖｅ ｌｅａｒｎｉｎｇ ｔｈｒｏｕｇｈ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ （ＧＭＭ），ａｎｄ ｔｈｅｎ ｔｈｅ ｏｕｔｐｕｔ ｇｅｎｅｒａｌｉｚｅｄ ｂｙ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｒｅｇｒｅｓｓｉｏｎ （ＧＭＲ） ｉｓ ｍａｐｐｅｄ ｔｏ Ｎａｏ ｒｏｂｏｔ ｔｏ ｒｅａｌｉｚｅ ｔｈｅ ｉｍｉｔａｔｉｏｎ ｏｆ ａｃｔｉｏｎ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ Ｎａｏ ｒｏｂｏｔ ｉｓ ａｂｌｅ ｔｏ ｉｍｐｌｅｍｅｎｔ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｉｎ ｒｅａｌ⁃ｔｉｍｅ ａｎｄ ｏｆｆ⁃ ｌｉｎｅ ｍｏｄｅ ａｎｄ ｇｉｖｅｓ ｇｏｏｄ ｅｆｆｅｃｔ ｏｗｉｎｇ ｔｏ ｔｈｅ ｆａｃｔ ｔｈａｔ ｔｈｅ ｍｏｔｉｏｎ ｔｒａｊｅｃｔｏｒｙ ｉｓ ｓｍｏｏｔｈ ａｎｄ ｓｔａｂｌｅ． Ｋｅｙｗｏｒｄｓ： ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ； ｒｏｂｏｔ ｃｏｎｔｒｏｌ； ｓｏｍａｔｏｓｅｎｓｏｒｙ ｐｅｒｃｅｐｔｉｏｎ； ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ； ＧＭＭ； ＧＭＲ 收稿日期：２０１５⁃１１⁃２３． 网络出版日期：２０１６⁃０３⁃１４． 基金项目：国家自然科学基金项目（６１３７５０８６）；高等学校博士学科点专 项科研基金项目（２０１０１１０３１１０００７）． 通信作者：门玉森． Ｅ⁃ｍａｉｌ：ｍｅｎｙｕｓｅｎ０９２７＠ １６３．ｃｏｍ． 仿人机器人是研究人类智能的高级平台，它是 集机械、电子、传感技术、控制、人工智能、仿生学等 多学科的复杂智能系统。 在近 ５０ 年的发展历程中， 仿人机器人技术取得了飞速的发展，已成为机器人 领域的重要研究方向之一。 Ｎａｏ 机器人是 Ａｌｄｅｂａ⁃