第11卷第2期 智能系统学报 Vol.11 No.2 2016年4月 CAAI Transactions on Intelligent Systems Apr.2016 D0I:10.11992/is.201511020 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160314.1432.006.html 基于Kinect的Nao机器人动作 模仿系统的研究与实现 于建均，门玉森，阮晓钢，赵少琼 （北京工业大学电子信息与控制工程学院，北京100124) 摘要：为避开复杂繁琐的底层运动控制，使机器人能够通过学习实现运动技能的获取，有效提高其智能性，将体态 感知技术与仿人机器人Nao相结合，以机器人的模仿学习框架为指导，开发并实现了基于Kinect的Nao机器人动作 模仿系统。利用Kict体感摄像机的骨骼跟踪技术，采集示教者骨酪点信息，经预处理后得到示教数据，通过高斯 混合模型(GMM)对示教数据进行表征学习，经高斯混合回归(GMR)泛化处理后.映射到No机器人中，实现动作的 模仿。实验结果表明，N0机器人能够进行实时和离线的动作模仿，运动轨迹平滑而稳定，动作模仿的效果较好。 关键词：模仿学习：机器人控制：体态感知：概率模型：高斯混合模型：高斯混合回归 中图分类号：TP242.6文献标志码：A文章编号：1673-4785(2016)02-0180-08 中文引用格式：于建均，门玉森，阮晓钢，等.基于Kinect的Nao机器人动作模仿系统的研究与实现[J].智能系统学报，2016,11 (2):180-1187. 英文引用格式：YU Jianjun,MEN Yusen,RUAN Xiaogang,.etal.The research and implementation of behavior imitation system a- bout Nao robot based on Kinect[J].CAAI transactions on intelligent systems,2016,11(2):180-187. The research and implementation of behavior imitation system about Nao robot based on Kinect YU Jianjun,MEN Yusen,RUAN Xiaogang,ZHAO Shaoqiong (College of Electronic and Control Engineering,Beijing University of Technology,Beijing 100124,China) Abstract:To avoid the complexity of the underlying motor control,make the robot realize motor skills through learning and improve its intelligence,Combining Somatosensory perception with humanoid robot Nao,this paper fo- cuses on the research of robot imitation learning,constructs the behavior imitation system and implements Nao robot 's motion imitation using kinect based on the framework of imitation learning.By means of the skeleton tracking tech- nology of motion-sensing camera,the bone point information is collected,then be pre-processed into demonstration data.The demonstration data is encoded for representative learning through Gaussian mixture model (GMM),and then the output generalized by Gaussian mixture regression (GMR)is mapped to Nao robot to realize the imitation of action.The experiment results indicate that Nao robot is able to implement behavior imitation in real-time and off- line mode and gives good effect owing to the fact that the motion trajectory is smooth and stable. Keywords:imitation learning;robot control;somatosensory perception;probability model;GMM;GMR 仿人机器人是研究人类智能的高级平台，它是 集机械、电子、传感技术、控制、人工智能、仿生学等 多学科的复杂智能系统。在近50年的发展历程中， 收稿日期：2015-11-23.网络出版日期：2016-03-14. 基金项目：国家自然科学基金项目(61375086)：高等学校博士学科点专 仿人机器人技术取得了飞速的发展，已成为机器人 项科研基金项目(20101103110007). 领域的重要研究方向之一。Nao机器人是Aldeba- 通信作者：门玉森.E-mail:menyusen0(927@163.com
第 １１ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．２ ２０１６ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５１１０２０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０３１４．１４３２．００６．ｈｔｍｌ 基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作 模仿系统的研究与实现 于建均，门玉森，阮晓钢，赵少琼 （北京工业大学 电子信息与控制工程学院，北京 １００１２４） 摘 要：为避开复杂繁琐的底层运动控制，使机器人能够通过学习实现运动技能的获取，有效提高其智能性，将体态 感知技术与仿人机器人 Ｎａｏ 相结合，以机器人的模仿学习框架为指导，开发并实现了基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作 模仿系统。 利用 Ｋｉｎｅｃｔ 体感摄像机的骨骼跟踪技术，采集示教者骨骼点信息，经预处理后得到示教数据，通过高斯 混合模型（ＧＭＭ）对示教数据进行表征学习，经高斯混合回归（ＧＭＲ）泛化处理后，映射到 Ｎａｏ 机器人中，实现动作的 模仿。 实验结果表明，Ｎａｏ 机器人能够进行实时和离线的动作模仿，运动轨迹平滑而稳定，动作模仿的效果较好。 关键词：模仿学习；机器人控制；体态感知；概率模型；高斯混合模型；高斯混合回归 中图分类号： ＴＰ２４２．６ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０２⁃０１８０⁃０８ 中文引用格式：于建均，门玉森，阮晓钢，等． 基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统的研究与实现［ Ｊ］． 智能系统学报， ２０１６， １１ （２）： １８０⁃１１８７． 英文引用格式：ＹＵ Ｊｉａｎｊｕｎ， ＭＥＮ Ｙｕｓｅｎ， ＲＵＡＮ Ｘｉａｏｇａｎｇ， ｅｔ ａｌ． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｓｙｓｔｅｍ ａ⁃ ｂｏｕｔ Ｎａｏ ｒｏｂｏｔ ｂａｓｅｄ ｏｎ Ｋｉｎｅｃｔ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６， １１（２）： １８０⁃１８７． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｓｙｓｔｅｍ ａｂｏｕｔ Ｎａｏ ｒｏｂｏｔ ｂａｓｅｄ ｏｎ Ｋｉｎｅｃｔ ＹＵ Ｊｉａｎｊｕｎ， ＭＥＮ Ｙｕｓｅｎ， ＲＵＡＮ Ｘｉａｏｇａｎｇ， ＺＨＡＯ Ｓｈａｏｑｉｏｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ ａｎｄ Ｃｏｎｔｒｏｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｂｅｉｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｂｅｉｊｉｎｇ １００１２４， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏ ａｖｏｉｄ ｔｈｅ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｔｈｅ ｕｎｄｅｒｌｙｉｎｇ ｍｏｔｏｒ ｃｏｎｔｒｏｌ， ｍａｋｅ ｔｈｅ ｒｏｂｏｔ ｒｅａｌｉｚｅ ｍｏｔｏｒ ｓｋｉｌｌｓ ｔｈｒｏｕｇｈ ｌｅａｒｎｉｎｇ ａｎｄ ｉｍｐｒｏｖｅ ｉｔｓ ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｃｏｍｂｉｎｉｎｇ Ｓｏｍａｔｏｓｅｎｓｏｒｙ ｐｅｒｃｅｐｔｉｏｎ ｗｉｔｈ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ Ｎａｏ，ｔｈｉｓ ｐａｐｅｒ ｆｏ⁃ ｃｕｓｅｓ ｏｎ ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｒｏｂｏｔ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ，ｃｏｎｓｔｒｕｃｔｓ ｔｈｅ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｓｙｓｔｅｍ ａｎｄ ｉｍｐｌｅｍｅｎｔｓ Ｎａｏ ｒｏｂｏｔ ＇ｓ ｍｏｔｉｏｎ ｉｍｉｔａｔｉｏｎ ｕｓｉｎｇ ｋｉｎｅｃｔ ｂａｓｅｄ ｏｎ ｔｈｅ ｆｒａｍｅｗｏｒｋ ｏｆ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ．Ｂｙ ｍｅａｎｓ ｏｆ ｔｈｅ ｓｋｅｌｅｔｏｎ ｔｒａｃｋｉｎｇ ｔｅｃｈ⁃ ｎｏｌｏｇｙ ｏｆ ｍｏｔｉｏｎ⁃ｓｅｎｓｉｎｇ ｃａｍｅｒａ，ｔｈｅ ｂｏｎｅ ｐｏｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｉｓ ｃｏｌｌｅｃｔｅｄ，ｔｈｅｎ ｂｅ ｐｒｅ⁃ｐｒｏｃｅｓｓｅｄ ｉｎｔｏ ｄｅｍｏｎｓｔｒａｔｉｏｎ ｄａｔａ．Ｔｈｅ ｄｅｍｏｎｓｔｒａｔｉｏｎ ｄａｔａ ｉｓ ｅｎｃｏｄｅｄ ｆｏｒ ｒｅｐｒｅｓｅｎｔａｔｉｖｅ ｌｅａｒｎｉｎｇ ｔｈｒｏｕｇｈ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ （ＧＭＭ），ａｎｄ ｔｈｅｎ ｔｈｅ ｏｕｔｐｕｔ ｇｅｎｅｒａｌｉｚｅｄ ｂｙ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｒｅｇｒｅｓｓｉｏｎ （ＧＭＲ） ｉｓ ｍａｐｐｅｄ ｔｏ Ｎａｏ ｒｏｂｏｔ ｔｏ ｒｅａｌｉｚｅ ｔｈｅ ｉｍｉｔａｔｉｏｎ ｏｆ ａｃｔｉｏｎ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ Ｎａｏ ｒｏｂｏｔ ｉｓ ａｂｌｅ ｔｏ ｉｍｐｌｅｍｅｎｔ ｂｅｈａｖｉｏｒ ｉｍｉｔａｔｉｏｎ ｉｎ ｒｅａｌ⁃ｔｉｍｅ ａｎｄ ｏｆｆ⁃ ｌｉｎｅ ｍｏｄｅ ａｎｄ ｇｉｖｅｓ ｇｏｏｄ ｅｆｆｅｃｔ ｏｗｉｎｇ ｔｏ ｔｈｅ ｆａｃｔ ｔｈａｔ ｔｈｅ ｍｏｔｉｏｎ ｔｒａｊｅｃｔｏｒｙ ｉｓ ｓｍｏｏｔｈ ａｎｄ ｓｔａｂｌｅ． Ｋｅｙｗｏｒｄｓ： ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ； ｒｏｂｏｔ ｃｏｎｔｒｏｌ； ｓｏｍａｔｏｓｅｎｓｏｒｙ ｐｅｒｃｅｐｔｉｏｎ； ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ； ＧＭＭ； ＧＭＲ 收稿日期：２０１５⁃１１⁃２３． 网络出版日期：２０１６⁃０３⁃１４． 基金项目：国家自然科学基金项目（６１３７５０８６）；高等学校博士学科点专 项科研基金项目（２０１０１１０３１１０００７）． 通信作者：门玉森． Ｅ⁃ｍａｉｌ：ｍｅｎｙｕｓｅｎ０９２７＠ １６３．ｃｏｍ． 仿人机器人是研究人类智能的高级平台，它是 集机械、电子、传感技术、控制、人工智能、仿生学等 多学科的复杂智能系统。 在近 ５０ 年的发展历程中， 仿人机器人技术取得了飞速的发展，已成为机器人 领域的重要研究方向之一。 Ｎａｏ 机器人是 Ａｌｄｅｂａ⁃
第2期 于建均，等：基于Kinect的Nao机器人动作模仿系统的研究与实现 ·181- ran Robotics公司开发的一款可编程类人机器人，在 作模仿，在线模式下，可以进行实时的复杂动作模 研究领域得到世界范围的广泛应用，不仅应用于机 仿，运动轨迹平滑稳定：离线模式下可以通过学习多 器人研究、人工智能、工程学和计算机科学领域，还 次示教泛化出最佳轨迹，具有较强的噪声处理能力， 运用在社会学和医疗保健领域，其研究项目包括语 而且可以通过控制重采样点数目，实现动作执行速 音识别、视频处理、模式识别、自闭症治疗、多智能体 度的控制，更主要的是一旦学会，可以形成动作记 系统、路径规划等。是否具备学习的能力是机器人 忆，实现示教动作的重复执行。 智能性的重要体现，而模仿学习)作为机器人学习 1 Nao机器人模仿学习系统构建 的重要方式，为避开繁琐困难的底层运动控制实现 复杂运动的生成提供了可能，在机器人仿生学中占 以机器人模仿学习的框架为指导，构建了Nao 有重要地位。 机器人动作模仿的系统结构，如图1所示。利用K- 所谓模仿学习是指模仿者（机器人）通过“观 nect的骨骼跟踪，采集示教者骨骼点三维空间坐标 察”示教者（人或机器人）的运动行为，学习运动控 信息，经上位机预处理实现示教数据获取；通过 制策略，泛化输出，进而获取运动技能)。模仿学 GMM对示教数据信息进行编码，利用GMR泛化输 习的过程可分为3个过程：行为感知、行为表征、行 出后，通过Ethernet(以太网)与下位机通信，映射到 为再现，分别对应示教数据获取，特征编码进行表征 Nao机器人的底层运动控制中，在Nao机器人的 学习和泛化输出的过程。示教数据的获取通过体态 Linux内核下进行运动控制，实现动作的模仿。 感知来实现，体态感知作为一种自然的人机交互方 式，以其传达意图的便捷性和丰富性，能够有效实现 上位机 下位机 人机对话，在智能识别与控制系统中应用广泛，常见 计算机 Ethernet (Linu内核) 的体感设备有惯性穿戴式系统，如3 DSuit、数据手套 数据获取 表征与泛化 动作复现 等，光学式动作捕捉系统，如微软的Kinect体感摄 (采集预处理) (GMM+GMRD (底层映射 影机等。表征学习是对示教数据的特征进行编码， 基于概率模型的轨迹水平表征是将运动建模为随机 世界环境 模型，如高斯混合模型(GMM)〔]、隐马尔可夫模型 Kinect (HMM)[6)等，具有较强的编码和噪声处理能力，抗 图1机器人动作模仿的系统结构 干扰性强，能够处理高维问题。行为再现包括运动 Fig.1 The system structure of robot imitation 轨迹再现和运动控制再现，轨迹再现是将编码的数 据通过回归技术，如高斯过程回归(GPR))、高斯 0 示教数据的获取 混合回归(GMR)[]等，得到泛化输出的过程，控制 再现是将泛化的输出映射到机器人底层运动控制 示教动作信息的获取是机器人模仿实现的基 中，实现动作复现，即行为动作的模仿。 础，系统利用Kinect采集骨骼点信息，建立虚拟坐 机器人动作模仿系统的研究已取得一定进展， 标系，由节点信息得到各关节向量，计算向量间的夹 但大多是在仿真环境下的实现，见文献[9-10]：物理 角，进而得到各关节控制角度，即可获得各关节运动 环境下的实现如文献[11]，利用穿戴式动作捕捉系 信息，为模仿的表征学习提供数据支持。 统Xsens MVN进行数据的采集，实现机器人的动作 模仿，取得了良好的效果，但其数据采集所需的硬件 酸T卫P虹aT HAND_TIP_LEFT AND家限EFT 代价较高，文献[12]能够实现基本动作的模仿，但 对复杂动作的再现可靠性和稳定性不足。 本文以模仿学习的框架为指导，将体态感知与 Nao机器人相结合，构建了机器人的动作模仿系统， 实现了Nao机器人动作模仿学习。利用Microsoft 的Kinect体感摄像机进行骨骼跟踪，获取示教者示 教过程中人体节点的空间坐标信息，经预处理后得 到模仿学习的示教数据：通过高斯混合模型(GMM) FOOT_LEFT 对示教数据进行编码表征，利用高斯混合回归 (GMR)泛化输出，映射到Nao机器人中，实现动作 图2 Kinect提取的人体骨骼点信息 Fig.2 Skeleton point information of human body ex- 的模仿。该系统可以实现在线和离线两种模式的动 tracted from Kinect
ｒａｎ Ｒｏｂｏｔｉｃｓ 公司开发的一款可编程类人机器人，在 研究领域得到世界范围的广泛应用，不仅应用于机 器人研究、人工智能、工程学和计算机科学领域，还 运用在社会学和医疗保健领域，其研究项目包括语 音识别、视频处理、模式识别、自闭症治疗、多智能体 系统、路径规划等。 是否具备学习的能力是机器人 智能性的重要体现，而模仿学习［１］ 作为机器人学习 的重要方式，为避开繁琐困难的底层运动控制实现 复杂运动的生成提供了可能，在机器人仿生学中占 有重要地位。 所谓模仿学习是指模仿者（机器人） 通过“观 察”示教者（人或机器人）的运动行为，学习运动控 制策略，泛化输出，进而获取运动技能［２］ 。 模仿学 习的过程可分为 ３ 个过程：行为感知、行为表征、行 为再现，分别对应示教数据获取，特征编码进行表征 学习和泛化输出的过程。 示教数据的获取通过体态 感知来实现，体态感知作为一种自然的人机交互方 式，以其传达意图的便捷性和丰富性，能够有效实现 人机对话，在智能识别与控制系统中应用广泛，常见 的体感设备有惯性穿戴式系统，如 ３ＤＳｕｉｔ、数据手套 等，光学式动作捕捉系统，如微软的 Ｋｉｎｅｃｔ 体感摄 影机等。 表征学习是对示教数据的特征进行编码， 基于概率模型的轨迹水平表征是将运动建模为随机 模型，如高斯混合模型（ＧＭＭ） ［３⁃５］ 、隐马尔可夫模型 （ＨＭＭ） ［６］等，具有较强的编码和噪声处理能力，抗 干扰性强，能够处理高维问题。 行为再现包括运动 轨迹再现和运动控制再现，轨迹再现是将编码的数 据通过回归技术，如高斯过程回归（ＧＰＲ） ［７］ 、高斯 混合回归（ＧＭＲ） ［８］ 等，得到泛化输出的过程，控制 再现是将泛化的输出映射到机器人底层运动控制 中，实现动作复现，即行为动作的模仿。 机器人动作模仿系统的研究已取得一定进展， 但大多是在仿真环境下的实现，见文献［９⁃１０］；物理 环境下的实现如文献［１１］，利用穿戴式动作捕捉系 统 Ｘｓｅｎｓ ＭＶＮ 进行数据的采集，实现机器人的动作 模仿，取得了良好的效果，但其数据采集所需的硬件 代价较高，文献［１２］能够实现基本动作的模仿，但 对复杂动作的再现可靠性和稳定性不足。 本文以模仿学习的框架为指导，将体态感知与 Ｎａｏ 机器人相结合，构建了机器人的动作模仿系统， 实现了 Ｎａｏ 机器人动作模仿学习。 利用 Ｍｉｃｒｏｓｏｆｔ 的 Ｋｉｎｅｃｔ 体感摄像机进行骨骼跟踪，获取示教者示 教过程中人体节点的空间坐标信息，经预处理后得 到模仿学习的示教数据；通过高斯混合模型（ＧＭＭ） 对示教 数 据 进 行 编 码 表 征， 利 用 高 斯 混 合 回 归 （ＧＭＲ）泛化输出，映射到 Ｎａｏ 机器人中，实现动作 的模仿。 该系统可以实现在线和离线两种模式的动 作模仿，在线模式下，可以进行实时的复杂动作模 仿，运动轨迹平滑稳定；离线模式下可以通过学习多 次示教泛化出最佳轨迹，具有较强的噪声处理能力， 而且可以通过控制重采样点数目，实现动作执行速 度的控制，更主要的是一旦学会，可以形成动作记 忆，实现示教动作的重复执行。 １ Ｎａｏ 机器人模仿学习系统构建 以机器人模仿学习的框架为指导，构建了 Ｎａｏ 机器人动作模仿的系统结构，如图 １ 所示。 利用 Ｋｉ⁃ ｎｅｃｔ 的骨骼跟踪，采集示教者骨骼点三维空间坐标 信息，经上位机预处理实现示教数据获取； 通过 ＧＭＭ 对示教数据信息进行编码，利用 ＧＭＲ 泛化输 出后，通过 Ｅｔｈｅｒｎｅｔ（以太网）与下位机通信，映射到 Ｎａｏ 机器人的底层运动控制中，在 Ｎａｏ 机器人的 Ｌｉｎｕｘ 内核下进行运动控制，实现动作的模仿。 图 １ 机器人动作模仿的系统结构 Ｆｉｇ．１ Ｔｈｅ ｓｙｓｔｅｍ ｓｔｒｕｃｔｕｒｅ ｏｆ ｒｏｂｏｔ ｉｍｉｔａｔｉｏｎ ２ 示教数据的获取 示教动作信息的获取是机器人模仿实现的基 础，系统利用 Ｋｉｎｅｃｔ 采集骨骼点信息，建立虚拟坐 标系，由节点信息得到各关节向量，计算向量间的夹 角，进而得到各关节控制角度，即可获得各关节运动 信息，为模仿的表征学习提供数据支持。 图 ２ Ｋｉｎｅｃｔ 提取的人体骨骼点信息 Ｆｉｇ．２ Ｓｋｅｌｅｔｏｎ ｐｏｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｈｕｍａｎ ｂｏｄｙ ｅｘ⁃ ｔｒａｃｔｅｄ ｆｒｏｍ Ｋｉｎｅｃｔ 第 ２ 期 于建均，等：基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统的研究与实现 ·１８１·
182 智能系统学报 第11卷 2.1示教者骨骼点信息采集 2.2Nao机器人关节自由度与骨骼点的映射关系 Kinect for windows v2是微软专为开发者发布的 推导 一款3D体感摄影机，包含RGB彩色摄像机及由红 仿人机器人Nao是Aldebaran Robotics公司开 外线发射器和红外线CMOS摄像机所构成的3D深 发机器人平台，具有25个自由度，共13个关节，右 度传感器，利用彩色摄像头采集到的彩色图像与红 上肢的自由度如图4所示。由于Kinect采集的骨骼 外摄像头采集到的深度图像，导入即时动态捕捉、影 信息中均认定所有关节为质点，故末端关节的转动 像辨识功能，能够提取25个关节点，从而得到人体 信息无法从Kinect提取的骨架信息中计算得到，因 的骨架信息，S=[s1,52,…,s,…,25],其中5= 此忽略各关节的转动信息，推导出各关节对应的自 (x,y,a;),如图2，Kinect的空间坐标系如图3。 由度及所需的Kinect骨骼点如表1所示。 579 78 0g :o 图3 Kinect的空间坐标系 图4Nao机器人右上肢自由度 Fig.3 The space coordinate system of Kinect Fig.4 The DOF of right upper limb of Nao robot 表I各关节对应的自由度及所需的Kinect骨骼点信息 Table 1 The DOFs corresponding to each joint and the skeleton point of information needed to be accessed 关节 自由度 Kinect骨骼点 头部(Head) HeadPitch Head、Neck、,Spine Shoulder 手部(Hand) LHand、RHand None 左肩(LShoulder) LShoulderPitch LShoulderRoll Elbow_.L、Shoulder_L、Spine_Shoulder、Spine_.Mid 右肩(RShoulder) RShoulderPitch RShoulderRoll Elbow._R、Shoulder_.R、Spine_.Shoulder、Spine_.Mid 左肘(LElbow) LElbow Yaw LElbowRoll Wrist_.L、Elbow_.L、Shoulder_.L、Spine_Shoulder 右肘(RElbow) RElbow Yaw ,RElbowRoll Wrist_R,Elbow_R,Shoulder_R,Spine_Shoulder 左大腿(LHip) LHipPitch、,LHipRoll Knee_L、Hip_L、Spine_.Base、Spine_Mid 右大腿(RHip) RHipPitch、RHipRoll Knee_R、Hip_R,Spine_Base、Spine_.Mid 左膝(LKnee) LKneePitch Ankle_.L、Knee_L、,Hip_L 右膝(RKnee) RKneePitch Ankle_R,Knee_R,Hip_R 2.3关节示教信息的获取 P2P1=P1-P2=(x1-x2,y1-y2,1-22) 利用Kinect获取骨骼点三维坐标信息，生成关节 P2P3=P3-P2=（x3-x2y3-y23-2） 向量，通过计算关节向量的夹角得到各关节控制角， P3P4=P4-P3=（x4-x3y4-y3,之4-23） 以右肘翻滚角RElbowRoll和偏航角RElbowYaw(图4 (1) 中方框部分)为例，对关节角的计算过程进行说明。 则关节角RElbowRoll为 由表1知，为求RElbowRoll和RElbowYaw的关节角 0REIbowRoll =p2 P1,P2 P3 > 需要Kinect提取的骨骼点有Wrist_R、Elbow_R、Shoul-. (2) derR,Spine_Shoulder,.如图2所示，分别用p1P2P3、 P2P1·P2P3 arccos P2 PIP2 P3 P4表示，设其三维坐标信息分别为(x少1，)、(x2: 记向量P3.4P2.3=P3P4×P2P3,则关节角RElbow- y222）、(3,y3,3)、(x4,y4,24)则有向量： Yaw为
２．１ 示教者骨骼点信息采集 Ｋｉｎｅｃｔ ｆｏｒ ｗｉｎｄｏｗｓ ｖ２ 是微软专为开发者发布的 一款 ３Ｄ 体感摄影机，包含 ＲＧＢ 彩色摄像机及由红 外线发射器和红外线 ＣＭＯＳ 摄像机所构成的 ３Ｄ 深 度传感器，利用彩色摄像头采集到的彩色图像与红 外摄像头采集到的深度图像，导入即时动态捕捉、影 像辨识功能，能够提取 ２５ 个关节点，从而得到人体 的骨架信息， Ｓ ＝ ［ ｓ１ ， ｓ２ ，…， ｓｉ，…， ｓ２５ ］ ，其中 ｓｉ ＝ （ｘｉ，ｙｉ，ｚｉ） ，如图 ２，Ｋｉｎｅｃｔ 的空间坐标系如图 ３。 图 ３ Ｋｉｎｅｃｔ 的空间坐标系 Ｆｉｇ．３ Ｔｈｅ ｓｐａｃｅ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｏｆ Ｋｉｎｅｃｔ ２．２ Ｎａｏ 机器人关节自由度与骨骼点的映射关系 推导 仿人机器人 Ｎａｏ 是 Ａｌｄｅｂａｒａｎ Ｒｏｂｏｔｉｃｓ 公司开 发机器人平台，具有 ２５ 个自由度，共 １３ 个关节，右 上肢的自由度如图 ４ 所示。 由于 Ｋｉｎｅｃｔ 采集的骨骼 信息中均认定所有关节为质点，故末端关节的转动 信息无法从 Ｋｉｎｅｃｔ 提取的骨架信息中计算得到，因 此忽略各关节的转动信息，推导出各关节对应的自 由度及所需的 Ｋｉｎｅｃｔ 骨骼点如表 １ 所示。 图 ４ Ｎａｏ 机器人右上肢自由度 Ｆｉｇ．４ Ｔｈｅ ＤＯＦ ｏｆ ｒｉｇｈｔ ｕｐｐｅｒ ｌｉｍｂ ｏｆ Ｎａｏ ｒｏｂｏｔ 表 １ 各关节对应的自由度及所需的 Ｋｉｎｅｃｔ 骨骼点信息 Ｔａｂｌｅ １ Ｔｈｅ ＤＯＦｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｅａｃｈ ｊｏｉｎｔ ａｎｄ ｔｈｅ ｓｋｅｌｅｔｏｎ ｐｏｉｎｔ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｎｅｅｄｅｄ ｔｏ ｂｅ ａｃｃｅｓｓｅｄ 关节 自由度 Ｋｉｎｅｃｔ 骨骼点 头部（Ｈｅａｄ） ＨｅａｄＰｉｔｃｈ Ｈｅａｄ、Ｎｅｃｋ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ 手部（Ｈａｎｄ） ＬＨａｎｄ、ＲＨａｎｄ Ｎｏｎｅ 左肩（ＬＳｈｏｕｌｄｅｒ） ＬＳｈｏｕｌｄｅｒＰｉｔｃｈ、ＬＳｈｏｕｌｄｅｒＲｏｌｌ Ｅｌｂｏｗ＿Ｌ、Ｓｈｏｕｌｄｅｒ＿Ｌ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ、Ｓｐｉｎｅ＿Ｍｉｄ 右肩（ＲＳｈｏｕｌｄｅｒ） ＲＳｈｏｕｌｄｅｒＰｉｔｃｈ、ＲＳｈｏｕｌｄｅｒＲｏｌｌ Ｅｌｂｏｗ＿Ｒ、Ｓｈｏｕｌｄｅｒ＿Ｒ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ、Ｓｐｉｎｅ＿Ｍｉｄ 左肘（ＬＥｌｂｏｗ） ＬＥｌｂｏｗＹａｗ、ＬＥｌｂｏｗＲｏｌｌ Ｗｒｉｓｔ＿Ｌ、Ｅｌｂｏｗ＿Ｌ、Ｓｈｏｕｌｄｅｒ＿Ｌ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ 右肘（ＲＥｌｂｏｗ） ＲＥｌｂｏｗＹａｗ、ＲＥｌｂｏｗＲｏｌｌ Ｗｒｉｓｔ＿Ｒ、Ｅｌｂｏｗ＿Ｒ、Ｓｈｏｕｌｄｅｒ＿Ｒ、Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ 左大腿（ＬＨｉｐ） ＬＨｉｐＰｉｔｃｈ、ＬＨｉｐＲｏｌｌ Ｋｎｅｅ＿Ｌ、Ｈｉｐ＿Ｌ、Ｓｐｉｎｅ＿Ｂａｓｅ、Ｓｐｉｎｅ＿Ｍｉｄ 右大腿（ＲＨｉｐ） ＲＨｉｐＰｉｔｃｈ、ＲＨｉｐＲｏｌｌ Ｋｎｅｅ＿Ｒ、Ｈｉｐ＿Ｒ、Ｓｐｉｎｅ＿Ｂａｓｅ、Ｓｐｉｎｅ＿Ｍｉｄ 左膝（ＬＫｎｅｅ） ＬＫｎｅｅＰｉｔｃｈ Ａｎｋｌｅ＿Ｌ、Ｋｎｅｅ＿Ｌ、Ｈｉｐ＿Ｌ 右膝（ＲＫｎｅｅ） ＲＫｎｅｅＰｉｔｃｈ Ａｎｋｌｅ＿Ｒ、Ｋｎｅｅ＿Ｒ、Ｈｉｐ＿Ｒ ２．３ 关节示教信息的获取 利用 Ｋｉｎｅｃｔ 获取骨骼点三维坐标信息，生成关节 向量，通过计算关节向量的夹角得到各关节控制角， 以右肘翻滚角 ＲＥｌｂｏｗＲｏｌｌ 和偏航角 ＲＥｌｂｏｗＹａｗ（图 ４ 中方框部分）为例，对关节角的计算过程进行说明。 由表 １ 知，为求 ＲＥｌｂｏｗＲｏｌｌ 和 ＲＥｌｂｏｗＹａｗ 的关节角 需要 Ｋｉｎｅｃｔ 提取的骨骼点有 Ｗｒｉｓｔ＿Ｒ、Ｅｌｂｏｗ＿Ｒ、Ｓｈｏｕｌ⁃ ｄｅｒ＿Ｒ，Ｓｐｉｎｅ＿Ｓｈｏｕｌｄｅｒ，如图 ２ 所示，分别用 ｐ１ 、ｐ２ 、ｐ３ 、 ｐ４ 表示，设其三维坐标信息分别为 （ｘ１ ，ｙ１ ，ｚ１ ）、（ｘ２ ， ｙ２ ，ｚ２ ）、（ｘ３ ，ｙ３ ，ｚ３ ）、（ｘ４ ，ｙ４ ，ｚ４ ） 则有向量： ｐ２ ｐ１ ＝ ｐ１ － ｐ２ ＝ （ｘ１ － ｘ２ ，ｙ１ － ｙ２ ，ｚ１ － ｚ２ ） ｐ２ ｐ３ ＝ ｐ３ － ｐ２ ＝ （ｘ３ － ｘ２ ，ｙ３ － ｙ２ ，ｚ３ － ｚ２ ） ｐ３ ｐ４ ＝ ｐ４ － ｐ３ ＝ （ｘ４ － ｘ３ ，ｙ４ － ｙ３ ，ｚ４ － ｚ３ ） ì î í ï ï ï ï （１） 则关节角 ＲＥｌｂｏｗＲｏｌｌ 为 θＲＥｌｂｏｗＲｏｌｌ ＝ ＜ ｐ２ ｐ１ ，ｐ２ ｐ３ ＞ ＝ ａｒｃｃｏｓ ｐ２ ｐ１·ｐ２ ｐ３ ｐ２ ｐ１ ｐ２ ｐ３ æ è ç ö ø ÷ （（２） 记向量 ｐ３，４ ｐ２，３ ＝ ｐ３ ｐ４ × ｐ２ ｐ３ ，则关节角 ＲＥｌｂｏｗ⁃ Ｙａｗ 为 ·１８２· 智 能 系 统 学 报 第 １１ 卷
第2期 于建均，等：基于Kinect的Nao机器人动作模仿系统的研究与实现 ·183· Aann=(p4P2.aP2P,）+T 则在给定专下，专4的条件概率也满 3) arccos P3,4P23·P2p1】 IPs4 P2.3Pa P:D 2 足高斯分布，即专l专k~N(u,∑')。 如表1所示，共15个自由度，其中，左肘偏航角 u'k=45+Σk(Σ)(5k-44)(7) LElbowYaw的计算与RElbow Yaw类似，如式(3)所 Σk=k-Σak()1Σ (8) 示，其余各自由度的计算与RElbowRoll类似，如式 由式(7)、(8)可得，K个高斯成分的高斯混合 (2)所示，不同之处在于根据选取向量的方向不同， 模型的均值以'，和方差，。 参照Nao机器人的各自由度角度变化范围，作取负、 p(5I k) 7k= 加减π/2或T的校正，如此，即可得到各自由度一系 p(,1i) (9) 列角度变化信息，也即模仿学习的示教数据。为得 比，=∑n (10) 到平滑稳定的运动轨迹，需对离散数据进行表征学 k=1 习，作进一步的泛化处理，得到连续的运动轨迹。 =呢 (11) 3示教数据的表征与泛化 由专klk~N(uk,∑')分布估计条件期 将各关节角的运动信息，即示教数据，分别利用 望E(1专，)，即u',为，对应的重构空间值，则泛化 GMM进行编码，实现表征学习，通过GMR进行数据 的数据点为'={'，}，该点不包含在示教数据 重构，泛化输出，以得到连续模仿运动轨迹)。 中，但封装了示教行为的所有本质特征，在协方差约 3.1示教数据的表征与泛化 束Σ'，下能够生成平滑的运动轨迹。 3.2实验设计与分析 对任一自由度，设其第j个示教数据点为专= {55},j={1,2,…,N},其中，N是单次示教包 示教者（人）做一套连贯的动作（包括拾臂、伸 含的数据点的个数，专，是关节角，专，是时间值。假 展、挥手等)，经预处理后得到的上肢的9个自由度 设每一个数据点专服从如下概率分布： (包括双臂和头部)的角度变化信息，如图5所示。 将这些数据加入到GMM进行编码，经表征学习后， p()=】 np专I) (4) 利用GMR泛化输出，得到连续的运动轨迹，如图6 式中：p(k)是先验概率，P(1k)是条件概率分布， 所示，可知，经表征和泛化后，得到连续的运动轨迹， 服从高斯分布，于是，整个示教数据集合可以用高斯 而且原始数据中的噪声得到很好的处理，波动性大 混合模型来表示，K即组成高斯混合模型的高斯分 大降低，稳定性增强。 布的个数。 p(k)=Tk 5 r 0 200400 200400 p(专Ik)=N(专；4，Σ：)= 时间步 时间步 00朵00 时间步 1 (a)RShoulderRoll (b)LShoulderRoll (c)REIbowRoll e()r-写7w） (6) √/(2m)1ΣI 式中：D是编码示教数据的GMM的维度。因此，高 200400 0 200400 0 200400 斯混合模型需要确定的参数是{π，山4，Σ}，分别表 时间步 时间步 时间步 (d)LElbowRoll (e)RShoulderPitch (f)LShoulderPitch 示第k个成分的先验概率，期望和方差。采用EM 算法估计GMM的参数，通过在概率模型中寻找参 5 旺 数最大似然估计进行参数学习)。 香 0200400 0200400 200400 示教数据的：用作查询点，对应的空间值”，利 时间步 时间步 时间步 (g)LElbowYaw (h)RElbow Yaw (i)HeadPitch 用GMR进行估计。已知p(专，Ik)满足高斯分布，即 图5示教数据的角度变化信息 N(u4,),其中，h4={44},= E:.8 Fig.5 Angle change information of demonstration data
θＲＥｌｂｏｗＹａｗ ＝ 〈ｐ３，４ ｐ２，３ ，ｐ２ ｐ１ 〉 ＋ π ２ ＝ ａｒｃｃｏｓ ｐ３，４ ｐ２，３·ｐ２ ｐ１ ｐ３，４ ｐ２，３ ｐ２ ｐ１ æ è ç ö ø ÷ ＋ π ２ （３） 如表 １ 所示，共 １５ 个自由度，其中，左肘偏航角 ＬＥｌｂｏｗＹａｗ 的计算与 ＲＥｌｂｏｗＹａｗ 类似，如式（３） 所 示，其余各自由度的计算与 ＲＥｌｂｏｗＲｏｌｌ 类似，如式 （２）所示，不同之处在于根据选取向量的方向不同， 参照 Ｎａｏ 机器人的各自由度角度变化范围，作取负、 加减 π／ ２ 或 π 的校正，如此，即可得到各自由度一系 列角度变化信息，也即模仿学习的示教数据。 为得 到平滑稳定的运动轨迹，需对离散数据进行表征学 习，作进一步的泛化处理，得到连续的运动轨迹。 ３ 示教数据的表征与泛化 将各关节角的运动信息，即示教数据，分别利用 ＧＭＭ 进行编码，实现表征学习，通过 ＧＭＲ 进行数据 重构，泛化输出，以得到连续模仿运动轨迹［８］ 。 ３．１ 示教数据的表征与泛化 对任一自由度，设其第 ｊ 个示教数据点为 ξｊ ＝ ｛ξｓ，ｊ，ξｔ，ｊ｝ ， ｊ ＝ ｛１，２，…，Ｎ｝ ，其中， Ｎ 是单次示教包 含的数据点的个数， ξｓ，ｊ 是关节角， ξｔ，ｊ 是时间值。 假 设每一个数据点 ξｊ 服从如下概率分布： ｐ（ξｊ） ＝ ∑ Ｋ ｋ ＝ １ ｐ（ｋ）ｐ（ξｊ ｜ ｋ） （４） 式中： ｐ（ｋ） 是先验概率， ｐ（ξｊ ｜ ｋ） 是条件概率分布， 服从高斯分布，于是，整个示教数据集合可以用高斯 混合模型来表示， Ｋ 即组成高斯混合模型的高斯分 布的个数。 ｐ（ｋ） ＝ πｋ （５） ｐ（ξｊ ｜ ｋ） ＝ Ｎ（ξｊ；μｋ，Σｋ） ＝ １ （２π） Ｄ ｜ Σｋ ｜ ｅ － １ ２ （（ξｊ －μｋ ） ＴΣｋ －１（ξｊ －μｋ ）） （６） 式中： Ｄ 是编码示教数据的 ＧＭＭ 的维度。 因此，高 斯混合模型需要确定的参数是 ｛πｋ，μｋ，Σｋ｝ ，分别表 示第 ｋ 个成分的先验概率，期望和方差。 采用 ＥＭ 算法估计 ＧＭＭ 的参数，通过在概率模型中寻找参 数最大似然估计进行参数学习［１３］ 。 示教数据的 ξｔ 用作查询点，对应的空间值 ξ′ｓ 利 用 ＧＭＲ 进行估计。 已知 ｐ（ξｊ ｜ ｋ） 满足高斯分布，即 ξｓ，ｋ ξｔ，ｋ æ è çç ö ø ÷÷ ～ Ｎ（μｋ， Σｋ） ，其中， μｋ ＝ ｛μｓ，ｋ，μｔ，ｋ｝ ， Σｋ ＝ Σｓ，ｋ Σｓｔ，ｋ Σｔｓ，ｋ Σｔ，ｋ { } ，则在给定 ξｔ，ｋ 下， ξｓ，ｋ 的条件概率也满 足高斯分布，即 ξｓ，ｋ ｜ ξｔ，ｋ ～ Ｎ（μ′ｓ，ｋ，∑′ｓ，ｋ） 。 μ′ｓ，ｋ ＝ μｓ，ｋ ＋ Σｓｔ，ｋ （Σｔ，ｋ） －１ （ξｔ，ｋ － μｔ，ｋ） （７） Σ′ｓ，ｋ ＝ Σｓ，ｋ － Σｓｔ，ｋ （Σｔ，ｋ） －１ Σｔｓ，ｋ （８） 由式（７）、（８）可得， Ｋ 个高斯成分的高斯混合 模型的均值 μ′ｓ 和方差 Σ′ｓ 。 ηｋ ＝ ｐ（ξｔ ｜ ｋ） Σ Ｋ ｉ ＝ １ ｐ（ξｔ ｜ ｉ） （９） μ′ｓ ＝ ∑ Ｋ ｋ ＝ １ ηｋμ′ｓ，ｋ （１０） Σ′ｓ ＝ ∑ Ｋ ｋ ＝ １ η ２ ｋ Σ′ｓ，ｋ （１１） 由 ξｓ，ｋ ｜ ξｔ，ｋ ～ Ｎ（μ′ｓ，ｋ，∑′ｓ，ｋ） 分布估计条件期 望 Ｅ（ξｓ ｜ ξｔ） ，即 μ′ｓ 为 ξｔ 对应的重构空间值，则泛化 的数据点为 ξ′ ＝ ｛ξ′ｓ，ξｔ｝ ，该点不包含在示教数据 中，但封装了示教行为的所有本质特征，在协方差约 束 Σ′ｓ 下能够生成平滑的运动轨迹。 ３．２ 实验设计与分析 示教者（人） 做一套连贯的动作（包括抬臂、伸 展、挥手等），经预处理后得到的上肢的 ９ 个自由度 （包括双臂和头部） 的角度变化信息，如图 ５ 所示。 将这些数据加入到 ＧＭＭ 进行编码，经表征学习后， 利用 ＧＭＲ 泛化输出，得到连续的运动轨迹，如图 ６ 所示，可知，经表征和泛化后，得到连续的运动轨迹， 而且原始数据中的噪声得到很好的处理，波动性大 大降低，稳定性增强。 图 ５ 示教数据的角度变化信息 Ｆｉｇ．５ Ａｎｇｌｅ ｃｈａｎｇｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｄｅｍｏｎｓｔｒａｔｉｏｎ ｄａｔａ 第 ２ 期 于建均，等：基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统的研究与实现 ·１８３·
·184 智能系统学报 第11卷 4 1.头C 1.0 1.0 00 500 ×1020.5 x10 0.5 时间步 时间步 时间步300 0123 0123 0123 (a)RShoulderRoll (b)LShoulderRoll (c)RElbowRoll (a)RShoulderRoll (b)LShoulderRoll (c)REIbowRoll 图8多次示教的GMM编码和GMR泛化 Fig.8 The output of multi-demonstration after encoding 500 500 300 by GMM and generalization by GMR 时闯步 时间步 时间步 (d)LElbowRoll (e)RShoulderPitch (f)LShoulderPitch 0.5 ty 4 基于模仿学习的Nao机器人行为动 0 作的实现 500 500 三0.5 500 时间步 时间步 0 时间步 (g)LElbowYaw (h)REIbowYaw (i)HeadPitch Nao机器人的嵌入式软件NAOqi包含一个跨平 图6经表征和泛化后的角度变化信息 台的分布式机器人框架，为开发人员提高、改进Nao Fig.6 The angle change information of demo data after 的各项功能提供了一个良好的基础。本文构建的 representation and generalization Nao机器人动作模仿系统，骨骼点信息采集及示教 以RShoulderRoll、RElbow Roll、RShoulderPitch3 数据的获取采用C#语言开发实现，示教数据的表征 个自由度为例，对单次示教的表征和泛化过程进行 与泛化基于MATLAB环境开发实现，将泛化得到的 说明，如图7所示，每列表示一个自由度，第1行是 运动信息通过NAOqi进行数据的更新，映射到Nao 原始数据，第2行是GMM编码的结果，第3行实线 机器人的底层控制中，实现动作模仿。 是GMR泛化的输出，阴影表示协方差约束。 实验研究表明，构建的基于Kinect的Nao机器人 2.51 1.5 动作模仿系统可以实现实时、离线两种方式的动作行 -0.5 0.5 0123x10200123×102 为模仿，实时动作模仿展示如图9~12所示，对每一个 0123×10 (a)RShoulderRoll (b)LShoulderRoll (c)RElbowRoll 子图，左边是示教者，右边是模仿者(Nao机器人)，中 8MpY 2.5 1.5 间是计算机界面，包括Kinect采集到的人体骨骼信息 _0.5 和运用Nao机器人的开发套件NaoSim与Choregra- 023 0.5 -0.5 0123×10 0123 phe,在虚拟环境下的动作模拟测试结果，其中，图9~ (a)RShoulderRoll (b)LShoulderRoll (c)RElbowRoll 11是基本动作的模仿，图9是双臂伸展动作，图10是 1. 2.5 1.5 0.5j 双臂弯曲动作，图11分别表示头部自由度动作（低 -0.50T23 0.5V 0123×1020123 头)和手的状态模仿（右手闭合，左手张开），图12是 (a)RShoulderRoll (b)LShoulderRoll (c)RElbowRoll 复合动作，分别是挥手和武术起手式动作。 图7单次示教的GMM编码和GMR泛化 Fig.7 The output of single demonstration after encoding by GMM and generalization by GMR 在离线模式下，可以对多次示教进行学习，如 图8所示，是对摆臂动作进行三次示教，以RElbow. 图9双臂伸展动作 R自由度为例进行的说明，依次对应示教数据获 Fig.9 The motion of stretching arms 取、表征编码及泛化输出的过程。对原始数据处理 后得到示教数据，由图可知，GMM能对多次示教进 行编码，利用GMR泛化出包含多次示教特征的输 出，具有较强的噪声处理能力，如果某次示教过程中 存在干扰或跳变，可编码多次示教的特性可对噪声 进行自动过滤，泛化出最优轨迹。 图10双臂弯曲动作 Fig.10 Motion of bending arms
图 ６ 经表征和泛化后的角度变化信息 Ｆｉｇ．６ Ｔｈｅ ａｎｇｌｅ ｃｈａｎｇｅ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｄｅｍｏ ｄａｔａ ａｆｔｅｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ ｇｅｎｅｒａｌｉｚａｔｉｏｎ 以 ＲＳｈｏｕｌｄｅｒＲｏｌｌ、 ＲＥｌｂｏｗＲｏｌｌ、 ＲＳｈｏｕｌｄｅｒＰｉｔｃｈ３ 个自由度为例，对单次示教的表征和泛化过程进行 说明，如图 ７ 所示，每列表示一个自由度，第 １ 行是 原始数据，第 ２ 行是 ＧＭＭ 编码的结果，第 ３ 行实线 是 ＧＭＲ 泛化的输出，阴影表示协方差约束。 图 ７ 单次示教的 ＧＭＭ 编码和 ＧＭＲ 泛化 Ｆｉｇ．７ Ｔｈｅ ｏｕｔｐｕｔ ｏｆ ｓｉｎｇｌｅ ｄｅｍｏｎｓｔｒａｔｉｏｎ ａｆｔｅｒ ｅｎｃｏｄｉｎｇ ｂｙ ＧＭＭ ａｎｄ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｂｙ ＧＭＲ 在离线模式下，可以对多次示教进行学习，如 图 ８ 所示，是对摆臂动作进行三次示教，以 ＲＥｌｂｏｗ⁃ Ｒｏｌｌ 自由度为例进行的说明，依次对应示教数据获 取、表征编码及泛化输出的过程。 对原始数据处理 后得到示教数据，由图可知，ＧＭＭ 能对多次示教进 行编码，利用 ＧＭＲ 泛化出包含多次示教特征的输 出，具有较强的噪声处理能力，如果某次示教过程中 存在干扰或跳变，可编码多次示教的特性可对噪声 进行自动过滤，泛化出最优轨迹。 图 ８ 多次示教的 ＧＭＭ 编码和 ＧＭＲ 泛化 Ｆｉｇ． ８ Ｔｈｅ ｏｕｔｐｕｔ ｏｆ ｍｕｌｔｉ⁃ｄｅｍｏｎｓｔｒａｔｉｏｎ ａｆｔｅｒ ｅｎｃｏｄｉｎｇ ｂｙ ＧＭＭ ａｎｄ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｂｙ ＧＭＲ ４ 基于模仿学习的 Ｎａｏ 机器人行为动 作的实现 Ｎａｏ 机器人的嵌入式软件 ＮＡＯｑｉ 包含一个跨平 台的分布式机器人框架，为开发人员提高、改进 Ｎａｏ 的各项功能提供了一个良好的基础。 本文构建的 Ｎａｏ 机器人动作模仿系统，骨骼点信息采集及示教 数据的获取采用 Ｃ＃语言开发实现，示教数据的表征 与泛化基于 ＭＡＴＬＡＢ 环境开发实现，将泛化得到的 运动信息通过 ＮＡＯｑｉ 进行数据的更新，映射到 Ｎａｏ 机器人的底层控制中，实现动作模仿。 实验研究表明，构建的基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人 动作模仿系统可以实现实时、离线两种方式的动作行 为模仿，实时动作模仿展示如图 ９～１２ 所示，对每一个 子图，左边是示教者，右边是模仿者（Ｎａｏ 机器人），中 间是计算机界面，包括 Ｋｉｎｅｃｔ 采集到的人体骨骼信息 和运用 Ｎａｏ 机器人的开发套件 ＮａｏＳｉｍ 与 Ｃｈｏｒｅｇｒａ⁃ ｐｈｅ，在虚拟环境下的动作模拟测试结果，其中，图 ９～ １１ 是基本动作的模仿，图 ９ 是双臂伸展动作，图 １０ 是 双臂弯曲动作，图 １１ 分别表示头部自由度动作（低 头）和手的状态模仿（右手闭合，左手张开），图 １２ 是 复合动作，分别是挥手和武术起手式动作。 图 ９ 双臂伸展动作 Ｆｉｇ．９ Ｔｈｅ ｍｏｔｉｏｎ ｏｆ ｓｔｒｅｔｃｈｉｎｇ ａｒｍｓ 图 １０ 双臂弯曲动作 Ｆｉｇ．１０ Ｍｏｔｉｏｎ ｏｆ ｂｅｎｄｉｎｇ ａｒｍｓ ·１８４· 智 能 系 统 学 报 第 １１ 卷
第2期 于建均，等：基于Kinect的Nao机器人动作模仿系统的研究与实现 ·185. 基于模仿系统的灵活性和稳定性，该系统可用 于实际操作任务，如图13所示，控制机器人将彩笔 放入笔筒中，其中A~C是左手抓取动作，对应的细 节图是a~c:D~E是将彩笔从左手交换到右手，细 节对于d~e:F~H是右手将彩笔放入到右边透明笔 筒中，细节对应f~h,整个过程较灵活稳定。基于模 图11低头及手的状态模仿 仿学习的框架，将Kinect与Nao机器人相结合实现 Fig.11 Head drop and imitation of the state of hands 的动作模仿系统，在上肢的动作模仿中效果较好，如 图9~13所示，运动平滑稳定，能够用于执行实际任 务。在线模式下，示教过程中，实时更新数据，动作 的模仿是实时的。本系统还可以实现离线模式下的 行为动作模仿，离线模式下，数据是在示教完成后， 进行数据的更新。离线模式下，可以通过记录动作 执行过程中各自由度角度的变化，实现动作学习的 记忆，在环境和任务不变的情况下，实现学习到的动 图12复合动作 作（技能）重复执行，可将其应用于生产线上的重复 Fig.12 Composite actions 性行为动作，通过示教-模仿的机制，可有效避免机 器人底层的复杂编程。 B (C) (D) (HD 图13基于实时模仿的抓-放任务的实现 Fig.13 The implementation of catch-put task based on real-time imitation 此外，可通过重采样不同数目的泛化输出点，实 虑引入内部传感实现闭环的控制。 现对运动速度的控制，对于图6中的一套动作，经反 5结论 复试验，采样500个数据，点映射到机器人中时，运动 轨迹较平滑自然，若采样200个点动作较快，而800 本文将体态感知与仿人机器人相结合，研究机 个点，则动作较慢，更多的点则显得动作迟钝。 器人的模仿学习，并以该框架为指导，开发实现了基 但是，目前该系统在下肢的动作模仿中实际效 于Kinect的Nao机器人动作模仿系统。该系统在 果不太理想，其原因在于下肢存在平衡问题，而该系 Nao机器人上肢的动作模仿中效果较好，运动平滑 统本质上是一开环系统，为解决下肢模仿的平衡考 而自然，实验结果表明：
图 １１ 低头及手的状态模仿 Ｆｉｇ．１１ Ｈｅａｄ ｄｒｏｐ ａｎｄ ｉｍｉｔａｔｉｏｎ ｏｆ ｔｈｅ ｓｔａｔｅ ｏｆ ｈａｎｄｓ 图 １２ 复合动作 Ｆｉｇ．１２ Ｃｏｍｐｏｓｉｔｅ ａｃｔｉｏｎｓ 基于模仿系统的灵活性和稳定性，该系统可用 于实际操作任务，如图 １３ 所示，控制机器人将彩笔 放入笔筒中，其中 Ａ ～ Ｃ 是左手抓取动作，对应的细 节图是 ａ ～ ｃ；Ｄ ～ Ｅ 是将彩笔从左手交换到右手，细 节对于 ｄ～ ｅ；Ｆ～ Ｈ 是右手将彩笔放入到右边透明笔 筒中，细节对应 ｆ～ ｈ，整个过程较灵活稳定。 基于模 仿学习的框架，将 Ｋｉｎｅｃｔ 与 Ｎａｏ 机器人相结合实现 的动作模仿系统，在上肢的动作模仿中效果较好，如 图 ９～１３ 所示，运动平滑稳定，能够用于执行实际任 务。 在线模式下，示教过程中，实时更新数据，动作 的模仿是实时的。 本系统还可以实现离线模式下的 行为动作模仿，离线模式下，数据是在示教完成后， 进行数据的更新。 离线模式下，可以通过记录动作 执行过程中各自由度角度的变化，实现动作学习的 记忆，在环境和任务不变的情况下，实现学习到的动 作（技能）重复执行，可将其应用于生产线上的重复 性行为动作，通过示教－模仿的机制，可有效避免机 器人底层的复杂编程。 图 １３ 基于实时模仿的抓－放任务的实现 Ｆｉｇ．１３ Ｔｈｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｃａｔｃｈ⁃ｐｕｔ ｔａｓｋ ｂａｓｅｄ ｏｎ ｒｅａｌ⁃ｔｉｍｅ ｉｍｉｔａｔｉｏｎ 此外，可通过重采样不同数目的泛化输出点，实 现对运动速度的控制，对于图 ６ 中的一套动作，经反 复试验，采样 ５００ 个数据点映射到机器人中时，运动 轨迹较平滑自然，若采样 ２００ 个点动作较快，而 ８００ 个点，则动作较慢，更多的点则显得动作迟钝。 但是，目前该系统在下肢的动作模仿中实际效 果不太理想，其原因在于下肢存在平衡问题，而该系 统本质上是一开环系统，为解决下肢模仿的平衡考 虑引入内部传感实现闭环的控制。 ５ 结论 本文将体态感知与仿人机器人相结合，研究机 器人的模仿学习，并以该框架为指导，开发实现了基 于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统。 该系统在 Ｎａｏ 机器人上肢的动作模仿中效果较好，运动平滑 而自然，实验结果表明： 第 ２ 期 于建均，等：基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统的研究与实现 ·１８５·
·186 智能系统学报 第11卷 1)通过Kinect采集骨骼点空间坐标，用于计算 (7):1000-1004 示教者运动过程的关节角变化信息的方法是可行 YU Jianjun,HAN Chunxiao,RUAN Xiaogang,et al.Ro- 的，能够为模型训练提供较好的数据支持。 bot imitation learning based on Gaussian processes[]. 2)经GMM编码和GMR泛化后，能够得到连 Journal of Beijing university of technology,2015,41(7): 1000-1004 续的平滑运动轨迹，且原始数据中的噪声得到很好 的处理，波动性大大降低，稳定性较好。 [8]CALINON S.Robot programming by demonstration:a prob- abilistic approach[M].Lausanne:EPFL Press,2009:75- 3)在上肢的动作模仿中，运动较平滑稳定，能 100 够用于复杂运动技能的学习，能够较灵活地执行遥 [9]赵妹颖，徐文杰，郑雪林，等.基于体感的机器人展示 操作任务，对面向搜救任务的机器人研究有一定的 系统研究与开发[J].机器人技术与应用，2012(6)：54. 参考意义。 57. 4)在离线模式下，可实现动作记忆，进而实现 ZHAO Shuying,XU Wenjie,ZHENG Xuelin,et al.re- 动作的重复执行，而且可通过重采样方法对运动速 search and development of display system of Nao humanoid 度进行控制。 robot based on posture perception[J].Robot technique and 5)不足之处在于，下肢存在平衡控制的问题， application of robot,2012(6):54-57. 不能实现上下肢的协同运动。 [10]ALMETWALLY I,MALLEM M.Real-time tele-operation 下一步研究的方向是考虑引入闭环控制，解决 and tele-walking of humanoid Robot Nao using Kinect Depth Camera[C]//Proceedings of the 10th IEEE Interna- 下肢的平衡问题，实现上肢和下肢的协同动作，将整 tional Conference on Networking,Sensing and Control 个系统应用于远程遥操作任务，提高其实用性。 (ICNSC).2013 10th IEEE International Conference on 参考文献： Evry,France:IEEE,2013:463-466. [11]KOENEMANN J,BENNEWITZ M.Whole-body imitation [1]SCHAAL S.Is imitation learning the route to humanoid ro- of human motions with a Nao humanoid C//Proceedings bots?[J].Trends in cognitive sciences,1999,3(6): of the 7th ACM/IEEE International Conference on Human- 233-242. Robot Interaction HRI).2012 7th ACM/IEEE Interna- [2]BILLARD A,CALINON S,DILLMANN R,et al.Robot tional Conference onBoston,MA,USA:IEEE,2012: programming by demonstration M ]//SICILIANO B. 425-425. KHATIB O.Springer Handbook of Robotics.Berlin Heidel- [12]YANG Ningjia,DUAN Feng,WEI Yudi,et al.A study of berg:Springer,2008:1371-1394. the human-robot synchronous control system based on skel- [3]ENGLERT P,PARASCHOS A,DEISENROTH M P,et al. etal tracking technology [C]//Proceedings of IEEE Inter- Probabilistic model-based imitation learning[J].Adaptive national Conference on Robotics and Biomimetics RO- behavior,2013.21(5):388-403. BIO),Shenzhen,China,2013:2191-2196 [4]GRIBOVSKAYA E,KHANSARI-ZADEH S M,BILLARD [13]BISHOP C M.Pattern recognition and machine learning A.Learning non-linear multivariate dynamics of motion in [M].New York:Springer,2006:423-455. robotic manipulators[].The international journal of robot- 作者简介： ics research,2011,30(1):80-117. 于建均，女，1965年生，副教授。主 [5]LEE Sang H L,SUH I H,CALINON S,et al.Autonomous 要研究方向为智能机器人的仿生自主 framework for segmenting robot trajectories of manipulation 控制、智能计算与智能优化控制、复杂 task[J].Autonomous robots,2015,38(2):107-141. 过程建模、优化与控制。主持或参与国 [6]ASFOUR T,AZAD P,GYARFAS F,et al.Imitation learn- 家“863”计划项目、国家自然科学基金 ing of dual-arm manipulation tasks in humanoid robots[J]. 等省部级科研项目以及横向科研课题 International journal of humanoid robotics,2008,5(2): 多项；发表SCI、El、ISTP收录论文40余篇，获国家发明专 183-202. 利、实用新型专利、国家软件著作权等10余项。 [7]于建均，韩春晓，阮晓钢，等.基于高斯过程的机器人 模仿学习研究与实现[J].北京工业大学学报，2015,41
１） 通过 Ｋｉｎｅｃｔ 采集骨骼点空间坐标，用于计算 示教者运动过程的关节角变化信息的方法是可行 的，能够为模型训练提供较好的数据支持。 ２） 经 ＧＭＭ 编码和 ＧＭＲ 泛化后，能够得到连 续的平滑运动轨迹，且原始数据中的噪声得到很好 的处理，波动性大大降低，稳定性较好。 ３） 在上肢的动作模仿中，运动较平滑稳定，能 够用于复杂运动技能的学习，能够较灵活地执行遥 操作任务，对面向搜救任务的机器人研究有一定的 参考意义。 ４） 在离线模式下，可实现动作记忆，进而实现 动作的重复执行，而且可通过重采样方法对运动速 度进行控制。 ５） 不足之处在于，下肢存在平衡控制的问题， 不能实现上下肢的协同运动。 下一步研究的方向是考虑引入闭环控制，解决 下肢的平衡问题，实现上肢和下肢的协同动作，将整 个系统应用于远程遥操作任务，提高其实用性。 参考文献： ［１］ＳＣＨＡＡＬ Ｓ． Ｉｓ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｔｈｅ ｒｏｕｔｅ ｔｏ ｈｕｍａｎｏｉｄ ｒｏ⁃ ｂｏｔｓ？ ［ Ｊ］． Ｔｒｅｎｄｓ ｉｎ ｃｏｇｎｉｔｉｖｅ ｓｃｉｅｎｃｅｓ， １９９９， ３ （ ６）： ２３３⁃２４２． ［２］ ＢＩＬＬＡＲＤ Ａ， ＣＡＬＩＮＯＮ Ｓ， ＤＩＬＬＭＡＮＮ Ｒ， ｅｔ ａｌ． Ｒｏｂｏｔ ｐｒｏｇｒａｍｍｉｎｇ ｂｙ ｄｅｍｏｎｓｔｒａｔｉｏｎ ［ Ｍ ］ ／ ／ ＳＩＣＩＬＩＡＮＯ Ｂ， ＫＨＡＴＩＢ Ｏ． Ｓｐｒｉｎｇｅｒ Ｈａｎｄｂｏｏｋ ｏｆ Ｒｏｂｏｔｉｃｓ． Ｂｅｒｌｉｎ Ｈｅｉｄｅｌ⁃ ｂｅｒｇ： Ｓｐｒｉｎｇｅｒ， ２００８： １３７１⁃１３９４． ［３］ＥＮＧＬＥＲＴ Ｐ， ＰＡＲＡＳＣＨＯＳ Ａ， ＤＥＩＳＥＮＲＯＴＨ Ｍ Ｐ， ｅｔ ａｌ． Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍｏｄｅｌ⁃ｂａｓｅｄ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ［ Ｊ］． Ａｄａｐｔｉｖｅ ｂｅｈａｖｉｏｒ， ２０１３， ２１（５）： ３８８⁃４０３． ［４］ ＧＲＩＢＯＶＳＫＡＹＡ Ｅ， ＫＨＡＮＳＡＲＩ⁃ＺＡＤＥＨ Ｓ Ｍ， ＢＩＬＬＡＲＤ Ａ． Ｌｅａｒｎｉｎｇ ｎｏｎ⁃ｌｉｎｅａｒ ｍｕｌｔｉｖａｒｉａｔｅ ｄｙｎａｍｉｃｓ ｏｆ ｍｏｔｉｏｎ ｉｎ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒｓ［Ｊ］． Ｔｈｅ ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｒｏｂｏｔ⁃ ｉｃｓ ｒｅｓｅａｒｃｈ， ２０１１， ３０（１）： ８０⁃１１７． ［５］ＬＥＥ Ｓａｎｇ Ｈ Ｌ， ＳＵＨ Ｉ Ｈ， ＣＡＬＩＮＯＮ Ｓ， ｅｔ ａｌ． Ａｕｔｏｎｏｍｏｕｓ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｓｅｇｍｅｎｔｉｎｇ ｒｏｂｏｔ ｔｒａｊｅｃｔｏｒｉｅｓ ｏｆ ｍａｎｉｐｕｌａｔｉｏｎ ｔａｓｋ［Ｊ］． Ａｕｔｏｎｏｍｏｕｓ ｒｏｂｏｔｓ， ２０１５， ３８（２）： １０７⁃１４１． ［６］ＡＳＦＯＵＲ Ｔ， ＡＺＡＤ Ｐ， ＧＹＡＲＦＡＳ Ｆ， ｅｔ ａｌ． Ｉｍｉｔａｔｉｏｎ ｌｅａｒｎ⁃ ｉｎｇ ｏｆ ｄｕａｌ⁃ａｒｍ ｍａｎｉｐｕｌａｔｉｏｎ ｔａｓｋｓ ｉｎ ｈｕｍａｎｏｉｄ ｒｏｂｏｔｓ［ Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｈｕｍａｎｏｉｄ ｒｏｂｏｔｉｃｓ， ２００８， ５ （ ２）： １８３⁃２０２． ［７］于建均， 韩春晓， 阮晓钢， 等． 基于高斯过程的机器人 模仿学习研究与实现［Ｊ］． 北京工业大学学报， ２０１５， ４１ （７）： １０００⁃１００４． ＹＵ Ｊｉａｎｊｕｎ ， ＨＡＮ Ｃｈｕｎｘｉａｏ ， ＲＵＡＮ Ｘｉａｏｇａｎｇ， ｅｔ ａｌ． Ｒｏ⁃ ｂｏｔ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ Ｇａｕｓｓｉａｎ ｐｒｏｃｅｓｓｅｓ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｔｅｃｈｎｏｌｏｇｙ， ２０１５， ４１（ ７）： １０００⁃１００４． ［８］ＣＡＬＩＮＯＮ Ｓ． Ｒｏｂｏｔ ｐｒｏｇｒａｍｍｉｎｇ ｂｙ ｄｅｍｏｎｓｔｒａｔｉｏｎ： ａ ｐｒｏｂ⁃ ａｂｉｌｉｓｔｉｃ ａｐｐｒｏａｃｈ［Ｍ］． Ｌａｕｓａｎｎｅ： ＥＰＦＬ Ｐｒｅｓｓ， ２００９： ７５⁃ １００． ［９］赵姝颖， 徐文杰， 郑雪林， 等． 基于体感的机器人展示 系统研究与开发［Ｊ］． 机器人技术与应用， ２０１２（６）： ５４⁃ ５７． ＺＨＡＯ Ｓｈｕｙｉｎｇ， ＸＵ Ｗｅｎｊｉｅ， ＺＨＥＮＧ Ｘｕｅｌｉｎ， ｅｔ ａｌ． ｒｅ⁃ ｓｅａｒｃｈ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｉｓｐｌａｙ ｓｙｓｔｅｍ ｏｆ Ｎａｏ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｂａｓｅｄ ｏｎ ｐｏｓｔｕｒｅ ｐｅｒｃｅｐｔｉｏｎ［ Ｊ］． Ｒｏｂｏｔ ｔｅｃｈｎｉｑｕｅ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｒｏｂｏｔ， ２０１２ （６）： ５４⁃５７． ［１０］ＡＬＭＥＴＷＡＬＬＹ Ｉ， ＭＡＬＬＥＭ Ｍ． Ｒｅａｌ⁃ｔｉｍｅ ｔｅｌｅ⁃ｏｐｅｒａｔｉｏｎ ａｎｄ ｔｅｌｅ⁃ｗａｌｋｉｎｇ ｏｆ ｈｕｍａｎｏｉｄ Ｒｏｂｏｔ Ｎａｏ ｕｓｉｎｇ Ｋｉｎｅｃｔ Ｄｅｐｔｈ Ｃａｍｅｒａ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １０ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａ⁃ ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｔｗｏｒｋｉｎｇ， Ｓｅｎｓｉｎｇ ａｎｄ Ｃｏｎｔｒｏｌ （ ＩＣＮＳＣ）． ２０１３ １０ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｖｒｙ， Ｆｒａｎｃｅ： ＩＥＥＥ， ２０１３： ４６３⁃４６６． ［１１］ＫＯＥＮＥＭＡＮＮ Ｊ， ＢＥＮＮＥＷＩＴＺ Ｍ． Ｗｈｏｌｅ⁃ｂｏｄｙ ｉｍｉｔａｔｉｏｎ ｏｆ ｈｕｍａｎ ｍｏｔｉｏｎｓ ｗｉｔｈ ａ Ｎａｏ ｈｕｍａｎｏｉｄ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ ＡＣＭ／ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ⁃ Ｒｏｂｏｔ Ｉｎｔｅｒａｃｔｉｏｎ （ ＨＲＩ）． ２０１２ ７ｔｈ ＡＣＭ／ ＩＥＥＥ Ｉｎｔｅｒｎａ⁃ ｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＢｏｓｔｏｎ， ＭＡ， ＵＳＡ： ＩＥＥＥ， ２０１２： ４２５⁃４２５． ［１２］ＹＡＮＧ Ｎｉｎｇｊｉａ， ＤＵＡＮ Ｆｅｎｇ， ＷＥＩ Ｙｕｄｉ， ｅｔ ａｌ． Ａ ｓｔｕｄｙ ｏｆ ｔｈｅ ｈｕｍａｎ⁃ｒｏｂｏｔ ｓｙｎｃｈｒｏｎｏｕｓ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｓｋｅｌ⁃ ｅｔａｌ ｔｒａｃｋｉｎｇ ｔｅｃｈｎｏｌｏｇｙ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒ⁃ ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｂｉｏｍｉｍｅｔｉｃｓ （ ＲＯ⁃ ＢＩＯ）， Ｓｈｅｎｚｈｅｎ， Ｃｈｉｎａ， ２０１３： ２１９１⁃２１９６． ［１３］ ＢＩＳＨＯＰ Ｃ Ｍ． Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ［Ｍ］． Ｎｅｗ Ｙｏｒｋ： Ｓｐｒｉｎｇｅｒ， ２００６： ４２３⁃４５５． 作者简介： 于建均，女，１９６５ 年生，副教授。 主 要研究方向为智能机器人的仿生自主 控制、智能计算与智能优化控制、复杂 过程建模、优化与控制。 主持或参与国 家“８６３”计划项目、国家自然科学基金 等省部级科研项目以及横向科研课题 多项；发表 ＳＣＩ、ＥＩ、ＩＳＴＰ 收录论文 ４０ 余篇，获国家发明专 利、实用新型专利、国家软件著作权等 １０ 余项。 ·１８６· 智 能 系 统 学 报 第 １１ 卷
第2期 于建均，等：基于Kinect的Nao机器人动作模仿系统的研究与实现 ·187- 门玉森，男，1991年生，硕士研究 阮晓钢，男，1960年生，教授， 生，主要研究方向为机器学习、机器人 博士生导师，主要研究方向为人工智能 技术。参与国家自然基金项目，发表学 与认知科学、机器人学与机器人技术、 术论文3篇，获发明专利1项。 控制科学与工程等。主持科研课题20 余项，发表学术论文400余篇，其中，被 SCI和EI和ISTP检索200余次，获得 多项国家发明专利、实用新型专利等。 第10届仿生系统和信号处理国际会议 International Conference on Bio-inspired Systems and Signal Processing The purpose of the International Conference on Bio-inspired Systems and Signal Processing is to bring together re- searchers and practitioners from multiple areas of knowledge,including biology,medicine,engineering and other physical sciences,interested in studying and using models and techniques inspired from or applied to biological systems.A diversity of signal types can be found in this area,including image,audio and other biological sources of information.The analysis and use of these signals is a multidisciplinary area including signal processing,pattern recognition and computational intel- ligence techniques,amongst others. Conference Topics: Speech Recognition Processing Neural Networks Physiological Processes and Bio-signal Modeling, Biometrics Non-linear Dynamics Pattern Recognition Cybernetics and User Interface Technologies Medical Signal Acquisition,Analysis and Processing Electromagnetic fields in biology and medicine Wearable Sensors and Systems Fuzzy Systems and Signals Real-time Systems Monitoring and Telemetry Evolutionary Systems Cardiovascular Signals Acoustic Signal Processing Image Analysis and Processing Time and Frequency Response Detection and Identification Wavelet Transform Motion Control Medical Image Detection,Acquisition,Analysis and Website:http://www.biosignals.biostec.org/
门玉森，男， １９９１ 年生，硕士研究 生，主要研究方向为机器学习、机器人 技术。 参与国家自然基金项目，发表学 术论文 ３ 篇，获发明专利 １ 项。 阮晓钢，男，１９６０ 年生，教授， 博士生导师，主要研究方向为人工智能 与认知科学、机器人学与机器人技术、 控制科学与工程等。 主持科研课题 ２０ 余项，发表学术论文 ４００ 余篇，其中，被 ＳＣＩ 和 ＥＩ 和 ＩＳＴＰ 检索 ２００ 余次，获得 多项国家发明专利、实用新型专利等。 第 １０ 届仿生系统和信号处理国际会议 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏ⁃ｉｎｓｐｉｒｅｄ Ｓｙｓｔｅｍｓ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｈｅ ｐｕｒｐｏｓｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏ⁃ｉｎｓｐｉｒｅｄ Ｓｙｓｔｅｍｓ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ｉｓ ｔｏ ｂｒｉｎｇ ｔｏｇｅｔｈｅｒ ｒｅ⁃ ｓｅａｒｃｈｅｒｓ ａｎｄ ｐｒａｃｔｉｔｉｏｎｅｒｓ ｆｒｏｍ ｍｕｌｔｉｐｌｅ ａｒｅａｓ ｏｆ ｋｎｏｗｌｅｄｇｅ， ｉｎｃｌｕｄｉｎｇ ｂｉｏｌｏｇｙ， ｍｅｄｉｃｉｎｅ， ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ ｏｔｈｅｒ ｐｈｙｓｉｃａｌ ｓｃｉｅｎｃｅｓ， ｉｎｔｅｒｅｓｔｅｄ ｉｎ ｓｔｕｄｙｉｎｇ ａｎｄ ｕｓｉｎｇ ｍｏｄｅｌｓ ａｎｄ ｔｅｃｈｎｉｑｕｅｓ ｉｎｓｐｉｒｅｄ ｆｒｏｍ ｏｒ ａｐｐｌｉｅｄ ｔｏ ｂｉｏｌｏｇｉｃａｌ ｓｙｓｔｅｍｓ． Ａ ｄｉｖｅｒｓｉｔｙ ｏｆ ｓｉｇｎａｌ ｔｙｐｅｓ ｃａｎ ｂｅ ｆｏｕｎｄ ｉｎ ｔｈｉｓ ａｒｅａ， ｉｎｃｌｕｄｉｎｇ ｉｍａｇｅ， ａｕｄｉｏ ａｎｄ ｏｔｈｅｒ ｂｉｏｌｏｇｉｃａｌ ｓｏｕｒｃｅｓ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ． Ｔｈｅ ａｎａｌｙｓｉｓ ａｎｄ ｕｓｅ ｏｆ ｔｈｅｓｅ ｓｉｇｎａｌｓ ｉｓ ａ ｍｕｌｔｉｄｉｓｃｉｐｌｉｎａｒｙ ａｒｅａ ｉｎｃｌｕｄｉｎｇ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ， ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｎｔｅｌ⁃ ｌｉｇｅｎｃｅ ｔｅｃｈｎｉｑｕｅｓ， ａｍｏｎｇｓｔ ｏｔｈｅｒｓ． Ｃｏｎｆｅｒｅｎｃｅ Ｔｏｐｉｃｓ： Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｂｉｏｍｅｔｒｉｃｓ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｅｄｉｃａｌ Ｓｉｇｎａｌ Ａｃｑｕｉｓｉｔｉｏｎ， Ａｎａｌｙｓｉｓ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ｗｅａｒａｂｌｅ Ｓｅｎｓｏｒｓ ａｎｄ Ｓｙｓｔｅｍｓ Ｒｅａｌ⁃ｔｉｍｅ Ｓｙｓｔｅｍｓ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｓｙｓｔｅｍｓ Ａｃｏｕｓｔｉｃ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｉｍｅ ａｎｄ Ｆｒｅｑｕｅｎｃｙ Ｒｅｓｐｏｎｓｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｄｅｔｅｃｔｉｏｎ， Ａｃｑｕｉｓｉｔｉｏｎ， Ａｎａｌｙｓｉｓ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ｐｈｙｓｉｏｌｏｇｉｃａｌ Ｐｒｏｃｅｓｓｅｓ ａｎｄ Ｂｉｏ⁃ｓｉｇｎａｌ Ｍｏｄｅｌｉｎｇ， Ｎｏｎ⁃ｌｉｎｅａｒ Ｄｙｎａｍｉｃｓ Ｃｙｂｅｒｎｅｔｉｃｓ ａｎｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｆｉｅｌｄｓ ｉｎ ｂｉｏｌｏｇｙ ａｎｄ ｍｅｄｉｃｉｎｅ Ｆｕｚｚｙ Ｓｙｓｔｅｍｓ ａｎｄ Ｓｉｇｎａｌｓ Ｍｏｎｉｔｏｒｉｎｇ ａｎｄ Ｔｅｌｅｍｅｔｒｙ Ｃａｒｄｉｏｖａｓｃｕｌａｒ Ｓｉｇｎａｌｓ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｍｏｔｉｏｎ Ｃｏｎｔｒｏｌ Ｗｅｂｓｉｔｅ：ｈｔｔｐ： ／ ／ ｗｗｗ．ｂｉｏｓｉｇｎａｌｓ．ｂｉｏｓｔｅｃ．ｏｒｇ ／ 第 ２ 期 于建均，等：基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统的研究与实现 ·１８７·