第2期 于建均，等：基于Kinect的Nao机器人动作模仿系统的研究与实现 ·181- ran Robotics公司开发的一款可编程类人机器人，在 作模仿，在线模式下，可以进行实时的复杂动作模 研究领域得到世界范围的广泛应用，不仅应用于机 仿，运动轨迹平滑稳定：离线模式下可以通过学习多 器人研究、人工智能、工程学和计算机科学领域，还 次示教泛化出最佳轨迹，具有较强的噪声处理能力， 运用在社会学和医疗保健领域，其研究项目包括语 而且可以通过控制重采样点数目，实现动作执行速 音识别、视频处理、模式识别、自闭症治疗、多智能体 度的控制，更主要的是一旦学会，可以形成动作记 系统、路径规划等。是否具备学习的能力是机器人 忆，实现示教动作的重复执行。 智能性的重要体现，而模仿学习)作为机器人学习 1 Nao机器人模仿学习系统构建 的重要方式，为避开繁琐困难的底层运动控制实现 复杂运动的生成提供了可能，在机器人仿生学中占 以机器人模仿学习的框架为指导，构建了Nao 有重要地位。 机器人动作模仿的系统结构，如图1所示。利用K- 所谓模仿学习是指模仿者（机器人）通过“观 nect的骨骼跟踪，采集示教者骨骼点三维空间坐标 察”示教者（人或机器人）的运动行为，学习运动控 信息，经上位机预处理实现示教数据获取；通过 制策略，泛化输出，进而获取运动技能)。模仿学 GMM对示教数据信息进行编码，利用GMR泛化输 习的过程可分为3个过程：行为感知、行为表征、行 出后，通过Ethernet(以太网)与下位机通信，映射到 为再现，分别对应示教数据获取，特征编码进行表征 Nao机器人的底层运动控制中，在Nao机器人的 学习和泛化输出的过程。示教数据的获取通过体态 Linux内核下进行运动控制，实现动作的模仿。 感知来实现，体态感知作为一种自然的人机交互方 式，以其传达意图的便捷性和丰富性，能够有效实现 上位机 下位机 人机对话，在智能识别与控制系统中应用广泛，常见 计算机 Ethernet (Linu内核) 的体感设备有惯性穿戴式系统，如3 DSuit、数据手套 数据获取 表征与泛化 动作复现 等，光学式动作捕捉系统，如微软的Kinect体感摄 (采集预处理) (GMM+GMRD (底层映射 影机等。表征学习是对示教数据的特征进行编码， 基于概率模型的轨迹水平表征是将运动建模为随机 世界环境 模型，如高斯混合模型(GMM)〔]、隐马尔可夫模型 Kinect (HMM)[6)等，具有较强的编码和噪声处理能力，抗 图1机器人动作模仿的系统结构 干扰性强，能够处理高维问题。行为再现包括运动 Fig.1 The system structure of robot imitation 轨迹再现和运动控制再现，轨迹再现是将编码的数 据通过回归技术，如高斯过程回归(GPR))、高斯 0 示教数据的获取 混合回归(GMR)[]等，得到泛化输出的过程，控制 再现是将泛化的输出映射到机器人底层运动控制 示教动作信息的获取是机器人模仿实现的基 中，实现动作复现，即行为动作的模仿。 础，系统利用Kinect采集骨骼点信息，建立虚拟坐 机器人动作模仿系统的研究已取得一定进展， 标系，由节点信息得到各关节向量，计算向量间的夹 但大多是在仿真环境下的实现，见文献[9-10]：物理 角，进而得到各关节控制角度，即可获得各关节运动 环境下的实现如文献[11]，利用穿戴式动作捕捉系 信息，为模仿的表征学习提供数据支持。 统Xsens MVN进行数据的采集，实现机器人的动作 模仿，取得了良好的效果，但其数据采集所需的硬件 酸T卫P虹aT HAND_TIP_LEFT AND家限EFT 代价较高，文献[12]能够实现基本动作的模仿，但 对复杂动作的再现可靠性和稳定性不足。 本文以模仿学习的框架为指导，将体态感知与 Nao机器人相结合，构建了机器人的动作模仿系统， 实现了Nao机器人动作模仿学习。利用Microsoft 的Kinect体感摄像机进行骨骼跟踪，获取示教者示 教过程中人体节点的空间坐标信息，经预处理后得 到模仿学习的示教数据：通过高斯混合模型(GMM) FOOT_LEFT 对示教数据进行编码表征，利用高斯混合回归 (GMR)泛化输出，映射到Nao机器人中，实现动作 图2 Kinect提取的人体骨骼点信息 Fig.2 Skeleton point information of human body ex- 的模仿。该系统可以实现在线和离线两种模式的动 tracted from Kinectｒａｎ Ｒｏｂｏｔｉｃｓ 公司开发的一款可编程类人机器人，在 研究领域得到世界范围的广泛应用，不仅应用于机 器人研究、人工智能、工程学和计算机科学领域，还 运用在社会学和医疗保健领域，其研究项目包括语 音识别、视频处理、模式识别、自闭症治疗、多智能体 系统、路径规划等。 是否具备学习的能力是机器人 智能性的重要体现，而模仿学习［１］ 作为机器人学习 的重要方式，为避开繁琐困难的底层运动控制实现 复杂运动的生成提供了可能，在机器人仿生学中占 有重要地位。 所谓模仿学习是指模仿者（机器人） 通过“观 察”示教者（人或机器人）的运动行为，学习运动控 制策略，泛化输出，进而获取运动技能［２］ 。 模仿学 习的过程可分为 ３ 个过程：行为感知、行为表征、行 为再现，分别对应示教数据获取，特征编码进行表征 学习和泛化输出的过程。 示教数据的获取通过体态 感知来实现，体态感知作为一种自然的人机交互方 式，以其传达意图的便捷性和丰富性，能够有效实现 人机对话，在智能识别与控制系统中应用广泛，常见 的体感设备有惯性穿戴式系统，如 ３ＤＳｕｉｔ、数据手套 等，光学式动作捕捉系统，如微软的 Ｋｉｎｅｃｔ 体感摄 影机等。 表征学习是对示教数据的特征进行编码， 基于概率模型的轨迹水平表征是将运动建模为随机 模型，如高斯混合模型（ＧＭＭ） ［３⁃５］ 、隐马尔可夫模型 （ＨＭＭ） ［６］等，具有较强的编码和噪声处理能力，抗 干扰性强，能够处理高维问题。 行为再现包括运动 轨迹再现和运动控制再现，轨迹再现是将编码的数 据通过回归技术，如高斯过程回归（ＧＰＲ） ［７］ 、高斯 混合回归（ＧＭＲ） ［８］ 等，得到泛化输出的过程，控制 再现是将泛化的输出映射到机器人底层运动控制 中，实现动作复现，即行为动作的模仿。 机器人动作模仿系统的研究已取得一定进展， 但大多是在仿真环境下的实现，见文献［９⁃１０］；物理 环境下的实现如文献［１１］，利用穿戴式动作捕捉系 统 Ｘｓｅｎｓ ＭＶＮ 进行数据的采集，实现机器人的动作 模仿，取得了良好的效果，但其数据采集所需的硬件 代价较高，文献［１２］能够实现基本动作的模仿，但 对复杂动作的再现可靠性和稳定性不足。 本文以模仿学习的框架为指导，将体态感知与 Ｎａｏ 机器人相结合，构建了机器人的动作模仿系统， 实现了 Ｎａｏ 机器人动作模仿学习。 利用 Ｍｉｃｒｏｓｏｆｔ 的 Ｋｉｎｅｃｔ 体感摄像机进行骨骼跟踪，获取示教者示 教过程中人体节点的空间坐标信息，经预处理后得 到模仿学习的示教数据；通过高斯混合模型（ＧＭＭ） 对示教 数 据 进 行 编 码 表 征， 利 用 高 斯 混 合 回 归 （ＧＭＲ）泛化输出，映射到 Ｎａｏ 机器人中，实现动作 的模仿。 该系统可以实现在线和离线两种模式的动 作模仿，在线模式下，可以进行实时的复杂动作模 仿，运动轨迹平滑稳定；离线模式下可以通过学习多 次示教泛化出最佳轨迹，具有较强的噪声处理能力， 而且可以通过控制重采样点数目，实现动作执行速 度的控制，更主要的是一旦学会，可以形成动作记 忆，实现示教动作的重复执行。 １ Ｎａｏ 机器人模仿学习系统构建 以机器人模仿学习的框架为指导，构建了 Ｎａｏ 机器人动作模仿的系统结构，如图 １ 所示。 利用 Ｋｉ⁃ ｎｅｃｔ 的骨骼跟踪，采集示教者骨骼点三维空间坐标 信息，经上位机预处理实现示教数据获取； 通过 ＧＭＭ 对示教数据信息进行编码，利用 ＧＭＲ 泛化输 出后，通过 Ｅｔｈｅｒｎｅｔ（以太网）与下位机通信，映射到 Ｎａｏ 机器人的底层运动控制中，在 Ｎａｏ 机器人的 Ｌｉｎｕｘ 内核下进行运动控制，实现动作的模仿。 图 １ 机器人动作模仿的系统结构 Ｆｉｇ．１ Ｔｈｅ ｓｙｓｔｅｍ ｓｔｒｕｃｔｕｒｅ ｏｆ ｒｏｂｏｔ ｉｍｉｔａｔｉｏｎ ２ 示教数据的获取 示教动作信息的获取是机器人模仿实现的基 础，系统利用 Ｋｉｎｅｃｔ 采集骨骼点信息，建立虚拟坐 标系，由节点信息得到各关节向量，计算向量间的夹 角，进而得到各关节控制角度，即可获得各关节运动 信息，为模仿的表征学习提供数据支持。 图 ２ Ｋｉｎｅｃｔ 提取的人体骨骼点信息 Ｆｉｇ．２ Ｓｋｅｌｅｔｏｎ ｐｏｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｈｕｍａｎ ｂｏｄｙ ｅｘ⁃ ｔｒａｃｔｅｄ ｆｒｏｍ Ｋｉｎｅｃｔ 第 ２ 期 于建均，等：基于 Ｋｉｎｅｃｔ 的 Ｎａｏ 机器人动作模仿系统的研究与实现 ·１８１·