正在加载图片...
第2期 于建均,等:基于Kinect的Nao机器人动作模仿系统的研究与实现 ·181- ran Robotics公司开发的一款可编程类人机器人,在 作模仿,在线模式下,可以进行实时的复杂动作模 研究领域得到世界范围的广泛应用,不仅应用于机 仿,运动轨迹平滑稳定:离线模式下可以通过学习多 器人研究、人工智能、工程学和计算机科学领域,还 次示教泛化出最佳轨迹,具有较强的噪声处理能力, 运用在社会学和医疗保健领域,其研究项目包括语 而且可以通过控制重采样点数目,实现动作执行速 音识别、视频处理、模式识别、自闭症治疗、多智能体 度的控制,更主要的是一旦学会,可以形成动作记 系统、路径规划等。是否具备学习的能力是机器人 忆,实现示教动作的重复执行。 智能性的重要体现,而模仿学习)作为机器人学习 1 Nao机器人模仿学习系统构建 的重要方式,为避开繁琐困难的底层运动控制实现 复杂运动的生成提供了可能,在机器人仿生学中占 以机器人模仿学习的框架为指导,构建了Nao 有重要地位。 机器人动作模仿的系统结构,如图1所示。利用K- 所谓模仿学习是指模仿者(机器人)通过“观 nect的骨骼跟踪,采集示教者骨骼点三维空间坐标 察”示教者(人或机器人)的运动行为,学习运动控 信息,经上位机预处理实现示教数据获取;通过 制策略,泛化输出,进而获取运动技能)。模仿学 GMM对示教数据信息进行编码,利用GMR泛化输 习的过程可分为3个过程:行为感知、行为表征、行 出后,通过Ethernet(以太网)与下位机通信,映射到 为再现,分别对应示教数据获取,特征编码进行表征 Nao机器人的底层运动控制中,在Nao机器人的 学习和泛化输出的过程。示教数据的获取通过体态 Linux内核下进行运动控制,实现动作的模仿。 感知来实现,体态感知作为一种自然的人机交互方 式,以其传达意图的便捷性和丰富性,能够有效实现 上位机 下位机 人机对话,在智能识别与控制系统中应用广泛,常见 计算机 Ethernet (Linu内核) 的体感设备有惯性穿戴式系统,如3 DSuit、数据手套 数据获取 表征与泛化 动作复现 等,光学式动作捕捉系统,如微软的Kinect体感摄 (采集预处理) (GMM+GMRD (底层映射 影机等。表征学习是对示教数据的特征进行编码, 基于概率模型的轨迹水平表征是将运动建模为随机 世界环境 模型,如高斯混合模型(GMM)〔]、隐马尔可夫模型 Kinect (HMM)[6)等,具有较强的编码和噪声处理能力,抗 图1机器人动作模仿的系统结构 干扰性强,能够处理高维问题。行为再现包括运动 Fig.1 The system structure of robot imitation 轨迹再现和运动控制再现,轨迹再现是将编码的数 据通过回归技术,如高斯过程回归(GPR))、高斯 0 示教数据的获取 混合回归(GMR)[]等,得到泛化输出的过程,控制 再现是将泛化的输出映射到机器人底层运动控制 示教动作信息的获取是机器人模仿实现的基 中,实现动作复现,即行为动作的模仿。 础,系统利用Kinect采集骨骼点信息,建立虚拟坐 机器人动作模仿系统的研究已取得一定进展, 标系,由节点信息得到各关节向量,计算向量间的夹 但大多是在仿真环境下的实现,见文献[9-10]:物理 角,进而得到各关节控制角度,即可获得各关节运动 环境下的实现如文献[11],利用穿戴式动作捕捉系 信息,为模仿的表征学习提供数据支持。 统Xsens MVN进行数据的采集,实现机器人的动作 模仿,取得了良好的效果,但其数据采集所需的硬件 酸T卫P虹aT HAND_TIP_LEFT AND家限EFT 代价较高,文献[12]能够实现基本动作的模仿,但 对复杂动作的再现可靠性和稳定性不足。 本文以模仿学习的框架为指导,将体态感知与 Nao机器人相结合,构建了机器人的动作模仿系统, 实现了Nao机器人动作模仿学习。利用Microsoft 的Kinect体感摄像机进行骨骼跟踪,获取示教者示 教过程中人体节点的空间坐标信息,经预处理后得 到模仿学习的示教数据:通过高斯混合模型(GMM) FOOT_LEFT 对示教数据进行编码表征,利用高斯混合回归 (GMR)泛化输出,映射到Nao机器人中,实现动作 图2 Kinect提取的人体骨骼点信息 Fig.2 Skeleton point information of human body ex- 的模仿。该系统可以实现在线和离线两种模式的动 tracted from Kinectran Robotics 公司开发的一款可编程类人机器人,在 研究领域得到世界范围的广泛应用,不仅应用于机 器人研究、人工智能、工程学和计算机科学领域,还 运用在社会学和医疗保健领域,其研究项目包括语 音识别、视频处理、模式识别、自闭症治疗、多智能体 系统、路径规划等。 是否具备学习的能力是机器人 智能性的重要体现,而模仿学习[1] 作为机器人学习 的重要方式,为避开繁琐困难的底层运动控制实现 复杂运动的生成提供了可能,在机器人仿生学中占 有重要地位。 所谓模仿学习是指模仿者(机器人) 通过“观 察”示教者(人或机器人)的运动行为,学习运动控 制策略,泛化输出,进而获取运动技能[2] 。 模仿学 习的过程可分为 3 个过程:行为感知、行为表征、行 为再现,分别对应示教数据获取,特征编码进行表征 学习和泛化输出的过程。 示教数据的获取通过体态 感知来实现,体态感知作为一种自然的人机交互方 式,以其传达意图的便捷性和丰富性,能够有效实现 人机对话,在智能识别与控制系统中应用广泛,常见 的体感设备有惯性穿戴式系统,如 3DSuit、数据手套 等,光学式动作捕捉系统,如微软的 Kinect 体感摄 影机等。 表征学习是对示教数据的特征进行编码, 基于概率模型的轨迹水平表征是将运动建模为随机 模型,如高斯混合模型(GMM) [3⁃5] 、隐马尔可夫模型 (HMM) [6]等,具有较强的编码和噪声处理能力,抗 干扰性强,能够处理高维问题。 行为再现包括运动 轨迹再现和运动控制再现,轨迹再现是将编码的数 据通过回归技术,如高斯过程回归(GPR) [7] 、高斯 混合回归(GMR) [8] 等,得到泛化输出的过程,控制 再现是将泛化的输出映射到机器人底层运动控制 中,实现动作复现,即行为动作的模仿。 机器人动作模仿系统的研究已取得一定进展, 但大多是在仿真环境下的实现,见文献[9⁃10];物理 环境下的实现如文献[11],利用穿戴式动作捕捉系 统 Xsens MVN 进行数据的采集,实现机器人的动作 模仿,取得了良好的效果,但其数据采集所需的硬件 代价较高,文献[12]能够实现基本动作的模仿,但 对复杂动作的再现可靠性和稳定性不足。 本文以模仿学习的框架为指导,将体态感知与 Nao 机器人相结合,构建了机器人的动作模仿系统, 实现了 Nao 机器人动作模仿学习。 利用 Microsoft 的 Kinect 体感摄像机进行骨骼跟踪,获取示教者示 教过程中人体节点的空间坐标信息,经预处理后得 到模仿学习的示教数据;通过高斯混合模型(GMM) 对示教 数 据 进 行 编 码 表 征, 利 用 高 斯 混 合 回 归 (GMR)泛化输出,映射到 Nao 机器人中,实现动作 的模仿。 该系统可以实现在线和离线两种模式的动 作模仿,在线模式下,可以进行实时的复杂动作模 仿,运动轨迹平滑稳定;离线模式下可以通过学习多 次示教泛化出最佳轨迹,具有较强的噪声处理能力, 而且可以通过控制重采样点数目,实现动作执行速 度的控制,更主要的是一旦学会,可以形成动作记 忆,实现示教动作的重复执行。 1 Nao 机器人模仿学习系统构建 以机器人模仿学习的框架为指导,构建了 Nao 机器人动作模仿的系统结构,如图 1 所示。 利用 Ki⁃ nect 的骨骼跟踪,采集示教者骨骼点三维空间坐标 信息,经上位机预处理实现示教数据获取; 通过 GMM 对示教数据信息进行编码,利用 GMR 泛化输 出后,通过 Ethernet(以太网)与下位机通信,映射到 Nao 机器人的底层运动控制中,在 Nao 机器人的 Linux 内核下进行运动控制,实现动作的模仿。 图 1 机器人动作模仿的系统结构 Fig.1 The system structure of robot imitation 2 示教数据的获取 示教动作信息的获取是机器人模仿实现的基 础,系统利用 Kinect 采集骨骼点信息,建立虚拟坐 标系,由节点信息得到各关节向量,计算向量间的夹 角,进而得到各关节控制角度,即可获得各关节运动 信息,为模仿的表征学习提供数据支持。 图 2 Kinect 提取的人体骨骼点信息 Fig.2 Skeleton point information of human body ex⁃ tracted from Kinect 第 2 期 于建均,等:基于 Kinect 的 Nao 机器人动作模仿系统的研究与实现 ·181·
<<向上翻页向下翻页>>
©2008-现在 cucdc.com 高等教育资讯网 版权所有