第14卷第5期 智能系统学报 Vol.14 No.5 2019年9月 CAAI Transactions on Intelligent Systems Sep.2019 D0:10.11992/tis.201807018 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20190520.1428.010html 基于动态系统的机器人模仿学习方法研究 于建均2，姚红柯2，左国玉2，阮晓钢2，安硕2 (1.北京工业大学信息学部，北京100124,2.北京工业大学计算智能与智能系统北京市重点实验室，北京 100124) 摘要：针对当前机器人模仿学习过程中，运动模仿存在无法收敛到目标点以及泛化能力差的问题，引入一种 基于动态系统(dynamical system,DS)的模仿学习方法。该方法通过高斯混合模型(gaussian mixture model, GMM①将示教运动数据建模为一非线性动态系统：将DS全局稳定的充分条件作为约束，以保证DS所生成的 所有轨迹收敛到目标点：将动态系统模型的参数学习问题转化为求解一个约束优化问题，从而得到模型参数。 以7b0t机械臂为实验对象，进行仿真实验和机器人实验，实验结果表明：该方法学习的DS模型从不同起点生 成的所有轨迹都收敛到目标点，轨迹平滑，泛化能力好。 关键词：机器人：模仿学习；轨迹层面：高斯混合模型：动态系统；参数学习：7bot机械臂；泛化能力 中图分类号：TP242.6 文献标志码：A 文章编号：1673-4785(2019)05-1026-09 中文引用格式：于建均，姚红柯，左国玉，等.基于动态系统的机器人模仿学习方法研究J.智能系统学报，2019,14(5)： 1026-1034. 英文引用格式：YUJianjun,.YAO Hongke,.ZUO Guoyu,etal.Research on robot imitation learning method based on dynamical system[J.CAAI transactions on intelligent systems,2019,14(5):1026-1034. Research on robot imitation learning method based on dynamical system YU Jianjun2,YAO Hongke,ZUO Guoyu'2,RUAN Xiaogang2,AN Shuo2 (1.Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China,2.Beijing Key Laboratory of Com- pu-tational Intelligence and Intelligent System,Beijing University of Technology,Beijing 100124,China) Abstract:In the current robot imitation learning process,the motion imitation cannot converge to the target point,and the generalization ability is poor.To solve this problem,an imitation learning method based on dynamical system(DS) is introduced.First,the demonstration motion data is modeled as a nonlinear DS by Gaussian mixture model(GMM). Second,the sufficient condition of DS global stability is used as a constraint to ensure that all the DS-generated traject- ories converge to the target.Finally,the parameter learning problem of the DS model is transformed into seeking for a solution to a constrained optimization problem to obtain the model parameters.Simulation experiments and robot exper- iments were carried out using the 7bot manipulator.The experimental results show that all the trajectories generated by the DS model from different starting points converged to the target point,and the trajectory was smooth and the general- ization performance was improved. Keywords:robot;imitation learning;trajectory level;Gaussian mixture model;dynamical system;parameter learning; 7bot manipulator,generalization performance 目前，在机器人技术的研究中，如何使机器人而从人类学习中发展而来的模仿学习，作为机器 具备类似于人类的智能行为已成为一大研究热点"。 人直接获取知识和技能的一种方式，在机器人的 智能性的提升方面越来越发挥出巨大的作用，越 收稿日期：2018-07-18.网络出版日期：2019-05-21. 基金项目：国家自然科学基金项目(61773027)：北京市自然科 来越多地受到学术界的关注和研究。一方面， 学基金项目(4182008)：北京市自然科学基金项目/北 相对于传统的机器人编程控制，模仿学习将使机 京市教育委员会科技计划重点项目(KZ201610005010). 通信作者：左国玉.E-mail:zuoguoyu(@bjut.edu.cn 器人编程更加容易，提高了机器人的作业效率；DOI: 10.11992/tis.201807018 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20190520.1428.010.html 基于动态系统的机器人模仿学习方法研究 于建均1,2，姚红柯1,2，左国玉1,2，阮晓钢1,2，安硕1,2 （1. 北京工业大学 信息学部，北京 100124; 2. 北京工业大学 计算智能与智能系统北京市重点实验室，北京 100124） 摘 要：针对当前机器人模仿学习过程中，运动模仿存在无法收敛到目标点以及泛化能力差的问题，引入一种 基于动态系统 (dynamical system，DS) 的模仿学习方法。该方法通过高斯混合模型 (gaussian mixture model， GMM) 将示教运动数据建模为一非线性动态系统；将 DS 全局稳定的充分条件作为约束，以保证 DS 所生成的 所有轨迹收敛到目标点；将动态系统模型的参数学习问题转化为求解一个约束优化问题，从而得到模型参数。 以 7bot 机械臂为实验对象，进行仿真实验和机器人实验，实验结果表明：该方法学习的 DS 模型从不同起点生 成的所有轨迹都收敛到目标点，轨迹平滑，泛化能力好。 关键词：机器人；模仿学习；轨迹层面；高斯混合模型；动态系统；参数学习；7bot 机械臂；泛化能力 中图分类号：TP 242.6 文献标志码：A 文章编号：1673−4785(2019)05−1026−09 中文引用格式：于建均, 姚红柯, 左国玉, 等. 基于动态系统的机器人模仿学习方法研究 [J]. 智能系统学报, 2019, 14(5): 1026–1034. 英文引用格式：YU Jianjun, YAO Hongke, ZUO Guoyu, et al. Research on robot imitation learning method based on dynamical system[J]. CAAI transactions on intelligent systems, 2019, 14(5): 1026–1034. Research on robot imitation learning method based on dynamical system YU Jianjun1,2 ，YAO Hongke1,2 ，ZUO Guoyu1,2 ，RUAN Xiaogang1,2 ，AN Shuo1,2 (1. Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China; 2. Beijing Key Laboratory of Com￾pu-tational Intelligence and Intelligent System, Beijing University of Technology, Beijing 100124, China) Abstract: In the current robot imitation learning process, the motion imitation cannot converge to the target point, and the generalization ability is poor. To solve this problem, an imitation learning method based on dynamical system (DS) is introduced. First, the demonstration motion data is modeled as a nonlinear DS by Gaussian mixture model (GMM). Second, the sufficient condition of DS global stability is used as a constraint to ensure that all the DS-generated traject￾ories converge to the target. Finally, the parameter learning problem of the DS model is transformed into seeking for a solution to a constrained optimization problem to obtain the model parameters. Simulation experiments and robot exper￾iments were carried out using the 7bot manipulator. The experimental results show that all the trajectories generated by the DS model from different starting points converged to the target point, and the trajectory was smooth and the general￾ization performance was improved. Keywords: robot; imitation learning; trajectory level; Gaussian mixture model; dynamical system; parameter learning; 7bot manipulator; generalization performance 目前，在机器人技术的研究中，如何使机器人 具备类似于人类的智能行为已成为一大研究热点[1]。 而从人类学习中发展而来的模仿学习，作为机器 人直接获取知识和技能的一种方式，在机器人的 智能性的提升方面越来越发挥出巨大的作用，越 来越多地受到学术界的关注和研究[2-6]。一方面， 相对于传统的机器人编程控制，模仿学习将使机 器人编程更加容易，提高了机器人的作业效率； 收稿日期：2018−07−18. 网络出版日期：2019−05−21. 基金项目：国家自然科学基金项目 (61773027)；北京市自然科 学基金项目 (4182008)；北京市自然科学基金项目/北 京市教育委员会科技计划重点项目 (KZ201610005010). 通信作者：左国玉. E-mail：zuoguoyu@bjut.edu.cn. 第 14 卷第 5 期 智 能 系 统 学 报 Vol.14 No.5 2019 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2019