D0I:10.13374/.issn1001-053x.2012.01.014 第34卷第1期 北京科技大学学报 Vol.34 No.1 2012年1月 Journal of University of Science and Technology Beijing Jan.2012 仿生水下机器人的增强学习姿态镇定 林龙信)四谢海斌) 沈林成) 1)海军装备研究院，北京1001612)国防科技大学机电工程与自动化学院，长沙410073 ☒通信作者，E-mail:linlongxing@163.com 摘要针对一类双波动鳍仿生水下机器人的姿态镇定问题，提出一种基于增强学习的自适应PD控制方法.对增强学习自 适应PD控制器进行了具体设计，包括PD控制律和基于增强学习的参数自适应方法.基于实际模型参数对偏航角镇定问题 进行了仿真试验。结果表明，经过较小次数的学习控制后，仿生水下机器人的偏航角镇定性能得到明显改善，而且能够在短时 间内对一般性扰动进行抑制，表现出了较好的适应性. 关键词机器人：仿生学：水下机器人：增强学习：自适应控制：姿态控制 分类号TP242,TP181 Reinforcement learning based attitude stabilization for bionic underwater robots LIN Long=in》☒，XIE Hai-bin2》,SHEN Lin-cheng2》 1)Naval Academy of Armament,Beijing 100161,China 2)College of Mechatronics Engineering and Automation,National University of Defense Technology,Changsha 410073,China Corresponding author,E-mail:linlongxin@163.com ABSTRACT A reinforcement learning based adaptive PID controller was presented for the attitude stabilization of a kind of bionic underwater robot with two bionic undulating fins.The scheme of the reinforcement learning based adaptive PID controller was given concretely including the control law and the parameter adaptive method based on reinforcement learning.Simulation experiments of yaw angle stabilization based on actual model parameters were carried out.The results indicate that the stabilization performance of yaw an- gle is improved distinctly after several iterations of learning control and the controller can overcome ordinary disturbances in short time, exhibiting its preferable adaptability. KEY WORDS robots:bionics:underwater vehicles;reinforcement learning:adaptive control;attitude control 仿生水下机器人是目前机器人领域的一个重要 对于自身模型的不确定性和外部扰动具有学习和自 研究方向.本文主要针对一类采用模拟生物鱼类波 适应能力.这是一项非常具有挑战性的工作. 动鳍的仿生波动鳍作为主要推进器的仿生水下机器 本文针对仿生水下机器人运动控制中的姿态镇定问 人的运动控制问题展开研究.仿生波动鳍是一种新 题，借鉴机器学习中广泛研究的增强学习方法，提出 型的仿生推进器，可有效弥补传统“螺旋桨+操纵 一种基于增强学习的自适应PID控制方法. 舵”推进模式的不足，具有机动性好和流体扰动小 1仿生水下机器人 等优良特性，尤其适合于近海的低速游动、转弯机动 以及扰流环境下的状态保持等应用场合-习 单个仿生波动鳍可以实现一个自由度上的前 由于仿生水下机器人具有未知的非传统动力学 进、后退和制动，但无法实现转弯和俯仰等机动动 特性，因此其运动控制问题也向人们提出了较大的 作.为了能使仿生水下机器人具有多自由度运动能 挑战.仿生波动鳍产生的力和力矩本质上具有振荡 力，采用了多个仿生鳍组合推进的设计思想.图1 和周期特性.关于此类具有周期性或类周期性控制 给出了仿生水下机器人的物理结构.它主要由主 输入的非线性系统的控制，目前进展还比较缓慢，尽 体、头部、尾部、仿生波动鳍、摆动鳍和仿生鳔组成 管它们在游动和飞行动物中非常普遍.为了适应复 仿生波动鳍、摆动鳍和仿生鳔三种仿生鳍在仿生水 杂的水下作业环境，从控制策略上，要求水下机器人 下机器人中承担着非常明确的控制任务.在主体左 收稿日期：201103-25 基金项目：国防基础科研资助项目(D2820061301):国家自然科学基金资助项目(60805037)第 34 卷 第 1 期 2012 年 1 月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 1 Jan． 2012 仿生水下机器人的增强学习姿态镇定 林龙信1) 谢海斌2) 沈林成2) 1) 海军装备研究院，北京 100161 2) 国防科技大学机电工程与自动化学院，长沙 410073 通信作者，E-mail: linlongxin@ 163． com 摘 要 针对一类双波动鳍仿生水下机器人的姿态镇定问题，提出一种基于增强学习的自适应 PID 控制方法． 对增强学习自 适应 PID 控制器进行了具体设计，包括 PD 控制律和基于增强学习的参数自适应方法． 基于实际模型参数对偏航角镇定问题 进行了仿真试验． 结果表明，经过较小次数的学习控制后，仿生水下机器人的偏航角镇定性能得到明显改善，而且能够在短时 间内对一般性扰动进行抑制，表现出了较好的适应性． 关键词 机器人; 仿生学; 水下机器人; 增强学习; 自适应控制; 姿态控制 分类号 TP242，TP181 Reinforcement learning based attitude stabilization for bionic underwater robots LIN Long-xin1) ，XIE Hai-bin2) ，SHEN Lin-cheng2) 1) Naval Academy of Armament，Beijing 100161，China 2) College of Mechatronics Engineering and Automation，National University of Defense Technology，Changsha 410073，China Corresponding author，E-mail: linlongxin@ 163． com ABSTRACT A reinforcement learning based adaptive PID controller was presented for the attitude stabilization of a kind of bionic underwater robot with two bionic undulating fins． The scheme of the reinforcement learning based adaptive PID controller was given concretely including the control law and the parameter adaptive method based on reinforcement learning． Simulation experiments of yaw angle stabilization based on actual model parameters were carried out． The results indicate that the stabilization performance of yaw an￾gle is improved distinctly after several iterations of learning control and the controller can overcome ordinary disturbances in short time， exhibiting its preferable adaptability． KEY WORDS robots; bionics; underwater vehicles; reinforcement learning; adaptive control; attitude control 收稿日期: 2011--03--25 基金项目: 国防基础科研资助项目( D2820061301) ; 国家自然科学基金资助项目( 60805037) 仿生水下机器人是目前机器人领域的一个重要 研究方向． 本文主要针对一类采用模拟生物鱼类波 动鳍的仿生波动鳍作为主要推进器的仿生水下机器 人的运动控制问题展开研究． 仿生波动鳍是一种新 型的仿生推进器，可有效弥补传统“螺旋桨 + 操纵 舵”推进模式的不足，具有机动性好和流体扰动小 等优良特性，尤其适合于近海的低速游动、转弯机动 以及扰流环境下的状态保持等应用场合［1--2］． 由于仿生水下机器人具有未知的非传统动力学 特性，因此其运动控制问题也向人们提出了较大的 挑战． 仿生波动鳍产生的力和力矩本质上具有振荡 和周期特性． 关于此类具有周期性或类周期性控制 输入的非线性系统的控制，目前进展还比较缓慢，尽 管它们在游动和飞行动物中非常普遍． 为了适应复 杂的水下作业环境，从控制策略上，要求水下机器人 对于自身模型的不确定性和外部扰动具有学习和自 适应能力［3--4］． 这是一项非常具有挑战性的工作． 本文针对仿生水下机器人运动控制中的姿态镇定问 题，借鉴机器学习中广泛研究的增强学习方法，提出 一种基于增强学习的自适应 PID 控制方法． 1 仿生水下机器人 单个仿生波动鳍可以实现一个自由度上的前 进、后退和制动，但无法实现转弯和俯仰等机动动 作． 为了能使仿生水下机器人具有多自由度运动能 力，采用了多个仿生鳍组合推进的设计思想． 图 1 给出了仿生水下机器人的物理结构． 它主要由主 体、头部、尾部、仿生波动鳍、摆动鳍和仿生鳔组成． 仿生波动鳍、摆动鳍和仿生鳔三种仿生鳍在仿生水 下机器人中承担着非常明确的控制任务． 在主体左 DOI:10.13374/j.issn1001-053x.2012.01.014