第4期 陈建平，等：基于大脑情感学习的四轮驱动机器人速度补偿控制 ·363. 生理结构的基础上，将大脑情感学习模型划分为两 输入与输出、控制量以及跟踪误差等因素的函数.因 大组成部分，即分别对应杏仁核和眶额皮质.大脑情 为A-0组织中的可调权值较多，其节点个数通常设 感学习模型的基本工作原理及结构如图3所示 置为多个，因此，感官输入函数通常为向量形式 感官 由于全向移动机器人的角速度可以单独进行规 输人S丘脑 感官 皮质 眶额 划，此处只讨论机器人的线速度补偿控制器.又由于 皮质 机器人在局部坐标系的x和y方向上有相似的运动 特性，因此本文以x方向上的线速度为例设计补偿 奖励信号R 香仁体 输出E 控制器.基于大脑情感学习的速度补偿控制器结构 图3大脑情感学习模型的基本结构 如图4所示. Fig.3 Structure of brain emotional learning model 感官输人 由图3可知，感官输入信号S,的最大值通过丘 函数S, BEL 情感暗示 模型E 受控 脑传递给杏仁体，则有A.=max(S,)· 函数Rw 系统 1)对于每一个刺激信号，杏仁体内均有一个对 BEL控制器 应节点A:来接收，该刺激信号包括感官输入信号 S,、奖励信号Rx以及丘脑信号A,则杏仁体的输出 为 图4基于大脑情感学习的速度补偿控制器 Fig.4 Velocity compensation controller based on brain A:=V:·S,Am+1=Vm+1·Ah,i=0,1,…,m emotional learning (3) 设x方向机器人的线速度误差为e,为了便于 式中：m为刺激信号的数目，V为各节点的权值，其 与文献[10]中的方法进行比较，选取感官输入函数 调节律为： 为PD控制器的形式，则有感官输入函数为 △y:=a[S4·max(0,Rw-】 A,)门，(4) s=e小地6 △Vn+1=a[Ah·max(0,Rw-】 41.(5 以刺激学习的奖励信号R为目标函数的情感 式中：α为学习率，它影响杏仁体的学习速度：△V 暗示函数为 的单调性与S,的符号保持一致. de Rpw =re raedt +rsdi 2)对于刺激信号，眶额皮质内也有节点接收， 则有BEL模型的输出为 它的刺激信号为感官皮质信号（即感官输入信号） 和来自杏仁体的信号，而对丘脑的信号不产生刺激 u=E= W·S,= 它的输出为 0,=W·S (6) kre+kedt+ks d de 式中：W,为各节点的权值，它的调节律为 式中：k、k2、k、k4、T1、r2、T3分别为权重调节系 AW:=B[S,·(E'-Rw）] (7) 数，1、2r3为对象误差减小的期望.k~ka的调节 式中：B为学习率，且B>0,E为不含丘脑信号刺激 律为： 下的杏仁体的输出，可表示为 S, △k:=S,[a·max(0,Rew-V· (8) i=1 i=1 由式(3)~(8)可以看出，△W,可取正值也可取 S B(V. -W·S,-Rw)],i=1,2,3: 负值，即眶额皮质能抑制或增强杏仁体的学习过程， A 通过消除奖励信号Rw与杏仁体输出E'之间的差 ,=aAm(0.R-A)], 值，使杏仁体向着期望值学习. 32基于大脑情感学习的速度补偿控制器 式中：S,表示S,中的各个向量元素。 BEL模型与实际系统相结合，必须事先确定感 通常，神经网络学习需要利用系统的导数信息， 官输入信号S,和奖励信号R的函数形式，分别称 按照梯度下降的思想进行权值的更新迭代，易受到 之为感官输入函数和情感暗示函数，它们为系统的 初始取值的影响，计算效率低：而由权值调节式生理结构的基础上，将大脑情感学习模型划分为两 大组成部分，即分别对应杏仁核和眶额皮质．大脑情 感学习模型的基本工作原理及结构如图 ３ 所示． 图 ３ 大脑情感学习模型的基本结构 Ｆｉｇ．３ Ｓｔｒｕｃｔｕｒｅ ｏｆ ｂｒａｉｎ ｅｍｏｔｉｏｎａｌ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ 由图 ３ 可知，感官输入信号 ＳＩ 的最大值通过丘 脑传递给杏仁体，则有 Ａｔｈ ＝ｍａｘ（ＳＩ）． １）对于每一个刺激信号，杏仁体内均有一个对 应节点 Ａｉ 来接收，该刺激信号包括感官输入信号 ＳＩ、奖励信号 ＲＥＷ以及丘脑信号 Ａｔｈ ，则杏仁体的输出 为 Ａｉ ＝ Ｖｉ·ＳＩ ｉ ，Ａｍ＋１ ＝ Ｖｍ＋１·Ａｔｈ ， ｉ ＝ ０，１，…，ｍ． （３） 式中：ｍ 为刺激信号的数目，Ｖｉ 为各节点的权值，其 调节律为： ΔＶｉ ＝ α ［ＳＩ ｉ ·ｍａｘ（０，ＲＥＷ － ∑ ｍ＋１ ｉ ＝ １ Ａｉ）］， （４） ΔＶｍ＋１ ＝ α ［Ａｔｈ·ｍａｘ（０，ＲＥＷ － ∑ ｍ＋１ ｉ ＝ １ Ａｉ）］． （５） 式中：α 为学习率，它影响杏仁体的学习速度；ΔＶｉ 的单调性与 ＳＩ ｉ 的符号保持一致． ２）对于刺激信号，眶额皮质内也有节点接收， 它的刺激信号为感官皮质信号（即感官输入信号） 和来自杏仁体的信号，而对丘脑的信号不产生刺激． 它的输出为 Ｏｉ ＝ Ｗｉ·ＳＩ ｉ ． （６） 式中：Ｗｉ 为各节点的权值，它的调节律为 ΔＷｉ ＝ β ［ＳＩ ｉ ·（Ｅ′ － ＲＥＷ ）］． （７） 式中：β 为学习率，且 β＞０，Ｅ′为不含丘脑信号刺激 下的杏仁体的输出，可表示为 Ｅ′ ＝ ∑ ｍ ｉ ＝ １ Ａｉ － ∑ ｍ ｉ ＝ １ Ｏｉ ． （８） 由式（３） ～ （８）可以看出，ΔＷｉ 可取正值也可取 负值，即眶额皮质能抑制或增强杏仁体的学习过程， 通过消除奖励信号 ＲＥＷ与杏仁体输出 Ｅ′之间的差 值，使杏仁体向着期望值学习． ３．２ 基于大脑情感学习的速度补偿控制器 ＢＥＬ 模型与实际系统相结合，必须事先确定感 官输入信号 ＳＩ 和奖励信号 ＲＥＷ的函数形式，分别称 之为感官输入函数和情感暗示函数，它们为系统的 输入与输出、控制量以及跟踪误差等因素的函数．因 为 Ａ⁃Ｏ 组织中的可调权值较多，其节点个数通常设 置为多个，因此，感官输入函数通常为向量形式． 由于全向移动机器人的角速度可以单独进行规 划，此处只讨论机器人的线速度补偿控制器．又由于 机器人在局部坐标系的 ｘ 和 ｙ 方向上有相似的运动 特性，因此本文以 ｘ 方向上的线速度为例设计补偿 控制器．基于大脑情感学习的速度补偿控制器结构 如图 ４ 所示． 图 ４ 基于大脑情感学习的速度补偿控制器 Ｆｉｇ．４ Ｖｅｌｏｃｉｔｙ ｃｏｍｐｅｎｓａｔｉｏｎ ｃｏｎｔｒｏｌｌｅｒ ｂａｓｅｄ ｏｎ ｂｒａｉｎ ｅｍｏｔｉｏｎａｌ ｌｅａｒｎｉｎｇ 设 ｘ 方向机器人的线速度误差为 ｅ，为了便于 与文献［１０］中的方法进行比较，选取感官输入函数 为 ＰＩＤ 控制器的形式，则有感官输入函数为 ＳＩ ＝ （ｋ１ ｅ ｋ２ ∫ｅｄｔ ｋ３ ｄｅ ｄｔ ） Ｔ ． 以刺激学习的奖励信号 ＲＥＷ为目标函数的情感 暗示函数为 ＲＥＷ ＝ ｒ１ ｅ ＋ ｒ２ ∫ｅｄｔ ＋ ｒ３ ｄｅ ｄｔ ． 则有 ＢＥＬ 模型的输出为 ｕ ＝ Ｅ ＝ Ｖ· ＳＩ Ａｔｈ é ë ê ê ù û ú ú － Ｗ·ＳＩ ＝ ｋ１ ｅ ＋ ｋ２ ∫ｅｄｔ ＋ ｋ３ ｄｅ ｄｔ ＋ ｋ４Ａｔｈ ． 式中： ｋ１ 、 ｋ２ 、 ｋ３ 、 ｋ４ 、 ｒ１ 、 ｒ２ 、 ｒ３ 分别为权重调节系 数， ｒ１ 、ｒ２ 、ｒ３ 为对象误差减小的期望． ｋ１ ～ ｋ４ 的调节 律为： Δｋｉ ＝ ＳＩ ｉ ［α·ｍａｘ （０，ＲＥＷ － Ｖ· ＳＩ Ａｔｈ é ë ê ê ù û ú ú ） － β（Ｖ· ＳＩ Ａｔｈ é ë ê ê ù û ú ú － Ｗ·ＳＩ － ＲＥＷ ）］， ｉ ＝ １，２，３； Δｋ４ ＝ α［Ａｔｈ·ｍａｘ（０，ＲＥＷ － ∑ ｍ＋１ ｉ ＝ １ Ａｉ）］． 式中：ＳＩ ｉ 表示 ＳＩ 中的各个向量元素． 通常，神经网络学习需要利用系统的导数信息， 按照梯度下降的思想进行权值的更新迭代，易受到 初始取值的影响， 计算效率低； 而由权值调节式 第 ４ 期 陈建平，等：基于大脑情感学习的四轮驱动机器人速度补偿控制 ·３６３·