·100 智能系统学报 第10卷 高兴： 2.4算法流程 3)如果光强度是很高，且障碍物距离是中，则 移动机器人基于内发动机自主学习算法步骤为 满意； 1)初始化行为选择和评价环节中各初始值，及 4)如果光强度是很高，且障碍物距离是近，则不 各神经元连接权值：初始化机器人的各状态变量 满意； 并归一化： 5)如果光强度是很高，且障碍物距离是很近，则 2)根据环境状态量s(t),计算奖赏信号r(t)、 忧伤： r(t); 6)如果光强度是高，且障碍物距离是很远，则 3)行为选择环节根据状态量s(t)计算动作 高兴： 量a(t): 7)如果光强度是高，且障碍物距离是远，则高兴： 4)评价环节根据状态量s(t)和动作量a(t)对 8)如果光强度是高，且障碍物距离是中，则满意； 动作量评价，输出评价值V(t); 5)取向环节根据评价值V(t),计算取向信息， 文中采用了重心模糊推理方法得出精确化后 利用取向信息，调整动作量a(t+1)输出： 的输出情感因子入，公式为 6)将动作量a(t+1)对环境实施操作，环境产生 ∑A 下一时刻的状态量s(t+1): 入= (1 ∑？m 7)返回2)，直到产生的各状态量满足智能体的 期望性能指标，则执行8)： ?:是通过代数乘积方法得到的每一条规则真实值。 8)行为决策模块对动作量加权并对客体实施 2.3基于情感智能的机器人趋光仿生模型设计 操作，客体产生下一时刻的状态量： 依据感觉运动系统的内发动机机制2,1别)，设计了 9)结束。 包含3个模块的机器人模型，如图5所示，分别是评价 模块、行为选择模块、取向模块。评价环节根据输入状 3仿真实验 态s(t)、奖惩信号r(t)和动作量a(t),对动作量a(t) 3.1趋光实验 进行评价输出评价值V.(t),评价函数为 为验证算法的有效性，采用MATLAB仿真软 V.(t)= =+.(+D) (2) 件，仿真环境中圆形表示光源位置，方形表示障碍 物，环境中分布着有限个静态障碍物，以机器人的 式中：y是折扣因子，表示近期和远期回报预测的重 趋光学习为目标进行研究，光源位置和移动机器人 要程度。奖赏信号r(t)包括2部分：环境给予的外 起点位置可以任意设定，移动机器人运动起点位置 部奖赏信号r(t)和情感智能给予的内部奖赏信号 注明“S”,终点位置注明“G”,设定光源所在位置光 r.(t),情感模型输出的情感因子λ(0<λ<1)作为内 强是1坎德拉(Candela),与光源越远的位置光强越 部奖赏信号r.(t)。评价网络采用前馈神经网络构 弱，按e指数规律减弱。机器人对环境是完全未知 成，采用时间差分函数对评价函数进行逼近。取向 的，可以自定位，采用在线学习方式。机器人匀速 环节根据评价值V(t)生成取向信息，判定该动作 移动，设定线速度v为0.5m/s,采样时间是T=1s。 在以后出现时选择的概率。行为选择环节根据状 移动机器人进行试探学习，每次学习步数不超过 态量s(t)、评价值V(t)和取向信息输出动作量 1000步，每次学习移动机器人从起始位置出发，到 α(t)。行为选择环节采用前馈神经网络实现，应满 达光源附近位置停止，学习结束，准备进行下一次 足以较大概率从行为集合中选择具有最大行为值 学习，如果学习步数超过1000步仍未到达光源附 函数的元素。机器人对环境（或客体）实施操作，得 件位置，则终止这次学习，进行下一次学习。趋光 到奖惩信号r(t+1),环境并转变为新的状态，然后 学习评价环节趋光输入域是x(t)=[o(t),0,(t), 重复感知到行动这一过程，最终完成机器人的自主 d,(t),d,(t),(t)]T,其中0(t)为机器人当前方向 趋光学习。仿生模型见图5。 与目标点的夹角。趋光学习行为选择环节输入域 输人 评价环节 取向环节 是s(t)=[o(t),o,(t),d(t),d,(t)]'。 s(D 感知 行动 图6是机器人在有障碍物的环境下趋光学习情 状态 a(t) s(1) r() 况。图6(a)是学习初期试探结果，机器人从起始位 行为选择环节 置出发并不向光源方向运动，说明机器人原本不具 备趋光能力。图6(b)是学习中期试探结果，机器人 环境（客体）机器人 起始位置出发到达接近光源附近位置停止，但并未 图5基于情感智能的机器人趋光仿生模型 始终按光源所在方向移动，说明通过学习并未完全 Fig.5 The robot phototaxis biomimetic model based on 掌握趋光能力。6(c)是机器人从起始位置出发到 emotion intelligence 达接近光源附近位置停止，始终按光源所在方向移高兴曰 猿冤如果光强度是很高袁且障碍物距离是中袁则 满意曰 源冤如果光强度是很高袁且障碍物距离是近袁则不 满意曰 缘冤如果光强度是很高袁且障碍物距离是很近袁则 忧伤曰 远冤如果光强度是高袁且障碍物距离是很远袁则 高兴曰 苑冤如果光强度是高袁且障碍物距离是远袁则高兴曰 愿冤如果光强度是高袁且障碍物距离是中袁则满意曰 噎噎 文中采用了重心模糊推理方法得出精确化后 的输出情感因子 姿袁公式为 姿 越 移怨 蚤 越 员 浊蚤姿蚤 移怨 蚤 越 员 浊蚤 渊员冤 浊蚤 是通过代数乘积方法得到的每一条规则真实值遥 圆援猿摇 基于情感智能的机器人趋光仿生模型设计 依据感觉运动系统的内发动机机制咱圆袁员怨鄄圆园暂 袁设计了 包含 猿 个模块的机器人模型袁如图 缘 所示袁分别是评价 模块尧行为选择模块尧取向模块遥 评价环节根据输入状 态 泽渊贼冤尧奖惩信号 则渊贼冤和动作量 葬渊贼冤袁对动作量 葬渊贼冤 进行评价输出评价值 灾藻渊贼冤袁评价函数为 灾藻( )贼 越 移 ∞ 躁 越 贼 酌躁原贼 则( )躁 越 则( )贼 垣 酌灾藻( ) 贼 垣 员 渊圆冤 式中院酌 是折扣因子袁表示近期和远期回报预测的重 要程度遥 奖赏信号 则渊贼冤包括 圆 部分院环境给予的外 部奖赏信号 则燥渊 贼冤和情感智能给予的内部奖赏信号 则藻渊贼冤 袁情感模型输出的情感因子 姿渊园约姿约员冤作为内 部奖赏信号 则藻渊贼冤 遥 评价网络采用前馈神经网络构 成袁采用时间差分函数对评价函数进行逼近遥 取向 环节根据评价值 灾藻渊 贼冤生成取向信息袁判定该动作 在以后出现时选择的概率遥 行为选择环节根据状 态量 泽 渊 贼冤 尧评价值 灾藻渊 贼冤 和取向信息输出动作量 葬渊贼冤 遥 行为选择环节采用前馈神经网络实现袁应满 足以较大概率从行为集合中选择具有最大行为值 函数的元素遥 机器人对环境渊或客体冤实施操作袁得 到奖惩信号 则渊 贼垣员冤袁环境并转变为新的状态袁然后 重复感知到行动这一过程袁最终完成机器人的自主 趋光学习遥 仿生模型见图 缘遥 图 缘摇 基于情感智能的机器人趋光仿生模型 云蚤早援缘 摇 栽澡藻 则燥遭燥贼 责澡燥贼燥贼葬曾蚤泽 遭蚤燥皂蚤皂藻贼蚤糟 皂燥凿藻造 遭葬泽藻凿 燥灶 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤早藻灶糟藻 圆援源摇 算法流程 移动机器人基于内发动机自主学习算法步骤为 员冤初始化行为选择和评价环节中各初始值袁及 各神经元连接权值曰初始化机器人的各状态变量袁 并归一化曰 圆冤根据环境状态量 泽渊贼冤 袁计算奖赏信号 则燥渊贼冤尧 则藻渊贼冤 曰 猿冤行为选择环节根据状态量 泽 渊 贼冤 计算动作 量葬渊贼冤 曰 源冤评价环节根据状态量 泽渊 贼冤和动作量 葬渊 贼冤对 动作量评价袁输出评价值 灾藻渊贼冤 曰 缘冤取向环节根据评价值 灾藻渊贼冤 袁计算取向信息袁 利用取向信息袁调整动作量 葬渊贼垣员冤输出曰 远冤将动作量 葬渊贼垣员冤对环境实施操作袁环境产生 下一时刻的状态量 泽渊贼垣员冤 曰 苑冤返回 圆冤袁直到产生的各状态量满足智能体的 期望性能指标袁则执行 愿冤曰 愿冤行为决策模块对动作量加权并对客体实施 操作袁客体产生下一时刻的状态量曰 怨冤结束遥 猿摇 仿真实验 猿援员摇 趋光实验 为验证算法的有效性袁采用 酝粤栽蕴粤月 仿真软 件袁仿真环境中圆形表示光源位置袁方形表示障碍 物袁环境中分布着有限个静态障碍物袁以机器人的 趋光学习为目标进行研究袁光源位置和移动机器人 起点位置可以任意设定袁移动机器人运动起点位置 注明野杂冶袁终点位置注明野郧冶袁设定光源所在位置光 强是 员 坎德拉渊悦葬灶凿藻造葬冤 袁与光源越远的位置光强越 弱袁按 藻 指数规律减弱遥 机器人对环境是完全未知 的袁可以自定位袁采用在线学习方式遥 机器人匀速 移动袁设定线速度 增 为 园援缘 皂 辕 泽袁采样时间是 栽 越 员 泽遥 移动机器人进行试探学习袁每次学习步数不超过 员 园园园步袁每次学习移动机器人从起始位置出发袁到 达光源附近位置停止袁学习结束袁准备进行下一次 学习袁如果学习步数超过 员 园园园 步仍未到达光源附 件位置袁则终止这次学习袁进行下一次学习遥 趋光 学习评价环节趋光输入域是 曾渊 贼冤 越 咱 燥造 渊 贼冤 袁燥则渊 贼冤 袁 凿造 渊贼冤 袁凿则渊贼冤 袁兹渊 贼冤 暂 栽 袁其中 兹渊 贼冤为机器人当前方向 与目标点的夹角遥 趋光学习行为选择环节输入域 是泽渊贼冤 越 咱燥造 渊贼冤 袁燥则渊贼冤袁凿造 渊贼冤袁凿则渊贼冤 暂 栽 遥 图 远 是机器人在有障碍物的环境下趋光学习情 况遥 图 远渊葬冤是学习初期试探结果袁机器人从起始位 置出发并不向光源方向运动袁说明机器人原本不具 备趋光能力遥 图 远渊遭冤是学习中期试探结果袁机器人 起始位置出发到达接近光源附近位置停止袁但并未 始终按光源所在方向移动袁说明通过学习并未完全 掌握趋光能力遥 远渊糟冤是机器人从起始位置出发到 达接近光源附近位置停止袁始终按光源所在方向移 窑员园园窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷