第10卷第1期 智能系统学报 Vol.10 No.1 2015年2月 CAAI Transactions on Intelligent Systems Feb.2015 D0I:10.3969/j.issn.1673-4785.201312035 网络出版地址：http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201312035.html 一种基于情感智能的机器人自主趋光行为研究 阮晓钢，庞涛12，张晓平1，王尔申2 (1.北京工业大学电控学院，北京100124；2.沈阳航空航天大学电信学院，辽宁沈阳110136) 摘要：针对移动机器人的自主趋光行为问题，提出了一种基于情感智能的内发动机仿生学习机制。该学习机制以 生物体感觉运动系统的学习机制为基础，包括评价环节、行为选择环节和取向环节，采用模糊神经网络构建情感模 型，情感模型的输出作为评价环节的内部奖赏信号。该学习机制能够使机器人在未知环境下通过自主的学习和训 练逐渐形成、发展和完善趋光行为技能，通过情感智能的作用可以增加试探成功次数和减小学习步数，仿真实验证 明了该方法的有效性。 关键词：认知机器人学：内发动机：移动机器人：趋光技能：情感智能：感觉运动系统：模糊推理方法：取向性 中图分类号：TP242.6文献标志码：A文章编号：1673-4785(2015)01-0097-06 中文引用格式：阮晓钢，庞涛，张晓平，等.一种基于情感智能的机器人自主趋光行为研究[J].智能系统学报，2015,10(1)： 97-102. 英文引用格式：RUAN Xiaogang,PANGTao,ZHANG Xiaoping,etal.Research on the autonomous phototaxis behavior of a robot based on emotion intelligence[J].CAAI Transactions on Intelligent Systems,2015,10(1):97-102. Research on the autonomous phototaxis behavior of a robot based on emotion intelligence RUAN Xiaogang',PANG Tao'.2,ZHANG Xiaoping',WANG Ershen? (1.College of Electronic and Control Engineering,Beijing University of Technology,Beijing 100124,China;2.College of Electronic Information Engineering,Shenyang Aerospace University,Shenyang 110136,China) Abstract:In this paper,a kind of bionic learning mechanism of intrinsic motivation on the basis of emotion intelli- gence is proposed for the autonomous phototaxis behavior of a mobile robot.The learning mechanism is on the basis of the learning mechanism of the sensorimotor system of a living body,including the links of evaluation,behavioral choices and orientation.The emotion model is constructed by the fuzzy neural network and the output of emotion model is taken as the internal reward signal of the evaluation link.The learning mechanism may make a robot gradu- ally form,develop and perfect the phototaxis skills by autonomous learning and training in an unknown environment.The emotion intelligence may increase the number of exploratory successes and reduce the learning steps.The simulation results demonstrated the effectiveness of this method. Keywords:cognitive robotics;intrinsic motivation;mobile robot;phototaxis skill;emotion intelligence;sensorimo- tor system;fuzzy reasoning method;orientation 内发动机机制是认知的动力和源泉，是机器人能]。认知科学研究表明，情感智能是内发动机 最基本的认知发育机制。通过内发动机机制的不 机制不可或缺的组成部分，在生物自主行为决策中 断完善，使生物体逐渐形成、发展和完善控制技 起着至关重要的作用。随着科学研究的不断深 入，越来越多的研究者开始关注人类的情感智能， 收稿日期：2013-12-22.网络出版日期：2015-01-13. 尝试采用多种方法将生物情感智能抽象化建模，指 基金项目：国家973计划资助项目(2012CB720000):国家自然科学基 金资助项目(61375086：61101161)：北京市自然科学基金资 导机器人行为决策取得更佳的控制效果。2008年 助项目/北京市教育委员会科技计划重点资助项目 (KZ201210005001). Ahn等)提出了基于情感和认知强化学习模型，考 通信作者：庞涛.E-mail:pangtaol63@126.com. 虑了来自情感的内在奖励和来自认知的外部奖励
第 员园 卷第 员 期摇摇摇摇摇摇摇摇摇摇摇 摇摇摇 智 能 系 统 学 报摇摇摇摇摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 灾燥造援员园 翼援员 圆园员缘 年 圆 月摇摇摇摇摇摇摇摇摇摇摇 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 云藻遭援 圆园员缘 阅韵陨院员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员猿员圆园猿缘 网络出版地址院澡贼贼责院 辕 辕 憎憎憎援糟灶噪蚤援灶藻贼 辕 噪糟皂泽 辕 凿燥蚤 辕 员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿原源苑愿缘援圆园员猿员圆园猿缘援澡贼皂造 一种基于情感智能的机器人自主趋光行为研究 阮晓钢员 袁 庞涛员袁圆 袁 张晓平员 袁 王尔申圆 渊员援北京工业大学 电控学院袁北京 员园园员圆源曰 圆援 沈阳航空航天大学 电信学院袁辽宁 沈阳 员员园员猿远冤 摘 要院针对移动机器人的自主趋光行为问题袁提出了一种基于情感智能的内发动机仿生学习机制遥 该学习机制以 生物体感觉运动系统的学习机制为基础袁包括评价环节尧行为选择环节和取向环节袁采用模糊神经网络构建情感模 型袁情感模型的输出作为评价环节的内部奖赏信号遥 该学习机制能够使机器人在未知环境下通过自主的学习和训 练逐渐形成尧发展和完善趋光行为技能袁通过情感智能的作用可以增加试探成功次数和减小学习步数袁仿真实验证 明了该方法的有效性遥 关键词院认知机器人学曰内发动机曰移动机器人曰趋光技能曰情感智能曰感觉运动系统曰模糊推理方法曰取向性 中图分类号院 栽孕圆源圆援远 摇 文献标志码院粤摇 文章编号院员远苑猿鄄源苑愿缘渊圆园员缘冤园员鄄园园怨苑鄄园远 中文引用格式院阮晓钢袁 庞涛袁 张晓平袁 等援 一种基于情感智能的机器人自主趋光行为研究咱 允暂援 智能系统学报袁 圆园员缘袁 员园渊 员冤 院 怨苑鄄员园圆援 英文引用格式院砸哉粤晕 载蚤葬燥早葬灶早袁孕粤晕郧 栽葬燥袁在匀粤晕郧 载蚤葬燥责蚤灶早袁藻贼 葬造援 砸藻泽藻葬则糟澡 燥灶 贼澡藻 葬怎贼燥灶燥皂燥怎泽 责澡燥贼燥贼葬曾蚤泽 遭藻澡葬增蚤燥则 燥枣 葬 则燥遭燥贼 遭葬泽藻凿 燥灶 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤早藻灶糟藻咱允暂援 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 圆园员缘袁 员园渊员冤 院 怨苑鄄员园圆援 砸藻泽藻葬则糟澡 燥灶 贼澡藻 葬怎贼燥灶燥皂燥怎泽 责澡燥贼燥贼葬曾蚤泽 遭藻澡葬增蚤燥则 燥枣 葬 则燥遭燥贼 遭葬泽藻凿 燥灶 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤早藻灶糟藻 砸哉粤晕 载蚤葬燥早葬灶早员 袁孕粤晕郧 栽葬燥员袁 圆 袁在匀粤晕郧 载蚤葬燥责蚤灶早员 袁宰粤晕郧 耘则泽澡藻灶圆 渊员援 悦燥造造藻早藻 燥枣 耘造藻糟贼则燥灶蚤糟 葬灶凿 悦燥灶贼则燥造 耘灶早蚤灶藻藻则蚤灶早袁 月藻蚤躁蚤灶早 哉灶蚤增藻则泽蚤贼赠 燥枣 栽藻糟澡灶燥造燥早赠袁 月藻蚤躁蚤灶早 员园园员圆源袁 悦澡蚤灶葬曰 圆援 悦燥造造藻早藻 燥枣 耘造藻糟贼则燥灶蚤糟 陨灶枣燥则皂葬贼蚤燥灶 耘灶早蚤灶藻藻则蚤灶早袁 杂澡藻灶赠葬灶早 粤藻则燥泽责葬糟藻 哉灶蚤增藻则泽蚤贼赠袁 杂澡藻灶赠葬灶早 员员园员猿远袁 悦澡蚤灶葬冤 粤遭泽贼则葬糟贼院陨灶 贼澡蚤泽 责葬责藻则袁 葬 噪蚤灶凿 燥枣 遭蚤燥灶蚤糟 造藻葬则灶蚤灶早 皂藻糟澡葬灶蚤泽皂 燥枣 蚤灶贼则蚤灶泽蚤糟 皂燥贼蚤增葬贼蚤燥灶 燥灶 贼澡藻 遭葬泽蚤泽 燥枣 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤鄄 早藻灶糟藻 蚤泽 责则燥责燥泽藻凿 枣燥则 贼澡藻 葬怎贼燥灶燥皂燥怎泽 责澡燥贼燥贼葬曾蚤泽 遭藻澡葬增蚤燥则 燥枣 葬 皂燥遭蚤造藻 则燥遭燥贼援 栽澡藻 造藻葬则灶蚤灶早 皂藻糟澡葬灶蚤泽皂 蚤泽 燥灶 贼澡藻 遭葬泽蚤泽 燥枣 贼澡藻 造藻葬则灶蚤灶早 皂藻糟澡葬灶蚤泽皂 燥枣 贼澡藻 泽藻灶泽燥则蚤皂燥贼燥则 泽赠泽贼藻皂 燥枣 葬 造蚤增蚤灶早 遭燥凿赠袁 蚤灶糟造怎凿蚤灶早 贼澡藻 造蚤灶噪泽 燥枣 藻增葬造怎葬贼蚤燥灶袁 遭藻澡葬增蚤燥则葬造 糟澡燥蚤糟藻泽 葬灶凿 燥则蚤藻灶贼葬贼蚤燥灶援 栽澡藻 藻皂燥贼蚤燥灶 皂燥凿藻造 蚤泽 糟燥灶泽贼则怎糟贼藻凿 遭赠 贼澡藻 枣怎扎扎赠 灶藻怎则葬造 灶藻贼憎燥则噪 葬灶凿 贼澡藻 燥怎贼责怎贼 燥枣 藻皂燥贼蚤燥灶 皂燥凿藻造 蚤泽 贼葬噪藻灶 葬泽 贼澡藻 蚤灶贼藻则灶葬造 则藻憎葬则凿 泽蚤早灶葬造 燥枣 贼澡藻 藻增葬造怎葬贼蚤燥灶 造蚤灶噪援 栽澡藻 造藻葬则灶蚤灶早 皂藻糟澡葬灶蚤泽皂 皂葬赠 皂葬噪藻 葬 则燥遭燥贼 早则葬凿怎鄄 葬造造赠 枣燥则皂袁 凿藻增藻造燥责 葬灶凿 责藻则枣藻糟贼 贼澡藻 责澡燥贼燥贼葬曾蚤泽 泽噪蚤造造泽 遭赠 葬怎贼燥灶燥皂燥怎泽 造藻葬则灶蚤灶早 葬灶凿 贼则葬蚤灶蚤灶早 蚤灶 葬灶 怎灶噪灶燥憎灶 藻灶增蚤则燥灶皂藻灶贼援 栽澡藻 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤早藻灶糟藻 皂葬赠 蚤灶糟则藻葬泽藻 贼澡藻 灶怎皂遭藻则 燥枣 藻曾责造燥则葬贼燥则赠 泽怎糟糟藻泽泽藻泽 葬灶凿 则藻凿怎糟藻 贼澡藻 造藻葬则灶蚤灶早 泽贼藻责泽援 栽澡藻 泽蚤皂怎造葬贼蚤燥灶 则藻泽怎造贼泽 凿藻皂燥灶泽贼则葬贼藻凿 贼澡藻 藻枣枣藻糟贼蚤增藻灶藻泽泽 燥枣 贼澡蚤泽 皂藻贼澡燥凿援 运藻赠憎燥则凿泽院糟燥早灶蚤贼蚤增藻 则燥遭燥贼蚤糟泽曰 蚤灶贼则蚤灶泽蚤糟 皂燥贼蚤增葬贼蚤燥灶曰 皂燥遭蚤造藻 则燥遭燥贼曰 责澡燥贼燥贼葬曾蚤泽 泽噪蚤造造曰 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤早藻灶糟藻曰 泽藻灶泽燥则蚤皂燥鄄 贼燥则 泽赠泽贼藻皂曰 枣怎扎扎赠 则藻葬泽燥灶蚤灶早 皂藻贼澡燥凿曰 燥则蚤藻灶贼葬贼蚤燥灶 收稿日期院圆园员猿鄄员圆鄄圆圆援 摇 网络出版日期院圆园员缘鄄园员鄄员猿援 基金项目院国家 怨苑猿 计划资助项目渊 圆园员圆悦月苑圆园园园园冤 曰 国家自然科学基 金资助项目渊远员猿苑缘园愿远曰 远员员园员员远员冤 曰 北京市自然科学基金资 助项 目辕 北京市教育委员会科技计划重点资助项目 渊运在圆园员圆员园园园缘园园员冤援 通信作者院庞涛援 耘鄄皂葬蚤造院责葬灶早贼葬燥员远猿岳 员圆远援糟燥皂援 摇 摇 内发动机机制是认知的动力和源泉袁是机器人 最基本的认知发育机制遥 通过内发动机机制的不 断完善袁 使生物体逐渐形成尧发展和完善控制技 能咱员鄄圆暂 遥 认知科学研究表明袁情感智能是内发动机 机制不可或缺的组成部分袁在生物自主行为决策中 起着至关重要的作用咱员鄄圆暂 遥 随着科学研究的不断深 入袁越来越多的研究者开始关注人类的情感智能袁 尝试采用多种方法将生物情感智能抽象化建模袁指 导机器人行为决策取得更佳的控制效果遥 圆园园愿 年 粤澡灶 等咱猿暂 提出了基于情感和认知强化学习模型袁考 虑了来自情感的内在奖励和来自认知的外部奖励袁
.98 智能系统学报 第10卷 研究表明将来自情感的内在奖励融人到学习和决 感器和一个超声波测距传感器，将6个位置的传感 策中，能提高学习速度和决策能力。2011年， 器分为左右2组，分别测定左侧和右侧的光强度和 Malfaz等4将害怕情感因数与Q学习结合起来，通 障碍物距离，每组3个传感器中测定光强度最大值 过增加Q函数的权重，有效降低了危险的行为决 做为该组传感器测定的光强度值，左侧光强度值为 策。2011年，Sequeira等s)提出了基于情感内发动 01,右侧光强度值为0，。每组3个传感器中测定与 机机制的强化学习模型，将奖赏信号分为内部和外 障碍物距离最小值做为该组传感器测定的与障碍 部2部分，细化为好奇心、动机、价值和控制部分，实 物距离值，与左侧障碍物距离值为山，与右侧障碍物 验证明了智能体可以克服环境的缺点获得更好的 距离值为d,。 决策。2013年，Abdi等[6)利用情感经验获得奖赏信 左 号，利用TDQ学习算法，实现优化多智能体的行为 决策。2003年刘明等)提出一种基于模糊逻辑的 情感模型，将情感对环境和agent自身状态的评估 传感器 的变化作为再励信号，用于引导agent的行为选择 策略的学习。2008年，张惠娣等[]将基于情感和认 知的学习与决策模型引入到基于行为的移动机器 人控制体系中，设计了一种自主导航控制系统，提 方向轮 高了基于行为的移动机器人在未知环境中的自主 导航能力。2010年，胡云斗等9)提出一种基于任务 驱动轮 的机器人情感决策模型，建立从多种感知输入到多 图1机器人结构 种行为输出的映射，以“福娃”机器人为平台验证了 Fig.1 Robot structure 该方法的正确性和实用性。2011年，祝宇虹等[1 对害怕进行了人工情感建模，提出了带情感权重的 情感智能的机器人趋光仿生模型 Q学习加权策略，并将该策略应用于虚拟机器人的 行为决策，取得了较高的成功率。目前，针对机器 2.1感觉运动系统的内发动机机制 人的基于情感的内发动机仿生自主学习问题，很多 根据神经生理学3]】，生物体利用感受器、运 学者做了大量的工作，但对未知环境的自主学习方 动神经系统和效应器，通过自学习和自组织过程， 法，仍需不断探索。 逐渐完善运动技能的学习机制，如图2所示。感受 近年来，机器人的趋光特性作为认知领域的范 器是感觉器官，其功能是感知环境（或客体）状态， 例已经得到广泛重视，通过模拟生物的趋光行为， 运动神经系统是调节特定技能的神经细胞群，根据 研究机器人内发动机机制的渐近过程，并把这些原 环境（或客体）状态产生动作决策，效应器是机体的 理正确运用在机器人制造中，对认知科学的发展和 运动器官，其功能是根据运动神经系统动作决策对 应用起到了重要作用。针对机器人仿生自主学习 环境（或客体）施加操作。 问题，构建了基于情感因素的内发动机学习模型， 内发动机制 包括评价、行为选择和取向环节，通过“感知一行 感知 ·行动 动”的往复学习，使机器人逐渐形成、发展和完善趋 运动 光行为技能，采用模糊推理方法构建情感模型，将 感受器 神经 效应器 情感因素作为内发动机机制的内部奖赏信号，通过 系统 情感智能的作用，增加机器人趋光学习试探成功次 数和减少学习步数。 环境（客体）】 1机器人模型 图2基于感觉运动系统的内发动机机制 Fig.2 Intrinsic motivation mechanism based on senso- 采用三轮式圆盘状移动机器人模型，结构如图 rimotor system 1所示，左右2个驱动轮用来控制速度与方向，后面 生物学领域的研究表明，在生物体感觉运动系 方向轮用来保持机器人平衡。机器人圆盘前端有6 个位置可以安装传感器，每个位置安装一个光敏传 统中存在动机与内在目标和目的相关联的机制) 即内发动机机制，这种机制是一种以感觉运动系统
研究表明将来自情感的内在奖励融入到学习和决 策中袁 能提高学习速度和决策能力遥 圆园员员 年袁 酝葬造枣葬扎 等咱源暂将害怕情感因数与 匝 学习结合起来袁通 过增加 匝 函数的权重袁有效降低了危险的行为决 策遥 圆园员员 年袁杂藻择怎藻蚤则葬 等咱缘暂 提出了基于情感内发动 机机制的强化学习模型袁将奖赏信号分为内部和外 部 圆 部分袁细化为好奇心尧动机尧价值和控制部分袁实 验证明了智能体可以克服环境的缺点获得更好的 决策遥 圆园员猿 年袁粤遭凿蚤 等咱远暂利用情感经验获得奖赏信 号袁利用 栽阅 匝 学习算法袁实现优化多智能体的行为 决策遥 圆园园猿 年刘明等咱苑暂 提出一种基于模糊逻辑的 情感模型袁将情感对环境和 葬早藻灶贼 自身状态的评估 的变化作为再励信号袁用于引导 葬早藻灶贼 的行为选择 策略的学习遥 圆园园愿 年袁张惠娣等咱愿暂 将基于情感和认 知的学习与决策模型引入到基于行为的移动机器 人控制体系中袁设计了一种自主导航控制系统袁提 高了基于行为的移动机器人在未知环境中的自主 导航能力遥 圆园员园 年袁胡云斗等咱怨暂提出一种基于任务 的机器人情感决策模型袁建立从多种感知输入到多 种行为输出的映射袁以野福娃冶机器人为平台验证了 该方法的正确性和实用性遥 圆园员员 年袁祝宇虹等咱员园暂 对害怕进行了人工情感建模袁提出了带情感权重的 匝 学习加权策略袁并将该策略应用于虚拟机器人的 行为决策袁取得了较高的成功率遥 目前袁针对机器 人的基于情感的内发动机仿生自主学习问题袁很多 学者做了大量的工作袁但对未知环境的自主学习方 法袁仍需不断探索遥 近年来袁机器人的趋光特性作为认知领域的范 例已经得到广泛重视袁通过模拟生物的趋光行为袁 研究机器人内发动机机制的渐近过程袁并把这些原 理正确运用在机器人制造中袁对认知科学的发展和 应用起到了重要作用遥 针对机器人仿生自主学习 问题袁构建了基于情感因素的内发动机学习模型袁 包括评价尧行为选择和取向环节袁通过野 感知要行 动冶的往复学习袁使机器人逐渐形成尧发展和完善趋 光行为技能袁采用模糊推理方法构建情感模型袁将 情感因素作为内发动机机制的内部奖赏信号袁通过 情感智能的作用袁增加机器人趋光学习试探成功次 数和减少学习步数遥 员摇 机器人模型 采用三轮式圆盘状移动机器人模型袁结构如图 员 所示袁左右 圆 个驱动轮用来控制速度与方向袁后面 方向轮用来保持机器人平衡遥 机器人圆盘前端有 远 个位置可以安装传感器袁每个位置安装一个光敏传 感器和一个超声波测距传感器袁将 远 个位置的传感 器分为左右 圆 组袁分别测定左侧和右侧的光强度和 障碍物距离袁每组 猿 个传感器中测定光强度最大值 做为该组传感器测定的光强度值袁左侧光强度值为 燥造袁右侧光强度值为 燥则遥 每组 猿 个传感器中测定与 障碍物距离最小值做为该组传感器测定的与障碍 物距离值袁与左侧障碍物距离值为 凿造袁与右侧障碍物 距离值为 凿则遥 图 员摇 机器人结构 云蚤早援员摇 砸燥遭燥贼 泽贼则怎糟贼怎则藻 圆摇 情感智能的机器人趋光仿生模型 圆援员摇 感觉运动系统的内发动机机制 根据神经生理学咱员员鄄员猿暂 袁生物体利用感受器尧运 动神经系统和效应器袁通过自学习和自组织过程袁 逐渐完善运动技能的学习机制袁如图 圆 所示遥 感受 器是感觉器官袁其功能是感知环境渊或客体冤状态袁 运动神经系统是调节特定技能的神经细胞群袁根据 环境渊或客体冤状态产生动作决策袁效应器是机体的 运动器官袁其功能是根据运动神经系统动作决策对 环境渊或客体冤施加操作遥 图 圆摇 基于感觉运动系统的内发动机机制 云蚤早援圆摇 陨灶贼则蚤灶泽蚤糟 皂燥贼蚤增葬贼蚤燥灶 皂藻糟澡葬灶蚤泽皂 遭葬泽藻凿 燥灶 泽藻灶泽燥鄄 则蚤皂燥贼燥则 泽赠泽贼藻皂 生物学领域的研究表明袁在生物体感觉运动系 统中存在动机与内在目标和目的相关联的机制咱员暂 袁 即内发动机机制袁这种机制是一种以感觉运动系统 窑怨愿窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷
第1期 阮晓钢，等：一种基于情感智能的机器人自主趋光行为研究 ·99. 为基础，受生存、取向性、好奇心以及情感和信念驱 distress为忧伤情感，Shame为羞愧情感。人工情感 使的学习机制4。内发动机机制2是生物体在 模型中模糊规则设计依据OCC模型中情感产生规 不需要环境（或客体）数学模型的情况下，将环境 则确定情感状态，如表1,0CC模型中情感产生规则 (或客体)状态映射为对环境（或客体）的操作，并获 依据机器人对趋光操作结果的期望度确定，趋光操 得奖惩信号，成功的操作会获得奖赏信号，失败的 作结果包括趋光操作后机器人与光源距离0(t)和 操作则获得惩罚信号，生物体将奖惩信息转换成评 机器人与障碍物距离d(t),机器人每操作一次，需 价指标并生成取向信息，调整对环境的操作，这一 要重新确定情感状态。 过程在“感知-行动”环中周而复始地进行，生物体 1.0 逐渐形成、发展和完善运动控制技能。其间情感在 内发动机机制中起着重要的作用。 0.8 2.2趋光情感模型 情感是生物体一种特殊意识形式，是生物的认 0.4 知过程中行为决策的关键因素，对情感进行科学分 析和精确计算，就能够建立情感的数学模型。目 02 前，以心理学、生物学和人工智能等学科为基础，研 0 0.2 0.4 0.6 0.8 1.0 究人员采用多种方法构建情感模型。文中针对机 光强度 器人模拟趋光行为问题，采用模糊推理方法构建了 (a)光强度o(t)隶属度函数 人工情感模型61)，模糊逻辑更能体现情感状态推 1.0 理的复杂性和不确定性的本质特征。人工情感模 糊推理模型，如图3所示。 0.8 0.6 R2 0.4 光强度 0) R3 0.2 PW R4) 情感因子 0 00.20.40.60.8 1.0 障碍物距离 R5 障碍物距离 d(0 (b)与障碍物距离d(t)隶属度函数 图4o()和d()的隶属度函数 Fig.4 Membership function of o(t and d(t) 图3基于模糊推理的情感模型 表1OCC模型情感产生规则 Fig.3 The emotion model based on fuzzy reasoning Table 1 Emotion generation rule of OCC model 图3中输入是机器人所在位置光强度0(t)和 Emotion Rule 机器人与障碍物距离d.(t),各划分为5个等级，隶 The action is done by the agent and is Pride 属度函数如图4所示，机器人所在位置光强度(t) approved by standards 采用很高(PL)、高(PB)、中(PM)、低(PS)和很低 Joy The occurrence of a desirable event (PW)5个等级，机器人与障碍物距离d(t),采用 The occurrence of a confirmed Satisfaction 很远(PL)、远(PB)、中(PM)、近(PS)和很近(PW) desirable event The occurrence of a unconfirmed 5个等级。人工情感模糊推理模型输出是机器人在 Disappointment desirable event 趋光过程中产生的情感因子入。趋光过程中情感状 Distress The occurrence of a undesirable event 态的设定，根据0CC情感模型1]中的22种情感状 Shame The action is done by the agent and is 态，根据趋光具体问题，考虑趋光过程中机器人操 unapproved by standards 作结果对机器人情感的影响，选取6类情感E= 模糊规则共25条，设计如下： Pride,Joy,Satisfaction,Disappointment,distress, 1)如果光强度是很高，且障碍物距离是很远，则 Shame},Pride为骄傲情感，Joy为高兴情感，Satisfac- 骄傲： 2)如果光强度是很高，且障碍物距离是远，则 tion为满意情感，Disappointment为失望情感
为基础袁受生存尧取向性尧好奇心以及情感和信念驱 使的学习机制咱员源鄄员缘暂 遥 内发动机机制咱员鄄圆暂 是生物体在 不需要环境渊或客体冤 数学模型的情况下袁将环境 渊或客体冤状态映射为对环境渊或客体冤的操作袁并获 得奖惩信号袁成功的操作会获得奖赏信号袁失败的 操作则获得惩罚信号袁生物体将奖惩信息转换成评 价指标并生成取向信息袁调整对环境的操作袁这一 过程在野感知原行动冶环中周而复始地进行袁生物体 逐渐形成尧发展和完善运动控制技能遥 其间情感在 内发动机机制中起着重要的作用遥 圆援圆摇 趋光情感模型 情感是生物体一种特殊意识形式袁是生物的认 知过程中行为决策的关键因素袁对情感进行科学分 析和精确计算袁就能够建立情感的数学模型遥 目 前袁以心理学尧生物学和人工智能等学科为基础袁研 究人员采用多种方法构建情感模型遥 文中针对机 器人模拟趋光行为问题袁采用模糊推理方法构建了 人工情感模型咱员远鄄员苑暂 袁模糊逻辑更能体现情感状态推 理的复杂性和不确定性的本质特征遥 人工情感模 糊推理模型袁如图 猿 所示遥 图 猿摇 基于模糊推理的情感模型 云蚤早援猿摇 栽澡藻 藻皂燥贼蚤燥灶 皂燥凿藻造 遭葬泽藻凿 燥灶 枣怎扎扎赠 则藻葬泽燥灶蚤灶早 图 猿 中输入是机器人所在位置光强度 燥遭渊 贼冤和 机器人与障碍物距离 凿皂渊贼冤 袁各划分为 缘 个等级袁隶 属度函数如图 源 所示袁机器人所在位置光强度 燥遭渊贼冤 采用很高渊孕蕴冤尧高渊孕月冤尧中渊孕酝冤尧低渊孕杂冤 和很低 渊孕宰冤缘 个等级袁机器人与障碍物距离 凿皂渊 贼冤 袁采用 很远渊孕蕴冤尧远渊孕月冤尧中渊孕酝冤尧近渊孕杂冤和很近渊孕宰冤 缘 个等级遥 人工情感模糊推理模型输出是机器人在 趋光过程中产生的情感因子 姿遥 趋光过程中情感状 态的设定袁根据 韵悦悦 情感模型咱员愿暂 中的 圆圆 种情感状 态袁根据趋光具体问题袁考虑趋光过程中机器人操 作结果对机器人情感的影响袁选取 远 类情感 耘 越 喳 孕则蚤凿藻袁 允燥赠袁 杂葬贼蚤泽枣葬糟贼蚤燥灶袁 阅蚤泽葬责责燥蚤灶贼皂藻灶贼袁 凿蚤泽贼则藻泽泽袁 杂澡葬皂藻札 袁孕则蚤凿藻 为骄傲情感袁允燥赠 为高兴情感袁杂葬贼蚤泽枣葬糟鄄 贼蚤燥灶 为满意情感袁 阅蚤泽葬责责燥蚤灶贼皂藻灶贼 为失望情感袁 凿蚤泽贼则藻泽泽 为忧伤情感袁杂澡葬皂藻 为羞愧情感遥 人工情感 模型中模糊规则设计依据 韵悦悦 模型中情感产生规 则确定情感状态袁如表 员袁韵悦悦 模型中情感产生规则 依据机器人对趋光操作结果的期望度确定袁趋光操 作结果包括趋光操作后机器人与光源距离 燥遭渊 贼冤和 机器人与障碍物距离 凿皂渊贼冤 袁机器人每操作一次袁需 要重新确定情感状态遥 渊葬冤光强度 燥遭渊贼冤隶属度函数 渊遭冤与障碍物距离 凿皂渊贼冤隶属度函数 图 源摇 燥遭渊贼冤和 凿皂渊贼冤的隶属度函数 云蚤早援源摇 酝藻皂遭藻则泽澡蚤责 枣怎灶糟贼蚤燥灶 燥枣 燥遭渊 贼 冤葬灶凿 凿皂渊 贼 冤 表 员摇 韵悦悦 模型情感产生规则 栽葬遭造藻 员摇 耘皂燥贼蚤燥灶 早藻灶藻则葬贼蚤燥灶 则怎造藻 燥枣 韵悦悦 皂燥凿藻造 耘皂燥贼蚤燥灶 砸怎造藻 孕则蚤凿藻 栽澡藻 葬糟贼蚤燥灶 蚤泽 凿燥灶藻 遭赠 贼澡藻 葬早藻灶贼 葬灶凿 蚤泽 葬责责则燥增藻凿 遭赠 泽贼葬灶凿葬则凿泽 允燥赠 栽澡藻 燥糟糟怎则则藻灶糟藻 燥枣 葬 凿藻泽蚤则葬遭造藻 藻增藻灶贼 杂葬贼蚤泽枣葬糟贼蚤燥灶 栽澡藻 燥糟糟怎则则藻灶糟藻 燥枣 葬 糟燥灶枣蚤则皂藻凿 凿藻泽蚤则葬遭造藻 藻增藻灶贼 阅蚤泽葬责责燥蚤灶贼皂藻灶贼 栽澡藻 燥糟糟怎则则藻灶糟藻 燥枣 葬 怎灶糟燥灶枣蚤则皂藻凿 凿藻泽蚤则葬遭造藻 藻增藻灶贼 阅蚤泽贼则藻泽泽 栽澡藻 燥糟糟怎则则藻灶糟藻 燥枣 葬 怎灶凿藻泽蚤则葬遭造藻 藻增藻灶贼 杂澡葬皂藻 栽澡藻 葬糟贼蚤燥灶 蚤泽 凿燥灶藻 遭赠 贼澡藻 葬早藻灶贼 葬灶凿 蚤泽 怎灶葬责责则燥增藻凿 遭赠 泽贼葬灶凿葬则凿泽 摇 摇 模糊规则共 圆缘 条袁设计如下院 员冤如果光强度是很高袁且障碍物距离是很远袁则 骄傲曰 圆冤如果光强度是很高袁且障碍物距离是远袁则 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 阮晓钢袁等院一种基于情感智能的机器人自主趋光行为研究 窑怨怨窑
·100 智能系统学报 第10卷 高兴： 2.4算法流程 3)如果光强度是很高，且障碍物距离是中，则 移动机器人基于内发动机自主学习算法步骤为 满意； 1)初始化行为选择和评价环节中各初始值，及 4)如果光强度是很高，且障碍物距离是近，则不 各神经元连接权值：初始化机器人的各状态变量 满意； 并归一化： 5)如果光强度是很高，且障碍物距离是很近，则 2)根据环境状态量s(t),计算奖赏信号r(t)、 忧伤： r(t); 6)如果光强度是高，且障碍物距离是很远，则 3)行为选择环节根据状态量s(t)计算动作 高兴： 量a(t): 7)如果光强度是高，且障碍物距离是远，则高兴： 4)评价环节根据状态量s(t)和动作量a(t)对 8)如果光强度是高，且障碍物距离是中，则满意； 动作量评价，输出评价值V(t); 5)取向环节根据评价值V(t),计算取向信息， 文中采用了重心模糊推理方法得出精确化后 利用取向信息，调整动作量a(t+1)输出： 的输出情感因子入，公式为 6)将动作量a(t+1)对环境实施操作，环境产生 ∑A 下一时刻的状态量s(t+1): 入= (1 ∑？m 7)返回2)，直到产生的各状态量满足智能体的 期望性能指标，则执行8)： ?:是通过代数乘积方法得到的每一条规则真实值。 8)行为决策模块对动作量加权并对客体实施 2.3基于情感智能的机器人趋光仿生模型设计 操作，客体产生下一时刻的状态量： 依据感觉运动系统的内发动机机制2,1别)，设计了 9)结束。 包含3个模块的机器人模型，如图5所示，分别是评价 模块、行为选择模块、取向模块。评价环节根据输入状 3仿真实验 态s(t)、奖惩信号r(t)和动作量a(t),对动作量a(t) 3.1趋光实验 进行评价输出评价值V.(t),评价函数为 为验证算法的有效性，采用MATLAB仿真软 V.(t)= =+.(+D) (2) 件，仿真环境中圆形表示光源位置，方形表示障碍 物，环境中分布着有限个静态障碍物，以机器人的 式中：y是折扣因子，表示近期和远期回报预测的重 趋光学习为目标进行研究，光源位置和移动机器人 要程度。奖赏信号r(t)包括2部分：环境给予的外 起点位置可以任意设定，移动机器人运动起点位置 部奖赏信号r(t)和情感智能给予的内部奖赏信号 注明“S”,终点位置注明“G”,设定光源所在位置光 r.(t),情感模型输出的情感因子λ(0<λ<1)作为内 强是1坎德拉(Candela),与光源越远的位置光强越 部奖赏信号r.(t)。评价网络采用前馈神经网络构 弱，按e指数规律减弱。机器人对环境是完全未知 成，采用时间差分函数对评价函数进行逼近。取向 的，可以自定位，采用在线学习方式。机器人匀速 环节根据评价值V(t)生成取向信息，判定该动作 移动，设定线速度v为0.5m/s,采样时间是T=1s。 在以后出现时选择的概率。行为选择环节根据状 移动机器人进行试探学习，每次学习步数不超过 态量s(t)、评价值V(t)和取向信息输出动作量 1000步，每次学习移动机器人从起始位置出发，到 α(t)。行为选择环节采用前馈神经网络实现，应满 达光源附近位置停止，学习结束，准备进行下一次 足以较大概率从行为集合中选择具有最大行为值 学习，如果学习步数超过1000步仍未到达光源附 函数的元素。机器人对环境（或客体）实施操作，得 件位置，则终止这次学习，进行下一次学习。趋光 到奖惩信号r(t+1),环境并转变为新的状态，然后 学习评价环节趋光输入域是x(t)=[o(t),0,(t), 重复感知到行动这一过程，最终完成机器人的自主 d,(t),d,(t),(t)]T,其中0(t)为机器人当前方向 趋光学习。仿生模型见图5。 与目标点的夹角。趋光学习行为选择环节输入域 输人 评价环节 取向环节 是s(t)=[o(t),o,(t),d(t),d,(t)]'。 s(D 感知 行动 图6是机器人在有障碍物的环境下趋光学习情 状态 a(t) s(1) r() 况。图6(a)是学习初期试探结果，机器人从起始位 行为选择环节 置出发并不向光源方向运动，说明机器人原本不具 备趋光能力。图6(b)是学习中期试探结果，机器人 环境（客体）机器人 起始位置出发到达接近光源附近位置停止，但并未 图5基于情感智能的机器人趋光仿生模型 始终按光源所在方向移动，说明通过学习并未完全 Fig.5 The robot phototaxis biomimetic model based on 掌握趋光能力。6(c)是机器人从起始位置出发到 emotion intelligence 达接近光源附近位置停止，始终按光源所在方向移
高兴曰 猿冤如果光强度是很高袁且障碍物距离是中袁则 满意曰 源冤如果光强度是很高袁且障碍物距离是近袁则不 满意曰 缘冤如果光强度是很高袁且障碍物距离是很近袁则 忧伤曰 远冤如果光强度是高袁且障碍物距离是很远袁则 高兴曰 苑冤如果光强度是高袁且障碍物距离是远袁则高兴曰 愿冤如果光强度是高袁且障碍物距离是中袁则满意曰 噎噎 文中采用了重心模糊推理方法得出精确化后 的输出情感因子 姿袁公式为 姿 越 移怨 蚤 越 员 浊蚤姿蚤 移怨 蚤 越 员 浊蚤 渊员冤 浊蚤 是通过代数乘积方法得到的每一条规则真实值遥 圆援猿摇 基于情感智能的机器人趋光仿生模型设计 依据感觉运动系统的内发动机机制咱圆袁员怨鄄圆园暂 袁设计了 包含 猿 个模块的机器人模型袁如图 缘 所示袁分别是评价 模块尧行为选择模块尧取向模块遥 评价环节根据输入状 态 泽渊贼冤尧奖惩信号 则渊贼冤和动作量 葬渊贼冤袁对动作量 葬渊贼冤 进行评价输出评价值 灾藻渊贼冤袁评价函数为 灾藻( )贼 越 移 ∞ 躁 越 贼 酌躁原贼 则( )躁 越 则( )贼 垣 酌灾藻( ) 贼 垣 员 渊圆冤 式中院酌 是折扣因子袁表示近期和远期回报预测的重 要程度遥 奖赏信号 则渊贼冤包括 圆 部分院环境给予的外 部奖赏信号 则燥渊 贼冤和情感智能给予的内部奖赏信号 则藻渊贼冤 袁情感模型输出的情感因子 姿渊园约姿约员冤作为内 部奖赏信号 则藻渊贼冤 遥 评价网络采用前馈神经网络构 成袁采用时间差分函数对评价函数进行逼近遥 取向 环节根据评价值 灾藻渊 贼冤生成取向信息袁判定该动作 在以后出现时选择的概率遥 行为选择环节根据状 态量 泽 渊 贼冤 尧评价值 灾藻渊 贼冤 和取向信息输出动作量 葬渊贼冤 遥 行为选择环节采用前馈神经网络实现袁应满 足以较大概率从行为集合中选择具有最大行为值 函数的元素遥 机器人对环境渊或客体冤实施操作袁得 到奖惩信号 则渊 贼垣员冤袁环境并转变为新的状态袁然后 重复感知到行动这一过程袁最终完成机器人的自主 趋光学习遥 仿生模型见图 缘遥 图 缘摇 基于情感智能的机器人趋光仿生模型 云蚤早援缘 摇 栽澡藻 则燥遭燥贼 责澡燥贼燥贼葬曾蚤泽 遭蚤燥皂蚤皂藻贼蚤糟 皂燥凿藻造 遭葬泽藻凿 燥灶 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤早藻灶糟藻 圆援源摇 算法流程 移动机器人基于内发动机自主学习算法步骤为 员冤初始化行为选择和评价环节中各初始值袁及 各神经元连接权值曰初始化机器人的各状态变量袁 并归一化曰 圆冤根据环境状态量 泽渊贼冤 袁计算奖赏信号 则燥渊贼冤尧 则藻渊贼冤 曰 猿冤行为选择环节根据状态量 泽 渊 贼冤 计算动作 量葬渊贼冤 曰 源冤评价环节根据状态量 泽渊 贼冤和动作量 葬渊 贼冤对 动作量评价袁输出评价值 灾藻渊贼冤 曰 缘冤取向环节根据评价值 灾藻渊贼冤 袁计算取向信息袁 利用取向信息袁调整动作量 葬渊贼垣员冤输出曰 远冤将动作量 葬渊贼垣员冤对环境实施操作袁环境产生 下一时刻的状态量 泽渊贼垣员冤 曰 苑冤返回 圆冤袁直到产生的各状态量满足智能体的 期望性能指标袁则执行 愿冤曰 愿冤行为决策模块对动作量加权并对客体实施 操作袁客体产生下一时刻的状态量曰 怨冤结束遥 猿摇 仿真实验 猿援员摇 趋光实验 为验证算法的有效性袁采用 酝粤栽蕴粤月 仿真软 件袁仿真环境中圆形表示光源位置袁方形表示障碍 物袁环境中分布着有限个静态障碍物袁以机器人的 趋光学习为目标进行研究袁光源位置和移动机器人 起点位置可以任意设定袁移动机器人运动起点位置 注明野杂冶袁终点位置注明野郧冶袁设定光源所在位置光 强是 员 坎德拉渊悦葬灶凿藻造葬冤 袁与光源越远的位置光强越 弱袁按 藻 指数规律减弱遥 机器人对环境是完全未知 的袁可以自定位袁采用在线学习方式遥 机器人匀速 移动袁设定线速度 增 为 园援缘 皂 辕 泽袁采样时间是 栽 越 员 泽遥 移动机器人进行试探学习袁每次学习步数不超过 员 园园园步袁每次学习移动机器人从起始位置出发袁到 达光源附近位置停止袁学习结束袁准备进行下一次 学习袁如果学习步数超过 员 园园园 步仍未到达光源附 件位置袁则终止这次学习袁进行下一次学习遥 趋光 学习评价环节趋光输入域是 曾渊 贼冤 越 咱 燥造 渊 贼冤 袁燥则渊 贼冤 袁 凿造 渊贼冤 袁凿则渊贼冤 袁兹渊 贼冤 暂 栽 袁其中 兹渊 贼冤为机器人当前方向 与目标点的夹角遥 趋光学习行为选择环节输入域 是泽渊贼冤 越 咱燥造 渊贼冤 袁燥则渊贼冤袁凿造 渊贼冤袁凿则渊贼冤 暂 栽 遥 图 远 是机器人在有障碍物的环境下趋光学习情 况遥 图 远渊葬冤是学习初期试探结果袁机器人从起始位 置出发并不向光源方向运动袁说明机器人原本不具 备趋光能力遥 图 远渊遭冤是学习中期试探结果袁机器人 起始位置出发到达接近光源附近位置停止袁但并未 始终按光源所在方向移动袁说明通过学习并未完全 掌握趋光能力遥 远渊糟冤是机器人从起始位置出发到 达接近光源附近位置停止袁始终按光源所在方向移 窑员园园窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷
第1期 阮晓钢，等：一种基于情感智能的机器人自主趋光行为研究 ·101· 动，说明已经掌握趋光能力。图6(d)是移动机器人 图7是机器人在趋光学习过程中的相邻动作评 在趋光移动中感知光强的变化曲线，机器人在起点 价值变化的收敛曲线。从曲线上可以看出，在学习 位置时，光强较弱，随着与光源距离的接近，光强逐 初期、中期和末期，曲线波动幅度由大到小，说明机 渐增加，最后到达光源附近，感知的光强最强。 器人最初缺乏先验知识，学习随机性较大，动态性 200 能较差，随着学习的进行，随机性减小，动态性能有 所提高，机器人自组织、自学习的能力逐步完善，机 器人逐渐学会了趋光移动技能，可以较好地模拟生 100 物的趋光行为。将学习实验进行100次，统计学习 成功的仿真实验步数并计算平均值，机器人平均需 要420步的学习，逐渐学会了趋光行为。将该方法 与没有情感智能作用的方法进行对比实验，在相同 100 200 实验条件下，没有情感智能作用时，平均需要550步 位移m 的学习。说明情感因数在机器人趋光行为决策中 (a)学习初期 可以减少学习步数。 2001 1.0r 0.8 100 0.6 0.4 G 0.2 100 200 位移m 200 400 600 (b)学习中期 动作执行次数 200 图7机器人趋光仿真收敛曲线 Fig.7 The robot convergence curve of phototaxis simulation 目 3.2趋光对比实验 100 为了进一步验证算法的有效性，在相同实验条 件下，将有无情感智能的2种情况做对比实验，改变 实验参数折扣因子y,2种方法分别进行100次试探 学习，分别统计两者学习的试探成功次数。通过实 100 200 位移m 验数据结果可以看出，在折扣因子选取不同的数值 时，有情感智能作用下的试探成功次数多，如图8所 (c)学习末期 示。说明在机器人的趋光学习过程中，情感智能的 1.0 引入能够提高机器人学习的试探成功率。 80 ■基于情感智能的趋光认知模型 趋光认知模型 60 0.5 40 200 400 与光源距离/m 0.1 0.30.50.7 09 折扣因子y (d)光强变化曲线 图6机器人趋光学习过程曲线 图8机器人趋光试探成功次数对比实验 Fig.6 The robot curve of phototactic learning Fig.8 The comparative experiments of robot phototaxis training success rate
动袁说明已经掌握趋光能力遥 图 远渊凿冤是移动机器人 在趋光移动中感知光强的变化曲线袁机器人在起点 位置时袁光强较弱袁随着与光源距离的接近袁光强逐 渐增加袁最后到达光源附近袁感知的光强最强遥 渊葬冤学习初期 渊遭冤学习中期 渊糟冤学习末期 渊凿冤光强变化曲线 图 远摇 机器人趋光学习过程曲线 云蚤早援远 摇 栽澡藻 则燥遭燥贼 糟怎则增藻 燥枣 责澡燥贼燥贼葬糟贼蚤糟 造藻葬则灶蚤灶早 图 苑 是机器人在趋光学习过程中的相邻动作评 价值变化的收敛曲线遥 从曲线上可以看出袁在学习 初期尧中期和末期袁曲线波动幅度由大到小袁说明机 器人最初缺乏先验知识袁学习随机性较大袁动态性 能较差袁随着学习的进行袁随机性减小袁动态性能有 所提高袁机器人自组织尧自学习的能力逐步完善袁机 器人逐渐学会了趋光移动技能袁可以较好地模拟生 物的趋光行为遥 将学习实验进行 员园园 次袁统计学习 成功的仿真实验步数并计算平均值袁机器人平均需 要 源圆园 步的学习袁逐渐学会了趋光行为遥 将该方法 与没有情感智能作用的方法进行对比实验袁在相同 实验条件下袁没有情感智能作用时袁平均需要 缘缘园 步 的学习遥 说明情感因数在机器人趋光行为决策中 可以减少学习步数遥 图 苑摇 机器人趋光仿真收敛曲线 云蚤早援苑摇 栽澡藻 则燥遭燥贼 糟燥灶增藻则早藻灶糟藻 糟怎则增藻 燥枣 责澡燥贼燥贼葬曾蚤泽 泽蚤皂怎造葬贼蚤燥灶 猿援圆摇 趋光对比实验 为了进一步验证算法的有效性袁在相同实验条 件下袁将有无情感智能的 圆 种情况做对比实验袁改变 实验参数折扣因子 酌袁圆 种方法分别进行 员园园 次试探 学习袁分别统计两者学习的试探成功次数遥 通过实 验数据结果可以看出袁在折扣因子选取不同的数值 时袁有情感智能作用下的试探成功次数多袁如图 愿 所 示遥 说明在机器人的趋光学习过程中袁情感智能的 引入能够提高机器人学习的试探成功率遥 图 愿摇 机器人趋光试探成功次数对比实验 云蚤早援愿摇 栽澡藻 糟燥皂责葬则葬贼蚤增藻 藻曾责藻则蚤皂藻灶贼泽 燥枣 则燥遭燥贼 责澡燥贼燥贼葬曾蚤泽 贼则葬蚤灶蚤灶早 泽怎糟糟藻泽泽 则葬贼藻 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 阮晓钢袁等院一种基于情感智能的机器人自主趋光行为研究 窑员园员窑
·102 智能系统学报 第10卷 changing real worlds via vision-based reinforcement learn- 4结束语 ing and development[].Artificial Intelligence,1999. 110(2):275-292. 通过对基于情感的内发动机机器人自主趋光 [12]HUMBERT J S,HYSLOP A M.Bioinspired visuomotor 行为的研究，使机器人通过自主学习逐渐形成、发 convergence[J].IEEE Transactions on Robotics,2010, 展并完善了趋光能力。通过模拟生物的情感智能， 26:121-30. 采用模糊推理方法设计情感模型，提高了机器人趋 [13]ZOLLO L,ESKIZMIRLILER S,TETI G,et al.An anthro- 光学习的试探成功率，减少了学习步数，实验表明 pomorphic robotic platform for progressive and adaptive 情感智能可以增强机器人的行为决策能力。 sensorimotor learning[J].Advanced Robotics,2008,22: 91-118. 参考文献： [14]BARANES A.OUDEYER P Y.Active learning of inverse models with intrinsically motivated goal exploration in [1]OUDEYER P,KAPLAN F.What is intrinsic motivation?a robots[]]Robotics and Autonomous Systems,2013,61 typology of computational approaches[].Frontiers in Neu- (1):49.73. rorobotics,2007,1(6):1-14. [15]VIGORITO C M,BARTO A G.Intrinsically motivated hi- [2]SINGH S.Intrinsically motivated reinforcement learning:an erarchical skill learning in structured environments J]. evolutionary perspective[].IEEE Transactions on Autono- IEEE Transactions on Autonomous Mental Development, mous Mental Development,2010,2(2):70-82. 2010,2(2):132-143. [3]AHN H,PICARD R W.Affective cognitive learning and de- [16]EI-NASR M S,YEN J.Agents,emotion intelligence and cision making:the role of emotions C]//The 18th fuzzy logic[C]//Proceedings of the North American Con- European Meeting on Cybernetics and Systems Research. ference on the Fuzzy Information Processing Society [s.1.],2006:1-6. Pensacola Beach,1998,1:135-140. [4]MALFAZ M,SALICHS M A.Learning to avoid risky actions [17]DEGAONKAR V N,APTE S D.Emotion modeling from []Cybernetics and Systems,2011,42(8):636-658. speech signal based on wavelet packet transform[].Inter- [5]SEQUEIRA P,MELO F S,PAIVA A.Emotion-based in- national Journal of Speech Technology,2013,16(1): trinsic motivation for reinforcement learning agents[C]//Af- 1-5. fective Computing and Intelligent Interaction.Berlin: [18]ORTONY A.The cognitive structure of emotions[M] Springer,2011:326-336. Cambridge:Cambridge University Press,1990:35-77. [6]ABDI J,MOSHIRI B,ABDULHAI B,et al.Short-term [19]OUDEYER P Y,KAPLAN F,HAFNER VV.Intrinsic traffic flow forecasting:parametric and nonparametric ap- motivation systems for autonomous mental development proaches via emotional temporal difference learning [J]. [J].IEEE Transactions on Evolutionary Computation, Neural Computing and Applications,2013,23:141-159. 2007,11(2):265-286. [7]刘明，许力.人工情感在Aget行为选择策略中的应用 [20]ZORAN M,MARKO M,MIHAILO L,et al.Neural net- [J].江南大学学报，2003,2(6)：564-568. work reinforcement learning for visual control of robot ma- LIU Ming,XU Li.Study on artificial emotion and its appli- nipulators[].Expert Systems with Applications,2013, 40(5):1721-1736 cation in the behavior selection strategy of agents[J]. 作者简介： Journal of Southern Yangtze University.2003,2(6): 阮晓钢，男，1958年生，博士生导 564-568. 师，主要研究方向为机器人学、自动控 [8]张惠娣，刘士荣.基于情感与环境认知的移动机器人自 制与人工智能技术。先后主持和承担 主导航控制[J].控制理论与应用，2008,25(6)： 国家自然科学基金重点项目、国家973 995-1000. 计划重点项目以及省部级项目30余 ZHANG Huidi,LIU Shirong.Autonomous navigation control 项，发表学术论文200余篇。 for mobile robots based on emotion and environment cognition[J].Control Theory Applications,2008,25 (6):995-1000. 庞涛，女，1976年生.讲师，主要研 [9]胡云斗，胡丹丹，高庆吉.一种基于任务的机器人情感决 究方向为认知机器人学。 策模型的构建[J].机器人，2010.32(4)：464-477 HU Yundou,HU Dandan,GAO Qingji.Construction of a robot emotion decision-making model based on tasks[J]. Robot,2010,32(4):464-477. [10]祝宇虹，毛俊鑫.基于人工情感与Q学习的机器人行为 决策[J.智能工程，2008,61(7)：61-65. 张晓平，女，1991年生，博士研究 ZHU Yuhong,MAO Junxin.Robot's behavioral decision- 生，主要研究方向为机器人学、人工智 making strategy based on artificial emotion and Q-learning 能技术。 []]Intelligent Engineering,2008,61(7):61-65. [11 ASADA M,UCHIBE E,HOSODA K.Cooperative behavior acquisition for mobile robots in dynamically
源摇 结束语 通过对基于情感的内发动机机器人自主趋光 行为的研究袁使机器人通过自主学习逐渐形成尧发 展并完善了趋光能力遥 通过模拟生物的情感智能袁 采用模糊推理方法设计情感模型袁提高了机器人趋 光学习的试探成功率袁减少了学习步数袁实验表明 情感智能可以增强机器人的行为决策能力遥 参考文献院 咱员暂韵哉阅耘再耘砸 孕袁 运粤孕蕴粤晕 云援 宰澡葬贼 蚤泽 蚤灶贼则蚤灶泽蚤糟 皂燥贼蚤增葬贼蚤燥灶钥 葬 贼赠责燥造燥早赠 燥枣 糟燥皂责怎贼葬贼蚤燥灶葬造 葬责责则燥葬糟澡藻泽咱 允暂援 云则燥灶贼蚤藻则泽 蚤灶 晕藻怎鄄 则燥则燥遭燥贼蚤糟泽袁 圆园园苑袁 员渊远冤 院 员鄄员源援 咱圆暂 杂陨晕郧匀 杂援 陨灶贼则蚤灶泽蚤糟葬造造赠 皂燥贼蚤增葬贼藻凿 则藻蚤灶枣燥则糟藻皂藻灶贼 造藻葬则灶蚤灶早院 葬灶 藻增燥造怎贼蚤燥灶葬则赠 责藻则泽责藻糟贼蚤增藻咱 允暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 粤怎贼燥灶燥鄄 皂燥怎泽 酝藻灶贼葬造 阅藻增藻造燥责皂藻灶贼袁 圆园员园袁 圆渊圆冤 院 苑园鄄愿圆援 咱猿暂粤匀晕 匀袁 孕陨悦粤砸阅 砸 宰援 粤枣枣藻糟贼蚤增藻 糟燥早灶蚤贼蚤增藻 造藻葬则灶蚤灶早 葬灶凿 凿藻鄄 糟蚤泽蚤燥灶 皂葬噪蚤灶早院 贼澡藻 则燥造藻 燥枣 藻皂燥贼蚤燥灶泽 咱 悦 暂 辕 辕 栽澡藻 员愿贼澡 耘怎则燥责藻葬灶 酝藻藻贼蚤灶早 燥灶 悦赠遭藻则灶藻贼蚤糟泽 葬灶凿 杂赠泽贼藻皂泽 砸藻泽藻葬则糟澡援 咱 泽援造援暂 袁圆园园远院 员鄄远援 咱 源暂酝粤蕴云粤在 酝袁 杂粤蕴陨悦匀杂 酝 粤援 蕴藻葬则灶蚤灶早 贼燥 葬增燥蚤凿 则蚤泽噪赠 葬糟贼蚤燥灶泽 咱 允暂援 悦赠遭藻则灶藻贼蚤糟泽 葬灶凿 杂赠泽贼藻皂泽袁 圆园员员袁 源圆渊愿冤 院 远猿远鄄远缘愿援 咱缘暂 杂耘匝哉耘陨砸粤 孕袁 酝耘蕴韵 云 杂袁 孕粤陨灾粤 粤援 耘皂燥贼蚤燥灶鄄遭葬泽藻凿 蚤灶鄄 贼则蚤灶泽蚤糟 皂燥贼蚤增葬贼蚤燥灶 枣燥则 则藻蚤灶枣燥则糟藻皂藻灶贼 造藻葬则灶蚤灶早 葬早藻灶贼泽咱悦暂 辕 辕 粤枣鄄 枣藻糟贼蚤增藻 悦燥皂责怎贼蚤灶早 葬灶凿 陨灶贼藻造造蚤早藻灶贼 陨灶贼藻则葬糟贼蚤燥灶援 月藻则造蚤灶院 杂责则蚤灶早藻则袁 圆园员员院 猿圆远鄄猿猿远援 咱远暂 粤月阅陨 允袁 酝韵杂匀陨砸陨 月袁 粤月阅哉蕴匀粤陨 月袁 藻贼 葬造援 杂澡燥则贼鄄贼藻则皂 贼则葬枣枣蚤糟 枣造燥憎 枣燥则藻糟葬泽贼蚤灶早院 责葬则葬皂藻贼则蚤糟 葬灶凿 灶燥灶责葬则葬皂藻贼则蚤糟 葬责鄄 责则燥葬糟澡藻泽 增蚤葬 藻皂燥贼蚤燥灶葬造 贼藻皂责燥则葬造 凿蚤枣枣藻则藻灶糟藻 造藻葬则灶蚤灶早 咱 允 暂援 晕藻怎则葬造 悦燥皂责怎贼蚤灶早 葬灶凿 粤责责造蚤糟葬贼蚤燥灶泽袁 圆园员猿袁圆猿院员源员鄄员缘怨援 咱苑暂刘明袁 许力援 人工情感在 粤早藻灶贼 行为选择策略中的应用 咱允暂援 江南大学学报袁 圆园园猿袁 圆渊远冤 院缘远源鄄缘远愿援 蕴陨哉 酝蚤灶早袁 载哉 蕴蚤援 杂贼怎凿赠 燥灶 葬则贼蚤枣蚤糟蚤葬造 藻皂燥贼蚤燥灶 葬灶凿 蚤贼泽 葬责责造蚤鄄 糟葬贼蚤燥灶 蚤灶 贼澡藻 遭藻澡葬增蚤燥则 泽藻造藻糟贼蚤燥灶 泽贼则葬贼藻早赠 燥枣 葬早藻灶贼泽 咱 允 暂援 允燥怎则灶葬造 燥枣 杂燥怎贼澡藻则灶 再葬灶早贼扎藻 哉灶蚤增藻则泽蚤贼赠袁 圆园园猿袁 圆 渊 远 冤 院 缘远源鄄缘远愿援 咱愿暂张惠娣袁刘士荣援 基于情感与环境认知的移动机器人自 主导 航控 制 咱 允暂援 控制理论与应用袁 圆园园愿袁 圆缘 渊 远 冤 院 怨怨缘鄄员园园园援 在匀粤晕郧 匀怎蚤凿蚤袁 蕴陨哉 杂澡蚤则燥灶早援 粤怎贼燥灶燥皂燥怎泽 灶葬增蚤早葬贼蚤燥灶 糟燥灶贼则燥造 枣燥则 皂燥遭蚤造藻 则燥遭燥贼泽 遭葬泽藻凿 燥灶 藻皂燥贼蚤燥灶 葬灶凿 藻灶增蚤则燥灶皂藻灶贼 糟燥早灶蚤贼蚤燥灶 咱 允 暂援 悦燥灶贼则燥造 栽澡藻燥则赠 驭 粤责责造蚤糟葬贼蚤燥灶泽袁 圆园园愿袁 圆缘 渊远冤 院 怨怨缘鄄员园园园援 咱怨暂胡云斗袁胡丹丹袁高庆吉援 一种基于任务的机器人情感决 策模型的构建咱允暂援 机器人袁 圆园员园袁 猿圆渊源冤 院源远源鄄源苑苑援 匀哉 再怎灶凿燥怎袁 匀哉 阅葬灶凿葬灶袁 郧粤韵 匝蚤灶早躁蚤援 悦燥灶泽贼则怎糟贼蚤燥灶 燥枣 葬 则燥遭燥贼 藻皂燥贼蚤燥灶 凿藻糟蚤泽蚤燥灶鄄皂葬噪蚤灶早 皂燥凿藻造 遭葬泽藻凿 燥灶 贼葬泽噪泽 咱 允 暂援 砸燥遭燥贼袁 圆园员园袁 猿圆渊源冤 院源远源鄄源苑苑援 咱员园暂祝宇虹袁毛俊鑫援 基于人工情感与 匝 学习的机器人行为 决策咱允暂援 智能工程袁 圆园园愿袁 远员渊苑冤 院 远员鄄远缘援 在匀哉 再怎澡燥灶早袁 酝粤韵 允怎灶曾蚤灶援 砸燥遭燥贼爷 泽 遭藻澡葬增蚤燥则葬造 凿藻糟蚤泽蚤燥灶鄄 皂葬噪蚤灶早 泽贼则葬贼藻早赠 遭葬泽藻凿 燥灶 葬则贼蚤枣蚤糟蚤葬造 藻皂燥贼蚤燥灶 葬灶凿 匝鄄造藻葬则灶蚤灶早 咱 允暂援 陨灶贼藻造造蚤早藻灶贼 耘灶早蚤灶藻藻则蚤灶早袁 圆园园愿袁 远员渊苑冤 院 远员鄄远缘援 咱 员员 暂 粤杂粤阅粤 酝袁 哉悦匀陨月耘 耘袁 匀韵杂韵阅粤 运援 悦燥燥责藻则葬贼蚤增藻 遭藻澡葬增蚤燥则 葬糟择怎蚤泽蚤贼蚤燥灶 枣燥则 皂燥遭蚤造藻 则燥遭燥贼泽 蚤灶 凿赠灶葬皂蚤糟葬造造赠 糟澡葬灶早蚤灶早 则藻葬造 憎燥则造凿泽 增蚤葬 增蚤泽蚤燥灶鄄遭葬泽藻凿 则藻蚤灶枣燥则糟藻皂藻灶贼 造藻葬则灶鄄 蚤灶早 葬灶凿 凿藻增藻造燥责皂藻灶贼 咱 允暂援 粤则贼蚤枣蚤糟蚤葬造 陨灶贼藻造造蚤早藻灶糟藻袁 员怨怨怨袁 员员园渊圆冤院 圆苑缘鄄圆怨圆援 咱员圆暂 匀哉酝月耘砸栽 允 杂袁 匀再杂蕴韵孕 粤 酝援 月蚤燥蚤灶泽责蚤则藻凿 增蚤泽怎燥皂燥贼燥则 糟燥灶增藻则早藻灶糟藻咱 允暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 砸燥遭燥贼蚤糟泽袁 圆园员园袁 圆远院 员圆员鄄猿园援 咱员猿暂在韵蕴蕴韵 蕴袁 耘杂运陨在酝陨砸蕴陨蕴耘砸 杂袁 栽耘栽陨 郧袁 藻贼 葬造援 粤灶 葬灶贼澡则燥鄄 责燥皂燥则责澡蚤糟 则燥遭燥贼蚤糟 责造葬贼枣燥则皂 枣燥则 责则燥早则藻泽泽蚤增藻 葬灶凿 葬凿葬责贼蚤增藻 泽藻灶泽燥则蚤皂燥贼燥则 造藻葬则灶蚤灶早咱 允暂援 粤凿增葬灶糟藻凿 砸燥遭燥贼蚤糟泽袁 圆园园愿袁 圆圆院 怨员鄄员员愿援 咱员源暂月粤砸粤晕耘杂 粤袁 韵哉阅耘再耘砸 孕 再援 粤糟贼蚤增藻 造藻葬则灶蚤灶早 燥枣 蚤灶增藻则泽藻 皂燥凿藻造泽 憎蚤贼澡 蚤灶贼则蚤灶泽蚤糟葬造造赠 皂燥贼蚤增葬贼藻凿 早燥葬造 藻曾责造燥则葬贼蚤燥灶 蚤灶 则燥遭燥贼泽咱 允暂援 砸燥遭燥贼蚤糟泽 葬灶凿 粤怎贼燥灶燥皂燥怎泽 杂赠泽贼藻皂泽袁 圆园员猿袁 远员 渊员冤 院 源怨鄄苑猿援 咱员缘暂灾陨郧韵砸陨栽韵 悦 酝袁 月粤砸栽韵 粤 郧援 陨灶贼则蚤灶泽蚤糟葬造造赠 皂燥贼蚤增葬贼藻凿 澡蚤鄄 藻则葬则糟澡蚤糟葬造 泽噪蚤造造 造藻葬则灶蚤灶早 蚤灶 泽贼则怎糟贼怎则藻凿 藻灶增蚤则燥灶皂藻灶贼泽 咱 允 暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 粤怎贼燥灶燥皂燥怎泽 酝藻灶贼葬造 阅藻增藻造燥责皂藻灶贼袁 圆园员园袁 圆渊圆冤院 员猿圆鄄员源猿援 咱员远暂耘陨鄄晕粤杂砸 酝 杂袁 再耘晕 允援 粤早藻灶贼泽袁 藻皂燥贼蚤燥灶 蚤灶贼藻造造蚤早藻灶糟藻 葬灶凿 枣怎扎扎赠 造燥早蚤糟咱 悦暂 辕 辕 孕则燥糟藻藻凿蚤灶早泽 燥枣 贼澡藻 晕燥则贼澡 粤皂藻则蚤糟葬灶 悦燥灶鄄 枣藻则藻灶糟藻 燥灶 贼澡藻 云怎扎扎赠 陨灶枣燥则皂葬贼蚤燥灶 孕则燥糟藻泽泽蚤灶早 杂燥糟蚤藻贼赠援 孕藻灶泽葬糟燥造葬 月藻葬糟澡袁 员怨怨愿袁员院员猿缘鄄员源园援 咱员苑暂 阅耘郧粤韵晕运粤砸 灾 晕袁 粤孕栽耘 杂 阅援 耘皂燥贼蚤燥灶 皂燥凿藻造蚤灶早 枣则燥皂 泽责藻藻糟澡 泽蚤早灶葬造 遭葬泽藻凿 燥灶 憎葬增藻造藻贼 责葬糟噪藻贼 贼则葬灶泽枣燥则皂咱 允暂援 陨灶贼藻则鄄 灶葬贼蚤燥灶葬造 允燥怎则灶葬造 燥枣 杂责藻藻糟澡 栽藻糟澡灶燥造燥早赠袁 圆园员猿袁 员远 渊 员 冤 院 员鄄缘援 咱员愿暂 韵砸栽韵晕再 粤援 栽澡藻 糟燥早灶蚤贼蚤增藻 泽贼则怎糟贼怎则藻 燥枣 藻皂燥贼蚤燥灶泽 咱 酝 暂援 悦葬皂遭则蚤凿早藻院悦葬皂遭则蚤凿早藻 哉灶蚤增藻则泽蚤贼赠 孕则藻泽泽袁 员怨怨园院猿缘鄄苑苑援 咱员怨暂 韵哉阅耘再耘砸 孕 再袁 运粤孕蕴粤晕 云袁 匀粤云晕耘砸 灾 灾援 陨灶贼则蚤灶泽蚤糟 皂燥贼蚤增葬贼蚤燥灶 泽赠泽贼藻皂泽 枣燥则 葬怎贼燥灶燥皂燥怎泽 皂藻灶贼葬造 凿藻增藻造燥责皂藻灶贼 咱 允 暂援 陨耘耘耘 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 耘增燥造怎贼蚤燥灶葬则赠 悦燥皂责怎贼葬贼蚤燥灶袁 圆园园苑袁 员员渊圆冤 院 圆远缘鄄圆愿远援 咱圆园暂在韵砸粤晕 酝袁 酝粤砸运韵 酝袁 酝陨匀粤陨蕴韵 蕴袁 藻贼 葬造援 晕藻怎则葬造 灶藻贼鄄 憎燥则噪 则藻蚤灶枣燥则糟藻皂藻灶贼 造藻葬则灶蚤灶早 枣燥则 增蚤泽怎葬造 糟燥灶贼则燥造 燥枣 则燥遭燥贼 皂葬鄄 灶蚤责怎造葬贼燥则泽 咱 允暂援 耘曾责藻则贼 杂赠泽贼藻皂泽 憎蚤贼澡 粤责责造蚤糟葬贼蚤燥灶泽袁 圆园员猿袁 源园渊缘冤 院 员苑圆员鄄员苑猿远援 作者简介院 阮晓钢袁男袁 员怨缘愿 年生袁博士生导 师袁主要研究方向为机器人学尧自动控 制与人工智能技术遥 先后主持和承担 国家自然科学基金重点项目尧国家 怨苑猿 计划重点项目以及省部级项目 猿园 余 项袁发表学术论文 圆园园 余篇遥 庞涛袁女袁员怨苑远 年生袁讲师袁主要研 究方向为认知机器人学遥 张晓平袁女袁 员怨怨员 年生袁博士研究 生袁主要研究方向为机器人学尧人工智 能技术遥 窑员园圆窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷