【机器学习】基于事件驱动的多智能体强化学习研究

第12卷第1期 智能系统学报 Vol.12 No.1 2017年2月 CAAI Transactions on Intelligent Systems Feb.2017 D0I:10.11992/tis.201604008 网络出版地址：http://kns.cmki.net/kcms/detail/23.1538.TP.20170301.1147.002.html 基于事件驱动的多智能体强化学习研究 张文旭，马磊，王晓东 (西南交通大学电气工程学院，四川成都610031) 摘要：本文针对多智能体强化学习中存在的通信和计算资源消耗大等问题，提出了一种基于事件驱动的多智能体 强化学习算法，侧重于事件驱动在多智能体学习策略层方面的研究。在智能体与环境的交互过程中，算法基于事件 驱动的思想，根据智能体观测信息的变化率设计触发函数，使学习过程中的通信和学习时机无需实时或按周期地进 行，故在相同时间内可以降低数据传输和计算次数。另外，分析了该算法的计算资源消耗，以及对算法收敛性进行 了论证。最后，仿真实验说明了该算法可以在学习过程中减少一定的通信次数和策略遍历次数，进而缓解了通信和 计算资源消耗。 关键词：事件驱动：多智能体：强化学习：分布式马尔科夫决策过程：收敛性 中图分类号：TP181文献标志码：A文章编号：1673-4785(2017)01-0082-06 中文引用格式：张文旭，马磊，王晓东.基于事件驱动的多智能体强化学习研究[J].智能系统学报，2017,12(1)：82-87. 英文引用格式：ZHANG Wenxu,MA Lei,WANG Xiaodong..Reinforcement learning for event-.triggered multi-agent systems[J]. CAAI transactions on intelligent systems,2017,12(1):82-87. Reinforcement learning for event-triggered multi-agent systems ZHANG Wenxu,MA Lei,WANG Xiaodong (School of Electrical Engineering,Southwest Jiaotong University,Chengdu 610031,China) Abstract:Focusing on the existing multi-agent reinforcement learning problems such as huge consumption of com- munication and calculation,a novel event-triggered multi-agent reinforcement learning algorithm was presented.The algorithm focused on an event-triggered idea at the strategic level of multi-agent learning.In particular,during the interactive process between agents and the learning environment,the communication and learning were triggered through the change rate of observation.Using an appropriate event-triggered design,the discontinuous threshold was employed,and thus real-time or periodical communication and learning can be avoided,and the number of commu- nications and calculations were reduced within the same time.Moreover,the consumption of computing resource and the convergence of the proposed algorithm were analyzed and proven.Finally,the simulation results show that the number of communications and traversals were reduced in learning,thus saving the computing and communica- tion resources. Keywords:event-triggered;multi-agent;reinforcement learning;decentralized Markov decision processes;conver- gence 近年来，基于事件驱动的方法在多智能体研究 体可以根据测量误差间歇性的更新状态，减少通信 中得到广泛关注1)。在事件驱动的思想中，智能 次数和计算量。文献[4]首次在多智能体系统的协 作中运用事件驱动的策略，并设计了基于事件驱动 收稿日期：2016-04-05.网络出版日期：2017-03-01. 机制的状态反馈控制器。随后，文献[5-7]将基于 基金项目：国家自然科学基金青年项目(61304166). 事件驱动的控制器扩展到非线性系统，以及复杂网 通信作者：张文旭.Email:wenxu_zhang(@l63.com

第 １２ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．１ ２０１７ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０４００８ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１７０３０１．１１４７．００２．ｈｔｍｌ 基于事件驱动的多智能体强化学习研究 张文旭，马磊，王晓东 （西南交通大学 电气工程学院，四川 成都 ６１００３１） 摘 要：本文针对多智能体强化学习中存在的通信和计算资源消耗大等问题，提出了一种基于事件驱动的多智能体 强化学习算法，侧重于事件驱动在多智能体学习策略层方面的研究。 在智能体与环境的交互过程中，算法基于事件 驱动的思想，根据智能体观测信息的变化率设计触发函数，使学习过程中的通信和学习时机无需实时或按周期地进 行，故在相同时间内可以降低数据传输和计算次数。 另外，分析了该算法的计算资源消耗，以及对算法收敛性进行 了论证。 最后，仿真实验说明了该算法可以在学习过程中减少一定的通信次数和策略遍历次数，进而缓解了通信和 计算资源消耗。 关键词：事件驱动；多智能体；强化学习；分布式马尔科夫决策过程；收敛性 中图分类号： ＴＰ１８１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０１－００８２－０６ 中文引用格式：张文旭，马磊，王晓东． 基于事件驱动的多智能体强化学习研究［Ｊ］． 智能系统学报， ２０１７， １２（１）： ８２－８７． 英文引用格式：ＺＨＡＮＧ Ｗｅｎｘｕ， ＭＡ Ｌｅｉ， ＷＡＮＧ Ｘｉａｏｄｏｎｇ． Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｆｏｒ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ［ Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（１）： ８２－８７． Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｆｏｒ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ ＺＨＡＮＧ Ｗｅｎｘｕ， ＭＡ Ｌｅｉ， ＷＡＮＧ Ｘｉａｏｄｏｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｏｕｔｈｗｅｓｔ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｃｈｅｎｇｄｕ ６１００３１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｃｕｓｉｎｇ ｏｎ ｔｈｅ ｅｘｉｓｔｉｎｇ ｍｕｌｔｉ⁃ａｇｅｎｔ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｐｒｏｂｌｅｍｓ ｓｕｃｈ ａｓ ｈｕｇｅ ｃｏｎｓｕｍｐｔｉｏｎ ｏｆ ｃｏｍ⁃ ｍｕｎｉｃａｔｉｏｎ ａｎｄ ｃａｌｃｕｌａｔｉｏｎ， ａ ｎｏｖｅｌ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｍｕｌｔｉ⁃ａｇｅｎｔ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｗａｓ ｐｒｅｓｅｎｔｅｄ． Ｔｈｅ ａｌｇｏｒｉｔｈｍ ｆｏｃｕｓｅｄ ｏｎ ａｎ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｉｄｅａ ａｔ ｔｈｅ ｓｔｒａｔｅｇｉｃ ｌｅｖｅｌ ｏｆ ｍｕｌｔｉ⁃ａｇｅｎｔ ｌｅａｒｎｉｎｇ． Ｉｎ ｐａｒｔｉｃｕｌａｒ， ｄｕｒｉｎｇ ｔｈｅ ｉｎｔｅｒａｃｔｉｖｅ ｐｒｏｃｅｓｓ ｂｅｔｗｅｅｎ ａｇｅｎｔｓ ａｎｄ ｔｈｅ ｌｅａｒｎｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ， ｔｈｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｗｅｒｅ ｔｒｉｇｇｅｒｅｄ ｔｈｒｏｕｇｈ ｔｈｅ ｃｈａｎｇｅ ｒａｔｅ ｏｆ ｏｂｓｅｒｖａｔｉｏｎ．Ｕｓｉｎｇ ａｎ ａｐｐｒｏｐｒｉａｔｅ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｄｅｓｉｇｎ， ｔｈｅ ｄｉｓｃｏｎｔｉｎｕｏｕｓ ｔｈｒｅｓｈｏｌｄ ｗａｓ ｅｍｐｌｏｙｅｄ， ａｎｄ ｔｈｕｓ ｒｅａｌ⁃ｔｉｍｅ ｏｒ ｐｅｒｉｏｄｉｃａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ ｌｅａｒｎｉｎｇ ｃａｎ ｂｅ ａｖｏｉｄｅｄ， ａｎｄ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｍｕ⁃ ｎｉｃａｔｉｏｎｓ ａｎｄ ｃａｌｃｕｌａｔｉｏｎｓ ｗｅｒｅ ｒｅｄｕｃｅｄ ｗｉｔｈｉｎ ｔｈｅ ｓａｍｅ ｔｉｍｅ． Ｍｏｒｅｏｖｅｒ， ｔｈｅ ｃｏｎｓｕｍｐｔｉｏｎ ｏｆ ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ ａｎｄ ｔｈｅ ｃｏｎｖｅｒｇｅｎｃｅ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｗｅｒｅ ａｎａｌｙｚｅｄ ａｎｄ ｐｒｏｖｅｎ． Ｆｉｎａｌｌｙ， ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ ｔｒａｖｅｒｓａｌｓ ｗｅｒｅ ｒｅｄｕｃｅｄ ｉｎ ｌｅａｒｎｉｎｇ， ｔｈｕｓ ｓａｖｉｎｇ ｔｈｅ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａ⁃ ｔｉｏｎ ｒｅｓｏｕｒｃｅｓ． Ｋｅｙｗｏｒｄｓ：ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ； ｍｕｌｔｉ⁃ａｇｅｎｔ； ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ；ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓｅｓ；ｃｏｎｖｅｒ⁃ ｇｅｎｃｅ 收稿日期：２０１６－０４－０５． 网络出版日期：２０１７－０３－０１． 基金项目：国家自然科学基金青年项目（６１３０４１６６）． 通信作者：张文旭．Ｅｍａｉｌ： ｗｅｎｘｕ＿ｚｈａｎｇ＠ １６３．ｃｏｍ． 近年来，基于事件驱动的方法在多智能体研究 中得到广泛关注［１－３］ 。 在事件驱动的思想中，智能 体可以根据测量误差间歇性的更新状态，减少通信 次数和计算量。 文献［４］首次在多智能体系统的协 作中运用事件驱动的策略，并设计了基于事件驱动 机制的状态反馈控制器。 随后，文献［５－７］将基于 事件驱动的控制器扩展到非线性系统，以及复杂网

第1期 张文旭，等：基于事件驱动的多智能体强化学习研究 83. 络等领域。但是，目前事件驱动与强化学习的结合 还相对不足[8-]，并主要集中在对多智能体的控制 2 触发规则设计 器设计上，较少有学者关注其在学习策略层的应用。 在事件驱动思想中，智能体把从环境中得到的 在现有的多智能体强化学习算法中，由于智能体携 观测误差作为重要的评判标准，当它超过一个预设 带的通信设备和微处理器性能有限，其学习过程中 的阈值时事件被触发，智能体更新状态并计算联合 通常存在两个问题：1)智能体间的信息交互需占用 策略，而事件触发的关键在于对触发函数的设计。 较大的通信带宽；2)在学习的试错和迭代过程中， 2.1自事件触发设计 消耗了大量的计算资源。以上问题都将减少智能体 DEC-MDPs模型中，每一个智能体通过独立的 的工作时间，或增加设计上的复杂性。本文区别于 观测获取局部信息，然后广播到全队，所以每一个智 传统的多智能体学习算法，侧重于事件驱动在多智 能体首先需要自触发设计。在时刻t,当每一个智能 能体学习策略层的研究，首先从自触发和联合触发 体观测结束后，其根据上一刻观测与当前观测的变 两个方面定义触发函数，然后在分布式马尔可夫模 化率，进行一次自触发过程，智能体用自触发方式来 型中设计了基于事件驱动的多智能体强化学习算 判断是否需要广播自身的观测信息。智能体i从t- 法，最后对算法的收敛性进行了论证。 1时刻到t时刻的观测变化率定义为 e.(t)=o:(t)-o,(t-1)/o.(t-1)(1) 1 问题描述 式中：o.(t)为在t时刻的观测值。定义0<e<1为自 1.1分布式马尔可夫模型 事件触发函数阈值，当智能体ⅱ观测信息的变化率 考虑一个分布式马尔可夫模型(decentralized e,(t)大于e时进行通信。此时，不一定所有的智能 体都被驱动，没有采集到新观测信息的智能体仅接 markov decision processes,DEC-MDPs),是由一个五 元组(1，{S},{A},P,R〉构成的，其中，I表示有限 收信息。在自事件触发过程，智能体无需每一时刻 的智能体集合：{S}表示一个有限的系统状态集合： 进行通信，因此减少智能体的通信消耗。 2.2联合事件触发设计 {A:}表示智能体i可采取的动作的集合：P表示系 联合事件触发的对象是智能体团队，考虑的是 统的转移；R表示回报函数。DEC-MDPs与多智能 一个联合观测的变化情况。假设在时刻：智能体团 体的马尔可夫模型(multi agent--MDPs,M-MDPs)的 队获得当前的联合观测0(t)=(0,(t),02(t),…, 唯一区别在于，在M-MDPs中系统的全局信息被所 O(t)。此时，智能体团队从t-1时刻到t时刻的 有智能体完全获得，而在DEC-MDPs中，每一个智 联合观测变化率定义为 能体仅具有局部的观测，或者说是全局信息的一个 E(t)=(e(t),e2(t),e(t)) (2) 子集，当所有的子集放在一起求并集时，这些局部信 式中：e.(t)=|o.(t)-o:(t-1)l/o.(t-1)。 息能够合成一个完整的全局信息，在完全通信的情 利用方差计算两个时刻的误差偏移程度，令联 况下，DEC-MDPs可以被简化为M-MDPs模型。求 解DEC-MDPs的目的是找到一个联合策略元=（π1， 合观测变化率期塑为F()= ,e,(t)/n,方差为 T2,·,T.)来最大化回报函数R。求解DEC-MDPs 问题的计算复杂度为NEXPliO]难度，即问题的状态 D)=(e,()-F()2p (3) i= 随着步数增加呈现双指数增长。 式中：p=l/n为e,(t)的分布律，令 1.2 Q学习 H(t)=D(t)-F(t)/F(t) (4) 文献[11]提出了一类通过引入期望的延时回 定义0<G<1为团队的联合事件触发函数阈值，当 报，求解无完全信息的MDPs类问题的方法，称为 H(t)大于G时，认为智能体团队的状态已经发生较大 Q-学习(Q-learning)。Q-学习是一种模型无关的强 改变，需要对Q值表进行遍历，并计算一个新的联合策 化学习方法，通过对状态-动作对的值函数进行估 略，否则智能体直接延用上一刻的联合策略。 计，以求得最优策略。Q学习算法的基本形式如下： 自事件触发和联合事件触发的区别在于： Q(s,a)=Rs,a）+y∑P(s,a,s')maxQ^(s',a） 1)自事件触发的对象是单个智能体，对应的事 件由智能体自身的观测变化率所触发，触发后的行 式中：Q°(s,a)表示智能体在状态s下采用动作a 动为进行广播式通信，自事件触发的目的是为了减 所获得的奖赏折扣总和；y为折扣因子；P(s,a,s') 少通信资源消耗：而联合事件触发针对的是智能体 表示概率函数：最优策略为智能体在状态s下选用 团队的联合观测变化率，触发后的行动是计算联合 Q值最大的策略。Q学习存在的最大问题为，智能 策略，目的在于减少计算资源消耗。 体需要通过试错的方式找到最优策略，这样的方式 2)当单个智能体的观测发生变化时，并不一定 使得Q学习需要考虑所有的可能策略，从而需要消 导致团队的联合观测变化率发生较大改变。即当环 耗大量计算资源。 境整体发生变化时，虽然每一个智能体的观测都发

络等领域。 但是，目前事件驱动与强化学习的结合 还相对不足［８－９］ ，并主要集中在对多智能体的控制 器设计上，较少有学者关注其在学习策略层的应用。 在现有的多智能体强化学习算法中，由于智能体携 带的通信设备和微处理器性能有限，其学习过程中 通常存在两个问题：１）智能体间的信息交互需占用 较大的通信带宽；２） 在学习的试错和迭代过程中， 消耗了大量的计算资源。 以上问题都将减少智能体 的工作时间，或增加设计上的复杂性。 本文区别于 传统的多智能体学习算法，侧重于事件驱动在多智 能体学习策略层的研究，首先从自触发和联合触发 两个方面定义触发函数，然后在分布式马尔可夫模 型中设计了基于事件驱动的多智能体强化学习算 法，最后对算法的收敛性进行了论证。 １ 问题描述 １．１ 分布式马尔可夫模型 考虑一个分布式马尔可夫模型（ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓｅｓ， ＤＥＣ⁃ＭＤＰｓ），是由一个五 元组〈Ｉ，｛ Ｓ｝，｛Ａｉ｝，Ｐ，Ｒ〉构成的，其中，Ｉ 表示有限 的智能体集合；｛Ｓ｝表示一个有限的系统状态集合； ｛Ａｉ｝表示智能体 ｉ 可采取的动作的集合；Ｐ 表示系 统的转移；Ｒ 表示回报函数。 ＤＥＣ⁃ＭＤＰｓ 与多智能 体的马尔可夫模型（ｍｕｌｔｉ ａｇｅｎｔ⁃ＭＤＰｓ， Ｍ⁃ＭＤＰｓ）的 唯一区别在于，在 Ｍ⁃ＭＤＰｓ 中系统的全局信息被所 有智能体完全获得，而在 ＤＥＣ⁃ＭＤＰｓ 中，每一个智 能体仅具有局部的观测，或者说是全局信息的一个 子集，当所有的子集放在一起求并集时，这些局部信 息能够合成一个完整的全局信息，在完全通信的情 况下，ＤＥＣ⁃ＭＤＰｓ 可以被简化为 Ｍ⁃ＭＤＰｓ 模型。 求 解 ＤＥＣ⁃ＭＤＰｓ 的目的是找到一个联合策略 π → ＝ （π１ ， π２ ，…，πｎ ）来最大化回报函数 Ｒ。 求解 ＤＥＣ⁃ＭＤＰｓ 问题的计算复杂度为 ＮＥＸＰ ［１０］ 难度，即问题的状态 随着步数增加呈现双指数增长。 １．２ Ｑ⁃学习 文献［１１］提出了一类通过引入期望的延时回 报，求解无完全信息的 ＭＤＰｓ 类问题的方法，称为 Ｑ⁃学习（Ｑ⁃ｌｅａｒｎｉｎｇ）。 Ｑ⁃学习是一种模型无关的强 化学习方法，通过对状态－动作对的值函数进行估 计，以求得最优策略。 Ｑ⁃学习算法的基本形式如下： Ｑ ∗ （ｓ，ａ） ＝ Ｒ（ｓ，ａ） ＋ γ∑ｓ′∈Ｓ Ｐ（ｓ，ａ，ｓ′）ｍａｘＱ ∗ （ｓ′，ａ′） 式中：Ｑ ∗ （ｓ，ａ） 表示智能体在状态 ｓ 下采用动作 ａ 所获得的奖赏折扣总和；γ 为折扣因子；Ｐ（ ｓ，ａ，ｓ′） 表示概率函数；最优策略为智能体在状态 ｓ 下选用 Ｑ 值最大的策略。 Ｑ⁃学习存在的最大问题为，智能 体需要通过试错的方式找到最优策略，这样的方式 使得 Ｑ⁃学习需要考虑所有的可能策略，从而需要消 耗大量计算资源。 ２ 触发规则设计 在事件驱动思想中，智能体把从环境中得到的 观测误差作为重要的评判标准，当它超过一个预设 的阈值时事件被触发，智能体更新状态并计算联合 策略，而事件触发的关键在于对触发函数的设计。 ２．１ 自事件触发设计 ＤＥＣ⁃ＭＤＰｓ 模型中，每一个智能体通过独立的 观测获取局部信息，然后广播到全队，所以每一个智 能体首先需要自触发设计。 在时刻 ｔ，当每一个智能 体观测结束后，其根据上一刻观测与当前观测的变 化率，进行一次自触发过程，智能体用自触发方式来 判断是否需要广播自身的观测信息。 智能体 ｉ 从 ｔ－ １ 时刻到 ｔ 时刻的观测变化率定义为 ｅｉ（ｔ） ＝ ｏｉ（ｔ） － ｏｉ（ｔ － １） ／ ｏｉ（ｔ － １） （１） 式中：ｏｉ（ｔ）为在 ｔ 时刻的观测值。 定义 ０＜ｅ＜１ 为自 事件触发函数阈值，当智能体 ｉ 观测信息的变化率 ｅｉ（ｔ）大于 ｅ 时进行通信。 此时，不一定所有的智能 体都被驱动，没有采集到新观测信息的智能体仅接 收信息。 在自事件触发过程，智能体无需每一时刻 进行通信，因此减少智能体的通信消耗。 ２．２ 联合事件触发设计 联合事件触发的对象是智能体团队，考虑的是 一个联合观测的变化情况。 假设在时刻 ｔ 智能体团 队获得当前的联合观测 Ｏ（ ｔ） ＝ （Ｏ１（ ｔ），Ｏ２（ ｔ），…， Ｏｎ（ｔ））。 此时，智能体团队从 ｔ－１ 时刻到 ｔ 时刻的 联合观测变化率定义为 Ｅ（ｔ） ＝ （ｅ１（ｔ），ｅ２（ｔ），…ｅｎ（ｔ）） （２） 式中：ｅｉ（ｔ）＝ ｏｉ（ｔ）－ｏｉ（ｔ－１） ／ ｏｉ（ｔ－１）。 利用方差计算两个时刻的误差偏移程度，令联 合观测变化率期望为 Ｆ（ｔ） ＝ ∑ ｎ ｉ ＝ １ ｅｉ（ｔ） ／ ｎ，方差为 Ｄ（ｔ） ＝ ∑ ｎ ｉ ＝ １ （ｅｉ（ｔ） － Ｆ（ｔ）） ２·ｐ （３） 式中：ｐ ＝ １ ／ ｎ 为 ｅｉ（ｔ）的分布律，令 Ｈ（ｔ） ＝ Ｄ（ｔ） － Ｆ（ｔ） ／ Ｆ（ｔ） （４） 定义 ０＜Ｇ＜１ 为团队的联合事件触发函数阈值，当 Ｈ（ｔ）大于 Ｇ 时，认为智能体团队的状态已经发生较大 改变，需要对 Ｑ 值表进行遍历，并计算一个新的联合策 略，否则智能体直接延用上一刻的联合策略。 自事件触发和联合事件触发的区别在于： １）自事件触发的对象是单个智能体，对应的事 件由智能体自身的观测变化率所触发，触发后的行 动为进行广播式通信，自事件触发的目的是为了减 少通信资源消耗；而联合事件触发针对的是智能体 团队的联合观测变化率，触发后的行动是计算联合 策略，目的在于减少计算资源消耗。 ２）当单个智能体的观测发生变化时，并不一定 导致团队的联合观测变化率发生较大改变。 即当环 境整体发生变化时，虽然每一个智能体的观测都发 第 １ 期 张文旭，等：基于事件驱动的多智能体强化学习研究 ·８３·

·84 智能系统学报 第12卷 生了变化，但对联合观测而言，所有智能体在两个时 强化学习的目的是找到一个策略使团队获得最 刻的变化率相对无变化，所以制定的联合策略可能 大的奖励信号。如果在所有状态下，策略π的期望 无明显变化，此时也认为智能体团队不需要被触发。 回报值都大于或等于策略π'的，那么称之为最优策 比如在机器人足球问题中，t-1时刻机器人团队的 略。最优策略可能有多个，都将其称作最优策略，记 联合策略为，机器人A带球行动且其他队友跑位行 π·，而最优策略对应的状态-联合动作对(s,a)也 动。到：时刻后，机器人A和其他机器人的观测（双 有相同的最优值函数，记作Q·。 方机器人的站位和距离)都发生了较大变化，机器 基于事件驱动的Q-学习算法，类似于经典Q学 人团队在通过广播通信获得全局观测信息后，根据 习，均是不去估计环境模型，而是直接优化一个可迭 观测信息进行判断，两个时刻双方机器人的相对站 代计算的Q函数。区别在于，经典Q学习中，智能 位和相对距离可能无大变化。此时，如果团队计算 体在每一个时刻都需要对Q值进行迭代计算，而基 新的联合策略，也将是机器人A带球且其他队友跑 于事件驱动的Q学习，仅在智能体被触发的情况 位，与t-1时刻的联合策略相同。所以，认为团队在 下，Q值才进行迭代计算。此时，定义Q函数为在 t时刻无需计算新的联合策略，可以直接使用上一 状态s,时被触发并执行联合动作a,表达式为 刻的策略。图1为事件触发流程图。 Q+1(s,a,e)=T,·max,{Q+1(s,a,e)1a,∈A} 「开始 (5) 观测当前状态 对于任意一个策略和下一个状态，在状态s的 <自触发N →上一个策略 值和后继状态值之间存在如下关系： Y 通信☐ Q=Er +yQ(s,a,e)I s =s,a a,,e:=el= P(R+y maxQ(s',d.e))(6) <联合触发 N 式(6)为贝尔曼公式，它表示了当前状态和其 Y 联合策略 后继状态之间的联系。图3表示了强化学习中Q 值迭代与状态转移的回溯关系。图3(a)中，每一个 观测下一个状态 实心点表示一个状态-联合动作对，每一个空心点 收到回报 表示一个状态，智能体从一个状态-联合动作对出 图1事件触发流程图 发，依次到达下一个状态。在图3(b)中，智能体团 Fig.1 The flow chart of event-triggered 队在s状态下得到最优策略(s+1,a),假设团队在 下一状态没有被事件触发，则不进行状态转移，直接 3 基于事件驱动的强化学习 延续上一时刻的最优策略(s+1,a)。 本节介绍了基于事件驱动的强化学习算法，以 及对事件驱动下计算资源消耗进行了分析，同时对 (sd 算法的收敛性进行了论证。 3.1基于事件驱动的强化学习设计 在完全通信情况下，DEC-MDPs被简化为M- MDPs模型，所以直接考虑基于事件驱动的多智能 体马尔可夫模型(event-triggered M-MDPs),其由一 个六元组I,{S},{A:},P,R,e〉构成，其中e表示事 件触发函数，当团队的触发函数大于阈值时，团队被 触发并执行联合行动策略，同时发生状态转移，转移 (a)传统的0学习 函数为P={s1ls,a,e}。基于事件驱动的强化学 习过程不同于经典的强化学习，如图2所示，智能体 需要首先根据触发函数来判断事件是否被触发，如 果被触发才执行一个联合行动并影响环境。 事件触发 sa) 联合行动 联合回报 (s) 多智能体 环境 联合观测 (b)基于事件驱动的Q.学习 图2基于事件驱动的强化学习框架 图3两种方式回溯图 Fig.2 The frame of reinforcement learning with event-triggered Fig.3 The backtracking of two methods

生了变化，但对联合观测而言，所有智能体在两个时 刻的变化率相对无变化，所以制定的联合策略可能 无明显变化，此时也认为智能体团队不需要被触发。 比如在机器人足球问题中，ｔ－１ 时刻机器人团队的 联合策略为，机器人 Ａ 带球行动且其他队友跑位行 动。 到 ｔ 时刻后，机器人 Ａ 和其他机器人的观测（双 方机器人的站位和距离） 都发生了较大变化，机器 人团队在通过广播通信获得全局观测信息后，根据 观测信息进行判断，两个时刻双方机器人的相对站 位和相对距离可能无大变化。 此时，如果团队计算 新的联合策略，也将是机器人 Ａ 带球且其他队友跑 位，与 ｔ－１ 时刻的联合策略相同。 所以，认为团队在 ｔ 时刻无需计算新的联合策略，可以直接使用上一 刻的策略。 图 １ 为事件触发流程图。 图 １ 事件触发流程图 Ｆｉｇ．１ Ｔｈｅ ｆｌｏｗ ｃｈａｒｔ ｏｆ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ３ 基于事件驱动的强化学习 本节介绍了基于事件驱动的强化学习算法，以 及对事件驱动下计算资源消耗进行了分析，同时对 算法的收敛性进行了论证。 ３．１ 基于事件驱动的强化学习设计 在完全通信情况下，ＤＥＣ⁃ＭＤＰｓ 被简化为 Ｍ⁃ ＭＤＰｓ 模型，所以直接考虑基于事件驱动的多智能 体马尔可夫模型（ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ Ｍ⁃ＭＤＰｓ），其由一 个六元组〈Ｉ，｛Ｓ｝，｛Ａｉ｝，Ｐ，Ｒ，ｅ〉构成，其中 ｅ 表示事 件触发函数，当团队的触发函数大于阈值时，团队被 触发并执行联合行动策略，同时发生状态转移，转移 函数为 Ｐ ＝ ｛ ｓｔ＋１ ｜ ｓｔ，ａ，ｅ｝。 基于事件驱动的强化学 习过程不同于经典的强化学习，如图 ２ 所示，智能体 需要首先根据触发函数来判断事件是否被触发，如 果被触发才执行一个联合行动并影响环境。 图 ２ 基于事件驱动的强化学习框架 Ｆｉｇ．２ Ｔｈｅ ｆｒａｍｅ ｏｆ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ 强化学习的目的是找到一个策略使团队获得最 大的奖励信号。 如果在所有状态下，策略 π 的期望 回报值都大于或等于策略 π′的，那么称之为最优策 略。 最优策略可能有多个，都将其称作最优策略，记 π ∗ ，而最优策略对应的状态－联合动作对（ ｓ，ａ → ） 也 有相同的最优值函数，记作 Ｑ ∗ 。 基于事件驱动的 Ｑ⁃学习算法，类似于经典 Ｑ⁃学 习，均是不去估计环境模型，而是直接优化一个可迭 代计算的 Ｑ 函数。 区别在于，经典 Ｑ⁃学习中，智能 体在每一个时刻都需要对 Ｑ 值进行迭代计算，而基 于事件驱动的 Ｑ⁃学习，仅在智能体被触发的情况 下，Ｑ 值才进行迭代计算。 此时，定义 Ｑ 函数为在 状态 ｓｔ 时被触发并执行联合动作 ａ → ｔ，表达式为 Ｑｔ＋１（ｓｔ，ａ → ｔ，ｅ） ＝ ｒｔ·ｍａｘａｔ Ｑｔ＋１（ｓｔ，ａ → ｔ，ｅ） ｜ ａ → { ｔ ∈ Ａ} （５） 对于任意一个策略和下一个状态，在状态 ｓ 的 值和后继状态值之间存在如下关系： Ｑ ∗ ＝ Ｅ｛ｒｔ＋１ ＋ γＱｔ＋１（ｓｔ，ａ → ，ｅ） ｜ ｓｔ ＝ ｓ，ａ → ｔ ＝ ａ → ｔ，ｅｔ ＝ ｅ｝ ＝ ∑ｓ′ Ｐ ａ → ｓｓ′ Ｒ ａ → ｓｓ′ ＋ γ ｍａｘ ａ → Ｑ ∗ （ｓ′，ａ → ( ，ｅ） ) （６） 式（６）为贝尔曼公式，它表示了当前状态和其 后继状态之间的联系。 图 ３ 表示了强化学习中 Ｑ 值迭代与状态转移的回溯关系。 图 ３（ａ）中，每一个 实心点表示一个状态－联合动作对，每一个空心点 表示一个状态，智能体从一个状态－联合动作对出 发，依次到达下一个状态。 在图 ３（ ｂ）中，智能体团 队在 ｓｔ＋１状态下得到最优策略 ｓｔ＋１ ，ａ → ( ) ，假设团队在 下一状态没有被事件触发，则不进行状态转移，直接 延续上一时刻的最优策略 ｓｔ＋１ ，ａ → ( ) 。 （ａ）传统的 Ｑ⁃学习 （ｂ）基于事件驱动的 Ｑ⁃学习 图 ３ 两种方式回溯图 Ｆｉｇ．３ Ｔｈｅ ｂａｃｋｔｒａｃｋｉｎｇ ｏｆ ｔｗｏ ｍｅｔｈｏｄｓ ·８４· 智 能 系 统 学 报 第 １２ 卷

第1期 张文旭，等：基于事件驱动的多智能体强化学习研究 ·85· 根据贝尔曼迭代，Q值逐渐收敛到一个最优Q 空间并进行策略评估，否则直接使用上一时刻的策 值，在传统的强化学习中，每一个学习步智能体都需 略。假设在t时刻，智能体没有被事件所触发，那么 要通过查表方式找到最大的Q值，其迭代表达式为 智能体在t时刻不参与式(9)的迭代，直接使用t-1 AQ(s,,a,)=r+y maxQ(s1,a)-Q(s,,a) 时刻迭代后的Q值。此时，在达到最优策略的过程 (7) 中，Q值的迭代计算过程由每一时刻都计算，减少为 事件触发时刻才计算。 Q(s,a)=Q(s,a,)+aAQ(s.,a)= T。→Qm→T1→Q1→T2→Q2→π3→Q→T Q(s,,a,)+a(r+y maxQ(s,a)-Q(,,a,))= (10) (1-a)Q(s,,a,)+a(r,+ymaxeQ(s1,a,)) T0→Q0→m1→Q1→T2→Q2→T2→Q→…m1 (8) (11) 事件驱动的思路则不同，当智能体没有被触发 如图4(a)和式(10)所示，Q值从初始到收敛至 情况下，将直接选用上一个Q值作为当前的Q值， 最优Q·的过程，是一个渐进收敛的过程，Q值通过 在基于事件驱动的Q学习中，Q值迭代过程可以表 迭代，从t-1时间到t时刻逐渐接近最优：如图4(b) 示为 和式(11)所示，在智能体不被驱动的情况下，Q值 Q.(s,a,e)=(1-a)Q-k(s,a,e)+ 不进行迭代，在t-1时刻直接使用t时刻的Q值，减 a(r:+y maxQ(s+1,a,,e)) (9) 少了Q值的迭代计算。 式中k表示上次触发时刻和当前时刻的差值。 3.2计算资源消耗 Q学习中的计算资源消耗，主要体现在智能体 需要对所有策略进行试错。从决策树角度看，树根 和树枝对应着智能体团队的状态与观测，其在每一 次观测后，根据不同的观测都会转移到不同的下一 刻状态，即{s15,I(6,)}。在每一个树层中，智 能体团队需要通过遍历Q值表，查找得到一个最优 (a)经典的Q.学习策略迭代 策略。Q值表的实现采用Lookup表格来表示Q函 数。设Q(s,a)为一个Lookup表格，s∈S和a∈A -I 为有限集合，表的大小等于S×的笛卡尔乘积中的 元素的个数。举例说明，假设存在i个智能体，每一 个智能体有m个动作，每一时刻有n个状态，Q值 表的大小为n×m,在第t步，智能体共需遍历 (n'xm)x1次Q值，当参与学习的智能体数量较多， 以及每一个智能体的动作和状态集合较大时，查表 (b)基于事件驱动的O学习策略迭代 需要占用极大的计算资源。 图4两种方式策略迭代 对于基于事件驱动的决策树，在智能体不被驱 Fig.4 Policy iteration of two methods 动的树层中，下一刻状态将直接等于当前状态，即 推论1基于事件驱动的Q学习算法，不会影 S+1=3,状态转移概率为 响算法的收敛性。 P1=Pr6s1=s,la+1=a,}=1 引理1收敛引理。令X为一个任意的集 状态转移概率P=1意味着，此时整棵决策树中不 合，假设B是X中一个空间有界的集合，即B), 被驱动的树层不生成树枝，进而也减少下一层中树 T:BK)→BK)。·为T的一个固定点，令r= 枝对应的树根。同理，不生成新的树枝，智能体也无 (T,T,…)为来自F。(w)的初值，r在v°点逼近 需对当前树层里所有的Q值进行遍历。上述例子 T,假设F。为r中一个不变式。令V。∈F。(u),定 中，假设t步中存在k次不被驱动，那么在t步学习 义V+1=T,(V,V,)。如果存在随机函数0≤F(x)≤ 过程中，遍历Q值的次数为(nxm)×(t-k)次。 1和0≤G,(x)≤1以概率1满足以下条件，那么在 3.3算法收敛性分析 B仪)中V,以概率1收敛到v·: 智能体每次的策略评估，即策略迭代，都是从前 1)对所有的U1和U2∈F。,对所有的x∈X, 一个策略的值函数开始。在事件驱动的强化学习 |T.(U,v)(x)-T,(U,)(x)|≤ 中，智能体只有在观测信息变化情况下，才更新信念 G,(x)U(x)-U2(x) (12)

根据贝尔曼迭代，Ｑ 值逐渐收敛到一个最优 Ｑ 值，在传统的强化学习中，每一个学习步智能体都需 要通过查表方式找到最大的 Ｑ 值，其迭代表达式为 ΔＱ（ｓｔ，ａ → ｔ） ＝ ｒｔ ＋ γ ｍａｘ ａ →∈ＡＱｔ（ｓｔ＋１ ，ａ → ｔ） － Ｑｔ（ｓｔ，ａ → ｔ） （７） Ｑｔ（ｓｔ，ａ → ｔ） ＝ Ｑｔ（ｓｔ，ａ → ｔ） ＋ αΔＱｔ（ｓｔ，ａ → ｔ） ＝ Ｑｔ（ｓｔ，ａ → ｔ） ＋ α ｒｔ ＋ γ ｍａｘ ａ →∈ＡＱｔ（ｓｔ＋１，ａ → ｔ） － Ｑｔ（ｓｔ，ａ → ( ｔ）) ＝ （１ － α）Ｑｔ（ｓｔ，ａ → ｔ） ＋ α ｒｔ ＋ γ ｍａｘ ａ →∈ＡＱｔ（ｓｔ＋１ ，ａ → ( ｔ） ) （８） 事件驱动的思路则不同，当智能体没有被触发 情况下，将直接选用上一个 Ｑ 值作为当前的 Ｑ 值， 在基于事件驱动的 Ｑ⁃学习中，Ｑ 值迭代过程可以表 示为 Ｑｔ（ｓｔ，ａ → ｔ，ｅ） ＝ （１ － α）Ｑｔ－ｋ（ｓｔ，ａ → ｔ，ｅ） ＋ α ｒｔ ＋ γ ｍａｘ ａ →∈ＡＱｔ（ｓｔ＋１ ，ａ → ( ｔ，ｅ） ) （９） 式中 ｋ 表示上次触发时刻和当前时刻的差值。 ３．２ 计算资源消耗 Ｑ⁃学习中的计算资源消耗，主要体现在智能体 需要对所有策略进行试错。 从决策树角度看，树根 和树枝对应着智能体团队的状态与观测，其在每一 次观测后，根据不同的观测都会转移到不同的下一 刻状态，即 ｓｔ＋１←ｓｔ ｜ ｏ → ，ａ → { ( ) } 。 在每一个树层中，智 能体团队需要通过遍历 Ｑ 值表，查找得到一个最优 策略。 Ｑ 值表的实现采用 Ｌｏｏｋｕｐ 表格来表示 Ｑ 函 数。 设 Ｑ（ｓ，ａ → ） 为一个 Ｌｏｏｋｕｐ 表格，ｓ∈Ｓ 和 ａ →∈Ａ → 为有限集合，表的大小等于 Ｓ×Ａ → 的笛卡尔乘积中的 元素的个数。 举例说明，假设存在 ｉ 个智能体，每一 个智能体有 ｍ 个动作，每一时刻有 ｎ 个状态，Ｑ 值 表的大小为 ｎ ｉ × ｍ ｉ ， 在第 ｔ 步， 智能体共需遍历 ｎ ｉ×ｍ ｉ ( ) ×ｔ 次 Ｑ 值，当参与学习的智能体数量较多， 以及每一个智能体的动作和状态集合较大时，查表 需要占用极大的计算资源。 对于基于事件驱动的决策树，在智能体不被驱 动的树层中，下一刻状态将直接等于当前状态，即 ｓｔ＋１ ＝ ｓｔ，状态转移概率为 Ｐ ａ → ｓ ｔ ｓ ｔ＋１ ＝ Ｐｒ ｓｔ＋１ ＝ ｓｔ { ａ → ｔ＋１ ＝ ａ → ｔ } ＝ １ 状态转移概率 Ｐｒ ＝ １ 意味着，此时整棵决策树中不 被驱动的树层不生成树枝，进而也减少下一层中树 枝对应的树根。 同理，不生成新的树枝，智能体也无 需对当前树层里所有的 Ｑ 值进行遍历。 上述例子 中，假设 ｔ 步中存在 ｋ 次不被驱动，那么在 ｔ 步学习 过程中，遍历 Ｑ 值的次数为 ｎ ｉ×ｍ ｉ ( ) ×(ｔ－ｋ) 次。 ３．３ 算法收敛性分析 智能体每次的策略评估，即策略迭代，都是从前 一个策略的值函数开始。 在事件驱动的强化学习 中，智能体只有在观测信息变化情况下，才更新信念 空间并进行策略评估，否则直接使用上一时刻的策 略。 假设在 ｔ 时刻，智能体没有被事件所触发，那么 智能体在 ｔ 时刻不参与式（９）的迭代，直接使用 ｔ－１ 时刻迭代后的 Ｑ 值。 此时，在达到最优策略的过程 中，Ｑ 值的迭代计算过程由每一时刻都计算，减少为 事件触发时刻才计算。 π０ →Ｑ π０ →π１ →Ｑ π１ →π２ →Ｑ π２ →π３ →Ｑ π３ →…π ∗ （１０） π０ →Ｑ π０ →π１ →Ｑ π１ →π２ →Ｑ π２ →π２ →Ｑ π２ →…π ∗ （１１） 如图 ４（ａ）和式（１０）所示，Ｑ 值从初始到收敛至 最优 Ｑ ∗的过程，是一个渐进收敛的过程，Ｑ 值通过 迭代，从 ｔ－１ 时间到 ｔ 时刻逐渐接近最优；如图４（ｂ） 和式（１１）所示，在智能体不被驱动的情况下，Ｑ 值 不进行迭代，在 ｔ－１ 时刻直接使用 ｔ 时刻的 Ｑ 值，减 少了 Ｑ 值的迭代计算。 （ａ）经典的 Ｑ⁃学习策略迭代 （ｂ）基于事件驱动的 Ｑ⁃学习策略迭代 图 ４ 两种方式策略迭代 Ｆｉｇ．４ Ｐｏｌｉｃｙ ｉｔｅｒａｔｉｏｎ ｏｆ ｔｗｏ ｍｅｔｈｏｄｓ 推论 １ 基于事件驱动的 Ｑ⁃学习算法，不会影 响算法的收敛性。 引理 １ 收敛引理［１２］ 。 令 χ 为一个任意的集 合，假设 Ｂ 是 χ 中一个空间有界的集合，即 Ｂ (χ ) ， Ｔ：Ｂ (χ ) → Ｂ (χ ) 。 ｖ ∗ 为 Ｔ 的一个固定点， 令 τ ＝ (Ｔ０ ，Ｔ１ ，…) 为来自 Ｆ０ ｖ ∗ ( ) 的初值，τ 在 ｖ ∗ 点逼近 Ｔ，假设 Ｆ０ 为 τ 中一个不变式。 令 Ｖ０∈Ｆ０ ｖ ∗ ( ) ，定 义 Ｖｔ＋１ ＝ Ｔｔ Ｖｔ，Ｖｔ ( ) 。 如果存在随机函数 ０≤Ｆｔ (ｘ) ≤ １ 和 ０≤Ｇｔ（ｘ）≤１ 以概率 １ 满足以下条件，那么在 Ｂ(χ ) 中 Ｖｔ 以概率 １ 收敛到 ｖ ∗ ： １）对所有的 Ｕ１ 和 Ｕ２∈Ｆ０ ，对所有的 ｘ∈χ， Ｔｔ（Ｕ１ ，ｖ ∗ ）（ｘ） － Ｔｔ（Ｕ，Ｖ）（ｘ） ≤ Ｇｔ（ｘ） Ｕ１（ｘ） － Ｕ２（ｘ） （１２） 第 １ 期 张文旭，等：基于事件驱动的多智能体强化学习研究 ·８５·

·86 智能系统学报 第12卷 2)对所有的U和V∈F。,对所有的x∈X 不能完成90%的覆盖时，认为此次任务失败。其中 |T(U1,·)(x)-T,(U,V)(x)|≤ 定义学习率为0.6，折扣因子为0.2。 F(x)(‖v°-V‖+入，) (13) 10 式中：当t+o时，入，以概率1收敛到0。 9 3)对所有的k>0,当t→0时，Π4G,(x)收敛 到0。 4)当t→oo时，存在0≤y<1对所有的x∈X有 F(x)≤y(1-G,(x)) (14) 证明在事件驱动的强化学习中，令T= (T,T,…,T,T41=T,T,…)为一个动作序列，表 示智能体执行行动后从当前状态到下一个状态的映 射，其中(…T,T+1…)指当智能体在没有被事件驱 12345678910 动的情况下智能体的第T+,个行动等于第T,个行 X 动，同时，迭代过程为 图5多智能体覆盖问题 f2=T)=T(ff) (15) Fig.5 The coverage problem of multi-agent 令V,Uo,V。∈B(X),U+1=T,(U,V),V1=T(V, 图6比较了事件驱动与传统Q-学习任务成功 ),δ，(x)=|U,(x)-V,(x)|。根据收敛引理有 率，可以看出两种算法成功率一致，但是由于Q值 6+1(x)=|U+1(x)-V+(x)= 迭代次数减少，使得事件驱动Q学习的收敛速度 |T,(U,)(x)-T,(V,V)(x)|≤ 变慢。 |T(U,)(x)-T(V,)(x)|+ 1.0i 传统Q学习 |T,(V,)(x)-T(V,)(x)|≤ G(x)U.(x)-V(x)l+F,(x)(Iv·-V,I+入，)= 基于事件驱动的Q学习 G,(x)8,(x)+F(x)(I·-V,‖+入)≤ 0.2 G,(x)δ，(x)+F(x)(Iv"-V‖+‖U-VI+入，)= G,(x)8,(x)+F,(x)‖·-V‖+入，(16) 0102030405060708091010 学习幕数 在满足条件1)和2)的情况下，虽然基于事件 驱动的动作序列T中有相同的动作T=T+1,但仍 图6事件驱动与传统Q学习的成功率 然满足李普西斯条件，所以不会影响Q学习的收 Fig.6 The success rate of event-triggered O and classical O 敛，证毕。 图7说明了联合触发函数与算法收敛速度的关 系，可以看出联合触发函数选取越小，算法收敛性越 4仿真结果及分析 慢。因为联合触发函数越小，事件触发的次数就越 考虑一个多智能体覆盖问题，2个智能体随机 少，从而导致Q值迭代次数减少，收敛速度变慢。 出现在一个大小为10×10的格子世界中，如图5所 1.0r 0.8 触发函整G-02 示。每一个智能体都有上下左右4个行动，且观测 0.6 范围为自身周围一圈共8个格子，观测到的格子分 0.4 触发函数G-0.4 为“没走过”“走过”和“障碍物”3个状态，分别对应 触发函数G=0.3 0.2 着30、-5和-10的回报值，世界的边界对智能体作 为障碍物：且每一个智能体可以进行广播式通信。 0.10.20304050.60708091610 学习幕数 在这个场景中，每一个智能体获得的是一个局部观 图7联合触发函数与收敛速度 测，当它们进行广播通信后，对于整个世界，获得的 Fig.7 The joint event-triggered function and conver- 仍然是一个局部的观测。但考虑到对整个世界的全 gence speed 局观测需要极大的计算量，所以实验设定每一时刻 当两个智能体通信后，所获得的信息对它们而言是 在学习过程中，智能体团队在每一步需要遍历 Q值数量为(38×4)2≈229.3次，由表1可以看出，随 一个全局观测。 智能体团队的任务为尽快走完所有的格子，即 着学习步数的增加，事件驱动将大量减小Q值的遍 历次数，继而减少计算资源占用，相比较传统的Q 完成对格子世界的覆盖，当走过的格子超过90%以 学习存在明显的优势。 上，认为此次覆盖任务成功，当智能体在1000步仍

２）对所有的 Ｕ 和 Ｖ∈Ｆ０ ，对所有的 ｘ∈χ， Ｔｔ（Ｕ１ ，ｖ ∗ ）（ｘ） － Ｔｔ（Ｕ，Ｖ）（ｘ） ≤ Ｆｔ（ｘ）（‖ｖ ∗ － Ｖ‖ ＋ λｔ） （１３） 式中：当 ｔ→¥时，λｔ 以概率 １ 收敛到 ０。 ３）对所有的 ｋ ＞ ０，当 ｔ→¥时，∏ｎ ｔ ＝ｋ Ｇｔ（ ｘ） 收敛 到 ０。 ４）当 ｔ→¥时，存在 ０≤γ＜１ 对所有的 ｘ∈Ｘ 有 Ｆｔ（ｘ） ≤ γ（１ － Ｇｔ（ｘ）） （１４） 证 明 在 事 件 驱 动 的 强 化 学 习 中， 令 Ｔ ＝ Ｔ０ ，Ｔ１ ，…，Ｔｋ，Ｔｋ＋１ ( ＝ Ｔｋ，Ｔｔ，…) 为一个动作序列，表 示智能体执行行动后从当前状态到下一个状态的映 射，其中(…Ｔｋ，Ｔｋ＋１…) 指当智能体在没有被事件驱 动的情况下智能体的第 Ｔｋ＋１个行动等于第 Ｔｋ 个行 动，同时，迭代过程为 ｆ ｔ＋２ ＝ Ｔｋ＋１（ｆ ｔ＋１ ，ｆ ｔ＋１ ） ＝ Ｔｋ（ｆ ｔ，ｆ ｔ） （１５） 令 Ｖ，Ｕ０ ，Ｖ０ ∈Ｂ（ χ），Ｕｔ＋１ ＝ Ｔｔ （Ｕｔ，Ｖ），Ｖｔ＋１ ＝ Ｔｔ （ Ｖｔ， ｖ ∗ ），δｔ（ｘ）＝ Ｕｔ（ｘ）－Ｖｔ（ｘ） 。 根据收敛引理有 δｔ＋１（ｘ） ＝ Ｕｔ＋１（ｘ） － Ｖｔ＋１（ｘ） ＝ Ｔｔ Ｕｔ，ｖ ∗ ( ) （ｘ） － Ｔｔ Ｖｔ，Ｖｔ ( ) （ｘ） ≤ Ｔｔ Ｕｔ，ｖ ∗ ( ) （ｘ） － Ｔｔ Ｖｔ，ｖ ∗ ( ) （ｘ） ＋ Ｔｔ Ｖｔ，ｖ ∗ ( ) （ｘ） － Ｔｔ (Ｖｔ，Ｖ) （ｘ） ≤ Ｇｔ（ｘ） Ｕｔ（ｘ） － Ｖｔ（ｘ） ＋ Ｆｔ（ｘ） ‖ｖ ∗ － Ｖｔ‖ ＋ λｔ ( ) ＝ Ｇｔ（ｘ）δｔ（ｘ） ＋ Ｆｔ（ｘ） ‖ｖ ∗ － Ｖｔ‖ ＋ λｔ ( ) ≤ Ｇｔ（ｘ）δｔ（ｘ） ＋ Ｆｔ（ｘ） ‖ｖ ∗ － Ｖｔ‖ ＋ ‖Ｕｔ － Ｖｔ‖ ＋ λｔ ( ) ＝ Ｇｔ（ｘ）δｔ（ｘ） ＋ Ｆｔ（ｘ）‖ｖ ∗ － Ｖｔ‖ ＋ λｔ （１６） 在满足条件 １）和 ２）的情况下，虽然基于事件 驱动的动作序列 Ｔ 中有相同的动作 Ｔｋ ＝ Ｔｋ＋１ ，但仍 然满足李普西斯条件，所以不会影响 Ｑ⁃学习的收 敛，证毕。 ４ 仿真结果及分析 考虑一个多智能体覆盖问题，２ 个智能体随机 出现在一个大小为 １０×１０ 的格子世界中，如图 ５ 所 示。 每一个智能体都有上下左右 ４ 个行动，且观测 范围为自身周围一圈共 ８ 个格子，观测到的格子分 为“没走过”“走过”和“障碍物”３ 个状态，分别对应 着 ３０、－５ 和－１０ 的回报值，世界的边界对智能体作 为障碍物；且每一个智能体可以进行广播式通信。 在这个场景中，每一个智能体获得的是一个局部观 测，当它们进行广播通信后，对于整个世界，获得的 仍然是一个局部的观测。 但考虑到对整个世界的全 局观测需要极大的计算量，所以实验设定每一时刻 当两个智能体通信后，所获得的信息对它们而言是 一个全局观测。 智能体团队的任务为尽快走完所有的格子，即 完成对格子世界的覆盖，当走过的格子超过 ９０％以 上，认为此次覆盖任务成功，当智能体在 １ ０００ 步仍 不能完成 ９０％的覆盖时，认为此次任务失败。 其中 定义学习率为 ０．６，折扣因子为 ０．２。 图 ５ 多智能体覆盖问题 Ｆｉｇ．５ Ｔｈｅ ｃｏｖｅｒａｇｅ ｐｒｏｂｌｅｍ ｏｆ ｍｕｌｔｉ⁃ａｇｅｎｔ 图 ６ 比较了事件驱动与传统 Ｑ⁃学习任务成功 率，可以看出两种算法成功率一致，但是由于 Ｑ 值 迭代次数减少，使得事件驱动 Ｑ⁃学习的收敛速度 变慢。 图 ６ 事件驱动与传统 Ｑ⁃学习的成功率 Ｆｉｇ．６ Ｔｈｅ ｓｕｃｃｅｓｓ ｒａｔｅ ｏｆ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ Ｑ ａｎｄ ｃｌａｓｓｉｃａｌ Ｑ 图 ７ 说明了联合触发函数与算法收敛速度的关 系，可以看出联合触发函数选取越小，算法收敛性越 慢。 因为联合触发函数越小，事件触发的次数就越 少，从而导致 Ｑ 值迭代次数减少，收敛速度变慢。 图 ７ 联合触发函数与收敛速度 Ｆｉｇ． ７ Ｔｈｅ ｊｏｉｎｔ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｆｕｎｃｔｉｏｎ ａｎｄ ｃｏｎｖｅｒ⁃ ｇｅｎｃｅ ｓｐｅｅｄ 在学习过程中，智能体团队在每一步需要遍历 Ｑ 值数量为（３ ８×４） ２≈２ ２９．３次，由表 １ 可以看出，随 着学习步数的增加，事件驱动将大量减小 Ｑ 值的遍 历次数，继而减少计算资源占用，相比较传统的 Ｑ⁃ 学习存在明显的优势。 ·８６· 智 能 系 统 学 报 第 １２ 卷

第1期 张文旭，等：基于事件驱动的多智能体强化学习研究 .87. 表1事件驱动传统Q学习遍历次数 [5]ZOU Lei,WANG Zidong,GAO Huijun,et al.Event-trig- Table 1 The number of traverse of event-triggered and gered state estimation for complex networks with mixed time classical o delays via sampled data information:the continuous-time case[J].IEEE transactions on cybernetics,2015,45(12): 步数 Q学习 事件驱动Q学习 减少总遍历次数 2804-2815. 50 =29.3×50 =293×42 年223 [6]SAHOO A,XU Hao,JAGANNATHAN S.Adaptive neural 100 =229.3×100 =2293×79 年2超6 network-based event-triggered control of single-input single- 200 =29.3×200 =229.3×153 六24.9 output nonlinear discrete-time systems[J].IEEE transac- 300 =229.3×300 =2293×221 ≈25.6 tions on neural networks and learning systems,2016,27 500=29.3×500 =2293×386 产262 (1)：151-164 表2比较了在一次成功的任务中，事件驱动与 [7]HU Wenfeng,LIU Lu,FENG Gang.Consensus of linear 传统Q学习的通信次数。可以看出，事件驱动减少 multi-agent systems by distributed event-triggered strategy [J].IEEE transactions on cybernetics,2016,46(1): 了智能体间的通信次数。同时与表1比较，可以看 148-157. 出自事件触发和联合事件触发次数的区别。 [8 ]ZHONG Xiangnan,NI Zhen,HE Haibo,et al.Event-trig- 表2事件驱动与传统Q学习通信次数 gered reinforcement learning approach for unknown nonlinear Table 2 The number of communication of event-triggered continuous-time system[C]//Proceedings of 2014 Interna- and classical O tional Joint Conference on Neural Networks.Beijing,China, 步数 Q学习 事件驱动Q学习减少通信次数 2014:3677-3684. 50 50 45 J [9]XU Hao,JAGANNATHAN S.Near optimal event-triggered control of nonlinear continuous-time systems using input and 100 100 89 11 output data[C]//Proceedings of the 11th World Congress 200 200 172 子 on Intelligent Control and Automation.Shenyang,China, 300 300 258 名 2014:1799-1804. 500 500 410 % [10]BERNSTEIN D S,GIVAN R,IMMERMAN N,et al.The complexity of decentralized control of Markov decision 5 结束语 processes[J].Mathematics of operations research,2002. 27(4):819-840. 本文提出了一种基于事件驱动的多智能体强化 [11]WATKINS C J C H,DAYAN P.Q-learning[J].Machine 学习算法，侧重于多智能体在学习策略层的事件驱 1 earning,1992,8(3/4):279-292. 动研究。智能体在与环境的交互中，可以根据观测 [12]SZEPESVARI C,LITTMAN M L.A unified analysis of 的变化来触发通信和学习过程。在相同时间内，采 value-function-based reinforcement-learning algorithms 用事件驱动可以降低数据传输次数，节约通信资源： [J].Neural computation,1999,11(8):2017-2060. 作者简介： 同时，智能体不需要每一时刻进行试错和迭代，进而 张文旭，男，1985年生，博士研究 减少计算资源。最后，对算法的收敛性进行了论证， 生，主要研究方向为多智能体系统、机 仿真结果表明事件驱动可以在学习过程中减少一定 器学习。发表论文4篇，其中被EI检 的通信次数和策略遍历次数，进而缓解通信和计算资 索4篇。 源消耗。进一步工作主要基于现有的研究，将事件驱 动的思想应用于不同类的强化学习方法中，并结合事 件驱动的特点设计更合理的触发函数。 马磊，男，1972年生，教授，博士，主 参考文献： 要研究方向为控制理论及其在机器人、 [1]ZHU Wei,JIANG ZhongPing,FENG Gang.Event-based 新能源和轨道交通系统中的应用等。 主持国内外项目14项，发表论文40余 consensus of multi-agent systems with general linear models 篇，其中被EI检索37篇。 [J].Automatica,2014,50(2):552-558. [2]FAN Yuan,FENG Gang,WANG Yong,et al.Distributed event-triggered control of multi-agent systems with combina- tional measurements[].Automatica,2013,49(2):671-675. 王晓东，男，1992年生，硕士研究 [3 WANG Xiaofeng,LEMMON M D.Event-triggering in 生，主要研究方向为机器学习。获得国 distributed networked control systems[J].IEEE transactions 家发明型专利3项，发表论文4篇。 on automatic control,2011,56(3):586-601. [4 TABUADA P.Event-triggered real-time scheduling of stabilizing control tasks[].IEEE transactions on automatic control..2007,52(9):1680-1685

表 １ 事件驱动传统 Ｑ⁃学习遍历次数 Ｔａｂｌｅ １ Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｒａｖｅｒｓｅ ｏｆ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ａｎｄ ｃｌａｓｓｉｃａｌ Ｑ 步数 Ｑ⁃学习 事件驱动 Ｑ⁃学习 减少总遍历次数 ５０ ≈２ ２９．３×５０ ≈２ ２９．３×４２ ≈２ ３２．３ １００ ≈２ ２９．３×１００ ≈２ ２９．３×７９ ≈２ ３３．６ ２００ ≈２ ２９．３×２００ ≈２ ２９．３×１５３ ≈２ ３４．９ ３００ ≈２ ２９．３×３００ ≈２ ２９．３×２２１ ≈２ ３５．６ ５００ ≈２ ２９．３×５００ ≈２ ２９．３×３８６ ≈２ ３６．２ 表 ２ 比较了在一次成功的任务中，事件驱动与 传统 Ｑ⁃学习的通信次数。 可以看出，事件驱动减少 了智能体间的通信次数。 同时与表 １ 比较，可以看 出自事件触发和联合事件触发次数的区别。 表 ２ 事件驱动与传统 Ｑ⁃学习通信次数 Ｔａｂｌｅ ２ Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｏｆ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ａｎｄ ｃｌａｓｓｉｃａｌ Ｑ 步数 Ｑ⁃学习 事件驱动 Ｑ⁃学习 减少通信次数 ５０ ５０ ４５ ５ １００ １００ ８９ １１ ２００ ２００ １７２ ２８ ３００ ３００ ２５８ ４２ ５００ ５００ ４１０ ９０ ５ 结束语 本文提出了一种基于事件驱动的多智能体强化 学习算法，侧重于多智能体在学习策略层的事件驱 动研究。 智能体在与环境的交互中，可以根据观测 的变化来触发通信和学习过程。 在相同时间内，采 用事件驱动可以降低数据传输次数，节约通信资源； 同时，智能体不需要每一时刻进行试错和迭代，进而 减少计算资源。 最后，对算法的收敛性进行了论证， 仿真结果表明事件驱动可以在学习过程中减少一定 的通信次数和策略遍历次数，进而缓解通信和计算资 源消耗。 进一步工作主要基于现有的研究，将事件驱 动的思想应用于不同类的强化学习方法中，并结合事 件驱动的特点设计更合理的触发函数。 参考文献： ［１］ＺＨＵ Ｗｅｉ， ＪＩＡＮＧ ＺｈｏｎｇＰｉｎｇ， ＦＥＮＧ Ｇａｎｇ． Ｅｖｅｎｔ －ｂａｓｅｄ ｃｏｎｓｅｎｓｕｓ ｏｆ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ ｗｉｔｈ ｇｅｎｅｒａｌ ｌｉｎｅａｒ ｍｏｄｅｌｓ ［Ｊ］． Ａｕｔｏｍａｔｉｃａ， ２０１４， ５０（２）： ５５２－５５８． ［２］ ＦＡＮ Ｙｕａｎ， ＦＥＮＧ Ｇａｎｇ， ＷＡＮＧ Ｙｏｎｇ， ｅｔ ａｌ． Ｄｉｓｔｒｉｂｕｔｅｄ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｃｏｎｔｒｏｌ ｏｆ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ ｗｉｔｈ ｃｏｍｂｉｎａ⁃ ｔｉｏｎａｌ ｍｅａｓｕｒｅｍｅｎｔｓ［Ｊ］． Ａｕｔｏｍａｔｉｃａ， ２０１３， ４９（２）： ６７１－６７５． ［ ３ ］ ＷＡＮＧ Ｘｉａｏｆｅｎｇ， ＬＥＭＭＯＮ Ｍ Ｄ． Ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｉｎｇ ｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｎｅｔｗｏｒｋｅｄ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ａｕｔｏｍａｔｉｃ ｃｏｎｔｒｏｌ， ２０１１， ５６（３）： ５８６－６０１． ［ ４ ］ ＴＡＢＵＡＤＡ Ｐ． Ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｒｅａｌ⁃ｔｉｍｅ ｓｃｈｅｄｕｌｉｎｇ ｏｆ ｓｔａｂｉｌｉｚｉｎｇ ｃｏｎｔｒｏｌ ｔａｓｋｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ａｕｔｏｍａｔｉｃ ｃｏｎｔｒｏｌ， ２００７， ５２（９）： １６８０－１６８５． ［５］ ＺＯＵ Ｌｅｉ， ＷＡＮＧ Ｚｉｄｏｎｇ， ＧＡＯ Ｈｕｉｊｕｎ， ｅｔ ａｌ． Ｅｖｅｎｔ⁃ｔｒｉｇ⁃ ｇｅｒｅｄ ｓｔａｔｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｃｏｍｐｌｅｘ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｍｉｘｅｄ ｔｉｍｅ ｄｅｌａｙｓ ｖｉａ ｓａｍｐｌｅｄ ｄａｔａ ｉｎｆｏｒｍａｔｉｏｎ： ｔｈｅ ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ｃａｓｅ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｙｂｅｒｎｅｔｉｃｓ， ２０１５， ４５（１２）： ２８０４－２８１５． ［６］ ＳＡＨＯＯ Ａ， ＸＵ Ｈａｏ， ＪＡＧＡＮＮＡＴＨＡＮ Ｓ． Ａｄａｐｔｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ⁃ｂａｓｅｄ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｃｏｎｔｒｏｌ ｏｆ ｓｉｎｇｌｅ⁃ｉｎｐｕｔ ｓｉｎｇｌｅ⁃ ｏｕｔｐｕｔ ｎｏｎｌｉｎｅａｒ ｄｉｓｃｒｅｔｅ⁃ｔｉｍｅ ｓｙｓｔｅｍｓ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃ⁃ ｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ， ２０１６， ２７ （１）： １５１－１６４． ［７］ ＨＵ Ｗｅｎｆｅｎｇ， ＬＩＵ Ｌｕ， ＦＥＮＧ Ｇａｎｇ． Ｃｏｎｓｅｎｓｕｓ ｏｆ ｌｉｎｅａｒ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ ｂｙ ｄｉｓｔｒｉｂｕｔｅｄ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｓｔｒａｔｅｇｙ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｙｂｅｒｎｅｔｉｃｓ， ２０１６， ４６ （ １ ）： １４８－１５７． ［８］ＺＨＯＮＧ Ｘｉａｎｇｎａｎ， ＮＩ Ｚｈｅｎ， ＨＥ Ｈａｉｂｏ， ｅｔ ａｌ． Ｅｖｅｎｔ⁃ｔｒｉｇ⁃ ｇｅｒｅｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ ｆｏｒ ｕｎｋｎｏｗｎ ｎｏｎｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ｓｙｓｔｅｍ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１４ Ｉｎｔｅｒｎａ⁃ ｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， ２０１４： ３６７７－３６８４． ［９］ＸＵ Ｈａｏ， ＪＡＧＡＮＮＡＴＨＡＮ Ｓ． Ｎｅａｒ ｏｐｔｉｍａｌ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｃｏｎｔｒｏｌ ｏｆ ｎｏｎｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｉｎｐｕｔ ａｎｄ ｏｕｔｐｕｔ ｄａｔａ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １１ｔｈ Ｗｏｒｌｄ Ｃｏｎｇｒｅｓｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｎｔｒｏｌ ａｎｄ Ａｕｔｏｍａｔｉｏｎ． Ｓｈｅｎｙａｎｇ， Ｃｈｉｎａ， ２０１４： １７９９－１８０４． ［１０］ＢＥＲＮＳＴＥＩＮ Ｄ Ｓ， ＧＩＶＡＮ Ｒ， ＩＭＭＥＲＭＡＮ Ｎ， ｅｔ ａｌ． Ｔｈｅ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｃｏｎｔｒｏｌ ｏｆ Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓｅｓ［ Ｊ］． Ｍａｔｈｅｍａｔｉｃｓ ｏｆ ｏｐｅｒａｔｉｏｎｓ ｒｅｓｅａｒｃｈ， ２００２， ２７（４）： ８１９－８４０． ［１１］ＷＡＴＫＩＮＳ Ｃ Ｊ Ｃ Ｈ， ＤＡＹＡＮ Ｐ． Ｑ⁃ｌｅａｒｎｉｎｇ［ Ｊ］． Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ， １９９２， ８（３ ／ ４）： ２７９－２９２． ［１２］ ＳＺＥＰＥＳＶÁＲＩ Ｃ， ＬＩＴＴＭＡＮ Ｍ Ｌ． Ａ ｕｎｉｆｉｅｄ ａｎａｌｙｓｉｓ ｏｆ ｖａｌｕｅ⁃ｆｕｎｃｔｉｏｎ⁃ｂａｓｅｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ⁃ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ［Ｊ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ， １９９９， １１（８）： ２０１７－２０６０． 作者简介： 张文旭，男，１９８５ 年生，博士研究 生，主要研究方向为多智能体系统、机 器学习。 发表论文 ４ 篇，其中被 ＥＩ 检 索 ４ 篇。 马磊，男，１９７２ 年生，教授，博士，主 要研究方向为控制理论及其在机器人、 新能源和轨道交通系统中的应用等。 主持国内外项目 １４ 项，发表论文 ４０ 余 篇，其中被 ＥＩ 检索 ３７ 篇。 王晓东，男，１９９２ 年生，硕士研究 生，主要研究方向为机器学习。 获得国 家发明型专利 ３ 项，发表论文 ４ 篇。 第 １ 期 张文旭，等：基于事件驱动的多智能体强化学习研究 ·８７·