第1期 张文旭，等：基于事件驱动的多智能体强化学习研究 .87. 表1事件驱动传统Q学习遍历次数 [5]ZOU Lei,WANG Zidong,GAO Huijun,et al.Event-trig- Table 1 The number of traverse of event-triggered and gered state estimation for complex networks with mixed time classical o delays via sampled data information:the continuous-time case[J].IEEE transactions on cybernetics,2015,45(12): 步数 Q学习 事件驱动Q学习 减少总遍历次数 2804-2815. 50 =29.3×50 =293×42 年223 [6]SAHOO A,XU Hao,JAGANNATHAN S.Adaptive neural 100 =229.3×100 =2293×79 年2超6 network-based event-triggered control of single-input single- 200 =29.3×200 =229.3×153 六24.9 output nonlinear discrete-time systems[J].IEEE transac- 300 =229.3×300 =2293×221 ≈25.6 tions on neural networks and learning systems,2016,27 500=29.3×500 =2293×386 产262 (1)：151-164 表2比较了在一次成功的任务中，事件驱动与 [7]HU Wenfeng,LIU Lu,FENG Gang.Consensus of linear 传统Q学习的通信次数。可以看出，事件驱动减少 multi-agent systems by distributed event-triggered strategy [J].IEEE transactions on cybernetics,2016,46(1): 了智能体间的通信次数。同时与表1比较，可以看 148-157. 出自事件触发和联合事件触发次数的区别。 [8 ]ZHONG Xiangnan,NI Zhen,HE Haibo,et al.Event-trig- 表2事件驱动与传统Q学习通信次数 gered reinforcement learning approach for unknown nonlinear Table 2 The number of communication of event-triggered continuous-time system[C]//Proceedings of 2014 Interna- and classical O tional Joint Conference on Neural Networks.Beijing,China, 步数 Q学习 事件驱动Q学习减少通信次数 2014:3677-3684. 50 50 45 J [9]XU Hao,JAGANNATHAN S.Near optimal event-triggered control of nonlinear continuous-time systems using input and 100 100 89 11 output data[C]//Proceedings of the 11th World Congress 200 200 172 子 on Intelligent Control and Automation.Shenyang,China, 300 300 258 名 2014:1799-1804. 500 500 410 % [10]BERNSTEIN D S,GIVAN R,IMMERMAN N,et al.The complexity of decentralized control of Markov decision 5 结束语 processes[J].Mathematics of operations research,2002. 27(4):819-840. 本文提出了一种基于事件驱动的多智能体强化 [11]WATKINS C J C H,DAYAN P.Q-learning[J].Machine 学习算法，侧重于多智能体在学习策略层的事件驱 1 earning,1992,8(3/4):279-292. 动研究。智能体在与环境的交互中，可以根据观测 [12]SZEPESVARI C,LITTMAN M L.A unified analysis of 的变化来触发通信和学习过程。在相同时间内，采 value-function-based reinforcement-learning algorithms 用事件驱动可以降低数据传输次数，节约通信资源： [J].Neural computation,1999,11(8):2017-2060. 作者简介： 同时，智能体不需要每一时刻进行试错和迭代，进而 张文旭，男，1985年生，博士研究 减少计算资源。最后，对算法的收敛性进行了论证， 生，主要研究方向为多智能体系统、机 仿真结果表明事件驱动可以在学习过程中减少一定 器学习。发表论文4篇，其中被EI检 的通信次数和策略遍历次数，进而缓解通信和计算资 索4篇。 源消耗。进一步工作主要基于现有的研究，将事件驱 动的思想应用于不同类的强化学习方法中，并结合事 件驱动的特点设计更合理的触发函数。 马磊，男，1972年生，教授，博士，主 参考文献： 要研究方向为控制理论及其在机器人、 [1]ZHU Wei,JIANG ZhongPing,FENG Gang.Event-based 新能源和轨道交通系统中的应用等。 主持国内外项目14项，发表论文40余 consensus of multi-agent systems with general linear models 篇，其中被EI检索37篇。 [J].Automatica,2014,50(2):552-558. [2]FAN Yuan,FENG Gang,WANG Yong,et al.Distributed event-triggered control of multi-agent systems with combina- tional measurements[].Automatica,2013,49(2):671-675. 王晓东，男，1992年生，硕士研究 [3 WANG Xiaofeng,LEMMON M D.Event-triggering in 生，主要研究方向为机器学习。获得国 distributed networked control systems[J].IEEE transactions 家发明型专利3项，发表论文4篇。 on automatic control,2011,56(3):586-601. [4 TABUADA P.Event-triggered real-time scheduling of stabilizing control tasks[].IEEE transactions on automatic control..2007,52(9):1680-1685.表 １ 事件驱动传统 Ｑ⁃学习遍历次数 Ｔａｂｌｅ １ Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｒａｖｅｒｓｅ ｏｆ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ａｎｄ ｃｌａｓｓｉｃａｌ Ｑ 步数 Ｑ⁃学习 事件驱动 Ｑ⁃学习 减少总遍历次数 ５０ ≈２ ２９．３×５０ ≈２ ２９．３×４２ ≈２ ３２．３ １００ ≈２ ２９．３×１００ ≈２ ２９．３×７９ ≈２ ３３．６ ２００ ≈２ ２９．３×２００ ≈２ ２９．３×１５３ ≈２ ３４．９ ３００ ≈２ ２９．３×３００ ≈２ ２９．３×２２１ ≈２ ３５．６ ５００ ≈２ ２９．３×５００ ≈２ ２９．３×３８６ ≈２ ３６．２ 表 ２ 比较了在一次成功的任务中，事件驱动与 传统 Ｑ⁃学习的通信次数。 可以看出，事件驱动减少 了智能体间的通信次数。 同时与表 １ 比较，可以看 出自事件触发和联合事件触发次数的区别。 表 ２ 事件驱动与传统 Ｑ⁃学习通信次数 Ｔａｂｌｅ ２ Ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｏｆ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ａｎｄ ｃｌａｓｓｉｃａｌ Ｑ 步数 Ｑ⁃学习 事件驱动 Ｑ⁃学习 减少通信次数 ５０ ５０ ４５ ５ １００ １００ ８９ １１ ２００ ２００ １７２ ２８ ３００ ３００ ２５８ ４２ ５００ ５００ ４１０ ９０ ５ 结束语 本文提出了一种基于事件驱动的多智能体强化 学习算法，侧重于多智能体在学习策略层的事件驱 动研究。 智能体在与环境的交互中，可以根据观测 的变化来触发通信和学习过程。 在相同时间内，采 用事件驱动可以降低数据传输次数，节约通信资源； 同时，智能体不需要每一时刻进行试错和迭代，进而 减少计算资源。 最后，对算法的收敛性进行了论证， 仿真结果表明事件驱动可以在学习过程中减少一定 的通信次数和策略遍历次数，进而缓解通信和计算资 源消耗。 进一步工作主要基于现有的研究，将事件驱 动的思想应用于不同类的强化学习方法中，并结合事 件驱动的特点设计更合理的触发函数。 参考文献： ［１］ＺＨＵ Ｗｅｉ， ＪＩＡＮＧ ＺｈｏｎｇＰｉｎｇ， ＦＥＮＧ Ｇａｎｇ． Ｅｖｅｎｔ －ｂａｓｅｄ ｃｏｎｓｅｎｓｕｓ ｏｆ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ ｗｉｔｈ ｇｅｎｅｒａｌ ｌｉｎｅａｒ ｍｏｄｅｌｓ ［Ｊ］． Ａｕｔｏｍａｔｉｃａ， ２０１４， ５０（２）： ５５２－５５８． ［２］ ＦＡＮ Ｙｕａｎ， ＦＥＮＧ Ｇａｎｇ， ＷＡＮＧ Ｙｏｎｇ， ｅｔ ａｌ． Ｄｉｓｔｒｉｂｕｔｅｄ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｃｏｎｔｒｏｌ ｏｆ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ ｗｉｔｈ ｃｏｍｂｉｎａ⁃ ｔｉｏｎａｌ ｍｅａｓｕｒｅｍｅｎｔｓ［Ｊ］． Ａｕｔｏｍａｔｉｃａ， ２０１３， ４９（２）： ６７１－６７５． ［ ３ ］ ＷＡＮＧ Ｘｉａｏｆｅｎｇ， ＬＥＭＭＯＮ Ｍ Ｄ． Ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｉｎｇ ｉｎ ｄｉｓｔｒｉｂｕｔｅｄ ｎｅｔｗｏｒｋｅｄ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ａｕｔｏｍａｔｉｃ ｃｏｎｔｒｏｌ， ２０１１， ５６（３）： ５８６－６０１． ［ ４ ］ ＴＡＢＵＡＤＡ Ｐ． Ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｒｅａｌ⁃ｔｉｍｅ ｓｃｈｅｄｕｌｉｎｇ ｏｆ ｓｔａｂｉｌｉｚｉｎｇ ｃｏｎｔｒｏｌ ｔａｓｋｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ａｕｔｏｍａｔｉｃ ｃｏｎｔｒｏｌ， ２００７， ５２（９）： １６８０－１６８５． ［５］ ＺＯＵ Ｌｅｉ， ＷＡＮＧ Ｚｉｄｏｎｇ， ＧＡＯ Ｈｕｉｊｕｎ， ｅｔ ａｌ． Ｅｖｅｎｔ⁃ｔｒｉｇ⁃ ｇｅｒｅｄ ｓｔａｔｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｃｏｍｐｌｅｘ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｍｉｘｅｄ ｔｉｍｅ ｄｅｌａｙｓ ｖｉａ ｓａｍｐｌｅｄ ｄａｔａ ｉｎｆｏｒｍａｔｉｏｎ： ｔｈｅ ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ｃａｓｅ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｙｂｅｒｎｅｔｉｃｓ， ２０１５， ４５（１２）： ２８０４－２８１５． ［６］ ＳＡＨＯＯ Ａ， ＸＵ Ｈａｏ， ＪＡＧＡＮＮＡＴＨＡＮ Ｓ． Ａｄａｐｔｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ⁃ｂａｓｅｄ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｃｏｎｔｒｏｌ ｏｆ ｓｉｎｇｌｅ⁃ｉｎｐｕｔ ｓｉｎｇｌｅ⁃ ｏｕｔｐｕｔ ｎｏｎｌｉｎｅａｒ ｄｉｓｃｒｅｔｅ⁃ｔｉｍｅ ｓｙｓｔｅｍｓ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃ⁃ ｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ， ２０１６， ２７ （１）： １５１－１６４． ［７］ ＨＵ Ｗｅｎｆｅｎｇ， ＬＩＵ Ｌｕ， ＦＥＮＧ Ｇａｎｇ． Ｃｏｎｓｅｎｓｕｓ ｏｆ ｌｉｎｅａｒ ｍｕｌｔｉ⁃ａｇｅｎｔ ｓｙｓｔｅｍｓ ｂｙ ｄｉｓｔｒｉｂｕｔｅｄ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｓｔｒａｔｅｇｙ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｙｂｅｒｎｅｔｉｃｓ， ２０１６， ４６ （ １ ）： １４８－１５７． ［８］ＺＨＯＮＧ Ｘｉａｎｇｎａｎ， ＮＩ Ｚｈｅｎ， ＨＥ Ｈａｉｂｏ， ｅｔ ａｌ． Ｅｖｅｎｔ⁃ｔｒｉｇ⁃ ｇｅｒｅｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ ｆｏｒ ｕｎｋｎｏｗｎ ｎｏｎｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ｓｙｓｔｅｍ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２０１４ Ｉｎｔｅｒｎａ⁃ ｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ｂｅｉｊｉｎｇ， Ｃｈｉｎａ， ２０１４： ３６７７－３６８４． ［９］ＸＵ Ｈａｏ， ＪＡＧＡＮＮＡＴＨＡＮ Ｓ． Ｎｅａｒ ｏｐｔｉｍａｌ ｅｖｅｎｔ⁃ｔｒｉｇｇｅｒｅｄ ｃｏｎｔｒｏｌ ｏｆ ｎｏｎｌｉｎｅａｒ ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｉｎｐｕｔ ａｎｄ ｏｕｔｐｕｔ ｄａｔａ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １１ｔｈ Ｗｏｒｌｄ Ｃｏｎｇｒｅｓｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｃｏｎｔｒｏｌ ａｎｄ Ａｕｔｏｍａｔｉｏｎ． Ｓｈｅｎｙａｎｇ， Ｃｈｉｎａ， ２０１４： １７９９－１８０４． ［１０］ＢＥＲＮＳＴＥＩＮ Ｄ Ｓ， ＧＩＶＡＮ Ｒ， ＩＭＭＥＲＭＡＮ Ｎ， ｅｔ ａｌ． Ｔｈｅ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｃｏｎｔｒｏｌ ｏｆ Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓｅｓ［ Ｊ］． Ｍａｔｈｅｍａｔｉｃｓ ｏｆ ｏｐｅｒａｔｉｏｎｓ ｒｅｓｅａｒｃｈ， ２００２， ２７（４）： ８１９－８４０． ［１１］ＷＡＴＫＩＮＳ Ｃ Ｊ Ｃ Ｈ， ＤＡＹＡＮ Ｐ． Ｑ⁃ｌｅａｒｎｉｎｇ［ Ｊ］． Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ， １９９２， ８（３ ／ ４）： ２７９－２９２． ［１２］ ＳＺＥＰＥＳＶÁＲＩ Ｃ， ＬＩＴＴＭＡＮ Ｍ Ｌ． Ａ ｕｎｉｆｉｅｄ ａｎａｌｙｓｉｓ ｏｆ ｖａｌｕｅ⁃ｆｕｎｃｔｉｏｎ⁃ｂａｓｅｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ⁃ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ［Ｊ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ， １９９９， １１（８）： ２０１７－２０６０． 作者简介： 张文旭，男，１９８５ 年生，博士研究 生，主要研究方向为多智能体系统、机 器学习。 发表论文 ４ 篇，其中被 ＥＩ 检 索 ４ 篇。 马磊，男，１９７２ 年生，教授，博士，主 要研究方向为控制理论及其在机器人、 新能源和轨道交通系统中的应用等。 主持国内外项目 １４ 项，发表论文 ４０ 余 篇，其中被 ＥＩ 检索 ３７ 篇。 王晓东，男，１９９２ 年生，硕士研究 生，主要研究方向为机器学习。 获得国 家发明型专利 ３ 项，发表论文 ４ 篇。 第 １ 期 张文旭，等：基于事件驱动的多智能体强化学习研究 ·８７·