第12卷第5期 智能系统学报 Vol.12 No.5 2017年10月 CAAI Transactions on Intelligent Systems 0ct.2017 D0I:10.11992/tis.201706031 网络出版地址：http:/kns.cmki.net/kcms/detail/23.1538.TP.20171021.1350.008.html 分层强化学习综述 周文吉，俞扬 (南京大学软件新技术国家重点实验室，江苏南京210023) 摘要：强化学习(reinforcement learning)是机器学习和人工智能领域的重要分支，近年来受到社会各界和企业的广 泛关注。强化学习算法要解决的主要问题是，智能体如何直接与环境进行交互来学习策略。但是当状态空间维度 增加时，传统的强化学习方法往往面临着维度灾难，难以取得好的学习效果。分层强化学习(hierarchical reinforcement learning)致力于将一个复杂的强化学习问题分解成几个子问题并分别解决，可以取得比直接解决整个 问题更好的效果。分层强化学习是解决大规模强化学习问题的潜在途径，然而其受到的关注不高。本文将介绍和 回顾分层强化学习的几大类方法。 关键词：人工智能：机器学习：强化学习：分层强化学习：深度强化学习：马尔可夫决策过程：半马尔可夫决策过程：维 度灾难 中图分类号：TP391文献标志码：A文章编号：1673-4785(2017)05-0590-05 中文引用格式：周文吉，俞扬.分层强化学习综述[J].智能系统学报，2017,12(5)：590-594. 英文引用格式：ZHOU Wenji,YU Yang.Summarize of hierarchical reinforcement learning[J].CAAI transactions on intelligent systems,2017,12(5):590-594. Summarize of hierarchical reinforcement learning ZHOU Wenji,YU Yang National Key Laboratory for Novel Software Technology,Nanjing University,Nanjing 210023,China) Abstract:Reinforcement Learning(RL)is an important research area in the field of machine learning and artificial intelligence and has received increasing attentions in recent years.The goal in RL is to maximize long-term total reward by interacting with the environment.Traditional RL algorithms are limited due to the so-called curse of dimensionality,and their learning abilities degrade drastically with increases in the dimensionality of the state space.Hierarchical reinforcement learning (HRL)decomposes the RL problem into sub-problems and solves each of them to improve learning ability.HRL offers a potential way to solve large-scale RL,which has received insufficient attention to date.In this paper,we introduce and review several main HRL methods. Keywords:artificial intelligence;machine learning;reinforcement learning;hierarchical reinforcement learning; deep reinforcement learning;Markov decision process;semi-Markov decision process;dimensional curse 强化学习要研究的问题是智能体(agents)如何速增长，强化学习难以取得理想的效果。为了解决 在一个环境(environment)中学到一定的策略 维度灾难，研究者提出了分层强化学习(hierarchical (policy),使得长期的奖赏(reward)最大。但是传统 reinforcement learning,HRL)。HRL的主要目标是 的强化学习方法面临着维度灾难，即当环境较为复 将复杂的问题分解成多个小问题，分别解决小问题 杂或者任务较为困难时，agent的状态(state)空间过 从而达到解决原问题的目的山。近些年来，人们认 大，会导致需要学习的参数以及所需的存储空间急 为分层强化学习基本可以解决强化学习的维度灾 难问题2-)，转而将研究方向转向如何将复杂的问题 收稿日期：2017-06-09.网络出版日期：2017-10-21 抽象成不同的层级，从而更好地解决这些问题)」 基金项目：国家自然科学基金项目(61375061)：江苏省自然科学基金 项目(BK20160066). 现在已有的一些分层学习大致可以分为4大 通信作者：俞扬.E-mail:yuy@nju.eu.cn. 类，分别是基于选项(option)的强化学习、基于分层
第 １２ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．５ ２０１７ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１７０６０３１ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１７１０２１．１３５０．００８．ｈｔｍｌ 分层强化学习综述 周文吉，俞扬 （南京大学 软件新技术国家重点实验室，江苏 南京 ２１００２３） 摘 要：强化学习（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ） 是机器学习和人工智能领域的重要分支，近年来受到社会各界和企业的广 泛关注。 强化学习算法要解决的主要问题是，智能体如何直接与环境进行交互来学习策略。 但是当状态空间维度 增加时，传统的强化 学 习 方 法 往 往 面 临 着 维 度 灾 难， 难 以 取 得 好 的 学 习 效 果。 分 层 强 化 学 习 （ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ） 致力于将一个复杂的强化学习问题分解成几个子问题并分别解决，可以取得比直接解决整个 问题更好的效果。 分层强化学习是解决大规模强化学习问题的潜在途径，然而其受到的关注不高。 本文将介绍和 回顾分层强化学习的几大类方法。 关键词：人工智能；机器学习；强化学习；分层强化学习；深度强化学习；马尔可夫决策过程；半马尔可夫决策过程；维 度灾难 中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０５－０５９０－０５ 中文引用格式：周文吉，俞扬．分层强化学习综述［Ｊ］． 智能系统学报， ２０１７， １２（５）： ５９０－５９４． 英文引用格式：ＺＨＯＵ Ｗｅｎｊｉ， ＹＵ Ｙａｎｇ． Ｓｕｍｍａｒｉｚｅ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ［ Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（５）： ５９０－５９４． Ｓｕｍｍａｒｉｚｅ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ＺＨＯＵ Ｗｅｎｊｉ， ＹＵ Ｙａｎｇ （Ｎａｔｉｏｎａｌ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｆｏｒ Ｎｏｖｅｌ Ｓｏｆｔｗａｒｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｎａｎｊｉｎｇ ２１００２３， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ （ＲＬ） ｉｓ ａｎ ｉｍｐｏｒｔａｎｔ ｒｅｓｅａｒｃｈ ａｒｅａ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ｈａｓ ｒｅｃｅｉｖｅｄ ｉｎｃｒｅａｓｉｎｇ ａｔｔｅｎｔｉｏｎｓ ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ． Ｔｈｅ ｇｏａｌ ｉｎ ＲＬ ｉｓ ｔｏ ｍａｘｉｍｉｚｅ ｌｏｎｇ⁃ｔｅｒｍ ｔｏｔａｌ ｒｅｗａｒｄ ｂｙ ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈ ｔｈｅ ｅｎｖｉｒｏｎｍｅｎｔ． Ｔｒａｄｉｔｉｏｎａｌ ＲＬ ａｌｇｏｒｉｔｈｍｓ ａｒｅ ｌｉｍｉｔｅｄ ｄｕｅ ｔｏ ｔｈｅ ｓｏ⁃ｃａｌｌｅｄ ｃｕｒｓｅ ｏｆ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ， ａｎｄ ｔｈｅｉｒ ｌｅａｒｎｉｎｇ ａｂｉｌｉｔｉｅｓ ｄｅｇｒａｄｅ ｄｒａｓｔｉｃａｌｌｙ ｗｉｔｈ ｉｎｃｒｅａｓｅｓ ｉｎ ｔｈｅ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｔｈｅ ｓｔａｔｅ ｓｐａｃｅ． Ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ （ＨＲＬ） ｄｅｃｏｍｐｏｓｅｓ ｔｈｅ ＲＬ ｐｒｏｂｌｅｍ ｉｎｔｏ ｓｕｂ⁃ｐｒｏｂｌｅｍｓ ａｎｄ ｓｏｌｖｅｓ ｅａｃｈ ｏｆ ｔｈｅｍ ｔｏ ｉｍｐｒｏｖｅ ｌｅａｒｎｉｎｇ ａｂｉｌｉｔｙ． ＨＲＬ ｏｆｆｅｒｓ ａ ｐｏｔｅｎｔｉａｌ ｗａｙ ｔｏ ｓｏｌｖｅ ｌａｒｇｅ⁃ｓｃａｌｅ ＲＬ， ｗｈｉｃｈ ｈａｓ ｒｅｃｅｉｖｅｄ ｉｎｓｕｆｆｉｃｉｅｎｔ ａｔｔｅｎｔｉｏｎ ｔｏ ｄａｔｅ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｅ ｉｎｔｒｏｄｕｃｅ ａｎｄ ｒｅｖｉｅｗ ｓｅｖｅｒａｌ ｍａｉｎ ＨＲＬ ｍｅｔｈｏｄｓ． Ｋｅｙｗｏｒｄｓ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ； ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ； ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ； ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ； ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ； Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ； ｓｅｍｉ⁃Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ； ｄｉｍｅｎｓｉｏｎａｌ ｃｕｒｓｅ 收稿日期：２０１７－０６－０９． 网络出版日期：２０１７－１０－２１． 基金项目：国家自然科学基金项目（６１３７５０６１）； 江苏省自然科学基金 项目（ＢＫ２０１６００６６）． 通信作者：俞扬． Ｅ⁃ｍａｉｌ：ｙｕｙ＠ ｎｊｕ．ｅｄｕ．ｃｎ． 强化学习要研究的问题是智能体（ ａｇｅｎｔｓ）如何 在一 个 环 境 （ ｅｎｖｉｒｏｎｍｅｎｔ ） 中 学 到 一 定 的 策 略 （ｐｏｌｉｃｙ），使得长期的奖赏（ｒｅｗａｒｄ）最大。 但是传统 的强化学习方法面临着维度灾难，即当环境较为复 杂或者任务较为困难时，ａｇｅｎｔ 的状态（ｓｔａｔｅ）空间过 大，会导致需要学习的参数以及所需的存储空间急 速增长，强化学习难以取得理想的效果。 为了解决 维度灾难，研究者提出了分层强化学习（ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ， ＨＲＬ）。 ＨＲＬ 的主要目标是 将复杂的问题分解成多个小问题，分别解决小问题 从而达到解决原问题的目的［１］ 。 近些年来，人们认 为分层强化学习基本可以解决强化学习的维度灾 难问题［２－３］ ，转而将研究方向转向如何将复杂的问题 抽象成不同的层级，从而更好地解决这些问题［４］ 。 现在已有的一些分层学习大致可以分为 ４ 大 类，分别是基于选项（ｏｐｔｉｏｎ）的强化学习、基于分层
第5期 周文吉，等：分层强化学习综述 .591. 抽象机(hierarchical of abstract machines)的分层强 作a可以得到的期望累积奖赏。我们也将Q"(s,a) 化学习、基于MaxQ值函数分解(MaxQ value 叫作Q函数，其具体的数学定义表示为 function decomposition)的分层强化学习，以及端到 Q(s,a)=E{u,+yT+1+yr+2+…s,=s,a,=a,π 端的(end to end)分层强化学习。 同样的，我们也希望通过学习到一个最优的Q 背景知识 函数Q·,使agent可以直接通过Q函数来选择当前 1 状态下应该执行的动作。 在本节中，我们主要介绍强化学习、马尔可夫 经过多年的研究，已经出现一些算法，致力于 决策过程(Markov decision process)和半马尔克夫决 解决传统的强化学习问题，比如Q-Learning、蒙特卡 策过程(Semi-Markov decision process)的定义以及 洛方法(Monte--Carlo learning)、时序差分方法 相关的背景知识。 (temporal-difference learning)等。其中Q-Learning 1.1强化学习与马尔可夫决策过程 方法常常在分层强化学习中被使用。Q-Learning通 强化学习是机器学习和人工智能中一个重要 过不断迭代更新Q函数的值来逼近最优的Q·。其 的领域，主要研究的问题是agent如何通过直接与 迭代式如下 环境交互来学习策略，使得长期的奖赏最大。强化 Q+1(s,a)=(1-a4)Q(s,a)+ 学习有一些特点，比如无监督学习，奖赏的反馈有 (r +y max(s',a')) 延迟，agent选择的动作会影响之后接收的数据等。 其中s'表示下一个状态。 大多数关于强化学习的研究都是建立在马尔 1.2半马尔可夫决策过程 可夫决策过程(MDP)的基础上，MDP可以表示为一 马尔可夫决策过程中，选择一个动作后，agent 个五元组(S,A,P,R,y〉。其中，S为状态(state)的 会立刻根据状态转移方程P跳转到下一个状态，而 有限集合，集合中某个状态表示为s∈S:A为动作 在半马尔可夫决策过程(SMDP)中，当前状态到下 (action)的有限集合，集合中某个动作表示为a∈ 一个状态的步数是个随机变量？，即在某个状态s A,A为状态s下可执行的动作集合；P为状态转移 下选择一个动作a后，经过？步才会以一个概率转 方程，P(s's,a)表示在状态s执行动作a后将以 移到下一个状态s'。此时的状态转移概率是s和 P(s'|s,a)的概率跳转到状态s';R为奖赏函数 的联合概率P(s',rs,a)。根据r的定义域不同， (reward function);y为折损系数(discount factor), SMDP所定义的系统也有所不同。当，的取值为实 0≤y≤1。假设一个agent观察到自己的状态s,此 数值，则SMDP构建了一个连续时间-离散事件系 时它选择一个动作a,它会得到一个即时的奖赏r:= 统(continuous--time discrete-event system)[);而当T R(s,a),然后以P(s'1s,a)的概率达到下一个状态 的取值为正整数，则是一个离散时间SMDP s'。马尔可夫决策过程有马尔可夫性，即系统的下 (discrete-time SMDP)[6。出于简单考虑，绝大部分 个状态只与当前状态有关，与之前的状态无关。当 分层强化学习都是在离散时间SMDP上进行讨论。 马尔可夫决策过程中作出决策时，只需要考虑当前 的状态，而不需要历史数据，这样大大降低了问题 2分层强化学习方法 的复杂度。 分层强化学习是将复杂的强化学习问题分解 强化学习需要agent学习到一个策略π：S× 成一些容易解决的子问题(sub-problem),通过分别 A→[0,1]，通过π(s,a)的值来指导agent进行动 解决这些子问题，最终解决原本的强化学习问 作的选择。给定一个策略π和一个状态s,V”表示 题-]。常见的分层强化学习方法可以大致分为四 从s开始按照策略π进行选择可以得到的期望累积 大类，分别为基于选项(option)的强化学习、基于分 奖赏。我们将V称作值函数(value function),其具 层抽象机(hierarchical of abstract machines)的分层 体的数学定义为V"(s)=E{,+yT+1+yr+2+…+ 强化学习、基于MaxQ函数分解(MaxQ value Ps=s,π}。强化学习的目标是学到一个最优 function decomposition)的分层强化学习，以及端到 的策略π·，最大化每一个状态下的V值，此时的最 端的(end to end)的分层强化学习。本节将对它们 优值函数记作V·。 逐一进行探讨。 除了值函数，动作-值函数(action-value 2.1基于选项的分层强化学习 function)也在强化学习中扮演着重要的角色，记作 “选项”(option)的概念在1999年由Sutton等 Q(s,a),表示给定一个策略π，在状态s上执行动 人提出[1o,是一种对动作的抽象。一般的，option
抽象机（ｈｉｅｒａｒｃｈｉｃａｌ ｏｆ ａｂｓｔｒａｃｔ ｍａｃｈｉｎｅｓ） 的分层强 化学 习、 基 于 ＭａｘＱ 值 函 数 分 解 （ ＭａｘＱ ｖａｌｕｅ ｆｕｎｃｔｉｏｎ ｄｅｃｏｍｐｏｓｉｔｉｏｎ） 的分层强化学习，以及端到 端的（ｅｎｄ ｔｏ ｅｎｄ）分层强化学习。 １ 背景知识 在本节中，我们主要介绍强化学习、马尔可夫 决策过程（Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ）和半马尔克夫决 策过程（ Ｓｅｍｉ⁃Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ） 的定义以及 相关的背景知识。 １．１ 强化学习与马尔可夫决策过程 强化学习是机器学习和人工智能中一个重要 的领域，主要研究的问题是 ａｇｅｎｔ 如何通过直接与 环境交互来学习策略，使得长期的奖赏最大。 强化 学习有一些特点，比如无监督学习，奖赏的反馈有 延迟，ａｇｅｎｔ 选择的动作会影响之后接收的数据等。 大多数关于强化学习的研究都是建立在马尔 可夫决策过程（ＭＤＰ）的基础上，ＭＤＰ 可以表示为一 个五元组 〈Ｓ，Ａ，Ｐ，Ｒ，γ〉。 其中，Ｓ 为状态（ｓｔａｔｅ）的 有限集合，集合中某个状态表示为 ｓ∈Ｓ；Ａ 为动作 （ａｃｔｉｏｎ）的有限集合，集合中某个动作表示为 ａ∈ Ａ， Ａ 为状态 ｓ 下可执行的动作集合；Ｐ 为状态转移 方程， Ｐ（ｓ′ ｓ，ａ） 表示在状态 ｓ 执行动作 ａ 后将以 Ｐ（ｓ′ ｓ，ａ） 的概率跳转到状态 ｓ′； Ｒ 为奖赏函数 （ｒｅｗａｒｄ ｆｕｎｃｔｉｏｎ）； γ 为折损系数（ ｄｉｓｃｏｕｎｔ ｆａｃｔｏｒ）， ０ ≤γ ≤ １。 假设一个 ａｇｅｎｔ 观察到自己的状态 ｓ，此 时它选择一个动作 ａ，它会得到一个即时的奖赏 ｒ ａ ｓ ＝ Ｒ（ｓ，ａ） ，然后以 Ｐ（ｓ′｜ ｓ，ａ） 的概率达到下一个状态 ｓ′。 马尔可夫决策过程有马尔可夫性，即系统的下 个状态只与当前状态有关，与之前的状态无关。 当 马尔可夫决策过程中作出决策时，只需要考虑当前 的状态，而不需要历史数据，这样大大降低了问题 的复杂度。 强化学习需要 ａｇｅｎｔ 学习到一个策略 π：Ｓ × Ａ →［０，１］ ，通过 π（ｓ，ａ） 的值来指导 ａｇｅｎｔ 进行动 作的选择。 给定一个策略 π 和一个状态 ｓ， Ｖ π ｓ 表示 从 ｓ 开始按照策略 π 进行选择可以得到的期望累积 奖赏。 我们将 Ｖ 称作值函数（ ｖａｌｕｅ ｆｕｎｃｔｉｏｎ），其具 体的数学定义为 Ｖ π （ｓ） ＝ Ｅ｛ｒｔ ＋ γｒｔ＋１ ＋ γ ２ ｒｔ＋２ ＋ … ＋ ｒ ｎ ｒｔ＋ｎ ｓ ＝ ｓｔ，π｝。 强化学习的目标是学到一个最优 的策略 π ∗ ， 最大化每一个状态下的 Ｖ 值，此时的最 优值函数记作 Ｖ ∗ 。 除 了 值 函 数， 动 作 － 值 函 数 （ ａｃｔｉｏｎ⁃ｖａｌｕｅ ｆｕｎｃｔｉｏｎ）也在强化学习中扮演着重要的角色，记作 Ｑ π （ｓ，ａ）， 表示给定一个策略 π， 在状态 ｓ 上执行动 作 ａ 可以得到的期望累积奖赏。 我们也将 Ｑ π （ｓ，ａ） 叫作 Ｑ 函数，其具体的数学定义表示为 Ｑ π （ｓ，ａ） ＝ Ｅ｛ｒｔ ＋ γｒｔ＋１ ＋ γ ２ ｒｔ＋２ ＋ … ｓｔ ＝ ｓ，ａｔ ＝ ａ，π｝ 同样的，我们也希望通过学习到一个最优的 Ｑ 函数 Ｑ ∗ ，使 ａｇｅｎｔ 可以直接通过 Ｑ 函数来选择当前 状态下应该执行的动作。 经过多年的研究，已经出现一些算法，致力于 解决传统的强化学习问题，比如 Ｑ⁃Ｌｅａｒｎｉｎｇ、蒙特卡 洛方 法 （ Ｍｏｎｔｅ⁃Ｃａｒｌｏ ｌｅａｒｎｉｎｇ ）、 时 序 差 分 方 法 （ ｔｅｍｐｏｒａｌ⁃ｄｉｆｆｅｒｅｎｃｅ ｌｅａｒｎｉｎｇ） 等。 其 中 Ｑ⁃Ｌｅａｒｎｉｎｇ 方法常常在分层强化学习中被使用。 Ｑ⁃Ｌｅａｒｎｉｎｇ 通 过不断迭代更新 Ｑ 函数的值来逼近最优的 Ｑ ∗ 。 其 迭代式如下 Ｑｋ＋１（ｓ，ａ） ＝ （１ － αｋ）Ｑｋ（ｓ，ａ） ＋ αｋ（ｒ ＋ γ ｍａｘａ′∈Ａｓ′ Ｑｋ（ｓ′，ａ′）） 其中 ｓ′ 表示下一个状态。 １．２ 半马尔可夫决策过程 马尔可夫决策过程中，选择一个动作后，ａｇｅｎｔ 会立刻根据状态转移方程 Ｐ 跳转到下一个状态，而 在半马尔可夫决策过程（ ＳＭＤＰ） 中，当前状态到下 一个状态的步数是个随机变量 τ， 即在某个状态 ｓ 下选择一个动作 ａ 后，经过 τ 步才会以一个概率转 移到下一个状态 ｓ′。 此时的状态转移概率是 ｓ 和 τ 的联合概率 Ｐ（ｓ′，τ ｓ，ａ）。 根据 τ 的定义域不同， ＳＭＤＰ 所定义的系统也有所不同。 当 τ 的取值为实 数值，则 ＳＭＤＰ 构建了一个连续时间－离散事件系 统（ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ｄｉｓｃｒｅｔｅ⁃ｅｖｅｎｔ ｓｙｓｔｅｍ） ［５］ ；而当 τ 的取 值 为 正 整 数， 则 是 一 个 离 散 时 间 ＳＭＤＰ （ｄｉｓｃｒｅｔｅ⁃ｔｉｍｅ ＳＭＤＰ） ［６］ 。 出于简单考虑，绝大部分 分层强化学习都是在离散时间 ＳＭＤＰ 上进行讨论。 ２ 分层强化学习方法 分层强化学习是将复杂的强化学习问题分解 成一些容易解决的子问题（ ｓｕｂ⁃ｐｒｏｂｌｅｍ），通过分别 解决这 些 子 问 题， 最 终 解 决 原 本 的 强 化 学 习 问 题［７－９］ 。 常见的分层强化学习方法可以大致分为四 大类，分别为基于选项（ｏｐｔｉｏｎ）的强化学习、基于分 层抽象机（ｈｉｅｒａｒｃｈｉｃａｌ ｏｆ ａｂｓｔｒａｃｔ ｍａｃｈｉｎｅｓ） 的分层 强化 学 习、 基 于 ＭａｘＱ 函 数 分 解 （ ＭａｘＱ ｖａｌｕｅ ｆｕｎｃｔｉｏｎ ｄｅｃｏｍｐｏｓｉｔｉｏｎ） 的分层强化学习，以及端到 端的（ｅｎｄ ｔｏ ｅｎｄ）的分层强化学习。 本节将对它们 逐一进行探讨。 ２．１ 基于选项的分层强化学习 “选项” （ ｏｐｔｉｏｎ） 的概念在 １９９９ 年由 Ｓｕｔｔｏｎ 等 人提出［１０］ ，是一种对动作的抽象。 一般的， ｏｐｔｉｏｎ 第 ５ 期 周文吉，等：分层强化学习综述 ·５９１·
·592. 智能系统学报 第12卷 可表示为一个三元组〈1，π，B〉。其中，T:S×A→ 在cal类型的状态时，当前状态机H:将被挂起，开 [0,1]表示此option中的策略；B:S→[0,1]表示终 始初始化下一个状态机H,即把H,的状态设置为 止条件，B(s)表示状态s有B(s)的概率终止并退 f(s,),其中j的值根据m得出，m表示第i个状态 出此option;ISS表示option的初始状态集合。 机在时刻t时的状态。choice类型的状态则是非确 option〈1，π，B〉在状态s上可用，当且仅当s∈I。 定性地选择当前状态机的下一个状态。stop状态则 当option开始执行时，agent通过该option的r进行 是停止当前状态机的活动，恢复调用它的状态机的 动作选择直到终止。值得注意的是，一个单独的动 活动，同时agent根据之前选择的动作进行状态转 作a也可以是一个option,通常被称作one-step 移并得到奖赏。如果在这个过程中没有选择出动 option,I={s:a∈A,},并且对任意的状态s都有 作，例如某个状态机H,刚被调用就被随机函数∫初 B(s)=1。 始化到了一个stop状态以至于返回时并没有选出 基于option的分层强化学习的过程如下：假设 要执行的动作，则M保持当前的状态。 agent当前在某个状态，选择一个option,通过这个 HAMs也可以通过改进Q-Learning算法进行学 option的策略，agent选择了一个动作或者另一个 习。对于一个马尔可夫决策过程M和任意一个状 option。若选择了一个动作，则直接执行转移到下一 态机H,H。M是一个MDP四，其中状态集合为S× 个状态；若选择了另一个option,则用选择的新 SH,动作集合为A×AH。只有当H的状态是choice option继续选择，直到最后得出一个动作。 类型的状态时，H。M才需要进行决策，其他状态下 为了使用option来解决分层强化学习问题，我 都可以根据状态机的状态自动进行状态转移，所以 们还需要定义一个更高层级的策略：S×O,一[0， 实际上H。M是个SMDP。因此我们需要维护的Q 1]。其中，0表示所有option的集合，而O,表示状 函数为Q([s。,m.],a),其中，c表示H。M中需要 态s下可用的option的集合；u(s,o)表示在状态s 作出选择的状态的下标，[s,m]被称作选择点 时以u(s,o)的概率选择o作为当前的option。此时 (choice point)。此时Q-Learning的更新公式为 的Q函数定义为 Q([s,m],a)=(1-a)Q([s。,m],a)+a[+ Q(s,0)=E{,+yr+1+yr+2+…0,=0,s=s} yr+1+…+y-7r-1+ymax.Q([s,m'],a')] 此时的Q-Learning的更新公式为 其中，T为由s到s'所经过的步数。 Q+i(s,0)=(1-4)Q(s,0,)+a(,+yT41+…+ 2.3基于MaxQ值函数分解的分层强化学习 yr+ymax)) MaxQ值函数分解(MaxQ value function 其中，a:为第k轮迭代时的学习率，T表示option o decomposition),是由Dietterich提出的另外一种分层 在执行T步之后在状态s,停止，而o'为在o执行 强化学习的方法[)。首先将一个马尔可夫决策过 结束后的下一个option.。可以注意到，当所有的 程M分解成多个子任务{M。,M,…,Mn},M。为根 option均为one-step option时，这个Q-Learning就退 子任务，解决了M。就意味着解决了原问题M。对 化为普通的Q-Learning过程。 于每一个子任务M,都有一个终止断言(termination 2.2基于分层抽象机的分层强化 predicate)T:和一个动作集合A:。这个动作集合中 分层抽象机(hierarchies of abstract machines, 的元素既可以是其他的子任务，也可以是一个MDP HAMs,)是Par和Russell提出的方法[山。和 中的action。一个子任务的目标是转移到一个状 option的方法类似，HAMs的方法也是建立在SMDP 态，可以满足终止断言，使得此子任务完成并终止。 的理论基础之上的。HAMs的主要思想是将当前所 我们需要学到一个高层次的策略π={π。，…，π}， 在状态以及有限状态机的状态结合考虑，从而选择 其中π：为子任务M的策略。 不同的策略。 令V(i,s)表示子任务i在状态s的值函数，即该 令M为一个有限MDP,S为状态集合，A为动 子问题从状态s开始一直按照某个策略执行最终达 作集合。{H,}为一个有限状态机的集合，其中每个 到终止状态的期望累计奖赏。类似的，令Q(i,s,)为 有限状态机H都有一个状态集合S:、一个概率转移 子任务i在状态s执行动作j之后按照某个策略执行 方程6：以及一个随机函数f:S→S,。每个状态机 直到达到终止状态的期望累计奖赏，可以表示为 都有4种类型的状态，即动作(action)、调用(call)、 Q(i,s,j)=E(r +yr+yr2+.s=s,T) 选择(choice)以及停止(stop)。action类型的状态 假设选择的动作j一共执行了？步才返回，那么我 会根据状态机的具体状态执行一个MDP中的动作。 们可以把Q函数写成
可表示为一个三元组 〈Ｉ，π，β〉。 其中， π：Ｓ × Ａ → ［０，１］ 表示此ｏｐｔｉｏｎ中的策略； β：Ｓ → ［０，１］ 表示终 止条件， β（ｓ） 表示状态 ｓ 有 β（ｓ） 的概率终止并退 出此 ｏｐｔｉｏｎ； Ｉ ⊆ Ｓ 表示 ｏｐｔｉｏｎ 的初始状态集合。 ｏｐｔｉｏｎ 〈Ｉ，π，β〉 在状态 ｓ 上可用，当且仅当 ｓ ∈ Ｉ。 当 ｏｐｔｉｏｎ 开始执行时，ａｇｅｎｔ 通过该 ｏｐｔｉｏｎ 的 π 进行 动作选择直到终止。 值得注意的是，一个单独的动 作 ａ 也 可 以 是 一 个 ｏｐｔｉｏｎ， 通 常 被 称 作 ｏｎｅ⁃ｓｔｅｐ ｏｐｔｉｏｎ， Ｉ ＝ ｛ｓ：ａ ∈ Ａｓ｝ ，并且对任意的状态 ｓ 都有 β（ｓ） ＝ １。 基于 ｏｐｔｉｏｎ 的分层强化学习的过程如下：假设 ａｇｅｎｔ 当前在某个状态，选择一个 ｏｐｔｉｏｎ，通过这个 ｏｐｔｉｏｎ 的策略， ａｇｅｎｔ 选择了一个动作或者另一个 ｏｐｔｉｏｎ。 若选择了一个动作，则直接执行转移到下一 个状态； 若选择 了 另 一 个 ｏｐｔｉｏｎ， 则 用 选 择 的 新 ｏｐｔｉｏｎ 继续选择，直到最后得出一个动作。 为了使用 ｏｐｔｉｏｎ 来解决分层强化学习问题，我 们还需要定义一个更高层级的策略 μ：Ｓ × Ｏｓ → ［０， １］ 。 其中，Ｏ 表示所有 ｏｐｔｉｏｎ 的集合，而 Ｏｓ 表示状 态 ｓ 下可用的 ｏｐｔｉｏｎ 的集合； μ（ｓ，ｏ） 表示在状态 ｓ 时以 μ（ｓ，ｏ） 的概率选择 ｏ 作为当前的 ｏｐｔｉｏｎ。 此时 的 Ｑ 函数定义为 Ｑ μ （ｓ，ｏ） ＝ Ｅ｛ｒｔ ＋ γｒｔ＋１ ＋ γ ２ ｒｔ＋２ ＋ … ｏｒ ＝ ｏ，ｓｔ ＝ ｓ｝ 此时的 Ｑ⁃Ｌｅａｒｎｉｎｇ 的更新公式为 Ｑｋ＋１（ｓｔ，ｏｔ） ＝ （１ － αｋ）Ｑｋ（ｓｔ，ｏｔ） ＋ αｋ（ｒｔ ＋ γｒｔ＋１ ＋ … ＋ γ τ－１ ｒｔ＋τ ＋ γ τ ｍａｘｏ′∈Ｏｓ′ Ｑｋ（ｓｔ＋τ，ｏ′）） 其中， αｋ 为第 ｋ 轮迭代时的学习率， τ 表示 ｏｐｔｉｏｎ ｏ 在执行 τ 步之后在状态 ｓｔ＋τ 停止，而 ｏ′ 为在 ｏ 执行 结束后的下一个 ｏｐｔｉｏｎ。 可以注意到， 当所有的 ｏｐｔｉｏｎ 均为 ｏｎｅ⁃ｓｔｅｐ ｏｐｔｉｏｎ 时，这个 Ｑ⁃Ｌｅａｒｎｉｎｇ 就退 化为普通的 Ｑ⁃Ｌｅａｒｎｉｎｇ 过程。 ２．２ 基于分层抽象机的分层强化 分层抽象机 （ ｈｉｅｒａｒｃｈｉｅｓ ｏｆ ａｂｓｔｒａｃｔ ｍａｃｈｉｎｅｓ， ＨＡＭｓ，） 是 Ｐａｒｒ 和 Ｒｕｓｓｅｌｌ 提 出 的 方 法［１１］ 。 和 ｏｐｔｉｏｎ 的方法类似，ＨＡＭｓ 的方法也是建立在 ＳＭＤＰ 的理论基础之上的。 ＨＡＭｓ 的主要思想是将当前所 在状态以及有限状态机的状态结合考虑，从而选择 不同的策略。 令 Ｍ 为一个有限 ＭＤＰ，Ｓ 为状态集合，Ａ 为动 作集合。 ｛Ｈｉ｝为一个有限状态机的集合，其中每个 有限状态机 Ｈｉ 都有一个状态集合 Ｓｉ、一个概率转移 方程 δｉ 以及一个随机函数 ｆ ｉ：Ｓ → Ｓｉ。 每个状态机 都有 ４ 种类型的状态，即动作（ ａｃｔｉｏｎ）、调用（ ｃａｌｌ）、 选择（ ｃｈｏｉｃｅ） 以及停止（ ｓｔｏｐ）。 ａｃｔｉｏｎ 类型的状态 会根据状态机的具体状态执行一个 ＭＤＰ 中的动作。 在 ｃａｌｌ 类型的状态时，当前状态机 Ｈｉ 将被挂起，开 始初始化下一个状态机 Ｈｊ，即把 Ｈｊ 的状态设置为 ｆ ｊ（ｓｔ） ，其中 ｊ 的值根据 ｍ ｉ ｔ 得出， ｍ ｉ ｔ 表示第 ｉ 个状态 机在时刻 ｔ 时的状态。 ｃｈｏｉｃｅ 类型的状态则是非确 定性地选择当前状态机的下一个状态。 ｓｔｏｐ 状态则 是停止当前状态机的活动，恢复调用它的状态机的 活动，同时 ａｇｅｎｔ 根据之前选择的动作进行状态转 移并得到奖赏。 如果在这个过程中没有选择出动 作，例如某个状态机 Ｈｉ刚被调用就被随机函数 ｆ ｉ 初 始化到了一个 ｓｔｏｐ 状态以至于返回时并没有选出 要执行的动作，则 Ｍ 保持当前的状态。 ＨＡＭｓ 也可以通过改进 Ｑ⁃Ｌｅａｒｎｉｎｇ 算法进行学 习。 对于一个马尔可夫决策过程 Ｍ 和任意一个状 态机 Ｈ， Ｈ Ｍ 是一个 ＭＤＰ ［１１］ ，其中状态集合为 Ｓ × ＳＨ， 动作集合为 Ａ × ＡＨ。 只有当 Ｈ 的状态是 ｃｈｏｉｃｅ 类型的状态时， Ｈ Ｍ 才需要进行决策，其他状态下 都可以根据状态机的状态自动进行状态转移，所以 实际上 Ｈ Ｍ 是个 ＳＭＤＰ。 因此我们需要维护的 Ｑ 函数为 Ｑ（［ｓｃ，ｍｃ］，ａｃ）， 其中，ｃ 表示 Ｈ Ｍ 中需要 作出选择的状态的下标， ［ ｓｃ， ｍｃ ］ 被称作选择点 （ｃｈｏｉｃｅ ｐｏｉｎｔ）。 此时 Ｑ⁃Ｌｅａｒｎｉｎｇ 的更新公式为 Ｑｋ＋１（［ｓｃ，ｍｃ］，ａｃ） ＝ （１ － αｋ）Ｑｋ（［ｓｃ，ｍｃ］，ａｃ） ＋ α［ｒｔ ＋ γｒｔ＋１ ＋ … ＋ γ τ－１ ｒｔ＋τ－１ ＋ γ τ ｍａｘａ′Ｑｋ（［ｓ′ｃ，ｍ′ｃ］，ａ′）］ 其中， τ 为由 ｓｃ到 ｓ′ｃ 所经过的步数。 ２．３ 基于 ＭａｘＱ 值函数分解的分层强化学习 ＭａｘＱ 值 函 数 分 解 （ ＭａｘＱ ｖａｌｕｅ ｆｕｎｃｔｉｏｎ ｄｅｃｏｍｐｏｓｉｔｉｏｎ），是由 Ｄｉｅｔｔｅｒｉｃｈ 提出的另外一种分层 强化学习的方法［１２］ 。 首先将一个马尔可夫决策过 程 Ｍ 分解成多个子任务｛Ｍ０ ，Ｍ１ ，…，Ｍｎ ｝，Ｍ０ 为根 子任务，解决了 Ｍ０ 就意味着解决了原问题 Ｍ。 对 于每一个子任务 Ｍｉ，都有一个终止断言（ｔｅｒｍｉｎａｔｉｏｎ ｐｒｅｄｉｃａｔｅ） Ｔｉ 和一个动作集合 Ａｉ。 这个动作集合中 的元素既可以是其他的子任务，也可以是一个 ＭＤＰ 中的 ａｃｔｉｏｎ。 一个子任务的目标是转移到一个状 态，可以满足终止断言，使得此子任务完成并终止。 我们需要学到一个高层次的策略 π ＝ ｛π０ ，…，πｎ ｝， 其中 πｉ 为子任务 Ｍｉ的策略。 令 Ｖ（ｉ，ｓ）表示子任务 ｉ 在状态 ｓ 的值函数，即该 子问题从状态 ｓ 开始一直按照某个策略执行最终达 到终止状态的期望累计奖赏。 类似的，令 Ｑ（ｉ，ｓ，ｊ）为 子任务 ｉ 在状态 ｓ 执行动作 ｊ 之后按照某个策略执行 直到达到终止状态的期望累计奖赏，可以表示为 Ｑ（ｉ，ｓ，ｊ） ＝ Ｅ（ｒｔ ＋ γｒｔ＋１ ＋ γ ２ ｒｔ＋２ ＋ … ｓｔ ＝ ｓ，π） 假设选择的动作 ｊ 一共执行了 τ 步才返回，那么我 们可以把 Ｑ 函数写成 ·５９２· 智 能 系 统 学 报 第 １２ 卷
第5期 周文吉，等：分层强化学习综述 ·593· 0(》=E1yhn+2yl5…m 有人提出利用蚁群算法启发式地寻找合理的 1=0 划分点)。作者利用蚁群算法根据信息素的变化 其中右边的第1项实际上是V(,s),第2项叫作完 程度寻找“瓶颈”(bottle neck),瓶颈像一座桥梁一 成函数(completion function),记作C(i,s,j)。则Q 样连接着问题空间中不同的连续区域。图2为一个 函数的贝尔曼方程可以写为 Grid Word问题，agent需要从状态s出发到达状态 Q(i,s》=∑P(s',rls,i)(VG,s)+ g。通过蚁群算法分析信息素的变化程度找出瓶颈 ' y"max,Q(i,s',j))=V(j,s)+C(i,s,j) 在两个房间的窄门处，即图2中的状态v附近。 当选择的动作j完成后，得到下一个状态s'以及做 完这个动作经过的时间？，则可更新完成函数 C+1(i,s,j)=(1-a)C,(i,sj)+ a,y'[max V(a',s')+C,(i,s',a')] 这样也就更新了Q函数。 图I为利用MaxQ方法解决taxi problem的任 务划分示意图[町 图2通过蚁群算法找到从s到g的最短路径 Fig.2 Shortest path between s and g found by ant system Root 通过多次探索留下的信息素密集程度来找到 Get Put 瓶颈即可将问题空间划分，再使用基于option的分 层强化学习即可解决。 Pickup Navigate(r) Dropoff 除了启发式的抽象方法，有人还提出使用神经 网络结构来自动进行问题的分层抽象和学习140]。 North South East West 近些年来神经网络快速发展，尤其是在图像识别领 图1出租车问题的任务图 域，更是取得了很多成果。因此有人尝试通过结合 Fig.1 Task graph for the taxi problem 神经网络和强化学习来设计电子游戏的AI,输入为 出租车问题是指一个出租车agent需要到特定 游戏画面，通过神经网络和强化学习学习到游戏策 位置接一位乘客并且把他送到特定的位置让其下 略。有些游戏复杂度较高，需要使用分层强化学 车。一共有6个动作，分别是上车(pick up)、下车 习。文献[14]中提出了Option-Critie架构，旨在通 (drop off),以及向东南西北四个方向开车的动作。 过神经网络强大的学习能力，模糊发现option和学 这里使用MaxQ方法，将原问题分解成了get和put 习option之间的界限，直接通过神经网络一起训练。 两个子任务，这两个子任务又进行分解，©t分解成 在一些游戏上取得了比不使用分层强化学习的 一个基本动作pick up和一个子任务navigate,而put Deep Q Network更好的结果。文献[l5]中提出了 也分解成了一个基本动作drop off和一个子任务 Manager--Worker架构，Manager负责给Worker一个 navigate。子任务navigate(t)表示t时刻应该开车的 子目标，而Worker根据子目标和当前所处的状态给 方向。对于这个强化学习问题，agent首先选择get, 出具体执行的动作。在这个方法中，Manager和 然后get子问题navigate,直到到达乘客所在地，然 Worker分别是两个不同的神经网络，并且用各自的 后get选择pick up动作，乘客上车。之后agent选 梯度分别进行优化，在实验中也取得了很好的效果。 择put子任务，put子任务选择navigate,直到到达乘 人工进行分层和抽象，不仅费时费力，而且容 客目的地，之后put子任务选择drop off动作，乘客 易忽视问题中不易发现的内在联系。因此使用端 下车，任务完成。 到端的分层强化学习，从分层抽象到训练学习，都 2.4端到端的的分层强化学习 通过机器学习的方法自动进行必然是今后人们不 上述的几种方法，都需要人工来做很多工作， 断研究的方向。 比如人工进行option的选取，人工进行HAMs的构 3总束语 建，人工划分子任务等。人工设计不仅耗时耗力， 并且会直接影响最终强化学习结果的好坏。近些 本文对于分层强化学习进行了回顾。首先介 年来人们关注如何让agent自己学到合理的分层抽 绍了强化学习、马尔科夫决策过程以及半马尔科夫 象，而非人为进行划分和指定。 决策过程的定义和基本概念，规定了本文的符号使
Ｑ（ｉ，ｓ，ｊ） ＝ Ｅ｛∑ τ－１ ｕ ＝ ０ γ ｕ ｒｔ＋ｕ ＋ ∑ ¥ ｕ ＝ τ γ ｕ ｒｔ＋ｕ ｓｔ ＝ ｓ，π｝ 其中右边的第 １ 项实际上是 Ｖ（ｊ，ｓ），第 ２ 项叫作完 成函数（ ｃｏｍｐｌｅｔｉｏｎ ｆｕｎｃｔｉｏｎ），记作 Ｃ（ ｉ，ｓ，ｊ）。 则 Ｑ 函数的贝尔曼方程可以写为 Ｑ（ｉ，ｓ，ｊ） ＝ ∑ｓ′，τ Ｐ（ｓ′，τ ｓ，ｊ）（Ｖ（ｊ，ｓ） ＋ γ τ ｍａｘｊ′Ｑ（ｉ，ｓ′， ｊ′）） ＝ Ｖ（ｊ，ｓ） ＋ Ｃ（ｉ，ｓ，ｊ） 当选择的动作 ｊ 完成后，得到下一个状态 ｓ′ 以及做 完这个动作经过的时间 τ， 则可更新完成函数 Ｃｔ＋１（ｉ，ｓ，ｊ） ＝ （１ － αｔ）Ｃｔ（ｉ，ｓ，ｊ） ＋ αｔγ τ ［ｍａｘａ′Ｖ（ａ′，ｓ′） ＋ Ｃｔ（ｉ，ｓ′，ａ′）］ 这样也就更新了 Ｑ 函数。 图 １ 为利用 ＭａｘＱ 方法解决 ｔａｘｉ ｐｒｏｂｌｅｍ 的任 务划分示意图［１２］ 。 图 １ 出租车问题的任务图 Ｆｉｇ．１ Ｔａｓｋ ｇｒａｐｈ ｆｏｒ ｔｈｅ ｔａｘｉ ｐｒｏｂｌｅｍ 出租车问题是指一个出租车 ａｇｅｎｔ 需要到特定 位置接一位乘客并且把他送到特定的位置让其下 车。 一共有 ６ 个动作，分别是上车（ ｐｉｃｋ ｕｐ）、下车 （ｄｒｏｐ ｏｆｆ），以及向东南西北四个方向开车的动作。 这里使用 ＭａｘＱ 方法，将原问题分解成了 ｇｅｔ 和 ｐｕｔ 两个子任务，这两个子任务又进行分解，ｇｅｔ 分解成 一个基本动作 ｐｉｃｋ ｕｐ 和一个子任务 ｎａｖｉｇａｔｅ，而 ｐｕｔ 也分解成了一个基本动作 ｄｒｏｐ ｏｆｆ 和一个子任务 ｎａｖｉｇａｔｅ。 子任务 ｎａｖｉｇａｔｅ（ｔ）表示 ｔ 时刻应该开车的 方向。 对于这个强化学习问题，ａｇｅｎｔ 首先选择 ｇｅｔ， 然后 ｇｅｔ 子问题 ｎａｖｉｇａｔｅ，直到到达乘客所在地，然 后 ｇｅｔ 选择 ｐｉｃｋ ｕｐ 动作，乘客上车。 之后 ａｇｅｎｔ 选 择 ｐｕｔ 子任务，ｐｕｔ 子任务选择 ｎａｖｉｇａｔｅ，直到到达乘 客目的地，之后 ｐｕｔ 子任务选择 ｄｒｏｐ ｏｆｆ 动作，乘客 下车，任务完成。 ２．４ 端到端的的分层强化学习 上述的几种方法，都需要人工来做很多工作， 比如人工进行 ｏｐｔｉｏｎ 的选取，人工进行 ＨＡＭｓ 的构 建，人工划分子任务等。 人工设计不仅耗时耗力， 并且会直接影响最终强化学习结果的好坏。 近些 年来人们关注如何让 ａｇｅｎｔ 自己学到合理的分层抽 象，而非人为进行划分和指定。 有人提出利用蚁群算法启发式地寻找合理的 划分点［１３］ 。 作者利用蚁群算法根据信息素的变化 程度寻找“瓶颈” （ ｂｏｔｔｌｅ ｎｅｃｋ），瓶颈像一座桥梁一 样连接着问题空间中不同的连续区域。 图 ２ 为一个 Ｇｒｉｄ Ｗｏｒｄ 问题，ａｇｅｎｔ 需要从状态 ｓ 出发到达状态 ｇ。 通过蚁群算法分析信息素的变化程度找出瓶颈 在两个房间的窄门处，即图 ２ 中的状态 ｖ 附近。 图 ２ 通过蚁群算法找到从 ｓ 到 ｇ 的最短路径 Ｆｉｇ．２ Ｓｈｏｒｔｅｓｔ ｐａｔｈ ｂｅｔｗｅｅｎ ｓ ａｎｄ ｇ ｆｏｕｎｄ ｂｙ ａｎｔ ｓｙｓｔｅｍ 通过多次探索留下的信息素密集程度来找到 瓶颈即可将问题空间划分，再使用基于 ｏｐｔｉｏｎ 的分 层强化学习即可解决。 除了启发式的抽象方法，有人还提出使用神经 网络结构来自动进行问题的分层抽象和学习［１４－２０］ 。 近些年来神经网络快速发展，尤其是在图像识别领 域，更是取得了很多成果。 因此有人尝试通过结合 神经网络和强化学习来设计电子游戏的 ＡＩ，输入为 游戏画面，通过神经网络和强化学习学习到游戏策 略。 有些游戏复杂度较高，需要使用分层强化学 习。 文献［１４］ 中提出了 Ｏｐｔｉｏｎ⁃Ｃｒｉｔｉｃ 架构，旨在通 过神经网络强大的学习能力，模糊发现 ｏｐｔｉｏｎ 和学 习 ｏｐｔｉｏｎ 之间的界限，直接通过神经网络一起训练。 在一些游戏上取得了比不使用分层强化学习的 Ｄｅｅｐ Ｑ Ｎｅｔｗｏｒｋ 更好的结果。 文献［１５］ 中提出了 Ｍａｎａｇｅｒ⁃Ｗｏｒｋｅｒ 架构，Ｍａｎａｇｅｒ 负责给 Ｗｏｒｋｅｒ 一个 子目标，而 Ｗｏｒｋｅｒ 根据子目标和当前所处的状态给 出具体执行的动作。 在这个方法中， Ｍａｎａｇｅｒ 和 Ｗｏｒｋｅｒ 分别是两个不同的神经网络，并且用各自的 梯度分别进行优化，在实验中也取得了很好的效果。 人工进行分层和抽象，不仅费时费力，而且容 易忽视问题中不易发现的内在联系。 因此使用端 到端的分层强化学习，从分层抽象到训练学习，都 通过机器学习的方法自动进行必然是今后人们不 断研究的方向。 ３ 总束语 本文对于分层强化学习进行了回顾。 首先介 绍了强化学习、马尔科夫决策过程以及半马尔科夫 决策过程的定义和基本概念，规定了本文的符号使 第 ５ 期 周文吉，等：分层强化学习综述 ·５９３·
.594. 智能系统学报 第12卷 用。然后，在第2节分4个方面，阐述了Sutton等提 [12]DIETTERICH T G.Hierarchical reinforcement learning 出的option方法，Par和Russell提出的HAMs方法 with the MAXQ value function decomposition[J].Journal 以及Dierrerich等提出的MaxQ方法，阐述了这些方 of artificial intelligence research,2000,13:227-303. 13 MOHSEN G,TAGHIZADEH N,et al.Automatic 法具体的计算方法。分析了近两年来的研究方向， abstraction in reinforcement learning using ant system 介绍了一些端到端的、自动抽象的分层强化学习。 algorithm[C]//In Proceedings of AAAI Spring 分层强化学习是解决大规模强化学习的潜在途径， Symposium:Lifelong Machine Learning.Stanford,USA, 然而其受到的关注不足。希望本篇综述能够引起 2013:114-122 更多人关注分层强化学习。 [14]PIERRE-LUC BACON,JEAN HARB.The option-critic architecture[C]//In Proceeding of 31th AAAl Conference 参考文献： on Artificial Intelligence.San Francisco,USA,2017: 1726-1734. [1 BARTO A G.MAHADEVAN S.Recent advances in [15]VEZHNEVETS A S,OSINDERO S,SCHAUL T,et al. hierarchical reinforcement learning[J].Discrete event FeUdal networks for hierarchical reinforcement dynamic8 ystems,2013,13(4):341-379. learning[C]//In Proceedings of the 34th International [2]YAN Q,LIU Q,HU D.A hierarchical reinforcement Conference on Machine Learning.Sydney,Australia, learning algorithm based on heuristic reward function[Cl// 2017:3540-3549. In Proceedings of 2nd International Conference on Advanced 16 MNIH V,KAVUKCUOGLU K,SILVER D,et al. Computer Control.Shenyang,China,2010,3:371-376. Human-level control through deep reinforcement learning[J]. [3]DETHLEFS N,CUAYAHUITL H.Combining hierarchical Nature,2015,518(2):529-533. reinforcement learning and Bayesian networks for natural [17]TEJAS D.K,KARTHNIK N,ARDAVAN S,et al. language generation in situated dialogue[C]//European Hierarchical deep reinforcement leaming:integrating Workshop on Natural Language Generation.Nancy,France, temporal abstraction and intrinsic motivation[C]//Annual 2011:110-120. Conference on Neural Information Processing Systems. [4]AL-EMRAN M.Hierarchical reinforcement learning:a Barcelona,Spain,2016:3675-3683. survey[J].International journal of computing and digital [18]CARLOS FLORENSA,YAN D,PIETER A.Stochastic systems,2015,4(2):137-143. neural networks for hierarchical reinforcement learning [5]MAHADEVAN S,MARCHALLECK N.Self-improving factory EB/OL].Berkeley,USA,arXiv.2017,https://arxiv simulation using continuous-time average-reward reinforcement org/pdf/1704.03012.pdf. learning[C].In Proceedings of the Machine Learning [19]LAKSHMINARAYANAN A S,KRISHNAMURTHY R. International Workshop.Nashville,USA,1997:202-210. KUMAR P,et al.Option discovery in hierarchical [6]HOWARD R A.Semi-Markov and decision processes[M]. reinforcement learning using spatio-temporal clustering New York:DOVER Publications,2007. [EB/OL].Madras,India,arXiv,2016,https://arxiv. [7]GIL P,NUNES L.Hierarchical reinforcement learning using org/pdf/1605.05359.pdf. path clustering [C]//In Proceedings of 8th Iberian [20]XUE B,GLEN B.DeepLoco:dynamic locomotion skills Conference on Information Systems and Technologies using hierarchical deep reinforcement learning[J].ACM Lisboa,Portugal,2013:1-6. transactions on graphics,2017,36(4):1-13. 8]STULP F,SCHAAL S.Hierarchical reinforcement learning 作者简介： with movement primitives C]//In Proceedings of 11th 周文吉，男，1995年生，硕士研究 IEEE-RAS International Conference on Humanoid Robots. 生，主要研究方向为强化学习和数据 Bled,Slovenia,2011:231-238. 挖掘。 [9]DU X.LI Q.HAN J.Applying hierarchical reinforcement learning to computer games[C]//In Proceedings of IEEE International Conference on Automation and Logistics. Xian,China,2009:929-932. [10]SUTTON R S,PRECUP D,SINGH S.Between MDPs and semi-MDPs:a framework for temporal abstraction in 俞扬，男.1982年生，副教授，博士 reinforcement learning J].Artificial intelligence,1999. 生导师，主要研究方向为人工智能、机 112(1/2):181-211. 器学习、演化计算、数据挖掘。曾获 [11 PARR R,RUSSELL S.Reinforcement learning with 2013年全国优秀博士学位论文奖，2011 hierarchies of machines [C]//Advances in Neural 年中国计算机学会优秀博士学位论文 Information Processing Systems.Colorado,USA,1998: 奖。发表论文40余篇。 1043-1049
用。 然后，在第 ２ 节分 ４ 个方面，阐述了 Ｓｕｔｔｏｎ 等提 出的 ｏｐｔｉｏｎ 方法，Ｐａｒｒ 和 Ｒｕｓｓｅｌｌ 提出的 ＨＡＭｓ 方法 以及 Ｄｉｅｒｒｅｒｉｃｈ 等提出的 ＭａｘＱ 方法，阐述了这些方 法具体的计算方法。 分析了近两年来的研究方向， 介绍了一些端到端的、自动抽象的分层强化学习。 分层强化学习是解决大规模强化学习的潜在途径， 然而其受到的关注不足。 希望本篇综述能够引起 更多人关注分层强化学习。 参考文献： ［ １ ］ ＢＡＲＴＯ Ａ Ｇ， ＭＡＨＡＤＥＶＡＮ Ｓ． Ｒｅｃｅｎｔ ａｄｖａｎｃｅｓ ｉｎ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ［Ｊ］． Ｄｉｓｃｒｅｔｅ ｅｖｅｎｔ ｄｙｎａｍｉｃ ｓｙｓｔｅｍｓ， ２０１３，１３（４）： ３４１－３７９． ［２ ］ ＹＡＮ Ｑ， ＬＩＵ Ｑ， ＨＵ Ｄ． Ａ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｈｅｕｒｉｓｔｉｃ ｒｅｗａｒｄ ｆｕｎｃｔｉｏｎ［Ｃ］ ／ ／ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｄ Ｃｏｍｐｕｔｅｒ Ｃｏｎｔｒｏｌ． Ｓｈｅｎｙａｎｇ， Ｃｈｉｎａ， ２０１０， ３：３７１－３７６． ［３］ ＤＥＴＨＬＥＦＳ Ｎ， ＣＵＡＹÁＨＵＩＴＬ Ｈ． Ｃｏｍｂｉｎｉｎｇ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｎｄ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋｓ ｆｏｒ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｇｅｎｅｒａｔｉｏｎ ｉｎ ｓｉｔｕａｔｅｄ ｄｉａｌｏｇｕｅ［Ｃ］ ／ ／ Ｅｕｒｏｐｅａｎ Ｗｏｒｋｓｈｏｐ ｏｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｇｅｎｅｒａｔｉｏｎ． Ｎａｎｃｙ， Ｆｒａｎｃｅ， ２０１１： １１０－１２０． ［ ４ ］ ＡＬ⁃ＥＭＲＡＮ Ｍ． Ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ： ａ ｓｕｒｖｅｙ［ Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｄｉｇｉｔａｌ ｓｙｓｔｅｍｓ， ２０１５， ４（２）：１３７－１４３． ［５］ ＭＡＨＡＤＥＶＡＮ Ｓ， ＭＡＲＣＨＡＬＬＥＣＫ Ｎ． Ｓｅｌｆ⁃ｉｍｐｒｏｖｉｎｇ ｆａｃｔｏｒｙ ｓｉｍｕｌａｔｉｏｎ ｕｓｉｎｇ ｃｏｎｔｉｎｕｏｕｓ⁃ｔｉｍｅ ａｖｅｒａｇｅ⁃ｒｅｗａｒｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ［ Ｃ ］． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ． Ｎａｓｈｖｉｌｌｅ， ＵＳＡ， １９９７： ２０２－２１０． ［６］ ＨＯＷＡＲＤ Ｒ Ａ． Ｓｅｍｉ⁃Ｍａｒｋｏｖ ａｎｄ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓｅｓ［Ｍ］． Ｎｅｗ Ｙｏｒｋ： ＤＯＶＥＲ Ｐｕｂｌｉｃａｔｉｏｎｓ， ２００７． ［７］ＧＩＬ Ｐ， ＮＵＮＥＳ Ｌ． Ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｕｓｉｎｇ ｐａｔｈ ｃｌｕｓｔｅｒｉｎｇ ［ Ｃ ］ ／ ／ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ８ｔｈ Ｉｂｅｒｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ． Ｌｉｓｂｏａ， Ｐｏｒｔｕｇａｌ， ２０１３： １－６． ［８］ＳＴＵＬＰ Ｆ， ＳＣＨＡＡＬ Ｓ． Ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｍｏｖｅｍｅｎｔ ｐｒｉｍｉｔｉｖｅｓ ［ Ｃ ］ ／ ／ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １１ｔｈ ＩＥＥＥ⁃ＲＡＳ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎｏｉｄ Ｒｏｂｏｔｓ． Ｂｌｅｄ， Ｓｌｏｖｅｎｉａ， ２０１１： ２３１－２３８． ［９］ＤＵ Ｘ， ＬＩ Ｑ， ＨＡＮ Ｊ． Ａｐｐｌｙｉｎｇ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｔｏ ｃｏｍｐｕｔｅｒ ｇａｍｅｓ ［ Ｃ］ ／ ／ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｏｎ ａｎｄ Ｌｏｇｉｓｔｉｃｓ． Ｘｉａｎ， Ｃｈｉｎａ， ２００９： ９２９－９３２． ［１０］ＳＵＴＴＯＮ Ｒ Ｓ， ＰＲＥＣＵＰ Ｄ， ＳＩＮＧＨ Ｓ． Ｂｅｔｗｅｅｎ ＭＤＰｓ ａｎｄ ｓｅｍｉ⁃ＭＤＰｓ： ａ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｔｅｍｐｏｒａｌ ａｂｓｔｒａｃｔｉｏｎ ｉｎ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ［ Ｊ］． Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ， １９９９， １１２（１ ／ ２）： １８１－２１１． ［ １１ ］ ＰＡＲＲ Ｒ， ＲＵＳＳＥＬＬ Ｓ． Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｈｉｅｒａｒｃｈｉｅｓ ｏｆ ｍａｃｈｉｎｅｓ ［ Ｃ ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｃｏｌｏｒａｄｏ， ＵＳＡ， １９９８： １０４３－１０４９． ［１２ ］ ＤＩＥＴＴＥＲＩＣＨ Ｔ Ｇ． Ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｔｈｅ ＭＡＸＱ ｖａｌｕｅ ｆｕｎｃｔｉｏｎ ｄｅｃｏｍｐｏｓｉｔｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｒｅｓｅａｒｃｈ， ２０００， １３： ２２７－３０３． ［ １３ ］ ＭＯＨＳＥＮ Ｇ， ＴＡＧＨＩＺＡＤＥＨ Ｎ， ｅｔ ａｌ． Ａｕｔｏｍａｔｉｃ ａｂｓｔｒａｃｔｉｏｎ ｉｎ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｕｓｉｎｇ ａｎｔ ｓｙｓｔｅｍ ａｌｇｏｒｉｔｈｍ［Ｃ］ ／ ／ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＡＡＩ Ｓｐｒｉｎｇ Ｓｙｍｐｏｓｉｕｍ： Ｌｉｆｅｌｏｎｇ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｓｔａｎｆｏｒｄ， ＵＳＡ， ２０１３： １１４－１２２． ［１４］ ＰＩＥＲＲＥ⁃ＬＵＣ ＢＡＣＯＮ， ＪＥＡＮ ＨＡＲＢ． Ｔｈｅ ｏｐｔｉｏｎ － ｃｒｉｔｉｃ ａｒｃｈｉｔｅｃｔｕｒｅ［Ｃ］ ／ ／ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ３１ｔｈ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ． Ｓａｎ Ｆｒａｎｃｉｓｃｏ， ＵＳＡ， ２０１７： １７２６－１７３４． ［１５］ ＶＥＺＨＮＥＶＥＴＳ Ａ Ｓ， ＯＳＩＮＤＥＲＯ Ｓ， ＳＣＨＡＵＬ Ｔ， ｅｔ ａｌ． ＦｅＵｄａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ［Ｃ］ ／ ／ Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｓｙｄｎｅｙ， Ａｕｓｔｒａｌｉａ， ２０１７： ３５４０－３５４９． ［ １６ ］ ＭＮＩＨ Ｖ， ＫＡＶＵＫＣＵＯＧＬＵ Ｋ， ＳＩＬＶＥＲ Ｄ， ｅｔ ａｌ． Ｈｕｍａｎ⁃ｌｅｖｅｌ ｃｏｎｔｒｏｌ ｔｈｒｏｕｇｈ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ［Ｊ］． Ｎａｔｕｒｅ， ２０１５， ５１８（２）： ５２９－５３３． ［１７］ ＴＥＪＡＳ Ｄ． Ｋ， ＫＡＲＴＨＮＩＫ Ｎ， ＡＲＤＡＶＡＮ Ｓ， ｅｔ ａｌ． Ｈｉｅｒａｒｃｈｉｃａｌ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ： ｉｎｔｅｇｒａｔｉｎｇ ｔｅｍｐｏｒａｌ ａｂｓｔｒａｃｔｉｏｎ ａｎｄ ｉｎｔｒｉｎｓｉｃ ｍｏｔｉｖａｔｉｏｎ［Ｃ］ ／ ／ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｂａｒｃｅｌｏｎａ， Ｓｐａｉｎ， ２０１６： ３６７５－３６８３． ［１８］ ＣＡＲＬＯＳ ＦＬＯＲＥＮＳＡ， ＹＡＮ Ｄ， ＰＩＥＴＥＲ Ａ． Ｓｔｏｃｈａｓｔｉｃ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ［ＥＢ／ ＯＬ］． Ｂｅｒｋｅｌｅｙ， ＵＳＡ， ａｒＸｉｖ． ２０１７， ｈｔｔｐｓ： ／ ／ ａｒｘｉｖ． ｏｒｇ ／ ｐｄｆ ／ １７０４．０３０１２．ｐｄｆ． ［１９］ ＬＡＫＳＨＭＩＮＡＲＡＹＡＮＡＮ Ａ Ｓ， ＫＲＩＳＨＮＡＭＵＲＴＨＹ Ｒ， ＫＵＭＡＲ Ｐ， ｅｔ ａｌ． Ｏｐｔｉｏｎ ｄｉｓｃｏｖｅｒｙ ｉｎ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｕｓｉｎｇ ｓｐａｔｉｏ⁃ｔｅｍｐｏｒａｌ ｃｌｕｓｔｅｒｉｎｇ ［ＥＢ／ ＯＬ］． Ｍａｄｒａｓ， Ｉｎｄｉａ， ａｒＸｉｖ， ２０１６， ｈｔｔｐｓ： ／ ／ ａｒｘｉｖ． ｏｒｇ ／ ｐｄｆ ／ １６０５．０５３５９．ｐｄｆ． ［２０］ＸＵＥ Ｂ ， ＧＬＥＮ Ｂ． ＤｅｅｐＬｏｃｏ： ｄｙｎａｍｉｃ ｌｏｃｏｍｏｔｉｏｎ ｓｋｉｌｌｓ ｕｓｉｎｇ ｈｉｅｒａｒｃｈｉｃａｌ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ［ Ｊ］． ＡＣＭ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｇｒａｐｈｉｃｓ，２０１７， ３６（４）：１－１３． 作者简介： 周文吉，男，１９９５ 年生，硕士研究 生，主要研究方向为强化学习和数据 挖掘。 俞扬，男，１９８２ 年生，副教授，博士 生导师，主要研究方向为人工智能、机 器学 习、 演 化 计 算、 数 据 挖 掘。 曾 获 ２０１３ 年全国优秀博士学位论文奖，２０１１ 年中国计算机学会优秀博士学位论文 奖。 发表论文 ４０ 余篇。 ·５９４· 智 能 系 统 学 报 第 １２ 卷