徐聪等：文本生成领域的深度强化学习研究进展 401 化的本体或者数据库，他们提供了系统交谈所需 意力机制的出现，才真正使得神经机器翻译在翻 要的领域知识；而开放领域对话不是以提供信息 译质量上开始超越统计机器翻译，逐步统治机器 为目的，一般是以与用户交流的情感体验为目标o 翻译领域.基于深度学习的神经机器翻译仅用不 任务导向的对话系统通常使用的数据集有剑桥地 到三年时间，已经成为各类自然语言处理国际会 区餐厅信息对话数据集山、旧金山餐厅信息对话 议中主要的机器翻译研究方法，同时也成为谷歌2四、 数据集2，、对话系统技术挑战(Dialog system 百度)、微软等商用机器翻译系统的核心方法.机 technology challenge,DSTC))、斯坦福多轮多领域 器翻译文献中一般使用的平行语料是世界机器翻 对话数据集；开放领域数据集一般是电影对白 译大会(The conference on machine translation,WMT) (Opensubtitles)、推特(Twitter)、微博等社交聊天 数据集P,其中包含英法、英德、英俄等对照翻译 记录、乌班图(Ubuntu)对话集（表I) 语句 机器翻译是计算机发展之初就企图解决的问 图像生成描述任务是用一个或者多个句子描 题之一，目的是实现机器自动将一种语言转化为 述图片内容，涉及机器学习、计算机视觉和自然语 另一种语言.早期方法是语言学家手动编写翻译 言处理等领域，需要让模型能理解图片内容和图 规则实现机器翻译，但是人工设计规则的代价非 像的语义信息，并且能生成人类可读的正确描述 常大，对语言学家的翻译功底要求非常高，并且规 此类任务也可以看作和上述机器翻译类似的过 则很难覆盖所有的语言现象.之后国际商业机器 程，即翻译一张图片成为一段描述性文字2阿所以 公司(IBM)在上世纪九十年代提出了统计机器翻 可以借鉴机器翻译任务的很多方法和基础框架， 译的方法，这种方法只需要人工设计基于词、短 通常也是采用编码-解码器模型，编码器编码一张 语和句子的各种特征，提供足够多的双语语料，就 图片而解码器解码生成一段文字.生成图像描述 能相对快速地构建一套统计机器翻译系统 任务有很广泛的应用前景，例如基于文字的图像 (Statistical machine translation,.SMT),大大减少了 检索，为盲人用户提供帮助2，人类与机器人交互 翻译系统设计研发的难度，翻译性能也超越了基 等场景.论文中常用数据集为Flickr8kP7,lick30k2, 于规则的方法)于是机器翻译也从语言学家主 MSCOCO29等. 导转向计算机科学家主导，在学术界和产业界中 上述文本生成任务中存在大量难以建模表征 基于统计的方法也逐渐取代了基于规则的方法， 的决策问题，而使用监督学习还不足以解决这样 随着深度学习不断在图像和语音领域的各类任务 复杂情景的决策任务.于是具有强大表征和决策 中达到最先进水平，机器翻译的研究者也开始使 能力的深度强化学习可以很好应用于此类自然语 用深度学习技术82014年谷歌的Sutskever等提 言处理任务之中，近年来关于这方面的研究也涌 出了序列到序列(Sequence to sequence,.Seq2Seq)方 现出很多优秀的方法和思想，下面首先介绍深度 法叨，同年，蒙特利尔大学的Cho等提出了类似的 强化学习的分类和主要算法，然后结合文本生成 编码-解码(Encoder--decoder)框架2，之后几乎所有 任务，详细分析各种算法的创新点和优势，以及如 的神经机器翻译(Neural machine translation,NMT) 何利用深度强化学习提高各类文本生成任务的 都是基于他们的模型进行改进实现的直到注 效果 表1对话数据集内容概览 Table 1 Summary of dialogue datasets Dataset Numbers of dialogue Numbers of slots Scene Multi-turn Cambridge restaurants database 720 6 1 Yes San Francisco restaurants database 3577 12 1 Yes Dialog system technology challenge 2 3000 8 1 Yes Dialog system technology challenge 3 2265 9 Yes Stanford multi-turn multi-domain task-oriented dialogue dataset 3031 79.65.140 3 s The Twitter dialogue corpus 1300000 一 一 Yes The Ubuntu dialogue corpus 932429 No Opensubtitle corpus 70000000 No化的本体或者数据库，他们提供了系统交谈所需 要的领域知识；而开放领域对话不是以提供信息 为目的，一般是以与用户交流的情感体验为目标[10] . 任务导向的对话系统通常使用的数据集有剑桥地 区餐厅信息对话数据集[11]、旧金山餐厅信息对话 数 据 集 [12]、 对 话 系 统 技 术 挑 战 （ Dialog  system technology challenge, DSTC） [13]、斯坦福多轮多领域 对话数据集[14] ；开放领域数据集一般是电影对白 （Opensubtitles）、推特（Twitter）、微博等社交聊天 记录、乌班图（Ubuntu）对话集[15] （表 1）. 机器翻译是计算机发展之初就企图解决的问 题之一，目的是实现机器自动将一种语言转化为 另一种语言. 早期方法是语言学家手动编写翻译 规则实现机器翻译，但是人工设计规则的代价非 常大，对语言学家的翻译功底要求非常高，并且规 则很难覆盖所有的语言现象. 之后国际商业机器 公司（IBM）在上世纪九十年代提出了统计机器翻 译的方法[16] ，这种方法只需要人工设计基于词、短 语和句子的各种特征，提供足够多的双语语料，就 能 相 对 快 速 地 构 建 一 套 统 计 机 器 翻 译 系 统 （Statistical machine translation, SMT），大大减少了 翻译系统设计研发的难度，翻译性能也超越了基 于规则的方法[17] . 于是机器翻译也从语言学家主 导转向计算机科学家主导，在学术界和产业界中 基于统计的方法也逐渐取代了基于规则的方法. 随着深度学习不断在图像和语音领域的各类任务 中达到最先进水平，机器翻译的研究者也开始使 用深度学习技术[18] . 2014 年谷歌的 Sutskever 等提 出了序列到序列（Sequence to sequence, Seq2Seq）方 法[19] ，同年，蒙特利尔大学的 Cho 等提出了类似的 编码‒解码（Encoder-decoder）框架[20] ，之后几乎所有 的神经机器翻译（Neural machine translation, NMT） 都是基于他们的模型进行改进实现的[21] . 直到注 意力机制的出现，才真正使得神经机器翻译在翻 译质量上开始超越统计机器翻译，逐步统治机器 翻译领域. 基于深度学习的神经机器翻译仅用不 到三年时间，已经成为各类自然语言处理国际会 议中主要的机器翻译研究方法，同时也成为谷歌[22]、 百度[23]、微软等商用机器翻译系统的核心方法. 机 器翻译文献中一般使用的平行语料是世界机器翻 译大会（The conference on machine translation, WMT） 数据集[24] ，其中包含英法、英德、英俄等对照翻译 语句. 图像生成描述任务是用一个或者多个句子描 述图片内容，涉及机器学习、计算机视觉和自然语 言处理等领域，需要让模型能理解图片内容和图 像的语义信息，并且能生成人类可读的正确描述. 此类任务也可以看作和上述机器翻译类似的过 程，即翻译一张图片成为一段描述性文字[25] . 所以 可以借鉴机器翻译任务的很多方法和基础框架， 通常也是采用编码‒解码器模型，编码器编码一张 图片而解码器解码生成一段文字. 生成图像描述 任务有很广泛的应用前景，例如基于文字的图像 检索，为盲人用户提供帮助[26] ，人类与机器人交互 等场景. 论文中常用数据集为 Flickr8k[27] ，lick30k[28] ， MSCOCO[29] 等. 上述文本生成任务中存在大量难以建模表征 的决策问题，而使用监督学习还不足以解决这样 复杂情景的决策任务. 于是具有强大表征和决策 能力的深度强化学习可以很好应用于此类自然语 言处理任务之中，近年来关于这方面的研究也涌 现出很多优秀的方法和思想，下面首先介绍深度 强化学习的分类和主要算法，然后结合文本生成 任务，详细分析各种算法的创新点和优势，以及如 何利用深度强化学习提高各类文本生成任务的 效果. 表 1 对话数据集内容概览 Table 1 Summary of dialogue datasets Dataset Numbers of dialogue Numbers of slots Scene Multi-turn Cambridge restaurants database 720 6 1 Yes San Francisco restaurants database 3577 12 1 Yes Dialog system technology challenge 2 3000 8 1 Yes Dialog system technology challenge 3 2265 9 1 Yes Stanford multi-turn multi-domain task-oriented dialogue dataset 3031 79，65，140 3 Yes The Twitter dialogue corpus 1300000 — — Yes The Ubuntu dialogue corpus 932429 — — No Opensubtitle corpus 70000000 — — No 徐    聪等： 文本生成领域的深度强化学习研究进展 · 401 ·