.736 智能系统学报 第11卷 续表4 深度 网络 相关训练 模型特点及 存在 年份 提出者 模型 结构 算法 解决问题 问题 K.Cho GRU[62] 相比于LSTM,只设 B.Van Merrienboer BPTT;梯度 表达能力 2014 多层 置一个更新关口，运行比 关口循环单元 D.Bahdanau 下降算法 相对弱 LSTM更快，更容易 Y.Bengio V.Mnih 受人类的注意力 Attention【s N.Heess 机制的启发，每次处理 增加了存 2014 注意力机制 A.Graves 注意力部分的数据， 储开销 K.Kavukcuoglu 减少任务复杂度 Goodfellow lan Pougetabadie Jean 由不同网络组成，成 Mirza Mehdi 多层 对出现，协同工作 GANC64] Xu Bing 无向边 一个网络负责生成内容，训练较难：训练 2014 生成对抗网络 Wardefarley David 局部连接 BP;dropout 另一个负责对内容进行 过程不稳定 Ozair Sherjil 共享权值 评价多以前馈网络 Courville Aaron 和卷积网络的结合为主 Bengio Yoshua DCGANI65] 多层 GAN基于CNN的扩 A.Radford 无向边 BP:梯度 展，可以从训练数据 2015 深度卷积 L.Metz 训练过程不稳定 局部连接 下降算法 中学习近似的分布 生成对抗网络 S.Chintala 共享权值 情况 注：‘一'表示尚不明确或不适用。 派生树有助于理解众多神经网络结构之间的关 模型则属于判别模型，而像DBM、GAN等深度学习 系，而对应的表4则对每个深度学习算法的网络结 模型既包括生成模型也包括判别模型。 构、训练算法以及解决问题或存在问题给出了简要 在作者所收集信息的范围内，派生树涵盖了目 总结。两组信息合起来，能够成为该领域学习参考 前主流的20余种模型，然而研究人员实际提出的深 的一个索引。 层网络模型并不仅限于此。而且，也有新的机制在 深度学习的网络结构因网络的层数、权重共享 被引入到已有的深度学习模型中，例如2014年 性以及边的特点不同而有所不同。因此，在表4中 Mnih,Volodymyr等受人类注意力机制的启发，提出 给出了每一种深度学习算法的网络结构特点。其 了Attention模型（也叫注意力机制）。这一新的机 中，绝大多数深度学习算法体现为空间维度上的深 制，通过与RNN或CNN结合，降低了数据处理任务 层结构，且属于前向反馈神经网络：而以循环神经网 复杂度的同时，进一步拓宽了深度学习模型的应用 络(RNN)为代表的SRN、LSTM和GRU等深度学习 领域。作者认为新的模型是对原有基础框架的扩展 算法，通过引入定向循环，具有时间维度上的深层结 或改进，该树仍在不断生长。 构，从而可以处理那些输入之间有前后关联的问题。 2.3深度学习的应用案例 根据对标注数据的依赖程度，深度学习算法中 派生树（图4）揭示了近几年的时间里深度学习 DBN、AE及其派生分支体现为以无监督学习或半监 算法如雨后春笋不断涌现。这些算法在计算机图像 督学习为主；CNN、RNN及其派生分支则以有监督 识别、语音识别、自然语言处理以及信息检索等领域 学习为主。此外，根据学习函数的形式，机器学习算 在不断刷新历史记录。本节根据不同应用领域对相 法又可以分为生成模型和判别模型6。表4列出 关的知名案例进行简述。 的深度学习模型中，DBN及其派生的深度学习模型 1)图像识别 (如CDBN)属于生成模型，AE及其派生的深度学习 图像识别过去依赖人工设置的特征，特别适合续表 ４ 年份 深度 模型 提出者 网络 结构 相关训练 算法 模型特点及 解决问题 存在 问题 ２０１４ ＧＲＵ ［６２］ 关口循环单元 Ｋ．Ｃｈｏ Ｂ．Ｖａｎ Ｍｅｒｒｉｅｎｂｏｅｒ Ｄ．Ｂａｈｄａｎａｕ Ｙ．Ｂｅｎｇｉｏ 多层 ＢＰＴＴ；梯度 下降算法 相比于 ＬＳＴＭ，只设 置一个更新关口，运行比 ＬＳＴＭ 更快，更容易 表达能力 相对弱 ２０１４ Ａｔｔｅｎｔｉｏｎ ［６３］ 注意力机制 Ｖ．Ｍｎｉｈ Ｎ．Ｈｅｅｓｓ Ａ．Ｇｒａｖｅｓ Ｋ．Ｋａｖｕｋｃｕｏｇｌｕ — — 受人类的注意力 机制的启发，每次处理 注意力部分的数据， 减少任务复杂度 增加了存 储开销 ２０１４ ＧＡＮ ［６４］ 生成对抗网络 Ｇｏｏｄｆｅｌｌｏｗ Ｉａｎ Ｐｏｕｇｅｔａｂａｄｉｅ Ｊｅａｎ Ｍｉｒｚａ Ｍｅｈｄｉ Ｘｕ Ｂｉｎｇ Ｗａｒｄｅｆａｒｌｅｙ Ｄａｖｉｄ Ｏｚａｉｒ Ｓｈｅｒｊｉｌ Ｃｏｕｒｖｉｌｌｅ Ａａｒｏｎ Ｂｅｎｇｉｏ Ｙｏｓｈｕａ 多层 无向边 局部连接 共享权值 ＢＰ；ｄｒｏｐｏｕｔ 由不同网络组成，成 对出现，协同工作 一个网络负责生成内容， 另一个负责对内容进行 评价多以前馈网络 和卷积网络的结合为主 训练较难；训练 过程不稳定 ２０１５ ＤＣＧＡＮ ［６５］ 深度卷积 生成对抗网络 Ａ．Ｒａｄｆｏｒｄ Ｌ．Ｍｅｔｚ Ｓ．Ｃｈｉｎｔａｌａ 多层 无向边 局部连接 共享权值 ＢＰ；梯度 下降算法 ＧＡＮ 基于 ＣＮＮ 的扩 展，可以从训练数据 中学习近似的分布 情况 训练过程不稳定 注：‘—’表示尚不明确或不适用。 派生树有助于理解众多神经网络结构之间的关 系，而对应的表 ４ 则对每个深度学习算法的网络结 构、训练算法以及解决问题或存在问题给出了简要 总结。 两组信息合起来，能够成为该领域学习参考 的一个索引。 深度学习的网络结构因网络的层数、权重共享 性以及边的特点不同而有所不同。 因此，在表 ４ 中 给出了每一种深度学习算法的网络结构特点。 其 中，绝大多数深度学习算法体现为空间维度上的深 层结构，且属于前向反馈神经网络；而以循环神经网 络（ＲＮＮ）为代表的 ＳＲＮ、ＬＳＴＭ 和 ＧＲＵ 等深度学习 算法，通过引入定向循环，具有时间维度上的深层结 构，从而可以处理那些输入之间有前后关联的问题。 根据对 标 注 数 据 的 依 赖 程 度， 深 度 学 习 算 法 中 ＤＢＮ、ＡＥ 及其派生分支体现为以无监督学习或半监 督学习为主；ＣＮＮ、ＲＮＮ 及其派生分支则以有监督 学习为主。 此外，根据学习函数的形式，机器学习算 法又可以分为生成模型和判别模型［６６］ 。 表 ４ 列出 的深度学习模型中，ＤＢＮ 及其派生的深度学习模型 （如 ＣＤＢＮ）属于生成模型，ＡＥ 及其派生的深度学习 模型则属于判别模型，而像 ＤＢＭ、ＧＡＮ 等深度学习 模型既包括生成模型也包括判别模型。 在作者所收集信息的范围内，派生树涵盖了目 前主流的 ２０ 余种模型，然而研究人员实际提出的深 层网络模型并不仅限于此。 而且，也有新的机制在 被引入到已有的深度学习模型中， 例如 ２０１４ 年 Ｍｎｉｈ， Ｖｏｌｏｄｙｍｙｒ 等受人类注意力机制的启发，提出 了 Ａｔｔｅｎｔｉｏｎ 模型（也叫注意力机制）。 这一新的机 制，通过与 ＲＮＮ 或 ＣＮＮ 结合，降低了数据处理任务 复杂度的同时，进一步拓宽了深度学习模型的应用 领域。 作者认为新的模型是对原有基础框架的扩展 或改进，该树仍在不断生长。 ２．３ 深度学习的应用案例 派生树（图 ４）揭示了近几年的时间里深度学习 算法如雨后春笋不断涌现。 这些算法在计算机图像 识别、语音识别、自然语言处理以及信息检索等领域 在不断刷新历史记录。 本节根据不同应用领域对相 关的知名案例进行简述。 １）图像识别 图像识别过去依赖人工设置的特征，特别适合 ·７３６· 智 能 系 统 学 报 第 １１ 卷