第5期 刘帅师，等：深度学习方法研究新进展 ·573· 表2玻尔兹曼机及其演化模型 Table 2 Boltzmann machine and its evolution model 序号 模型名称 模型描述 作者，文献，年份 随机神经元组成的二值随机机器，一种 玻尔兹曼机(BM) Hinton G E,[71],1986 随机递归神经网络 2 受限制玻尔兹曼机(RBM) 与BM结果相同，只是没有层间的连接 Smolensky P,[72],1986 三层两部无向图模型，由可视层、 卷积受限制玻尔兹曼机(CRBM) LeeH.[15],2009 检测层、池层组成 在RBM的对数似然目标函数上， 稀疏受限制玻尔兹曼机(SRBM) LeeH.[16].2008 增加了一个稀疏惩罚项 5 稀疏租受限制玻尔兹曼机(SGRBM) 将组稀疏方法应用到RBM 罗恒，[17]，2011 利用包含二值随机变量的隐单元来 6 分类受限制玻尔兹曼机(CRBM) Larochelle H,[18],2008 拟合输人特征与类标签的联合分布 表3自动编码器及其演化模型 Table 3 Automatic encoder and its evolution model 序号 模型名称 模型描述 作者，文献，年份 多层神经网络，从输入层到隐藏层为编码 1 自动编码器(AE) 器，从隐藏层到输出层为解码器 Rumelhart D E,[73],1986 去噪自动编码器(DAE) 在AE的输入层引人随机噪声 Vincent P,[25],2008 3 稀疏自动编码器(SAE) AE加入稀疏性限制 Bengio Y,[26],2007 4 收缩自动编码器(CAE) 对AE的升维和降维过程加以限制 Rifai S,[27],2011 5 卷积自动编码器(CAE) AE每个隐含层的节点都是用来做卷积 Masci J,[28],2011 3)应用领域。深度学习在语音处理、计算机视 上的无监督学习。因此，如何做到完全意义上的无 觉的应用已十分广泛，许多技术已用于商用。但是， 监督学习是未来研究的重点。 在自然语言处理的应用尚不成熟口。一些研究者 3)减少训练时间。当待解决的问题过于复杂， 尝试用递归神经网络去解决这一问题。文献[74- 使深度学习模型参数增加时，会导致模型的训练时 78]对递归神经网络在文本生成和机器翻译的应用 间逐渐上升，是否可以在不改变硬件性能的条件下， 做出了详细的描述。目前，递归神经网络的变种模 对算法进行改进，在保证精度的同时，提高训练速 型长短时记忆模型(long short-term memory,LSTM) 度。所以，减少训练时间，仍是深度学习需要努力的 被证明比传统的递归神经网络更加有效[]。 研究方向。 3.2面临的挑战 4)实现在线学习。目前，深度学习的算法大多 1)模型结构创新。自Hinton提出深度学习的 采用无监督预训练与有监督微调配合的方式进行。 思想以来，已经涌现出大量的深度学习模型，然而大 然而，一旦在线环境下引入全局微调，会使结果陷入 部分的模型的构建依旧停留在以简单模型（如AE, 局部最小值。因此，这种训练算法不利于在线学习。 RBM等)叠加而成的深度网络，或是几种深度学习 是否可以改进算法进而将深度学习应用于在线环 模型简单相叠加，来构建深度学习模型。这种形式 境，这是未来要思考的问题。 的模型往往不能发挥深度学习的优势，是否存在其 5)克服对抗样本。通过稍微修改实际样本，而 他有效的深度学习模型，是否可以让深度学习与其 构造出的合成样本，会使一个分类器以高置信度认 他方法进行融合，这是今后要研究的问题。 为它们属于错误的分类，这就是深度学习对抗样本 2)训练方式的改进。深度学习已经在各个领 问题02]。研究如何克服它们可以帮助我们避免 域取得了突破性的成果，大部分深度学习模型均采 潜在的安全问题。然而，目前为止并没有好的方法 用无监督学习方式。但是，离完全的无监督学习还 出现。一些研究人员尝试使用常见的正则化方法 有一定的距离。目前的深度学习模型在无监督预训 (包括均化多重模型、均化图像多采样观测等)去解 练后，仍然需要有监督的微调，并没有做到完全意义 决这一问题，但是并没有取得良好的进展。因此，深表 ２ 玻尔兹曼机及其演化模型 Ｔａｂｌｅ ２ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ ａｎｄ ｉｔｓ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ 序号 模型名称 模型描述 作者，文献，年份 １ 玻尔兹曼机（ＢＭ） 随机神经元组成的二值随机机器，一种 随机递归神经网络 Ｈｉｎｔｏｎ Ｇ Ｅ，［７１］，１９８６ ２ 受限制玻尔兹曼机（ＲＢＭ） 与 ＢＭ 结果相同，只是没有层间的连接 Ｓｍｏｌｅｎｓｋｙ Ｐ ，［７２］，１９８６ ３ 卷积受限制玻尔兹曼机（ＣＲＢＭ） 三层两部无向图模型，由可视层、 检测层、池层组成 Ｌｅｅ Ｈ，［１５］，２００９ ４ 稀疏受限制玻尔兹曼机（ＳＲＢＭ） 在 ＲＢＭ 的对数似然目标函数上， 增加了一个稀疏惩罚项 Ｌｅｅ Ｈ，［１６］，２００８ ５ 稀疏租受限制玻尔兹曼机（ＳＧＲＢＭ） 将组稀疏方法应用到 ＲＢＭ 罗恒，［１７］，２０１１ ６ 分类受限制玻尔兹曼机（ＣＲＢＭ） 利用包含二值随机变量的隐单元来 拟合输入特征与类标签的联合分布 Ｌａｒｏｃｈｅｌｌｅ Ｈ，［１８］，２００８ 表 ３ 自动编码器及其演化模型 Ｔａｂｌｅ ３ Ａｕｔｏｍａｔｉｃ ｅｎｃｏｄｅｒ ａｎｄ ｉｔｓ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ 序号 模型名称 模型描述 作者，文献，年份 １ 自动编码器（ＡＥ） 多层神经网络，从输入层到隐藏层为编码 器，从隐藏层到输出层为解码器 Ｒｕｍｅｌｈａｒｔ Ｄ Ｅ，［７３］，１９８６ ２ 去噪自动编码器（ＤＡＥ） 在 ＡＥ 的输入层引入随机噪声 Ｖｉｎｃｅｎｔ Ｐ，［２５］，２００８ ３ 稀疏自动编码器（ＳＡＥ） ＡＥ 加入稀疏性限制 Ｂｅｎｇｉｏ Ｙ，［２６］，２００７ ４ 收缩自动编码器（ＣＡＥ） 对 ＡＥ 的升维和降维过程加以限制 Ｒｉｆａｉ Ｓ，［２７］，２０１１ ５ 卷积自动编码器（ＣＡＥ） ＡＥ 每个隐含层的节点都是用来做卷积 Ｍａｓｃｉ Ｊ，［２８］，２０１１ ３）应用领域。 深度学习在语音处理、计算机视 觉的应用已十分广泛，许多技术已用于商用。 但是， 在自然语言处理的应用尚不成熟［１］ 。 一些研究者 尝试用递归神经网络去解决这一问题。 文献［７４⁃ ７８］对递归神经网络在文本生成和机器翻译的应用 做出了详细的描述。 目前，递归神经网络的变种模 型长短时记忆模型 （ ｌｏｎｇ ｓｈｏｒｔ⁃ｔｅｒｍ ｍｅｍｏｒｙ，ＬＳＴＭ） 被证明比传统的递归神经网络更加有效［７９］ 。 ３．２ 面临的挑战 １）模型结构创新。 自 Ｈｉｎｔｏｎ 提出深度学习的 思想以来，已经涌现出大量的深度学习模型，然而大 部分的模型的构建依旧停留在以简单模型（如 ＡＥ， ＲＢＭ 等）叠加而成的深度网络，或是几种深度学习 模型简单相叠加，来构建深度学习模型。 这种形式 的模型往往不能发挥深度学习的优势，是否存在其 他有效的深度学习模型，是否可以让深度学习与其 他方法进行融合，这是今后要研究的问题。 ２）训练方式的改进。 深度学习已经在各个领 域取得了突破性的成果，大部分深度学习模型均采 用无监督学习方式。 但是，离完全的无监督学习还 有一定的距离。 目前的深度学习模型在无监督预训 练后，仍然需要有监督的微调，并没有做到完全意义 上的无监督学习。 因此，如何做到完全意义上的无 监督学习是未来研究的重点。 ３）减少训练时间。 当待解决的问题过于复杂， 使深度学习模型参数增加时，会导致模型的训练时 间逐渐上升，是否可以在不改变硬件性能的条件下， 对算法进行改进，在保证精度的同时，提高训练速 度。 所以，减少训练时间，仍是深度学习需要努力的 研究方向。 ４）实现在线学习。 目前，深度学习的算法大多 采用无监督预训练与有监督微调配合的方式进行。 然而，一旦在线环境下引入全局微调，会使结果陷入 局部最小值。 因此，这种训练算法不利于在线学习。 是否可以改进算法进而将深度学习应用于在线环 境，这是未来要思考的问题。 ５）克服对抗样本。 通过稍微修改实际样本，而 构造出的合成样本，会使一个分类器以高置信度认 为它们属于错误的分类，这就是深度学习对抗样本 问题［８０⁃８２］ 。 研究如何克服它们可以帮助我们避免 潜在的安全问题。 然而，目前为止并没有好的方法 出现。 一些研究人员尝试使用常见的正则化方法 （包括均化多重模型、均化图像多采样观测等）去解 决这一问题，但是并没有取得良好的进展。 因此，深 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５７３·