.732 智能系统学报 第11卷 习无法很好地处理自然数据（无标签数据），同时不 Boltzmann machine,DBM)。DBN是由GE Hinton于 易应用于深层的网络3]。然而解决这些问题，促成 20O6年提出的一种串联堆叠RBM形成的深层模 了机器学习新的分支—深度学习的研究。 型[4。该模型在训练阶段将一层RBM的输出作为 2.2多层结构和深度学习 另一层RBM的输入，由此逐步训练隐藏层的高阶数 深度学习也叫无监督特征学习(unsupervised 据相关性，最后采用BP对权值进行微调。而DBM feature learning),即可以无需人为设计特征提取，特 是一种特殊的BM。不同的是，除了有一个可视层 征从数据中学习而来。深度学习实质上是多层表示 之外，它具有多个隐藏层，并且只有相邻隐藏层的单 学习(representation learning)方法的非线性组合。 元之间才可以有连接。它们之间的对比如图3]。 表示学习是指从数据中学习表示（或特征），以便在 分类和预测时提取数据中有用信息[6]。深度学习 从原始数据开始将每层表示（或特征）逐层转换为 更高层更抽象的表示，从而发现高维数据中错综复 杂的结构]。 深度学习的发展不仅源于机器学习的丰厚积 累，同时也受到统计力学的启发。1985年D.H Ackley等基于玻尔兹曼分布，提出了一种具有无监 (a)深度置信网络(b)深度玻尔滋曼机 督学习能力的神经网络玻尔兹曼机(Boltzmann ma- 图3深度置信网络和深度玻尔兹曼机 chine,BM)[)。该模型是一种对称耦合的随机反馈 Fig.3 A DBN and a DBM 型二值单元神经网络，由可视单元和多个隐藏单元 对于一个RBM,如果把隐藏层的层数增加，可以 组成，用可视单元和隐单元表示随机网络与随机环 得到一个DBM:如果在靠近可视层的部分使用贝叶 境的学习模型，用权值表示单元之间的相关性。通 斯信念网络（即有向图模型），而在最远离可视层的部 过该模型能够描述变量之间的相互高阶作用，但其 分使用RBM,则可以得到一个DBN。由于RBM的训 算法复杂，不易应用3]。次年P.Smolensky基于他 练中采用对比散度CD算法[]可以快速得到训练，使 本人所提出的调和论给出了一种受限的玻尔兹曼机 得深度置信网络的训练速度也大幅度提升。 模型(RBM)。该模型将BM限定为两层网络，一个 在深度学习发展的10年中，基于上述两种网络 可视单元层和一个隐藏单元层。并且进一步限定层 结构的深度学习算法不时涌现，使其成为一门广袤 内神经元之间相互独立，无连接，层间的神经元才可 的学科。根据文献[43-45]，本文对现有深度学习 以相互连接。如图2所示[3。 算法之间的派生关系进行梳理，形成如图4所示的 树形结构 该图通过节点和有向边展示了不同深层结构之 间的派生关系。派生关系表示深度网络是在网络结 构或训练算法上的微调或改进。有些深度学习算法 是在原有某个深度学习算法的基础上对其网络结构 进行了调整而形成，例如堆叠自动编码器就是受DBN 启发，将其中的RBM替换为AE而形成，如图4中 (a)一般玻尔兹曼机(b)受限的玻尔兹曼机 2007年Yoshua等提出的SAE。而有些深度学习算法 图2一般玻尔兹曼机和受限的玻尔兹曼机 则是结合了多种已有深度学习算法派生而来，例如堆 Fig.2 A general BM and a RBM 叠卷积自动编码器就是在卷积网络中采用了自动编 RBM通过两层马尔可夫随机场，从训练样本得 码器AE而形成，如图4中2011年Masci提出的 到的隐藏层中神经元状态，并估计独立于数据的期 SCAE。采用有向边将文中所涉及的深度学习算法相 望值。该模型由于大幅度提高了BM的学习效 连接，可以形成一棵深度网络派生树。在深度学习的 率[0]，被众多研究人员所借鉴，从而开启了深度学 整个发展过程中DBN,DBM、AE和CNN构成了早期 习的研究热潮。 的基础模型。后续的众多研究则是在此基础上提出 其中最为典型的深度结构包括深度置信网络 或改进的新的学习模型。关于更多派生模型的详细 (deep belief network,DBN)和深度玻尔兹曼机(deep 信息如表4所示。习无法很好地处理自然数据（无标签数据），同时不 易应用于深层的网络［３５］ 。 然而解决这些问题，促成 了机器学习新的分支———深度学习的研究。 ２．２ 多层结构和深度学习 深度学习也叫无监督特征学习（ ｕｎｓｕｐｅｒｖｉｓｅｄ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ），即可以无需人为设计特征提取，特 征从数据中学习而来。 深度学习实质上是多层表示 学习（ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ） 方法的非线性组合。 表示学习是指从数据中学习表示（或特征），以便在 分类和预测时提取数据中有用信息［３６］ 。 深度学习 从原始数据开始将每层表示（或特征）逐层转换为 更高层更抽象的表示，从而发现高维数据中错综复 杂的结构［３５］ 。 深度学习的发展不仅源于机器学习的丰厚积 累，同时也受到统计力学的启发。 １９８５ 年 Ｄ． Ｈ． Ａｃｋｌｅｙ 等基于玻尔兹曼分布，提出了一种具有无监 督学习能力的神经网络玻尔兹曼机（Ｂｏｌｔｚｍａｎｎ ｍａ⁃ ｃｈｉｎｅ，ＢＭ） ［３７］ 。 该模型是一种对称耦合的随机反馈 型二值单元神经网络，由可视单元和多个隐藏单元 组成，用可视单元和隐单元表示随机网络与随机环 境的学习模型，用权值表示单元之间的相关性。 通 过该模型能够描述变量之间的相互高阶作用，但其 算法复杂，不易应用［３８］ 。 次年 Ｐ． Ｓｍｏｌｅｎｓｋｙ 基于他 本人所提出的调和论给出了一种受限的玻尔兹曼机 模型（ＲＢＭ）。 该模型将 ＢＭ 限定为两层网络，一个 可视单元层和一个隐藏单元层。 并且进一步限定层 内神经元之间相互独立，无连接，层间的神经元才可 以相互连接。 如图 ２ 所示［３９］ 。 （ａ） 一般玻尔兹曼机 （ｂ）受限的玻尔兹曼机 图 ２ 一般玻尔兹曼机和受限的玻尔兹曼机 Ｆｉｇ．２ Ａ ｇｅｎｅｒａｌ ＢＭ ａｎｄ ａ ＲＢＭ ＲＢＭ 通过两层马尔可夫随机场，从训练样本得 到的隐藏层中神经元状态，并估计独立于数据的期 望值。 该模型由于大幅度提高了 ＢＭ 的学习效 率［４０］ ，被众多研究人员所借鉴，从而开启了深度学 习的研究热潮。 其中最为典型的深度结构包括深度置信网络 （ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ，ＤＢＮ）和深度玻尔兹曼机（ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＤＢＭ）。 ＤＢＮ 是由 ＧＥ Ｈｉｎｔｏｎ 于 ２００６ 年提出的一种串联堆叠 ＲＢＭ 形成的深层模 型［４１］ 。 该模型在训练阶段将一层 ＲＢＭ 的输出作为 另一层 ＲＢＭ 的输入，由此逐步训练隐藏层的高阶数 据相关性，最后采用 ＢＰ 对权值进行微调。 而 ＤＢＭ 是一种特殊的 ＢＭ。 不同的是，除了有一个可视层 之外，它具有多个隐藏层，并且只有相邻隐藏层的单 元之间才可以有连接。 它们之间的对比如图 ３ ［３９］ 。 （ａ） 深度置信网络 （ｂ）深度玻尔兹曼机 图 ３ 深度置信网络和深度玻尔兹曼机 Ｆｉｇ．３ Ａ ＤＢＮ ａｎｄ ａ ＤＢＭ 对于一个 ＲＢＭ，如果把隐藏层的层数增加，可以 得到一个 ＤＢＭ；如果在靠近可视层的部分使用贝叶 斯信念网络（即有向图模型），而在最远离可视层的部 分使用 ＲＢＭ，则可以得到一个 ＤＢＮ。 由于 ＲＢＭ 的训 练中采用对比散度 ＣＤ 算法［４２］可以快速得到训练，使 得深度置信网络的训练速度也大幅度提升。 在深度学习发展的 １０ 年中，基于上述两种网络 结构的深度学习算法不时涌现，使其成为一门广袤 的学科。 根据文献［４３－４５］，本文对现有深度学习 算法之间的派生关系进行梳理，形成如图 ４ 所示的 树形结构。 该图通过节点和有向边展示了不同深层结构之 间的派生关系。 派生关系表示深度网络是在网络结 构或训练算法上的微调或改进。 有些深度学习算法 是在原有某个深度学习算法的基础上对其网络结构 进行了调整而形成，例如堆叠自动编码器就是受 ＤＢＮ 启发，将其中的 ＲＢＭ 替换为 ＡＥ 而形成，如图 ４ 中 ２００７ 年 Ｙｏｓｈｕａ 等提出的 ＳＡＥ。 而有些深度学习算法 则是结合了多种已有深度学习算法派生而来，例如堆 叠卷积自动编码器就是在卷积网络中采用了自动编 码器 ＡＥ 而形成，如图 ４ 中 ２０１１ 年 Ｍａｓｃｉ 提出的 ＳＣＡＥ。 采用有向边将文中所涉及的深度学习算法相 连接，可以形成一棵深度网络派生树。 在深度学习的 整个发展过程中 ＤＢＮ、ＤＢＭ、ＡＥ 和 ＣＮＮ 构成了早期 的基础模型。 后续的众多研究则是在此基础上提出 或改进的新的学习模型。 关于更多派生模型的详细 信息如表 ４ 所示。 ·７３２· 智 能 系 统 学 报 第 １１ 卷