·568 智能系统学报 第11卷 型结构，以深度学习的核心模型结构而展开。文献 使用。 [7]从深度学习结构进行展开，本文大量增加了近3 首先，为了降低网络的复杂性，卷积神经网络采 年新的研究成果，因此能够更准确地反映该领域的 用权重共享方式，即同一个特征图，卷积核是一样 最新研究进展。 的11：其次，对得到的特征输入给一个非线性函数， 本文依据模型结构，着重介绍4种典型的深度 比如RLU等；最后，再采取下采样方法，比如最大 学习模型，即卷积神经网络、深度信念网络、深度玻 池化等。下采样的作用是把语义上相似的特征合并 尔兹曼机、堆叠自动编码器。下面对这些模型进行 起来，这是因为形成一个主题的特征的相对位置不 描述。 太一样。 1.1.3训练方式 1深度学习典型模型 卷积神经网络的训练采用有监督训练方式。首 1.1卷积神经网络 先是向前传播，即输入X经过卷积神经网路后变为 1.1.1历史 输出0，再将0与标签进行比较，然后以向后传播的 卷积神经网络(convolutional neural networks,. 方式，到将所得误差传播到每个节点，根据权值更新 CNN)最早在20世纪80年代就已被提出，是由于在 公式，更新相应的卷积核权值4.6。 研究猫脑皮层时受到的启发。它的典型模型LeNet- 此外，以卷积神经网络为核心的深度学习网络 5[8]系统，在MNIST上得到了0.9%的错误率，并在 还有3-D卷积神经网络(3-D convolutional neural 20世纪90年代就已用于银行的手写支票识别)。 networks,3D-CNN)[,光谱网络(spectral net-- 但是，由于在大尺寸图像上没有好的效果，一度被人 works,SN)Ia),金字塔卷积神经网络(pyramid conv- 忽视。随着高效的GPU计算的兴起，直到2012年 olutional neural networks,PCNN)[],多级金字塔卷 Hinton在ImageNet问题的成功，才使它在近几年流 积神经网络(multi level pyamid convolutional neural 行起来[)。如今卷积神经网络已经成为众多科学 networks,MLPCNN)[4等。 领域的研究热点之一，特别是在图像识别领域。由 12受限制玻尔兹曼机为核心的深度网络 于该网络避免了对图像的复杂前期预处理，可以直 受限制玻尔兹曼机为核心的深度网络有2种： 接输入原始图像，因而得到了广泛的应用。 深度信念网和深度玻尔兹曼机。现简要分析二者的 1.1.2结构 区别 卷积神经网络是前馈神经网络的一种。卷积神 1.2.1受限制玻尔兹曼机 经网络的模型如图1所示，它是一个多层的神经网 受限制玻尔兹曼机(restricted Boltzmann ma- 络，每层由多个二维平面组成，而每个平面由多个独 chine,RBM)是一类无向图模型[a],由可视层和隐含 立神经元组成。传统的神经网络层与层之间神经元 层组成，与玻尔兹曼机(Boltzmann machine,BM)不 采取全连接方式，而卷积神经网络采用稀疏连接方 同，层内无连接，层间有连接。这种结构更易于计算 式，即每个特征图上的神经元只连接上一层的一个 隐含层单元与可视层单元的条件分布)。受限制 小区域的神经元连接。 玻尔兹曼机的训练方式通常采用对比散度方(cot- C,特征 ,特征层 rastive divergence,.CD)。常见的玻尔兹曼机的演变 C,特征层 输入层 特征层 特征层 特征层输出层 模型如图2所示。 输 BM 卷莲类 卷积 下采样L卷积下采样1接1器 RBM 图1卷积神经网络模型 CRBM SRBM SGRBM CRBM Fig.1 Convolutional neural network model 卷积神经网络的低隐含层是由卷积层和最大池 图2玻尔兹曼机演变模型 采样层交替组成，高层通常是全连接层作为分类器 Fig.2 The evolution model of boltzmann machine型结构，以深度学习的核心模型结构而展开。 文献 ［７］从深度学习结构进行展开，本文大量增加了近 ３ 年新的研究成果，因此能够更准确地反映该领域的 最新研究进展。 本文依据模型结构，着重介绍 ４ 种典型的深度 学习模型，即卷积神经网络、深度信念网络、深度玻 尔兹曼机、堆叠自动编码器。 下面对这些模型进行 描述。 １ 深度学习典型模型 １．１ 卷积神经网络 １．１．１ 历史 卷积神经网络 （ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ＣＮＮ）最早在 ２０ 世纪 ８０ 年代就已被提出，是由于在 研究猫脑皮层时受到的启发。 它的典型模型 ＬｅＮｅｔ⁃ ５ ［８］系统，在 ＭＮＩＳＴ 上得到了 ０．９％的错误率，并在 ２０ 世纪 ９０ 年代就已用于银行的手写支票识别［７］ 。 但是，由于在大尺寸图像上没有好的效果，一度被人 忽视。 随着高效的 ＧＰＵ 计算的兴起，直到 ２０１２ 年 Ｈｉｎｔｏｎ 在 ＩｍａｇｅＮｅｔ 问题的成功，才使它在近几年流 行起来［９］ 。 如今卷积神经网络已经成为众多科学 领域的研究热点之一，特别是在图像识别领域。 由 于该网络避免了对图像的复杂前期预处理，可以直 接输入原始图像，因而得到了广泛的应用。 １．１．２ 结构 卷积神经网络是前馈神经网络的一种。 卷积神 经网络的模型如图 １ 所示，它是一个多层的神经网 络，每层由多个二维平面组成，而每个平面由多个独 立神经元组成。 传统的神经网络层与层之间神经元 采取全连接方式，而卷积神经网络采用稀疏连接方 式，即每个特征图上的神经元只连接上一层的一个 小区域的神经元连接。 图 １ 卷积神经网络模型 Ｆｉｇ．１ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ 卷积神经网络的低隐含层是由卷积层和最大池 采样层交替组成，高层通常是全连接层作为分类器 使用。 首先，为了降低网络的复杂性，卷积神经网络采 用权重共享方式，即同一个特征图，卷积核是一样 的［１０］ ；其次，对得到的特征输入给一个非线性函数， 比如 ＲｅＬＵ 等；最后，再采取下采样方法，比如最大 池化等。 下采样的作用是把语义上相似的特征合并 起来，这是因为形成一个主题的特征的相对位置不 太一样［１］ 。 １．１．３ 训练方式 卷积神经网络的训练采用有监督训练方式。 首 先是向前传播，即输入 Ｘ 经过卷积神经网路后变为 输出 Ｏ，再将 Ｏ 与标签进行比较，然后以向后传播的 方式，到将所得误差传播到每个节点，根据权值更新 公式，更新相应的卷积核权值［４，６］ 。 此外，以卷积神经网络为核心的深度学习网络 还有 ３⁃Ｄ 卷积神经网络 （ ３⁃Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ３Ｄ⁃ＣＮＮ）） ［１１］ ， 光 谱 网 络 （ ｓｐｅｃｔｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ，ＳＮ） ［１２］ ，金字塔卷积神经网络（ ｐｙｒａｍｉｄ ｃｏｎｖ⁃ ｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＰＣＮＮ） ［１３］ ，多级金字塔卷 积神经网络（ｍｕｌｔｉ ｌｅｖｅｌ ｐｙａｍｉｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＭＬＰＣＮＮ） ［１４］等。 １．２ 受限制玻尔兹曼机为核心的深度网络 受限制玻尔兹曼机为核心的深度网络有 ２ 种： 深度信念网和深度玻尔兹曼机。 现简要分析二者的 区别。 １．２．１ 受限制玻尔兹曼机 受限制玻尔兹曼机 （ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａ⁃ ｃｈｉｎｅ，ＲＢＭ）是一类无向图模型［４］ ，由可视层和隐含 层组成，与玻尔兹曼机（Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＢＭ） 不 同，层内无连接，层间有连接。 这种结构更易于计算 隐含层单元与可视层单元的条件分布［５］ 。 受限制 玻尔兹曼机的训练方式通常采用对比散度方（ ｃｏｎｔ⁃ ｒａｓｔｉｖｅ ｄｉｖｅｒｇｅｎｃｅ，ＣＤ）。 常见的玻尔兹曼机的演变 模型如图 ２ 所示。 图 ２ 玻尔兹曼机演变模型 Ｆｉｇ．２ Ｔｈｅ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ ｏｆ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ ·５６８· 智 能 系 统 学 报 第 １１ 卷