第5期 刘帅师，等：深度学习方法研究新进展 ·569· 受限制玻尔滋曼机的演变模型有卷积受限制玻 DDBN)[2]等。 尔a兹曼机(convolutional restricted Boltzmann ma- 1.2.3深度玻尔兹曼机 chine,CRBM)【s]、稀疏受限制玻尔兹曼机(sparse 深度玻尔兹曼机(deep Boltzmann machine, restricted Boltzmann machine,SRBM)Iu6]、稀疏组受 DBM)与深度信念网络相似，都是以受限制玻尔滋 限制玻尔兹曼机(sparse group restricted Boltzmann 曼机叠加而成。但是，与深度信念网络不同，层间均 machine,SGRBM)【)、分类受限制玻尔兹曼机(class 为无向连接，省略了由上至下的反馈参数调节。训 restricted Boltzmann machine,CRBM)[u8]等。更详细 练方式也与深度信念网络相似，先采用无监督预训 的描述内容参见文献[19]。 练方法，得到初始权值，再运用场均值算法，最后采 1.2.2深度信念网络 用有监督微方式进行微调。 深度信念网络(deep belief networks,DBN)是由 1.3堆叠自动编码器 多个受限制玻尔兹曼机(RBM)叠加而成的深度网 1.3.1自动编码器 络。深度信念网络的典型结构如图3所示，它通过 自动编码器(auto encoder,AE)由编码器与解码 无监督预训练和有监督微调来训练整个深度信念网 器组成，其原理如图4所示。核心思想是将输入信 络)。预训练时用无标签数据单独训练每一层受 号进行编码，使用编码之后的信号重建原始信号，目 限制玻尔兹曼机，通过自下而上的方式，将下层受限 的是让重建信号与原始信号相比重建误差最小[2]。 制玻尔兹曼机输出作为上层受限制玻尔兹曼机输 编码器将输入数据映射到特征空间，解码器将特征 入。当预训练完成后，网络会获得一个较好的网络 映射回数据空间，完成对输入数据的重建。 初始值，但这还不是最优的20)。再采用有标签数据 oooooO代码层 去训练网络，误差自顶向下传播，一般采用梯度下降 编码 解码 法对网络进行微调。深度信念网络的出现是深度学 输入层ooooO oooooo输出层 习的转折点，目前深度信念网络已应用于语音、图像 处理等方面，尤其是在大数据方面[0]。 图4自动编码器原理图 Fig.4 The illustration of autoencoder 标签单位 自动编码器演化的模型如图5所示，自动编码 顶层单元 器演化的模型有去噪自动编码器(denoising auto en- coder,DAE)[2]、稀疏自动编码器(sparse auto en- 隐含层单元 coder,SAE)[2]、收缩自动编码器(contractive auto encoder,CAE)[2)]、卷积自动编码(convolutional auto 隐含层单元 encoder,.CAE)[2]等。更详细的描述内容参见文献 检测权值 生成权值 [29-31]。 隐含层单元 AE 隐含层 权值 RBM DAE 可视层 图5自动编码器的演变模型 输入 Fig.5 The evolution model of autoencoder 图3深度信念网络典型结构 1.3.2堆叠自动编码器原理 Fig.3 The illustration of deep belief network framework 堆叠自动编码器(stacked auto encoders,SAE) 深度信念网络的变种模型有卷积深度信念网 与深度信念网络类似，其结构如图6所示，都是由简 (convolutional deep belief networks,CDBN)[2)、稀疏 单结构叠加起来的深层网络。简单来说，就是将 深度信念网(sparse deep belief networks.,SDBN)Ia) DBN中的RBM替换成AE就得到了SAE。自动编 判别深度信念网(discriminative deep belief networks, 码器的训练过程也是使用贪心逐层预训练算法，但受限制玻尔兹曼机的演变模型有卷积受限制玻 尔 兹 曼 机 （ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａ⁃ ｃｈｉｎｅ，ＣＲＢＭ） ［１５］ 、稀疏受限制玻尔兹曼机（ ｓｐａｒｓｅ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ， ＳＲＢＭ） ［１６］ 、稀疏组受 限制玻尔兹曼机（ ｓｐａｒｓｅ ｇｒｏｕｐ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＳＧＲＢＭ） ［１７］ 、分类受限制玻尔兹曼机（ｃｌａｓｓ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＣＲＢＭ） ［１８］ 等。 更详细 的描述内容参见文献［１９］。 １．２．２ 深度信念网络 深度信念网络（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＤＢＮ）是由 多个受限制玻尔兹曼机（ＲＢＭ）叠加而成的深度网 络。 深度信念网络的典型结构如图 ３ 所示，它通过 无监督预训练和有监督微调来训练整个深度信念网 络［７］ 。 预训练时用无标签数据单独训练每一层受 限制玻尔兹曼机，通过自下而上的方式，将下层受限 制玻尔兹曼机输出作为上层受限制玻尔兹曼机输 入。 当预训练完成后，网络会获得一个较好的网络 初始值，但这还不是最优的［２０］ 。 再采用有标签数据 去训练网络，误差自顶向下传播，一般采用梯度下降 法对网络进行微调。 深度信念网络的出现是深度学 习的转折点，目前深度信念网络已应用于语音、图像 处理等方面，尤其是在大数据方面［１０］ 。 图 ３ 深度信念网络典型结构 Ｆｉｇ．３ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ ｆｒａｍｅｗｏｒｋ 深度信念网络的变种模型有卷积深度信念网 （ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＣＤＢＮ） ［２１］ 、稀疏 深度信念网（ｓｐａｒｓｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＳＤＢＮ） ［２２］ 、 判别深度信念网（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ， ＤＤＢＮ） ［２３］等。 １．２．３ 深度玻尔兹曼机 深度 玻 尔 兹 曼 机 （ ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ， ＤＢＭ）与深度信念网络相似，都是以受限制玻尔兹 曼机叠加而成。 但是，与深度信念网络不同，层间均 为无向连接，省略了由上至下的反馈参数调节。 训 练方式也与深度信念网络相似，先采用无监督预训 练方法，得到初始权值，再运用场均值算法，最后采 用有监督微方式进行微调。 １．３ 堆叠自动编码器 １．３．１ 自动编码器 自动编码器（ａｕｔｏ ｅｎｃｏｄｅｒ，ＡＥ）由编码器与解码 器组成，其原理如图 ４ 所示。 核心思想是将输入信 号进行编码，使用编码之后的信号重建原始信号，目 的是让重建信号与原始信号相比重建误差最小［２４］ 。 编码器将输入数据映射到特征空间，解码器将特征 映射回数据空间，完成对输入数据的重建。 图 ４ 自动编码器原理图 Ｆｉｇ．４ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ａｕｔｏｅｎｃｏｄｅｒ 自动编码器演化的模型如图 ５ 所示，自动编码 器演化的模型有去噪自动编码器（ｄｅｎｏｉｓｉｎｇ ａｕｔｏ ｅｎ⁃ ｃｏｄｅｒ，ＤＡＥ） ［２５］ 、稀疏自动编码器（ ｓｐａｒｓｅ ａｕｔｏ ｅｎ⁃ ｃｏｄｅｒ，ＳＡＥ） ［２６］ 、收缩自动编码器 （ ｃｏｎｔｒａｃｔｉｖｅ ａｕｔｏ ｅｎｃｏｄｅｒ，ＣＡＥ） ［２７］ 、卷积自动编码（ ｃｏｎｖｏｌｕｔｉｏｎａｌ ａｕｔｏ ｅｎｃｏｄｅｒ，ＣＡＥ） ［２８］等。 更详细的描述内容参见文献 ［２９⁃３１］。 图 ５ 自动编码器的演变模型 Ｆｉｇ．５ Ｔｈｅ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ ｏｆ ａｕｔｏｅｎｃｏｄｅｒ １．３．２ 堆叠自动编码器原理 堆叠自动编码器（ ｓｔａｃｋｅｄ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＡＥ） 与深度信念网络类似，其结构如图 ６ 所示，都是由简 单结构叠加起来的深层网络。 简单来说，就是将 ＤＢＮ 中的 ＲＢＭ 替换成 ＡＥ 就得到了 ＳＡＥ。 自动编 码器的训练过程也是使用贪心逐层预训练算法，但 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５６９·