第6期 杨梦铎，等：基于自编码器的特征迁移算法 ·897· 借助中级图像特征的迁移，在MNIST-varia- tions数据集上同样获得了不错的中级图像特征，如 图7所示。 图4 MNIST示例样本 Fig.4 MNIST samples 图7 MNIST-variations中级特征 Fig.7 MNIST-variations mid-level features 为了验证特征迁移模型的识别效果，输出层全 部采用Softmax分类器进行分类，我们在MNIST. variations数据集上利用栈式自编码网络(stacked auto-encoder,SAE)、受限玻尔兹曼机(restricted Boltzmann machine,RBM)、降噪自编码器(denois- 图5 MNIST-variations示例样本 ing auto-encoder,DAE)、收缩自编码器(contracting Fig.5 MNIST-variations samples auto-encoder,.CAE)分别与特征迁移模型的分类错 特征迁移模型所使用的两个栈式自编码网络的 误率进行实验比较，比较结果如表1所示。 表1分类错误率 网铬结构中神经元结点的分布如下：第1个网络隐 Table 1 Classification error rate % 藏层结点数依次为[784,200,100,50,100,10]，第 方法 SAE RBM DAE CAE FTM 2个网络依次为[784,200,100,50,100,200,10]。 MNIST-rot 2.172.042.05 1821.26 在MNIST数据集上训练得到的中级图像特征如 MNIST-back-image 1.781.37 1.181.14 1.04 图6。 MNIST-rot-back-image 2.87 2.712.652.59 2.46 MNIST-back-rand 1.97 1.83 1.791.761.68 5结束语 作为深度学习模型的一种，栈式自编码网络在 模式识别领域已然卓有成效。相对于手工设计的低 级特征而言，深度网络的成功主要归因于它们学习 丰富的中间级特征的能力。然而在现实应用中，带 有标签的大规模数据集通常是稀缺的。在深度神经 网络强大的表征能力下，数据不充足往往会使模型 陷入过拟合的尴尬情形。为了解决在小规模数据样 本下训练深度神经网络的问题，我们提出一个特征 图6 MNIST中级特征 迁移模型。我们展示了如何将学习到的中级图像特 Fig.6 MNIST mid-level features 征有效地迁移到新的视觉识别任务中。实验结果表特征迁移模型所使用的两个栈式自编码网络的 网络结构中神经元结点的分布如下：第 1 个网络隐 藏层结点数依次为[784, 200, 100, 50, 100, 10]，第 2 个网络依次为[784, 200, 100, 50, 100, 200, 10]。 在 MNIST 数据集上训练得到的中级图像特征如 图 6。 借助中级图像特征的迁移，在 MNIST-varia￾tions 数据集上同样获得了不错的中级图像特征，如 图 7 所示。 为了验证特征迁移模型的识别效果，输出层全 部采用 Softmax 分类器进行分类，我们在 MNIST￾variations 数据集上利用栈式自编码网络（stacked auto-encoder，SAE）、受限玻尔兹曼机（restricted Boltzmann machine, RBM）、降噪自编码器（denois￾ing auto-encoder，DAE）、收缩自编码器（contracting auto-encoder，CAE）分别与特征迁移模型的分类错 误率进行实验比较，比较结果如表 1 所示。 5 结束语 作为深度学习模型的一种，栈式自编码网络在 模式识别领域已然卓有成效。相对于手工设计的低 级特征而言，深度网络的成功主要归因于它们学习 丰富的中间级特征的能力。然而在现实应用中，带 有标签的大规模数据集通常是稀缺的。在深度神经 网络强大的表征能力下，数据不充足往往会使模型 陷入过拟合的尴尬情形。为了解决在小规模数据样 本下训练深度神经网络的问题，我们提出一个特征 迁移模型。我们展示了如何将学习到的中级图像特 征有效地迁移到新的视觉识别任务中。实验结果表 表 1 分类错误率 Table 1 Classification error rate % 方法 SAE RBM DAE CAE FTM MNIST-rot 2.17 2.04 2.05 1.82 1.26 MNIST-back-image 1.78 1.37 1.18 1.14 1.04 MNIST-rot-back-image 2.87 2.71 2.65 2.59 2.46 MNIST-back-rand 1.97 1.83 1.79 1.76 1.68 图 4 MNIST 示例样本 Fig. 4 MNIST samples 图 5 MNIST-variations 示例样本 Fig. 5 MNIST-variations samples 图 6 MNIST 中级特征 Fig. 6 MNIST mid-level features 图 7 MNIST-variations 中级特征 Fig. 7 MNIST-variations mid-level features 第 6 期 杨梦铎，等：基于自编码器的特征迁移算法 ·897·