在一个自编码器中，由于只有无标签数据，我们将输入信息输入一个编码器，就会得到一个底 层编码，之后再通过一个解码器，就会得到一个输出信息。通过不断的反向传播来最小化输入信息 和输出信息的误差对模型进行训练，使得输入和输出一样。由于中间层的底层编码能够通过解码器 无损的反编码出输入信息，所以底层编码是一个包含输入信息的所有特征信息且维数较小的输入信 息的另外一个表示，进而达到对输入信息特征提取的目的。 Input Output X2 H 及《以及局 图4自编码器模 AE的编码、解码过程可描述为： 编码过程： =(WX+b) (1) 解码过程： Y=a(W,H+b,) (2) 式中W,b为编码权重和偏置，W2,b为解码权重和偏置，O。为激活函数，目前比较常用 的有sigmoid、tanh、relu等，O,可以是与编码过程o。相同的激活函数，H是隐藏向量。AE的目 的就是要最小化X和Y之间的误差， 般采用均方误差来描述X和Y之间的距离，用每一次训练 的均方误差作为模型的损失函数 J=x(x,Y)=Σy-xE (3) m AE中的参数，即W, 通过对计算过程进行反向传播，最小化目标函数J来学习获得。 DAE20与AE有相同的网绍结构和学习目标，不同的是DAE在训练过程中主动为样本数据添 加随机噪声，如图5所示。 Input Output H Noise o- )在一个自编码器中，由于只有无标签数据，我们将输入信息输入一个编码器，就会得到一个底 层编码，之后再通过一个解码器，就会得到一个输出信息。通过不断的反向传播来最小化 输入信息 和输出信息的误差对模型进行训练，使得输入和输出一样。由于中间层的底层编码能够通过解码器 无损的反编码出输入信息，所以底层编码是一个包含输入信息的所有特征信息且维数较小的输入信 息的另外一个表示，进而达到对输入信息特征提取的目的。 图 4 自编码器模型 Fig.4 AE model AE 的编码、解码过程可描述为： 编码过程： 1 1 ( ) H W X b    e (1) 解码过程： 2 2 ( ) Y W H b    d (2) 式中W1 ， b1为编码权重和偏置，W2 ，b2 为解码权重和偏置， e 为激活函数，目前比较常用 的有sigmoid 、tanh 、relu 等， d 可以是与编码过程 e 相同的激活函数， H 是隐藏向量。AE 的目 的就是要最小化 X 和Y 之间的误差，一般采用均方误差来描述 X 和Y 之间的距离，用每一次训练 的均方误差作为模型的损失函数。 2 2 1 1 J L X Y Y X ( ( , )) m m      (3) AE 中的参数，即W ，b ，通过对计算过程进行反向传播，最小化目标函数 J 来学习获得。 DAE[20]与 AE 有相同的网络结构和学习目标，不同的是 DAE 在训练过程中主动为样本数据添 加随机噪声，如图 5 所示。 录用稿件，非最终出版稿