第6期 马世龙，等：大数据与深度学习综述 .733 Perceptron[1969 出现问题 统计力学随机 Minsky.Marvin ①单层感知机（浅层结构） 不能实现异或功能 图例 神经网络实例 (Parceptron 即不能解决线性不可分问题： 里程碑 BM[1985] 感知机) 2多量感知机，即深度结构 存在问题不易确切计 Ackley,D H 解决问题： 是可以求解线性不可分的问题 关键算法 特点说明 算BM所表示的分布函数 (Boltznann Machina 解决线性不可分问题，并由简单 波尔兹曼机) O 面临问题 神经网辂推广到复杂神经网络 演进为 层内节点独立： 解决问题： 解决问题： 层间节点有连接： 容易求得BM的概率分布 线上文字已解决问题 能够处理序列数掘 两层马尔叮夫随机场： (B-B分布或C-B分布) 强大的无监督学习能力 RMB[19861 BP[1974] Smolensky.P Werbos,P.J 存在问题 解决问题： (Restricted Poltznann (Back Propagatio ①易出现局部最优解： 减少传播造成 基于反向传播 的误差 Machine ②易出现过拟合 受限玻尔兹曼机) 多层感知机 解决问题： 卷积层 对受干扰数据极度脆弱 D个可视单元集 SGR MBI20101 与F个隐藏单位元 Luo.Heng Chen日gin 成功用于训练 和汇聚层 Sparse (Consiruous 深度网络 组成的序列自下而 Rostriciod 解决问题： 上生成结构，自顶 Bolzznann Boltzoann 先通过无监督学习到 CNN[1989 CNNJ19901 Machine ecun. Jeffrey 向下的反馈 Machira 的参数作为有监督学 Elman, 倍感受限 连续受限玻 的初始值 Y.(Corivolutional (Simple Recurrent 玻尔兹曼机) 尔兹曼机) 采用BF微调来进行权 cural Network Network 值重好的训练从而解 卷积神经网路) 简单循环网络) 决了BP存在的问题。 DBM20061 AE19861 Salakhutdinov Rumelhart CNNI19951 解决问题： R.R(Deep D.E.(Auto Hihi.Salah E1 梯度消失； Boliznann Machine Bncoders (Recurrent Neura 梯度爆炸 深度玻尔兹曼机) 自动编码器 多层RBM 循环神经网络) 训练阶段将 层RBM的结果 LSTM[19971 多层AE1 作为另一层 Hochreiter,Sepp DAE2006] RBM的输入 (Long Short Term Hinton.G.E 解决问题： 长短时记忆 Deen Auto 可输入任意值 存在问题 进行训练 Hinton.G.E ①在可视 相当于DBN (Deep Belief 层只能输 中将FBM替 入二值数据 原始数据 换成AE 深度置信 网络) ②优化困难 解决问题 加噪声项 SAEI20071 SAE[2007]I DAE20081 Yoshua Bengio Ranzato,Mare 梯度爆炸 Vincent Pascal (Stacked Auto Aurelio (Dnoi ing Auto Encoders (Stacked Auto Encoders 堆叠自动 Enc oders 降噪自动 编码器) 稀疏自动 编码) 绵码器) SCAE[20111 Masci.Jonathar DAE2010] Lee.Honglak (Convolutional (Stacked Vincent,Pascal Belief Convoluticnal (Stacked Dnoising Deey Auto-encodcre Auto encoders Network 堆叠降噪自动 卷积深度 堆卷积自动 编码器) 编码器) 置信网络) SSAE[2013] SDBN[20131 SDBN[20121 liang,Xiaojuan Halkias xanadu Krizhevsky.Alex (Stacked sparse (Deep Cenvalutional Auto- Net Naural Natwork 叠白动 稀疏深度置信 深度卷积神经网络 编码器 编码器) MD-DCNN[2014] GRUT20141GRU[2014] Zheng Yi Cho Goodfellow.lan (Multi-charriels (Gated onirat山ve DCGAN[20151 Deen Comnvoluticnall Recurrent Advovcaria Radford Alec uralNatwork Unit (Deep Gcrivolutional Generstive 多通道深度 关口循环 生成对抗 卷积神经网络 单元) 网络) 深度卷积生成对抗网铬) 图4深层网络派生树 Fig.4 The derivation tree of the deep networks图 ４ 深层网络派生树 Ｆｉｇ．４ Ｔｈｅ ｄｅｒｉｖａｔｉｏｎ ｔｒｅｅ ｏｆ ｔｈｅ ｄｅｅｐ ｎｅｔｗｏｒｋｓ 第 ６ 期 马世龙，等：大数据与深度学习综述 ·７３３·