·572. 智能系统学报 第11卷 表1典型深度学习模型 Table 1 Typical deep learing model 序号 模型名称 模型描述 常用训练方式 适用范围 作者，文献，年份 卷积神经网络 多个卷积层和下采样层交有监督，运用前向 图像处理，自然语 Lecun Y,[65],1990 (CNN) 替组成，以及一个全连接 传播和后向传播 言处理，视频分析 层 (BP)相结合方式 3D卷积神经网络 适用于视频中，通过堆叠有监督，通过随机 视频分析 JiS.[66],2013 (3D-CNN) 多个连续的帧组成一个立对角Levenberg- 方体，然后在立方体中运 Marquardt 用3D卷积核，捕捉在时间 法来优化训练 和空间维度都具有区分性 的特征 金字塔卷积神经网络与CNN不同，是Siamese 有监督逐层训练 图像处理 FamH.[13],2014 PCNN) 网络，由多个金字塔组成 深度信念网络 多个RBM累加而成的深 无监督贪婪逐层预语音识别，图像处Hinton G E,[67],2006 (DBN) 度网络 训练，有监督微调 理，自然语言处理 (BP) 卷积深度信念网络 将DBN中RBM替换成无监督贪婪逐层预 图像处理， LeeH.[21].2011 (CDBN) CRBM 训练，有监督微调 语音信号处理 稀疏深度信念网 将DBN中RBM替换成无监督贪婪逐层预 图像处理 Halkias X C.[22]2014 (SDBN) SRBM 训练，有监督微调 深度玻尔兹曼机 多个RBM累加而成，与无监督贪婪逐层预 图像处理 Salakhutdinov R. DBM) DBN不同层间均为无向连训练，再进行场均 [68],2009 接，省略了由上至下的反值算法，有监督微 馈参数调节 调(BP) 3 卷积深度玻尔兹曼机将DBM中RBM替换成无监督贪婪逐层预 图像处理 杜卷，[69]2014 (CDBM) CRBM 训练，再进行场均 值算法，有监督 微调 堆叠自动编码器 多个AE累加而成 无监督贪婪逐层预 图像处理 Bengio Y,70],2009 (SAE) 训练，再将网络展 开，有监督微调 (BP) 堆叠去噪自动编码器将SAE中AE替换成DAE无监督贪婪逐层预 图像处理， Vincent P,[25],2008 (SDAE) 训练，再将网络展 自然语言处理 开，有监督微调 (BP)表 １ 典型深度学习模型 Ｔａｂｌｅ １ Ｔｙｐｉｃａｌ ｄｅｅｐ ｌｅａｒｉｎｇ ｍｏｄｅｌ 序号 模型名称 模型描述 常用训练方式 适用范围 作者，文献，年份 １ 卷积神经网络 （ＣＮＮ） 多个卷积层和下采样层交 替组成，以及一个全连接 层 有监督，运用前向 传播和后向传播 （ＢＰ）相结合方式 图像处理，自然语 言处理，视频分析 Ｌｅｃｕｎ Ｙ，［６５］，１９９０ ３Ｄ 卷积神经网络 （３Ｄ⁃ＣＮＮ） 适用于视频中，通过堆叠 多个连续的帧组成一个立 方体，然后在立方体中运 用 ３Ｄ 卷积核，捕捉在时间 和空间维度都具有区分性 的特征 有监督， 通过随机 对角 Ｌｅｖｅｎｂｅｒｇ⁃ Ｍａｒｑｕａｒｄｔ 法来优化训练 视频分析 Ｊｉ Ｓ，［６６］，２０１３ 金字塔卷积神经网络 （ＰＣＮＮ） 与 ＣＮＮ 不 同， 是 Ｓｉａｍｅｓｅ 网络，由多个金字塔组成 有监督逐层训练 图像处理 Ｆａｎ Ｈ，［１３］，２０１４ ２ 深 度 信 念 网 络 （ＤＢＮ） 多个 ＲＢＭ 累加而成的深 度网络 无监督贪婪逐层预 训练，有监督微调 （ＢＰ） 语音识别，图像处 理，自然语言处理 Ｈｉｎｔｏｎ Ｇ Ｅ，［６７］， ２００６ 卷积深度信念网络 （ＣＤＢＮ） 将 ＤＢＮ 中 ＲＢＭ 替换成 ＣＲＢＭ 无监督贪婪逐层预 训练，有监督微调 图像处理， 语音信号处理 Ｌｅｅ Ｈ，［２１］，２０１１ 稀疏深度信念网 （ＳＤＢＮ） 将 ＤＢＮ 中 ＲＢＭ 替换成 ＳＲＢＭ 无监督贪婪逐层预 训练，有监督微调 图像处理 Ｈａｌｋｉａｓ Ｘ Ｃ，［２２］ ２０１４ ３ 深度玻尔兹曼机 （ＤＢＭ） 多个 ＲＢＭ 累 加 而 成， 与 ＤＢＮ 不同层间均为无向连 接，省略了由上至下的反 馈参数调节 无监督贪婪逐层预 训练， 再进行场均 值算法，有监督微 调（ＢＰ） 图像处理 Ｓａｌａｋｈｕｔｄｉｎｏｖ Ｒ， ［６８］，２００９ 卷积深度玻尔兹曼机 （ＣＤＢＭ） 将 ＤＢＭ 中 ＲＢＭ 替 换 成 ＣＲＢＭ 无监督贪婪逐层预 训练，再进行场均 值算法，有监督 微调 图像处理 杜骞，［６９］２０１４ ４ 堆叠自动编码器 （ＳＡＥ） 多个 ＡＥ 累加而成 无监督贪婪逐层预 训练，再将网络展 开，有监督微调 （ＢＰ） 图像处理 Ｂｅｎｇｉｏ Ｙ，［７０］，２００９ 堆叠去噪自动编码器 （ＳＤＡＥ） 将 ＳＡＥ 中 ＡＥ 替换成 ＤＡＥ 无监督贪婪逐层预 训练，再将网络展 开，有监督微调 （ＢＰ） 图像处理， 自然语言处理 Ｖｉｎｃｅｎｔ Ｐ，［２５］，２００８ ·５７２· 智 能 系 统 学 报 第 １１ 卷