第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/is.201511028 网络出版地址：htp:/www.cmki.net/kcms/detail/23.1538.TP.20160715.1353.002.html 深度学习方法研究新进展 刘帅师，程曦，郭文燕，陈奇 (长春工业大学电气与电子工程学院，吉林长春130000) 摘要：本文依据模型结构对深度学习进行了归纳和总结，描述了不同模型的结构和特点。首先介绍了深度学习的 概念及意义，然后介绍了4种典型模型：卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器，并对近3 年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍，最后对现有深度学 习模型进行了总结，并且讨论了未来所面临的挑战。 关键词：深度学习：卷积神经网络：深度信念网铬：深度玻尔兹曼机：堆叠自动编码器 中图分类号：TP18文献标志码：A文章编号：1673-4785(2016)05-0567-10 中文引用格式：刘帅师，程曦，郭文慕，等.深度学习方法研究新进展[J].智能系统学报，2016,11(5)：567-577， 英文引用格式：LIU Shuaishi,CHENG XI,GUO Wenyan,etal.Progress report on new research in deep learning[J].CAAI trans- actions on intelligent systems,2016,11(5):567-577. Progress report on new research in deep learning LIU Shuaishi,CHENG Xi,GUO Wenyan,CHEN Qi College of Electrical and Electronic Engineering,Changchun University of Technology,Changchun 130000,China) Abstract:Deep learning has recently received widespread attention.Using a model structure,this paper gives a summarization and analysis on deep learning by describing and reviewing the structure and characteristics of differ- ent models.The paper firstly introduces the concept and significance of deep learning,and then reviews four typical models:a convolutional neural network;deep belief networks;the deep Boltzmann machine;and an automatic stacking encoder.The paper then concludes by reviewing the applications of deep learning as regards speech pro- cessing,computer vision,natural language processing,medical science,and other aspects.Finally,the existing deep learning model is summarized and future challenges discussed. Keywords:deep learning;convolutional neural network;deep belief networks;deep Boltzmann machine;automat- ic stacking encoder 深度学习是机器学习的一个分支，属于人工智 究热点。 能的新领域。深度学习的本质是特征提取，即通过 2006年，机器学习大师Hinton等[)在《科学》 组合低层次的特征形成更加抽象的高层表示，以达 上发表的一篇论文，开启了深度学习的浪潮。他提 到获得最佳特征的目的。它主要通过神经网络 出了深度信念网的概念，成功地利用贪心策略逐层 来模拟人的大脑的学习过程，希望实现对现实对象 训练由限制玻尔兹曼机组成的深层架构，解决了以 或数据（图像、语音及文本等）的抽象表达，整合特 往深度网络训练困难的问题。此后，Hinton、Lecun、 征抽取和分类器到一个学习框架下)。目前，深度 Bengio等大量科研人员对深度学习的模型构建、训 学习在许多领域取得了广泛的关注，成为当今的研 练方式等做出了杰出的贡献。文献[4]对近几年新 兴的深度学习的初始化方法、模型结构、学习算法等 收稿日期：2015-11-27.网络出版日期：2016-07-15. 基金项目：吉林省科技厅青年科研基金项目(20140520065H 进行了详细的分析。2014年余滨等1从训练方式 20140520076H):长春工业大学科学研究发展基金自然科学 的角度对深度学习进行了总结。文献[6]依据数据 计划项目(2010XN07). 通信作者：.E-mail:刘帅师.E-mail:liu-shuaishi@126.com. 流向对深度学习进行不同分类，本文将重点放在模第 １１ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．５ ２０１６ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５１１０２８ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０７１５．１３５３．００２．ｈｔｍｌ 深度学习方法研究新进展 刘帅师，程曦，郭文燕，陈奇 （长春工业大学 电气与电子工程学院，吉林 长春 １３００００） 摘 要：本文依据模型结构对深度学习进行了归纳和总结，描述了不同模型的结构和特点。 首先介绍了深度学习的 概念及意义，然后介绍了 ４ 种典型模型：卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器，并对近 ３ 年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍，最后对现有深度学 习模型进行了总结，并且讨论了未来所面临的挑战。 关键词：深度学习；卷积神经网络；深度信念网络；深度玻尔兹曼机；堆叠自动编码器 中图分类号：ＴＰ１８ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０５⁃０５６７⁃１０ 中文引用格式：刘帅师，程曦，郭文燕，等．深度学习方法研究新进展［Ｊ］． 智能系统学报， ２０１６， １１（５）： ５６７⁃５７７． 英文引用格式：ＬＩＵ Ｓｈｕａｉｓｈｉ， ＣＨＥＮＧ Ｘｉ， ＧＵＯ Ｗｅｎｙａｎ， ｅｔ ａｌ． Ｐｒｏｇｒｅｓｓ ｒｅｐｏｒｔ ｏｎ ｎｅｗ ｒｅｓｅａｒｃｈ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］． ＣＡＡＩ ｔｒａｎｓ⁃ ａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（５）：５６７⁃５７７． Ｐｒｏｇｒｅｓｓ ｒｅｐｏｒｔ ｏｎ ｎｅｗ ｒｅｓｅａｒｃｈ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ＬＩＵ Ｓｈｕａｉｓｈｉ， ＣＨＥＮＧ Ｘｉ， ＧＵＯ Ｗｅｎｙａｎ， ＣＨＥＮ Ｑｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｃｈａｎｇｃｈｕｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｈａｎｇｃｈｕｎ １３００００， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｈａｓ ｒｅｃｅｎｔｌｙ ｒｅｃｅｉｖｅｄ ｗｉｄｅｓｐｒｅａｄ ａｔｔｅｎｔｉｏｎ． Ｕｓｉｎｇ ａ ｍｏｄｅｌ ｓｔｒｕｃｔｕｒｅ， ｔｈｉｓ ｐａｐｅｒ ｇｉｖｅｓ ａ ｓｕｍｍａｒｉｚａｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂｙ ｄｅｓｃｒｉｂｉｎｇ ａｎｄ ｒｅｖｉｅｗｉｎｇ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｄｉｆｆｅｒ⁃ ｅｎｔ ｍｏｄｅｌｓ． Ｔｈｅ ｐａｐｅｒ ｆｉｒｓｔｌｙ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｃｏｎｃｅｐｔ ａｎｄ ｓｉｇｎｉｆｉｃａｎｃｅ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ， ａｎｄ ｔｈｅｎ ｒｅｖｉｅｗｓ ｆｏｕｒ ｔｙｐｉｃａｌ ｍｏｄｅｌｓ： ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ； ｔｈｅ ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ； ａｎｄ ａｎ ａｕｔｏｍａｔｉｃ ｓｔａｃｋｉｎｇ ｅｎｃｏｄｅｒ． Ｔｈｅ ｐａｐｅｒ ｔｈｅｎ ｃｏｎｃｌｕｄｅｓ ｂｙ ｒｅｖｉｅｗｉｎｇ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｓ ｒｅｇａｒｄｓ ｓｐｅｅｃｈ ｐｒｏ⁃ ｃｅｓｓｉｎｇ， ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ， ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ， ｍｅｄｉｃａｌ ｓｃｉｅｎｃｅ， ａｎｄ ｏｔｈｅｒ ａｓｐｅｃｔｓ． Ｆｉｎａｌｌｙ， ｔｈｅ ｅｘｉｓｔｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ ｉｓ ｓｕｍｍａｒｉｚｅｄ ａｎｄ ｆｕｔｕｒｅ ｃｈａｌｌｅｎｇｅｓ ｄｉｓｃｕｓｓｅｄ． Ｋｅｙｗｏｒｄｓ：ｄｅｅｐ ｌｅａｒｎｉｎｇ； ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ； ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ； ａｕｔｏｍａｔ⁃ ｉｃ ｓｔａｃｋｉｎｇ ｅｎｃｏｄｅｒ 收稿日期：２０１５⁃１１⁃２７． 网络出版日期：２０１６⁃０７⁃１５． 基金项目： 吉 林 省 科 技 厅 青 年 科 研 基 金 项 目 （ ２０１４０５２００６５ＪＨ， ２０１４０５２００７６ＪＨ）；长春工业大学科学研究发展基金自然科学 计划项目（２０１０ＸＮ０７）． 通信作者：． Ｅ⁃ｍａｉｌ：刘帅师． Ｅ⁃ｍａｉｌ：ｌｉｕ⁃ｓｈｕａｉｓｈｉ＠ １２６．ｃｏｍ． 深度学习是机器学习的一个分支，属于人工智 能的新领域。 深度学习的本质是特征提取，即通过 组合低层次的特征形成更加抽象的高层表示，以达 到获得最佳特征的目的［１］ 。 它主要通过神经网络 来模拟人的大脑的学习过程，希望实现对现实对象 或数据（图像、语音及文本等）的抽象表达，整合特 征抽取和分类器到一个学习框架下［２］ 。 目前，深度 学习在许多领域取得了广泛的关注，成为当今的研 究热点。 ２００６ 年，机器学习大师 Ｈｉｎｔｏｎ 等［３］ 在《科学》 上发表的一篇论文，开启了深度学习的浪潮。 他提 出了深度信念网的概念，成功地利用贪心策略逐层 训练由限制玻尔兹曼机组成的深层架构，解决了以 往深度网络训练困难的问题。 此后，Ｈｉｎｔｏｎ、Ｌｅｃｕｎ、 Ｂｅｎｇｉｏ 等大量科研人员对深度学习的模型构建、训 练方式等做出了杰出的贡献。 文献［４］对近几年新 兴的深度学习的初始化方法、模型结构、学习算法等 进行了详细的分析。 ２０１４ 年余滨等［５］ 从训练方式 的角度对深度学习进行了总结。 文献［６］依据数据 流向对深度学习进行不同分类，本文将重点放在模