第11卷第6期 智能系统学报 Vol.11 No.6 2016年12月 CAAI Transactions on Intelligent Systems Dec.2016 D0I:10.11992/is.201611021 网络出版地址：http://www.cnki.net/kcms/detail,/23.1538.TP.20170116.1503.004.html 大数据与深度学习综述 马世龙，乌尼日其其格，李小平 (北京航空航天大学软件开发环境国家重点实验室，北京100191) 摘要：大数据时代改变了基于数理统计的传统数据科学，促进了数据分析方法的创新，从机器学习和多层神经网 络演化而来的深度学习是当前大数据处理与分析的研究前沿。从机器学习到深度学习，经历了早期的符号归纳机 器学习、统计机器学习、神经网络和20世纪末开始的数据挖掘等几十年的研究和实践，发现深度学习可以挖掘大数 据的潜在价值。本文给出大数据和深度学习的综述，特别是，给出了各种深层结构及其学习算法之间关联的图谱， 给出了深度学习在若干领域应用的知名案例。最后，展望了大数据上深度学习的发展与挑战。 关键词：大数据：机器学习：深层结构：深度学习：神经网铬：人工智能：学习算法：派生树 中图分类号：TP311文献标志码：A文章编号：1673-4785(2016)06-0728-15 中文引用格式：马世龙，乌尼日其其格，李小平.大数据与深度学习综述[J].智能系统学报，2016,11(6)：728-742. 英文引用格式：MA Shilong,WUNIRI Qiqige,LI Xiaoping..Deep learning with big data:state of the art and development[J]. CAAI Transactions on Intelligent Systems,2016,11(6):728-742. Deep learning with big data:state of the art and development MA Shilong,WUNIRI Qiqige,LI Xiaoping (State Key Laboratory of Software Development Environment,Beihang University,Beijing 100191,China) Abstract:As the era of the big data arrives,it is accompanied by profound changes to traditional data science based on statistics.Big data also pushes innovations in the methods of data analysis.Deep learning that evolves from ma- chine learning and multilayer neural networks are currently extremely active research areas.From the symbolic ma- chine learning and statistical machine learning to the artificial neural network,followed by data mining in the 90s, this has built a solid foundation for deep learning(DL)that makes it a notable tool for discovering the potential val- ue behind big data.This survey compactly summarized big data and DL,proposed a generative relationship tree of the major deep networks and the algorithms,illustrated a broad area of applications based on DL,and highlighted the challenges to DL with big data,as well as identified future trends. Keywords:big data;machine learning;deep network;deep learning;neural network;artificial intelligence; learning algorithm;derivation tree 大数据不仅为企业带来丰厚的利润，也开启了理统计的传统数据科学，促进了新的数据分析方法 科学研究的第四范式，即数据密集型科学发现)。 的创新，从机器学习和多层神经网络演化而来的深 学术界和产业界对大数据的认识正逐步清晰化并形 度学习是当前大数据处理和分析方法的研究前沿。 成共识。大数据时代同时也改变了基于概率论和数 1大数据及其挑战 收稿日期：2016-11-15. 大数据(big data)的概念自1996年由John 基金项目：国家自然科学基金项目(61003016,61300007,61305054) 科技部基本科研业务费重点科技创新类项目(YWF-14 、Mashey!2]提出以来，经历了一段时间的众说纷纭，带 SXY-007):软件开发环境国家重点实验室自主探索基金项 着产业界的事实数据，不断进入学术界的研究领域， SKLSDE-2012ZX-28 ,SKLSDE-2014ZX-06). 通信作者：李小平.E-mail:lce.rex@163.com. 引领了一个时代[)的到来
第 １１ 卷第 ６ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．６ ２０１６ 年 １２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｄｅｃ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６１１０２１ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１７０１１６．１５０３．００４．ｈｔｍｌ 大数据与深度学习综述 马世龙，乌尼日其其格，李小平 （北京航空航天大学 软件开发环境国家重点实验室，北京 １００１９１） 摘 要：大数据时代改变了基于数理统计的传统数据科学，促进了数据分析方法的创新，从机器学习和多层神经网 络演化而来的深度学习是当前大数据处理与分析的研究前沿。 从机器学习到深度学习，经历了早期的符号归纳机 器学习、统计机器学习、神经网络和 ２０ 世纪末开始的数据挖掘等几十年的研究和实践，发现深度学习可以挖掘大数 据的潜在价值。 本文给出大数据和深度学习的综述，特别是，给出了各种深层结构及其学习算法之间关联的图谱， 给出了深度学习在若干领域应用的知名案例。 最后，展望了大数据上深度学习的发展与挑战。 关键词：大数据；机器学习；深层结构；深度学习；神经网络；人工智能；学习算法；派生树 中图分类号： ＴＰ３１１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１６）０６－０７２８－１５ 中文引用格式：马世龙，乌尼日其其格，李小平． 大数据与深度学习综述［Ｊ］． 智能系统学报， ２０１６， １１（６）： ７２８－７４２． 英文引用格式：ＭＡ Ｓｈｉｌｏｎｇ， ＷＵＮＩＲＩ Ｑｉｑｉｇｅ， ＬＩ Ｘｉａｏｐｉｎｇ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｂｉｇ ｄａｔａ： ｓｔａｔｅ ｏｆ ｔｈｅ ａｒｔ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１６， １１（６）： ７２８－７４２． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｂｉｇ ｄａｔａ： ｓｔａｔｅ ｏｆ ｔｈｅ ａｒｔ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ ＭＡ Ｓｈｉｌｏｎｇ， ＷＵＮＩＲＩ Ｑｉｑｉｇｅ， ＬＩ Ｘｉａｏｐｉｎｇ （Ｓｔａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｅｎｖｉｒｏｎｍｅｎｔ， Ｂｅｉｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １００１９１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓ ｔｈｅ ｅｒａ ｏｆ ｔｈｅ ｂｉｇ ｄａｔａ ａｒｒｉｖｅｓ， ｉｔ ｉｓ ａｃｃｏｍｐａｎｉｅｄ ｂｙ ｐｒｏｆｏｕｎｄ ｃｈａｎｇｅｓ ｔｏ ｔｒａｄｉｔｉｏｎａｌ ｄａｔａ ｓｃｉｅｎｃｅ ｂａｓｅｄ ｏｎ ｓｔａｔｉｓｔｉｃｓ． Ｂｉｇ ｄａｔａ ａｌｓｏ ｐｕｓｈｅｓ ｉｎｎｏｖａｔｉｏｎｓ ｉｎ ｔｈｅ ｍｅｔｈｏｄｓ ｏｆ ｄａｔａ ａｎａｌｙｓｉｓ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｔｈａｔ ｅｖｏｌｖｅｓ ｆｒｏｍ ｍａ⁃ ｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｃｕｒｒｅｎｔｌｙ ｅｘｔｒｅｍｅｌｙ ａｃｔｉｖｅ ｒｅｓｅａｒｃｈ ａｒｅａｓ． Ｆｒｏｍ ｔｈｅ ｓｙｍｂｏｌｉｃ ｍａ⁃ ｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｔｏ ｔｈｅ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ｆｏｌｌｏｗｅｄ ｂｙ ｄａｔａ ｍｉｎｉｎｇ ｉｎ ｔｈｅ ９０ｓ， ｔｈｉｓ ｈａｓ ｂｕｉｌｔ ａ ｓｏｌｉｄ ｆｏｕｎｄａｔｉｏｎ ｆｏｒ ｄｅｅｐ ｌｅａｒｎｉｎｇ （ＤＬ） ｔｈａｔ ｍａｋｅｓ ｉｔ ａ ｎｏｔａｂｌｅ ｔｏｏｌ ｆｏｒ ｄｉｓｃｏｖｅｒｉｎｇ ｔｈｅ ｐｏｔｅｎｔｉａｌ ｖａｌ⁃ ｕｅ ｂｅｈｉｎｄ ｂｉｇ ｄａｔａ． Ｔｈｉｓ ｓｕｒｖｅｙ ｃｏｍｐａｃｔｌｙ ｓｕｍｍａｒｉｚｅｄ ｂｉｇ ｄａｔａ ａｎｄ ＤＬ， ｐｒｏｐｏｓｅｄ ａ ｇｅｎｅｒａｔｉｖｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｔｒｅｅ ｏｆ ｔｈｅ ｍａｊｏｒ ｄｅｅｐ ｎｅｔｗｏｒｋｓ ａｎｄ ｔｈｅ ａｌｇｏｒｉｔｈｍｓ， ｉｌｌｕｓｔｒａｔｅｄ ａ ｂｒｏａｄ ａｒｅａ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｂａｓｅｄ ｏｎ ＤＬ， ａｎｄ ｈｉｇｈｌｉｇｈｔｅｄ ｔｈｅ ｃｈａｌｌｅｎｇｅｓ ｔｏ ＤＬ ｗｉｔｈ ｂｉｇ ｄａｔａ， ａｓ ｗｅｌｌ ａｓ ｉｄｅｎｔｉｆｉｅｄ ｆｕｔｕｒｅ ｔｒｅｎｄｓ． Ｋｅｙｗｏｒｄｓ： ｂｉｇ ｄａｔａ； ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ； ｄｅｅｐ ｎｅｔｗｏｒｋ； ｄｅｅｐ ｌｅａｒｎｉｎｇ； ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ； ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ； ｄｅｒｉｖａｔｉｏｎ ｔｒｅｅ 收稿日期：２０１６－１１－１５． 基金项目：国家自然科学基金项目（ ６１００３０１６， ６１３００００７， ６１３０５０５４）； 科技部基本科研业务费重点科技创新类 项 目 （ ＹＷＦ⁃１４⁃ ＪＳＪＸＹ⁃００７）；软件开发环境国家重点实验室自主探索基金项 目（ＳＫＬＳＤＥ⁃２０１２ＺＸ⁃２８，ＳＫＬＳＤＥ⁃２０１４ＺＸ⁃０６）． 通信作者：李小平． Ｅ⁃ｍａｉｌ：ｌｅｅ．ｒｅｘ＠ １６３．ｃｏｍ． 大数据不仅为企业带来丰厚的利润，也开启了 科学研究的第四范式，即数据密集型科学发现［１］ 。 学术界和产业界对大数据的认识正逐步清晰化并形 成共识。 大数据时代同时也改变了基于概率论和数 理统计的传统数据科学，促进了新的数据分析方法 的创新，从机器学习和多层神经网络演化而来的深 度学习是当前大数据处理和分析方法的研究前沿。 １ 大数据及其挑战 大数据 （ ｂｉｇ ｄａｔａ） 的 概 念 自 １９９６ 年 由 Ｊｏｈｎ Ｍａｓｈｅｙ ［２］提出以来，经历了一段时间的众说纷纭，带 着产业界的事实数据，不断进入学术界的研究领域， 引领了一个时代［３］的到来
第6期 马世龙，等：大数据与深度学习综述 .729. 1.1大数据特点和界定 特点，但最早的3个V仍被视作大数据应具备的3 从21世纪初开始，产业界开始意识到数据产生的 个特征，贯穿于大数据生命周期中的各个阶段[) 规模和速度可能会对基础设施特别是存储设备造成压 从而也形成了学术界和产业界认同趋于一致的大数 力)。根据Martin Hilbert的一项统计人类信息总量的 据定义，如表2所示。 研究，在2000年，数字存储信息只占全球数据量的 表2大数据定义 1/4,其他75%的信息尚都存储在报纸、胶片、黑胶唱片 Table 2 Big data definitions 和盒式磁带这类媒介上：但经过短短的几年时间，到了 机构 定义 2007年，人类大约存储了300EB的数据，其中只有7% 需要新处理模式才能具有更强的决策力、 是存储在报纸、书籍、图片等媒介上的模拟数据，其余 Gartner 洞察发现力和流程优化能力的海量、 全部是数字数据。数字数据的总量以每40个月翻一 高增长率和多样化的信息资产( 番的速度积累。注：PB(PetaBytes拍字节)=1024TB= 种规模大到在获取、存储、管理、分析方面大 20字节，EB(ExaBytes艾字节)=1024PB=20字节，ZB 大超出了传统数据库软件工具能力范围的数据 麦肯锡 (ZettaBytes泽字节)=1024EB=2"字节，YB(Yotta- 集合，具有海量数据规模、快速数据流转、多样 Bytes尧字节)=1024ZB=20字节。 数据类型和价值密度低等四大特征 大数据是指利用常用软件工具捕获，管理和处 然而有了规模和速度就是大数据吗？研究人员在 Wiki 理数据所耗时间超过可容忍时间的数据集[) 不同时期对大数据的特点进行了总结。首当其冲的是 1.2大数据存储与处理现状 2O01年，META集团分析师Doug Laney给出大数据的 3V特征)，分别为规模性(Volume)、多样性(Variety) 早在2000年，美国斯隆数字巡天项目启动，其 位于新墨西哥州的望远镜，在短短几周内收集到的 和高速性(Velocity)。10年后，DC在此基础上又提出 第4个特征，即数据的价值(Value)[o。2012年BM则 数据比天文学历史上总共收集的数据还要多。云平 认为大数据的第4个特征是指真实性(Veracity)[-】。 台D0M0公司从2010年开始做过一份有趣的统 后来，有人将上述所有特征合起来称为大数据的5V特 计一“数据从不休息”，将不同社交网络每分钟产 征，也有人从不同的应用视角和需求出发，又提出了粘 生的数据进行比较，并形象地给出了它们的数据总 性(Viscosity)、邻近性(Vicinity)、模糊性(Vague)等多 量[)。据统计，某社交网络产生的评论数在 种不同的特征，形成了3+xV的大数据特征[)。这些特 2010一2011年期间为每分钟60余万条，而在 征的具体含义，如表1。 2013一2015期间迅速增长为每分钟410余万条。 表1大数据特征 据另一个统计，2015年美国股市每天的成交量可高 Table 1 Big data characteristics 达70亿股。Google每天要处理超过24PB的数据， 名称 含义 这个数据处理量是美国国家图书馆所有纸质出版物 规模可从数百TB到数十数百PB、 所含数据量的千倍之多4。由此说明，除了互联网 规模性(Volume) 甚至到EB规模 之外，物联网、移动终端乃至传统的产业都在迅速产 包括各种格式和形态的数据， 生大量的数据。研究人员对大数据的产生方式进行 多样性(Variety) 如文本、图像、音频、视频 了分类)，并指出大数据产生方式经历了被动生 需要在一定的时间限度下 实效性(Velocity) 成、主动生成、自动生成3个阶段]，如表3所示。 得到及时处理 表3大数据产生阶段 价值密度低，需要通过分析挖掘 价值密度(Value) Table 3 Big data generating 和利用产生商业价值 阶段 方式 特点 采集的数据的质量影响分析 真实性(Veracity) 运营式系统阶段，伴随一定的运 结果的准确性 被动 营活动数据被动产生并保存 易变性(Variability) 指数据流的格式变化多样 用户原创内容阶段，尤其是在Web2.0 粘性(Viscosity) 指数据流之间的关联性是否强 时代，社交网络的出现以及以智能手机 邻近性(Vicinity) 获取数据资源的距离 2 主动 平板电脑为代表的新型移动设备的使 传播性(Virality) 数据在网络中传播的速度 用率上升，爆炸式地、主动地产生UGC 有效性(Volatility) 数据的有效性及存储期限 (user generated content)数据 因采集手段的多样性和局限性 模糊性(Vague) 感知式系统阶段，随着带有处理 获取的数据具有模糊性 自动 功能的传感器广泛布置于社会各处， 随着应用的不同研究人员给出了众多的大数据 源源不断地、自动地产生新的数据
１．１ 大数据特点和界定 从 ２１ 世纪初开始，产业界开始意识到数据产生的 规模和速度可能会对基础设施特别是存储设备造成压 力［２］ 。 根据 Ｍａｒｔｉｎ Ｈｉｌｂｅｒｔ 的一项统计人类信息总量的 研究［４］ ，在 ２０００ 年，数字存储信息只占全球数据量的 １／ ４，其他 ７５％的信息尚都存储在报纸、胶片、黑胶唱片 和盒式磁带这类媒介上；但经过短短的几年时间，到了 ２００７ 年，人类大约存储了 ３００ ＥＢ 的数据，其中只有 ７％ 是存储在报纸、书籍、图片等媒介上的模拟数据，其余 全部是数字数据。 数字数据的总量以每 ４０ 个月翻一 番的速度积累。 注：ＰＢ（ＰｅｔａＢｙｔｅｓ 拍字节）＝ １ ０２４ ＴＢ＝ ２ ５０字节，ＥＢ（ＥｘａＢｙｔｅｓ 艾字节）＝ １ ０２４ＰＢ ＝ ２ ６０字节，ＺＢ （ＺｅｔｔａＢｙｔｅｓ 泽字节） ＝ １ ０２４ ＥＢ＝ ２ ７０ 字节，ＹＢ（Ｙｏｔｔａ⁃ Ｂｙｔｅｓ 尧字节）＝ １ ０２４ ＺＢ＝２ ８０字节。 然而有了规模和速度就是大数据吗？ 研究人员在 不同时期对大数据的特点进行了总结。 首当其冲的是 ２００１ 年，ＭＥＴＡ 集团分析师 Ｄｏｕｇ Ｌａｎｅｙ 给出大数据的 ３Ｖ 特征［５］ ，分别为规模性（Ｖｏｌｕｍｅ）、多样性（Ｖａｒｉｅｔｙ） 和高速性（Ｖｅｌｏｃｉｔｙ）。 １０ 年后，ＩＤＣ 在此基础上又提出 第 ４ 个特征，即数据的价值（Ｖａｌｕｅ） ［６］ 。 ２０１２ 年 ＩＢＭ 则 认为大数据的第 ４ 个特征是指真实性（Ｖｅｒａｃｉｔｙ） ［７－８］ 。 后来，有人将上述所有特征合起来称为大数据的 ５Ｖ 特 征，也有人从不同的应用视角和需求出发，又提出了粘 性（Ｖｉｓｃｏｓｉｔｙ）、邻近性（Ｖｉｃｉｎｉｔｙ）、模糊性（Ｖａｇｕｅ）等多 种不同的特征，形成了 ３＋ｘＶ 的大数据特征［９］ 。 这些特 征的具体含义，如表 １。 表 １ 大数据特征 Ｔａｂｌｅ １ Ｂｉｇ ｄａｔａ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ 名称 含义 规模性（Ｖｏｌｕｍｅ） 规模可从数百 ＴＢ 到数十数百 ＰＢ、 甚至到 ＥＢ 规模 多样性（Ｖａｒｉｅｔｙ） 包括各种格式和形态的数据， 如文本、图像、音频、视频 实效性（Ｖｅｌｏｃｉｔｙ） 需要在一定的时间限度下 得到及时处理 价值密度（Ｖａｌｕｅ） 价值密度低，需要通过分析挖掘 和利用产生商业价值 真实性（Ｖｅｒａｃｉｔｙ） 采集的数据的质量影响分析 结果的准确性 易变性（Ｖａｒｉａｂｉｌｉｔｙ） 指数据流的格式变化多样 粘性（Ｖｉｓｃｏｓｉｔｙ） 指数据流之间的关联性是否强 邻近性（Ｖｉｃｉｎｉｔｙ） 获取数据资源的距离 传播性（Ｖｉｒａｌｉｔｙ） 数据在网络中传播的速度 有效性（Ｖｏｌａｔｉｌｉｔｙ） 数据的有效性及存储期限 模糊性（Ｖａｇｕｅ） 因采集手段的多样性和局限性， 获取的数据具有模糊性 随着应用的不同研究人员给出了众多的大数据 特点，但最早的 ３ 个 Ｖ 仍被视作大数据应具备的 ３ 个特征，贯穿于大数据生命周期中的各个阶段［９］ ， 从而也形成了学术界和产业界认同趋于一致的大数 据定义，如表 ２ 所示。 表 ２ 大数据定义 Ｔａｂｌｅ ２ Ｂｉｇ ｄａｔａ ｄｅｆｉｎｉｔｉｏｎｓ 机构 定义 Ｇａｒｔｎｅｒ 需要新处理模式才能具有更强的决策力、 洞察发现力和流程优化能力的海量、 高增长率和多样化的信息资产［１０］ 麦肯锡 一种规模大到在获取、存储、管理、分析方面大 大超出了传统数据库软件工具能力范围的数据 集合，具有海量数据规模、快速数据流转、多样 数据类型和价值密度低等四大特征［１１］ Ｗｉｋｉ 大数据是指利用常用软件工具捕获、管理和处 理数据所耗时间超过可容忍时间的数据集［１２］ １．２ 大数据存储与处理现状 早在 ２０００ 年，美国斯隆数字巡天项目启动，其 位于新墨西哥州的望远镜，在短短几周内收集到的 数据比天文学历史上总共收集的数据还要多。 云平 台 ＤＯＭＯ 公司从 ２０１０ 年开始做过一份有趣的统 计———“数据从不休息”，将不同社交网络每分钟产 生的数据进行比较，并形象地给出了它们的数据总 量［１３］ 。 据 统 计， 某 社 交 网 络 产 生 的 评 论 数 在 ２０１０—２０１１ 年 期 间 为 每 分 钟 ６０ 余 万 条， 而 在 ２０１３—２０１５ 期间迅速增长为每分钟 ４１０ 余万条。 据另一个统计，２０１５ 年美国股市每天的成交量可高 达 ７０ 亿股。 Ｇｏｏｇｌｅ 每天要处理超过 ２４ ＰＢ 的数据， 这个数据处理量是美国国家图书馆所有纸质出版物 所含数据量的千倍之多［１４］ 。 由此说明，除了互联网 之外，物联网、移动终端乃至传统的产业都在迅速产 生大量的数据。 研究人员对大数据的产生方式进行 了分类［１５］ ，并指出大数据产生方式经历了被动生 成、主动生成、自动生成 ３ 个阶段［１５］ ，如表 ３ 所示。 表 ３ 大数据产生阶段 Ｔａｂｌｅ ３ Ｂｉｇ ｄａｔａ ｇｅｎｅｒａｔｉｎｇ 阶段 方式 特点 １ 被动 运营式系统阶段，伴随一定的运 营活动数据被动产生并保存 ２ 主动 用户原创内容阶段，尤其是在 Ｗｅｂ２．０ 时代，社交网络的出现以及以智能手机、 平板电脑为代表的新型移动设备的使 用率上升，爆炸式地、主动地产生 ＵＧＣ （ｕｓｅｒ ｇｅｎｅｒａｔｅｄ ｃｏｎｔｅｎｔ）数据 ３ 自动 感知式系统阶段，随着带有处理 功能的传感器广泛布置于社会各处， 源源不断地、自动地产生新的数据 第 ６ 期 马世龙，等：大数据与深度学习综述 ·７２９·
.730 智能系统学报 第11卷 大数据产生如此之快，对存储提出更高的要求。 要进行及时、有效地分析和处理，进而挖掘其中的价 产业界纷纷投入建设规模庞大的数据存储基础设 值。M.Viktor!指出，利用大数据进行分析时，与以 施。到2012年为止，Google部署在全球的数据中心 往不同的是：1)要使用全生命周期数据，即不是样 就有36个，单个数据中心的计算机节点将达到数百 本而是全体：2)与精确的数据分析相比，更加关注 万个；微软在全球建设超过20个数据中心，仅在 对全量复杂多样数据的分析：3)与传统的因果关系 2009年底前，就在芝加哥建成当时世界最大的模块 分析相比，更加关注事物之间的相关关系：4)基于 化数据中心，包括220个集装箱，每个集装箱有 机器学习的大数据分析结果将减少传统决策中的主 1800~2500台机器不等16。DC统计显示，全球 观因素。 的数据储量仅在2011年就达到1.8ZB,2015年全球 大数据处理在一般流程上包括数据存储、数据 大数据储量达到8.61ZB,而今后10年，用于存储数 抽取与集成、数据分析、数据解释和用户等几个层 据的全球服务器总量还将增长10倍[。 次，如文献[15]中图1所示。 大数据不仅需要如此妥善的存储和监管，更需 用户 研究人员 企业 政府 数据解释 可视化 数据跟踪 人机交互 决策支持 商业智能 推荐系统 预测 数据分析 机器学习 数据挖据 统计学 海量相关数据存储 模式演化 聚合与相关性 数据质量与可信性 数据抽取与集成 关系 实体 数据集成 数据抽取 结构化 半结构化 非结构化 数据源 关系数据库管理系统 超文本 文档 ”””。。””。““”“”小。中”““ ””。+““““。““。”“4。”小。。。 图1大数据处理一般流程 Fig.1 Basic framework of big data processing 其中，数据分析是整个大数据处理流程的核心。 [18]中对上述几种大数据处理形式从所处理数据 在这一层所处理的是从异构数据源抽取和集成的数 的特征、典型应用以及相关经典处理系统等几个维 据，也称为分析的原始数据。根据应用的不同需求， 度给出了系统而全面的总结。 可以从中取舍，利用全部或部分数据进行分析。大 可以说，从大数据产生到现在的10余年里，关于 数据的价值正是产生于此处]。 大数据分析与处理的技术呈现百家争鸣、百花齐放的 大数据处理在形式上又分为三大类型，分别为 状态，也取得了显著的成绩。2003年，人类第1次破 静态数据批量处理、在线数据实时处理和图形图像 译人体基因密码时，用了10年才完成30亿对碱基对 数据综合处理。其中，对在线数据的实时处理又可 的排序，而10年后，世界范围内的基因仪15min就可 以划分为流式数据的处理和交互数据的处理。文献 以完成同样的工作。美国股市日交易量的2/3都由
大数据产生如此之快，对存储提出更高的要求。 产业界纷纷投入建设规模庞大的数据存储基础设 施。 到 ２０１２ 年为止，Ｇｏｏｇｌｅ 部署在全球的数据中心 就有 ３６ 个，单个数据中心的计算机节点将达到数百 万个；微软在全球建设超过 ２０ 个数据中心，仅在 ２００９ 年底前，就在芝加哥建成当时世界最大的模块 化数据中心， 包括 ２２０ 个集装箱， 每个集装箱有 １ ８００～２ ５００ 台机器不等［１６］ 。 ＩＤＣ 统计显示，全球 的数据储量仅在 ２０１１ 年就达到 １．８ ＺＢ，２０１５ 年全球 大数据储量达到 ８．６１ ＺＢ，而今后 １０ 年，用于存储数 据的全球服务器总量还将增长 １０ 倍［１７］ 。 大数据不仅需要如此妥善的存储和监管，更需 要进行及时、有效地分析和处理，进而挖掘其中的价 值。 Ｍ．Ｖｉｋｔｏｒ ［１４］指出，利用大数据进行分析时，与以 往不同的是：１） 要使用全生命周期数据，即不是样 本而是全体；２） 与精确的数据分析相比，更加关注 对全量复杂多样数据的分析；３）与传统的因果关系 分析相比，更加关注事物之间的相关关系；４） 基于 机器学习的大数据分析结果将减少传统决策中的主 观因素。 大数据处理在一般流程上包括数据存储、数据 抽取与集成、数据分析、数据解释和用户等几个层 次，如文献［１５］中图 １ 所示。 图 １ 大数据处理一般流程 Ｆｉｇ．１ Ｂａｓｉｃ ｆｒａｍｅｗｏｒｋ ｏｆ ｂｉｇ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ 其中，数据分析是整个大数据处理流程的核心。 在这一层所处理的是从异构数据源抽取和集成的数 据，也称为分析的原始数据。 根据应用的不同需求， 可以从中取舍，利用全部或部分数据进行分析。 大 数据的价值正是产生于此处［１５］ 。 大数据处理在形式上又分为三大类型，分别为 静态数据批量处理、在线数据实时处理和图形图像 数据综合处理。 其中，对在线数据的实时处理又可 以划分为流式数据的处理和交互数据的处理。 文献 ［１８］中对上述几种大数据处理形式从所处理数据 的特征、典型应用以及相关经典处理系统等几个维 度给出了系统而全面的总结。 可以说，从大数据产生到现在的 １０ 余年里，关于 大数据分析与处理的技术呈现百家争鸣、百花齐放的 状态，也取得了显著的成绩。 ２００３ 年，人类第 １ 次破 译人体基因密码时，用了 １０ 年才完成 ３０ 亿对碱基对 的排序，而 １０ 年后，世界范围内的基因仪 １５ ｍｉｎ 就可 以完成同样的工作。 美国股市日交易量的 ２／ ３ 都由 ·７３０· 智 能 系 统 学 报 第 １１ 卷
第6期 马世龙，等：大数据与深度学习综述 ·731· 建立在数学模型和算法之上的计算机程序自动完成， 位四。机器学习的研究从其热衷度上大致分为3 这些程序运用海量数据，能够预测利益和降低风险。 个阶段。 2009年Go0gle公司一家就为美国政府贡献了540亿 首先是20世纪五六十年代，机器学习的萌芽时 美元的利润。大数据已经成为企业、政府、机构决策 期。1959年，Arthur Samuel设计了一个具有学习能 的重要源泉，基于大数据分析的应用也成为人们衣食 力的下棋程序，可以通过一次次的对弈改善程序自 住行必不可少的工具。 身的棋艺。该程序不仅在4年后，战胜其设计者本 1.3大数据面临的挑战 人，7年后还战胜了美国一位保持8不败战绩的冠 如果说大数据产生之初所面临的挑战主要表现 军】。1956年，Frank Rosenblatt提出了一种基于 在如何及时收集和合理存储上[)，那么10余年后的 神经网络的数学模型一感知机，采用线性优化的方 今天，大数据所面临的更多是如何有效地分析大数 法模拟人类学习的神经系统2。同期，Widrow提 据[90。大数据分析是指大数据内容上的分析与 出最小均方误差(least mean square,LMS)算法开 计算。由于大数据的众多特点，诸多传统方法如数 启了对自适应元素的训练]。这些探索使得机器 据挖掘不能直接应用于大数据集场景，大数据分析 学习第一次成为热门研究。 面临新的挑战，包括[9,15,18。 然而，1969年人工智能之父Marvin Minsky指 1)传统算法主要基于内存，随着数据规模的空 出单层感知机无法处理线性不可分问题，如异或 前扩大，它们的时空开销（计算复杂度）变得难于容 (同或)的分类：以及基于“黑箱”原理无法将模型与 忍。如何应对大批量的数据，将其装入内存并高效 现实世界直接对应等问题[26-]，使得机器学习的研 运行成为新的挑战。 究一度进入低谷。虽然Widrow和Winter提出的 2)为了支持全数据量的实时数据处理，由于有 Madaline算法通过分段线性化的思想能够解决异或 时无法永久化存储，同时数据使用环境持续变化，使 的分类问题，但仍然不能彻底解决感知机所面临的 得无法掌握数据整个生命周期的特征。如何通过传 挑战。但是，这一尝试却开启了研究人员基于符号 统批量算法，基于历史数据构建无偏训练集成为新 归纳的机器学习和集成机器学习的探索[2)。同时， 的挑战。 20世纪70年代随着有限样本统计理论引入机器学 3)在大数据环境下，数据生产和采集的能力日 习，涌现了基于人工神经网络(artificial neural net- 益增强，这导致数据在规模增大的同时呈现出新的 wok,ANN)上的众多统计机器学习算法，最著名包 特点：属性数量大而稀疏、数据体量大而高噪声、数 括支持向量机(SVM)[2)、高斯混合模型(GMM)【2 据高维而复杂多样。如何处理高维、高噪声、稀疏数 以及逻辑回归(LR)。从而机器学习在一段冷静时 据成为新的挑战。 期之后第2次成为研究热点。 4)虽然机器学习善于处理非确定性的复杂问 进入20世纪80年代后期，Rumelhart提出多层 题，但是对于大数据处理与分析的场景，由于大数据 感知机从而解决了线性不可分的问题[)。但由于 的复杂多样性，机器学习在统计分析、学习目标和学 数据产生速度的不断提升，多层感知机也变得对其 习效率方面遇到了新的挑战。 无法适应，机器学习的算法亟待改进[2]。与此同 大数据分析所涉及的关键技术包括深度学习、 时，在神经网络领域Paul Werbos提出反向传播 知识计算和可视化等1)。其中深度学习是一种基 (back propagation,BP)算法使线性不可分的问题在 于机器学习、数据挖掘技术以及神经网络理论，分析 复杂神经网络上也能得以解决[3。从此，机器学习 大数据潜在价值的过程。本文，后续将围绕深度学 进入第3个阶段，即快速发展时期。在这一阶段，不 习进行综述，并最后给出这两个热门研究领域在未 断涌现出更优秀的算法]，推动了人工智能在语音 来的一些可能性。 识别、图形图像处理以及自然语言处理方面的进展。 2从机器学习到深度学习 但机器学习在几十年的发展中，仍有很多问题 未能解决。其中包括：BP算法随着神经网络层次的 2.1机器学习发展历程 加深，参数优化效果无法传递到前层，从而导致容易 如果说人的学习是通过观察获得某种技能的过 出现局部最优解3)或过拟合问题34；此外，由于机 程，那么机器学习就是在用计算机模仿这一过 器学习在实际应用中需要手工设计特征和线性分类 程)。机器学习被认为是计算机拥有智能的根本 器，它不仅依赖领域专家的知识，还需要人在学习过 途径，在人工智能发展的早期阶段占据了重要地 程中参与这使得学习耗时耗力。而且，这种机器学
建立在数学模型和算法之上的计算机程序自动完成， 这些程序运用海量数据，能够预测利益和降低风险。 ２００９ 年 Ｇｏｏｇｌｅ 公司一家就为美国政府贡献了 ５４０ 亿 美元的利润。 大数据已经成为企业、政府、机构决策 的重要源泉，基于大数据分析的应用也成为人们衣食 住行必不可少的工具。 １．３ 大数据面临的挑战 如果说大数据产生之初所面临的挑战主要表现 在如何及时收集和合理存储上［２］ ，那么 １０ 余年后的 今天，大数据所面临的更多是如何有效地分析大数 据［１９－２０］ 。 大数据分析是指大数据内容上的分析与 计算。 由于大数据的众多特点，诸多传统方法如数 据挖掘不能直接应用于大数据集场景，大数据分析 面临新的挑战，包括［９， １５， １８］ ： １）传统算法主要基于内存，随着数据规模的空 前扩大，它们的时空开销（计算复杂度）变得难于容 忍。 如何应对大批量的数据，将其装入内存并高效 运行成为新的挑战。 ２）为了支持全数据量的实时数据处理，由于有 时无法永久化存储，同时数据使用环境持续变化，使 得无法掌握数据整个生命周期的特征。 如何通过传 统批量算法，基于历史数据构建无偏训练集成为新 的挑战。 ３）在大数据环境下，数据生产和采集的能力日 益增强，这导致数据在规模增大的同时呈现出新的 特点：属性数量大而稀疏、数据体量大而高噪声、数 据高维而复杂多样。 如何处理高维、高噪声、稀疏数 据成为新的挑战。 ４）虽然机器学习善于处理非确定性的复杂问 题，但是对于大数据处理与分析的场景，由于大数据 的复杂多样性，机器学习在统计分析、学习目标和学 习效率方面遇到了新的挑战。 大数据分析所涉及的关键技术包括深度学习、 知识计算和可视化等［１８］ 。 其中深度学习是一种基 于机器学习、数据挖掘技术以及神经网络理论，分析 大数据潜在价值的过程。 本文，后续将围绕深度学 习进行综述，并最后给出这两个热门研究领域在未 来的一些可能性。 ２ 从机器学习到深度学习 ２．１ 机器学习发展历程 如果说人的学习是通过观察获得某种技能的过 程，那么 机 器 学 习 就 是 在 用 计 算 机 模 仿 这 一 过 程［２１］ 。 机器学习被认为是计算机拥有智能的根本 途径，在人工智能发展的早期阶段占据了重要地 位［２２］ 。 机器学习的研究从其热衷度上大致分为 ３ 个阶段。 首先是 ２０ 世纪五六十年代，机器学习的萌芽时 期。 １９５９ 年，Ａｒｔｈｕｒ Ｓａｍｕｅｌ 设计了一个具有学习能 力的下棋程序，可以通过一次次的对弈改善程序自 身的棋艺。 该程序不仅在 ４ 年后，战胜其设计者本 人，７ 年后还战胜了美国一位保持 ８ 不败战绩的冠 军［２３］ 。 １９５６ 年，Ｆｒａｎｋ Ｒｏｓｅｎｂｌａｔｔ 提出了一种基于 神经网络的数学模型—感知机，采用线性优化的方 法模拟人类学习的神经系统［２４］ 。 同期，Ｗｉｄｒｏｗ 提 出最小均方误差（ ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ， ＬＭＳ） 算法开 启了对自适应元素的训练［２５］ 。 这些探索使得机器 学习第一次成为热门研究。 然而，１９６９ 年人工智能之父 Ｍａｒｖｉｎ Ｍｉｎｓｋｙ 指 出单层感知机无法处理线性不可分问题，如异或 （同或）的分类；以及基于“黑箱”原理无法将模型与 现实世界直接对应等问题［２６－２７］ ，使得机器学习的研 究一度进入低谷。 虽然 Ｗｉｄｒｏｗ 和 Ｗｉｎｔｅｒ 提出的 Ｍａｄａｌｉｎｅ 算法通过分段线性化的思想能够解决异或 的分类问题，但仍然不能彻底解决感知机所面临的 挑战。 但是，这一尝试却开启了研究人员基于符号 归纳的机器学习和集成机器学习的探索［２７］ 。 同时， ２０ 世纪 ７０ 年代随着有限样本统计理论引入机器学 习，涌现了基于人工神经网络（ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔ⁃ ｗｏｒｋ，ＡＮＮ）上的众多统计机器学习算法，最著名包 括支持向量机（ＳＶＭ） ［２８］ 、高斯混合模型（ＧＭＭ） ［２９］ 以及逻辑回归（ＬＲ）。 从而机器学习在一段冷静时 期之后第 ２ 次成为研究热点。 进入 ２０ 世纪 ８０ 年代后期，Ｒｕｍｅｌｈａｒｔ 提出多层 感知机从而解决了线性不可分的问题［３０］ 。 但由于 数据产生速度的不断提升，多层感知机也变得对其 无法适应，机器学习的算法亟待改进［２６］ 。 与此同 时，在神经网络领域 Ｐａｕｌ Ｗｅｒｂｏｓ 提出反向传播 （ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ，ＢＰ）算法使线性不可分的问题在 复杂神经网络上也能得以解决［３１］ 。 从此，机器学习 进入第 ３ 个阶段，即快速发展时期。 在这一阶段，不 断涌现出更优秀的算法［３２］ ，推动了人工智能在语音 识别、图形图像处理以及自然语言处理方面的进展。 但机器学习在几十年的发展中，仍有很多问题 未能解决。 其中包括：ＢＰ 算法随着神经网络层次的 加深，参数优化效果无法传递到前层，从而导致容易 出现局部最优解［３３］或过拟合问题［３４］ ；此外，由于机 器学习在实际应用中需要手工设计特征和线性分类 器，它不仅依赖领域专家的知识，还需要人在学习过 程中参与这使得学习耗时耗力。 而且，这种机器学 第 ６ 期 马世龙，等：大数据与深度学习综述 ·７３１·
.732 智能系统学报 第11卷 习无法很好地处理自然数据（无标签数据），同时不 Boltzmann machine,DBM)。DBN是由GE Hinton于 易应用于深层的网络3]。然而解决这些问题，促成 20O6年提出的一种串联堆叠RBM形成的深层模 了机器学习新的分支—深度学习的研究。 型[4。该模型在训练阶段将一层RBM的输出作为 2.2多层结构和深度学习 另一层RBM的输入，由此逐步训练隐藏层的高阶数 深度学习也叫无监督特征学习(unsupervised 据相关性，最后采用BP对权值进行微调。而DBM feature learning),即可以无需人为设计特征提取，特 是一种特殊的BM。不同的是，除了有一个可视层 征从数据中学习而来。深度学习实质上是多层表示 之外，它具有多个隐藏层，并且只有相邻隐藏层的单 学习(representation learning)方法的非线性组合。 元之间才可以有连接。它们之间的对比如图3]。 表示学习是指从数据中学习表示（或特征），以便在 分类和预测时提取数据中有用信息[6]。深度学习 从原始数据开始将每层表示（或特征）逐层转换为 更高层更抽象的表示，从而发现高维数据中错综复 杂的结构]。 深度学习的发展不仅源于机器学习的丰厚积 累，同时也受到统计力学的启发。1985年D.H Ackley等基于玻尔兹曼分布，提出了一种具有无监 (a)深度置信网络(b)深度玻尔滋曼机 督学习能力的神经网络玻尔兹曼机(Boltzmann ma- 图3深度置信网络和深度玻尔兹曼机 chine,BM)[)。该模型是一种对称耦合的随机反馈 Fig.3 A DBN and a DBM 型二值单元神经网络，由可视单元和多个隐藏单元 对于一个RBM,如果把隐藏层的层数增加，可以 组成，用可视单元和隐单元表示随机网络与随机环 得到一个DBM:如果在靠近可视层的部分使用贝叶 境的学习模型，用权值表示单元之间的相关性。通 斯信念网络（即有向图模型），而在最远离可视层的部 过该模型能够描述变量之间的相互高阶作用，但其 分使用RBM,则可以得到一个DBN。由于RBM的训 算法复杂，不易应用3]。次年P.Smolensky基于他 练中采用对比散度CD算法[]可以快速得到训练，使 本人所提出的调和论给出了一种受限的玻尔兹曼机 得深度置信网络的训练速度也大幅度提升。 模型(RBM)。该模型将BM限定为两层网络，一个 在深度学习发展的10年中，基于上述两种网络 可视单元层和一个隐藏单元层。并且进一步限定层 结构的深度学习算法不时涌现，使其成为一门广袤 内神经元之间相互独立，无连接，层间的神经元才可 的学科。根据文献[43-45]，本文对现有深度学习 以相互连接。如图2所示[3。 算法之间的派生关系进行梳理，形成如图4所示的 树形结构 该图通过节点和有向边展示了不同深层结构之 间的派生关系。派生关系表示深度网络是在网络结 构或训练算法上的微调或改进。有些深度学习算法 是在原有某个深度学习算法的基础上对其网络结构 进行了调整而形成，例如堆叠自动编码器就是受DBN 启发，将其中的RBM替换为AE而形成，如图4中 (a)一般玻尔兹曼机(b)受限的玻尔兹曼机 2007年Yoshua等提出的SAE。而有些深度学习算法 图2一般玻尔兹曼机和受限的玻尔兹曼机 则是结合了多种已有深度学习算法派生而来，例如堆 Fig.2 A general BM and a RBM 叠卷积自动编码器就是在卷积网络中采用了自动编 RBM通过两层马尔可夫随机场，从训练样本得 码器AE而形成，如图4中2011年Masci提出的 到的隐藏层中神经元状态，并估计独立于数据的期 SCAE。采用有向边将文中所涉及的深度学习算法相 望值。该模型由于大幅度提高了BM的学习效 连接，可以形成一棵深度网络派生树。在深度学习的 率[0]，被众多研究人员所借鉴，从而开启了深度学 整个发展过程中DBN,DBM、AE和CNN构成了早期 习的研究热潮。 的基础模型。后续的众多研究则是在此基础上提出 其中最为典型的深度结构包括深度置信网络 或改进的新的学习模型。关于更多派生模型的详细 (deep belief network,DBN)和深度玻尔兹曼机(deep 信息如表4所示
习无法很好地处理自然数据（无标签数据），同时不 易应用于深层的网络［３５］ 。 然而解决这些问题，促成 了机器学习新的分支———深度学习的研究。 ２．２ 多层结构和深度学习 深度学习也叫无监督特征学习（ ｕｎｓｕｐｅｒｖｉｓｅｄ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ），即可以无需人为设计特征提取，特 征从数据中学习而来。 深度学习实质上是多层表示 学习（ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ） 方法的非线性组合。 表示学习是指从数据中学习表示（或特征），以便在 分类和预测时提取数据中有用信息［３６］ 。 深度学习 从原始数据开始将每层表示（或特征）逐层转换为 更高层更抽象的表示，从而发现高维数据中错综复 杂的结构［３５］ 。 深度学习的发展不仅源于机器学习的丰厚积 累，同时也受到统计力学的启发。 １９８５ 年 Ｄ． Ｈ． Ａｃｋｌｅｙ 等基于玻尔兹曼分布，提出了一种具有无监 督学习能力的神经网络玻尔兹曼机（Ｂｏｌｔｚｍａｎｎ ｍａ⁃ ｃｈｉｎｅ，ＢＭ） ［３７］ 。 该模型是一种对称耦合的随机反馈 型二值单元神经网络，由可视单元和多个隐藏单元 组成，用可视单元和隐单元表示随机网络与随机环 境的学习模型，用权值表示单元之间的相关性。 通 过该模型能够描述变量之间的相互高阶作用，但其 算法复杂，不易应用［３８］ 。 次年 Ｐ． Ｓｍｏｌｅｎｓｋｙ 基于他 本人所提出的调和论给出了一种受限的玻尔兹曼机 模型（ＲＢＭ）。 该模型将 ＢＭ 限定为两层网络，一个 可视单元层和一个隐藏单元层。 并且进一步限定层 内神经元之间相互独立，无连接，层间的神经元才可 以相互连接。 如图 ２ 所示［３９］ 。 （ａ） 一般玻尔兹曼机 （ｂ）受限的玻尔兹曼机 图 ２ 一般玻尔兹曼机和受限的玻尔兹曼机 Ｆｉｇ．２ Ａ ｇｅｎｅｒａｌ ＢＭ ａｎｄ ａ ＲＢＭ ＲＢＭ 通过两层马尔可夫随机场，从训练样本得 到的隐藏层中神经元状态，并估计独立于数据的期 望值。 该模型由于大幅度提高了 ＢＭ 的学习效 率［４０］ ，被众多研究人员所借鉴，从而开启了深度学 习的研究热潮。 其中最为典型的深度结构包括深度置信网络 （ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ，ＤＢＮ）和深度玻尔兹曼机（ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＤＢＭ）。 ＤＢＮ 是由 ＧＥ Ｈｉｎｔｏｎ 于 ２００６ 年提出的一种串联堆叠 ＲＢＭ 形成的深层模 型［４１］ 。 该模型在训练阶段将一层 ＲＢＭ 的输出作为 另一层 ＲＢＭ 的输入，由此逐步训练隐藏层的高阶数 据相关性，最后采用 ＢＰ 对权值进行微调。 而 ＤＢＭ 是一种特殊的 ＢＭ。 不同的是，除了有一个可视层 之外，它具有多个隐藏层，并且只有相邻隐藏层的单 元之间才可以有连接。 它们之间的对比如图 ３ ［３９］ 。 （ａ） 深度置信网络 （ｂ）深度玻尔兹曼机 图 ３ 深度置信网络和深度玻尔兹曼机 Ｆｉｇ．３ Ａ ＤＢＮ ａｎｄ ａ ＤＢＭ 对于一个 ＲＢＭ，如果把隐藏层的层数增加，可以 得到一个 ＤＢＭ；如果在靠近可视层的部分使用贝叶 斯信念网络（即有向图模型），而在最远离可视层的部 分使用 ＲＢＭ，则可以得到一个 ＤＢＮ。 由于 ＲＢＭ 的训 练中采用对比散度 ＣＤ 算法［４２］可以快速得到训练，使 得深度置信网络的训练速度也大幅度提升。 在深度学习发展的 １０ 年中，基于上述两种网络 结构的深度学习算法不时涌现，使其成为一门广袤 的学科。 根据文献［４３－４５］，本文对现有深度学习 算法之间的派生关系进行梳理，形成如图 ４ 所示的 树形结构。 该图通过节点和有向边展示了不同深层结构之 间的派生关系。 派生关系表示深度网络是在网络结 构或训练算法上的微调或改进。 有些深度学习算法 是在原有某个深度学习算法的基础上对其网络结构 进行了调整而形成，例如堆叠自动编码器就是受 ＤＢＮ 启发，将其中的 ＲＢＭ 替换为 ＡＥ 而形成，如图 ４ 中 ２００７ 年 Ｙｏｓｈｕａ 等提出的 ＳＡＥ。 而有些深度学习算法 则是结合了多种已有深度学习算法派生而来，例如堆 叠卷积自动编码器就是在卷积网络中采用了自动编 码器 ＡＥ 而形成，如图 ４ 中 ２０１１ 年 Ｍａｓｃｉ 提出的 ＳＣＡＥ。 采用有向边将文中所涉及的深度学习算法相 连接，可以形成一棵深度网络派生树。 在深度学习的 整个发展过程中 ＤＢＮ、ＤＢＭ、ＡＥ 和 ＣＮＮ 构成了早期 的基础模型。 后续的众多研究则是在此基础上提出 或改进的新的学习模型。 关于更多派生模型的详细 信息如表 ４ 所示。 ·７３２· 智 能 系 统 学 报 第 １１ 卷
第6期 马世龙，等：大数据与深度学习综述 .733 Perceptron[1969 出现问题 统计力学随机 Minsky.Marvin ①单层感知机（浅层结构） 不能实现异或功能 图例 神经网络实例 (Parceptron 即不能解决线性不可分问题： 里程碑 BM[1985] 感知机) 2多量感知机，即深度结构 存在问题不易确切计 Ackley,D H 解决问题： 是可以求解线性不可分的问题 关键算法 特点说明 算BM所表示的分布函数 (Boltznann Machina 解决线性不可分问题，并由简单 波尔兹曼机) O 面临问题 神经网辂推广到复杂神经网络 演进为 层内节点独立： 解决问题： 解决问题： 层间节点有连接： 容易求得BM的概率分布 线上文字已解决问题 能够处理序列数掘 两层马尔叮夫随机场： (B-B分布或C-B分布) 强大的无监督学习能力 RMB[19861 BP[1974] Smolensky.P Werbos,P.J 存在问题 解决问题： (Restricted Poltznann (Back Propagatio ①易出现局部最优解： 减少传播造成 基于反向传播 的误差 Machine ②易出现过拟合 受限玻尔兹曼机) 多层感知机 解决问题： 卷积层 对受干扰数据极度脆弱 D个可视单元集 SGR MBI20101 与F个隐藏单位元 Luo.Heng Chen日gin 成功用于训练 和汇聚层 Sparse (Consiruous 深度网络 组成的序列自下而 Rostriciod 解决问题： 上生成结构，自顶 Bolzznann Boltzoann 先通过无监督学习到 CNN[1989 CNNJ19901 Machine ecun. Jeffrey 向下的反馈 Machira 的参数作为有监督学 Elman, 倍感受限 连续受限玻 的初始值 Y.(Corivolutional (Simple Recurrent 玻尔兹曼机) 尔兹曼机) 采用BF微调来进行权 cural Network Network 值重好的训练从而解 卷积神经网路) 简单循环网络) 决了BP存在的问题。 DBM20061 AE19861 Salakhutdinov Rumelhart CNNI19951 解决问题： R.R(Deep D.E.(Auto Hihi.Salah E1 梯度消失； Boliznann Machine Bncoders (Recurrent Neura 梯度爆炸 深度玻尔兹曼机) 自动编码器 多层RBM 循环神经网络) 训练阶段将 层RBM的结果 LSTM[19971 多层AE1 作为另一层 Hochreiter,Sepp DAE2006] RBM的输入 (Long Short Term Hinton.G.E 解决问题： 长短时记忆 Deen Auto 可输入任意值 存在问题 进行训练 Hinton.G.E ①在可视 相当于DBN (Deep Belief 层只能输 中将FBM替 入二值数据 原始数据 换成AE 深度置信 网络) ②优化困难 解决问题 加噪声项 SAEI20071 SAE[2007]I DAE20081 Yoshua Bengio Ranzato,Mare 梯度爆炸 Vincent Pascal (Stacked Auto Aurelio (Dnoi ing Auto Encoders (Stacked Auto Encoders 堆叠自动 Enc oders 降噪自动 编码器) 稀疏自动 编码) 绵码器) SCAE[20111 Masci.Jonathar DAE2010] Lee.Honglak (Convolutional (Stacked Vincent,Pascal Belief Convoluticnal (Stacked Dnoising Deey Auto-encodcre Auto encoders Network 堆叠降噪自动 卷积深度 堆卷积自动 编码器) 编码器) 置信网络) SSAE[2013] SDBN[20131 SDBN[20121 liang,Xiaojuan Halkias xanadu Krizhevsky.Alex (Stacked sparse (Deep Cenvalutional Auto- Net Naural Natwork 叠白动 稀疏深度置信 深度卷积神经网络 编码器 编码器) MD-DCNN[2014] GRUT20141GRU[2014] Zheng Yi Cho Goodfellow.lan (Multi-charriels (Gated onirat山ve DCGAN[20151 Deen Comnvoluticnall Recurrent Advovcaria Radford Alec uralNatwork Unit (Deep Gcrivolutional Generstive 多通道深度 关口循环 生成对抗 卷积神经网络 单元) 网络) 深度卷积生成对抗网铬) 图4深层网络派生树 Fig.4 The derivation tree of the deep networks
图 ４ 深层网络派生树 Ｆｉｇ．４ Ｔｈｅ ｄｅｒｉｖａｔｉｏｎ ｔｒｅｅ ｏｆ ｔｈｅ ｄｅｅｐ ｎｅｔｗｏｒｋｓ 第 ６ 期 马世龙，等：大数据与深度学习综述 ·７３３·
.734 智能系统学报 第11卷 表4深层网络及其算法 Table 4 Deep networks and algorithms 深度 网络 相关训练 模型特点及 存在 年份 模型 提出者 结构 算法 解决问题 问题 Perceptron[] M.Minsky 1969 线性可分问题 线性不可分问题 感知机 S.Papert Bp(a) 线性不可分问题：从 局部最优解问题； 1974 P.J.Werbos 链式积分法 简单神经网络到复 反向传播 过拟合问题 杂神经网络的推广 BM(37) D.H.Ackley 统计力学中一种能 1985 G.E.Hinton 多层 量模型，随机神经 难于计算分布 玻尔兹曼机 T.J Sejnowski 网络实例 RBMO]受限 容易求得BM的概 2层 1986 P.Smolensky 对比散度法 率分布：具有无监督 效率低 玻尔兹曼机 无向边 学习能力 CRBM[46] H.Chen 2002 连续受限 2层 MCD:BP 能够对连续数据建模 参数调优困难 玻尔兹曼机 A.Murray SGRBM(4] Luo Heng 稀疏表示符合 隐藏单元分组 稀疏惩罚对数 2010 稀疏组受限 Shen Ruimin 2层 生物学特征惩罚 方式和依据尚 似然；BP 玻尔兹曼机 Niu Cahngyong 隐藏单元的损失 不明确 RBM的堆叠：以无监督 DBN[4] 多层 G.E.Hinton 贪心逐层训练 学习到的参数作为有监可视层只能接收二 2006 有/无向边 深度置信网络 R.R.Salakhutdinov 算法；BP 督学习的初始值，从而值数值：优化困难 全连接 解决了BP的问题 DBM[3) 多层 BM的特殊形式； R.R.Salakhutdinov 2006 无向边 自下而上生成结构： 效率低 深度玻尔兹曼机 G.E.Hinton p 全连接 减少传播造成的误差 Lee Honglak 采用概率最大池能够 CDBN(4] 多层 Grosse Roger 贪心逐层对高维图像做全尺寸衡量， 2009 无向边 优化困难 卷积深度置信网络 Ranganath Rajesh 训练算法：BP 并对输入的局部变换 部分连接 Ng Andrew Y 具有不变性 SDBN(49] X.Halkias 多层 混淆范数作为稀疏 2013 稀疏深度 S.Paris 有/无向边 混淆范数：BP 优化困难 约束的DBN结构 置信网络 H.Glotin 全连接 通过编码器和解 AE[so] D.E.Rumelhart 1986 G.E.Hinton 3层 贪心逐层训练算法 码器工作完成训练： 不能用于分类 自动编码器 通过损失函数最小化 R.J.Williams 求出网络的参数： 无监督逐层贪心训练 隐藏层数量和神 DAE[4] G.E.Hinton 贪心逐层 算法完成对隐含层的预 2006 多层 经元的数量增 深自动编码器 R.R.Salakhutdinov 训练算法：BP 训练：并通过BP微调， 多导致梯度稀释 显著降低了性能指数：
表 ４ 深层网络及其算法 Ｔａｂｌｅ ４ Ｄｅｅｐ ｎｅｔｗｏｒｋｓ ａｎｄ ａｌｇｏｒｉｔｈｍｓ 年份 深度 模型 提出者 网络 结构 相关训练 算法 模型特点及 解决问题 存在 问题 １９６９ Ｐｅｒｃｅｐｔｒｏｎ ［２６］ 感知机 Ｍ．Ｍｉｎｓｋｙ Ｓ．Ｐａｐｅｒｔ － － 线性可分问题 线性不可分问题 １９７４ ＢＰ ［３１］ 反向传播 Ｐ．Ｊ．Ｗｅｒｂｏｓ － 链式积分法 线性不可分问题；从 简单神经网络到复 杂神经网络的推广 局部最优解问题； 过拟合问题 １９８５ ＢＭ ［３７］ 玻尔兹曼机 Ｄ．Ｈ．Ａｃｋｌｅｙ Ｇ．Ｅ．Ｈｉｎｔｏｎ Ｔ．Ｊ Ｓｅｊｎｏｗｓｋｉ 多层 － 统计力学中一种能 量模型，随机神经 网络实例 难于计算分布 １９８６ ＲＢＭ ［４０］受限 玻尔兹曼机 Ｐ．Ｓｍｏｌｅｎｓｋｙ ２ 层 无向边 对比散度法 容易求得 ＢＭ 的概 率分布；具有无监督 学习能力 效率低 ２００２ ＣＲＢＭ ［４６］ 连续受限 玻尔兹曼机 Ｈ．Ｃｈｅｎ Ａ．Ｍｕｒｒａｙ ２ 层 ＭＣＤ；ＢＰ 能够对连续数据建模 参数调优困难 ２０１０ ＳＧＲＢＭ ［４７］ 稀疏组受限 玻尔兹曼机 Ｌｕｏ Ｈｅｎｇ Ｓｈｅｎ Ｒｕｉｍｉｎ Ｎｉｕ Ｃａｈｎｇｙｏｎｇ ２ 层 稀疏惩罚对数 似然；ＢＰ 稀疏表示符合 生物学特征惩罚 隐藏单元的损失 隐藏单元分组 方式和依据尚 不明确 ２００６ ＤＢＮ ［４１］ 深度置信网络 Ｇ．Ｅ．Ｈｉｎｔｏｎ Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ 多层 有／ 无向边 全连接 贪心逐层训练 算法；ＢＰ ＲＢＭ 的堆叠；以无监督 学习到的参数作为有监 督学习的初始值，从而 解决了 ＢＰ 的问题 可视层只能接收二 值数值；优化困难 ２００６ ＤＢＭ ［３９］ 深度玻尔兹曼机 Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ Ｇ．Ｅ．Ｈｉｎｔｏｎ 多层 无向边 全连接 ＢＰ ＢＭ 的特殊形式； 自下而上生成结构； 减少传播造成的误差 效率低 ２００９ ＣＤＢＮ ［４８］ 卷积深度置信网络 Ｌｅｅ Ｈｏｎｇｌａｋ Ｇｒｏｓｓｅ Ｒｏｇｅｒ Ｒａｎｇａｎａｔｈ Ｒａｊｅｓｈ Ｎｇ Ａｎｄｒｅｗ Ｙ 多层 无向边 部分连接 贪心逐层 训练算法；ＢＰ 采用概率最大池能够 对高维图像做全尺寸衡量， 并对输入的局部变换 具有不变性 优化困难 ２０１３ ＳＤＢＮ ［４９］ 稀疏深度 置信网络 Ｘ．Ｈａｌｋｉａｓ Ｓ．Ｐａｒｉｓ Ｈ．Ｇｌｏｔｉｎ 多层 有／ 无向边 全连接 混淆范数；ＢＰ 混淆范数作为稀疏 约束的 ＤＢＮ 结构 优化困难 １９８６ ＡＥ ［５０］ 自动编码器 Ｄ．Ｅ．Ｒｕｍｅｌｈａｒｔ Ｇ．Ｅ．Ｈｉｎｔｏｎ Ｒ．Ｊ．Ｗｉｌｌｉａｍｓ ３ 层 贪心逐层训练算法 通过编码器和解 码器工作完成训练； 通过损失函数最小化 求出网络的参数； 不能用于分类 ２００６ ＤＡＥ ［４１］ 深自动编码器 Ｇ．Ｅ．Ｈｉｎｔｏｎ Ｒ．Ｒ．Ｓａｌａｋｈｕｔｄｉｎｏｖ 多层 贪心逐层 训练算法；ＢＰ 无监督逐层贪心训练 算法完成对隐含层的预 训练；并通过 ＢＰ 微调， 显著降低了性能指数； 隐藏层数量和神 经元的数量增 多导致梯度稀释 ·７３４· 智 能 系 统 学 报 第 １１ 卷
第6期 马世龙，等：大数据与深度学习综述 ·735· 续表4 深度 网络 相关训练 模型特点及 存在 年份 模型 提出者 结构 算法 解决问题 问题 将DBN中的RBM替换 B.Yoshua SAE[sI] 多层 为AE后的生成模型：通过 L.Pascal 梯度下降 2007 有/无向边 将第一层的贝努力分布的输 同上 堆叠自动编码器 P.Dan 算法：BP 全连接 入改为高斯分布，扩展成可 Hugo Larochelle 输入任意值进行训练 SAE[52] M.Ranzato, 降维，学习稀疏 2007 Y.Boureau 3层 梯度下降算法：BP 同上 稀疏自动编码器 的特征表达 Y.Lecun P.Vincent 在破损数据的基础 dAE[53) H.Larochelle 上训练：使训练得到的 2008 3层 梯度下降算法：BP 同上 降噪自动编码器 Y.Bengio 权重噪声较小， A.Manzagol 从而提高鲁棒性 SDAE(s4] P.Vincent H.Larochelle 堆叠消噪 梯度下降 将多个dAE堆叠起来 2010 多层 形成深度网络结构、 同上 L.Lajoie 算法：BP 自动编码器 用来提取特征表达 Y Bengio等 SSAE[s5] Jiang Xiaojuan 在SAE的损失函 梯度下降 2013 稀疏堆叠 Zhang Yinghua 多层 数上加入稀疏惩罚值形 同上 算法；BP 自动编码器 Zhang Wensheng等 成的深层网络 Y.Lecun 多层 包含卷积层和子 CNN[56] L.Bottou 无向边 梯度下降 采样层；可以接受2D 要求较高计 1998 卷积神经网络 Y.Bengio 局部连接 算法；BP 结构的输入：具有较强 算能力的资源 P.Haffner 共享权值 的畸变鲁棒性 SCAEts7) 堆叠的CAE结 Masci Jonathan 构，每层采用没有 2011 堆叠卷积 Meier Ueli 多层 梯度下降算法；BP 同上 正则项的传统梯度下降 自动编码器 Dan Ciresan等 算法进行训练 DCNNIs8] A.Krizhevsky 多层 CNN的深层结构， 梯度下降 2012 I.Sutskever 局部连接 采用纯监督学习广泛 同上 深度卷积神经网络 算法；BP G.Hinton 共享权值 应用于图像识别 SRN(59] 时间维度上的深层结 BPTT:梯度 长时间依 1990 J.L.Elman 3层 构：上一时刻的输出 简单循环网络 下降算法 赖问题 是下一时刻的输入 RNN[0] S.E.Hihi 多层的时间维度 BPTT:梯度 梯度消失或 1995 M.Q.He-J 多层 上的深层结构：能 循环神经网络 下降算法 梯度爆炸 Y.Bengio 够处理序列数据 通过为每一个神经元 引入gate和存储单 LSTMI61] 训练复杂度 S.Hochreiter BPTT:梯度 元，能够解决RNN所面临 1997 多层 较高、解码 长短是记忆 J.Schmidhuber 下降算法 的梯度消失或爆炸问题 时延较高 由于具有记忆功能，能够 处理较为复杂的序列数据
续表 ４ 年份 深度 模型 提出者 网络 结构 相关训练 算法 模型特点及 解决问题 存在 问题 ２００７ ＳＡＥ ［５１］ 堆叠自动编码器 Ｂ．Ｙｏｓｈｕａ Ｌ．Ｐａｓｃａｌ Ｐ．Ｄａｎ Ｈｕｇｏ Ｌａｒｏｃｈｅｌｌｅ 多层 有／ 无向边 全连接 梯度下降 算法；ＢＰ 将 ＤＢＮ 中的 ＲＢＭ 替换 为 ＡＥ 后的生成模型；通过 将第一层的贝努力分布的输 入改为高斯分布，扩展成可 输入任意值进行训练 同上 ２００７ ＳＡＥ ［５２］ 稀疏自动编码器 Ｍ．Ｒａｎｚａｔｏ， Ｙ．Ｂｏｕｒｅａｕ Ｙ．Ｌｅｃｕｎ ３ 层 梯度下降算法；ＢＰ 降维，学习稀疏 的特征表达 同上 ２００８ ｄＡＥ ［５３］ 降噪自动编码器 Ｐ．Ｖｉｎｃｅｎｔ Ｈ．Ｌａｒｏｃｈｅｌｌｅ Ｙ．Ｂｅｎｇｉｏ Ａ．Ｍａｎｚａｇｏｌ ３ 层 梯度下降算法；ＢＰ 在破损数据的基础 上训练；使训练得到的 权重噪声较小， 从而提高鲁棒性 同上 ２０１０ ＳＤＡＥ ［５４］ 堆叠消噪 自动编码器 Ｐ．Ｖｉｎｃｅｎｔ Ｈ．Ｌａｒｏｃｈｅｌｌｅ Ｉ．Ｌａｊｏｉｅ Ｙ．Ｂｅｎｇｉｏ 等 多层 梯度下降 算法；ＢＰ 将多个 ｄＡＥ 堆叠起来 形成深度网络结构， 用来提取特征表达 同上 ２０１３ ＳＳＡＥ ［５５］ 稀疏堆叠 自动编码器 Ｊｉａｎｇ Ｘｉａｏｊｕａｎ Ｚｈａｎｇ Ｙｉｎｇｈｕａ Ｚｈａｎｇ Ｗｅｎｓｈｅｎｇ 等 多层 梯度下降 算法；ＢＰ 在 ＳＡＥ 的损失函 数上加入稀疏惩罚值形 成的深层网络 同上 １９９８ ＣＮＮ ［５６］ 卷积神经网络 Ｙ．Ｌｅｃｕｎ Ｌ．Ｂｏｔｔｏｕ Ｙ．Ｂｅｎｇｉｏ Ｐ．Ｈａｆｆｎｅｒ 多层 无向边 局部连接 共享权值 梯度下降 算法；ＢＰ 包含卷积层和子 采样层；可以接受 ２Ｄ 结构的输入；具有较强 的畸变鲁棒性 要求较高计 算能力的资源 ２０１１ ＳＣＡＥ ［５７］ 堆叠卷积 自动编码器 Ｍａｓｃｉ Ｊｏｎａｔｈａｎ Ｍｅｉｅｒ Ｕｅｌｉ Ｄａｎ Ｃｉｒｅşａｎ 等 多层 梯度下降算法；ＢＰ 堆叠的 ＣＡＥ 结 构，每层采用没有 正则项的传统梯度下降 算法进行训练 同上 ２０１２ ＤＣＮＮ ［５８］ 深度卷积神经网络 Ａ．Ｋｒｉｚｈｅｖｓｋｙ Ｉ．Ｓｕｔｓｋｅｖｅｒ Ｇ．Ｈｉｎｔｏｎ 多层 局部连接 共享权值 梯度下降 算法；ＢＰ ＣＮＮ 的深层结构， 采用纯监督学习广泛 应用于图像识别 同上 １９９０ ＳＲＮ ［５９］ 简单循环网络 Ｊ．Ｌ．Ｅｌｍａｎ ３ 层 ＢＰＴＴ；梯度 下降算法 时间维度上的深层结 构；上一时刻的输出 是下一时刻的输入 长时间依 赖问题 １９９５ ＲＮＮ ［６０］ 循环神经网络 Ｓ．Ｅ．Ｈｉｈｉ Ｍ．Ｑ．Ｈｃ⁃Ｊ Ｙ．Ｂｅｎｇｉｏ 多层 ＢＰＴＴ；梯度 下降算法 多层的时间维度 上的深层结构；能 够处理序列数据 梯度消失或 梯度爆炸 １９９７ ＬＳＴＭ ［６１］ 长短是记忆 Ｓ．Ｈｏｃｈｒｅｉｔｅｒ Ｊ．Ｓｃｈｍｉｄｈｕｂｅｒ 多层 ＢＰＴＴ；梯度 下降算法 通过为每一个神经元 引入 ｇａｔｅ 和存储单 元，能够解决 ＲＮＮ 所面临 的梯度消失或爆炸问题 由于具有记忆功能，能够 处理较为复杂的序列数据 训练复杂度 较高、解码 时延较高 第 ６ 期 马世龙，等：大数据与深度学习综述 ·７３５·
.736 智能系统学报 第11卷 续表4 深度 网络 相关训练 模型特点及 存在 年份 提出者 模型 结构 算法 解决问题 问题 K.Cho GRU[62] 相比于LSTM,只设 B.Van Merrienboer BPTT;梯度 表达能力 2014 多层 置一个更新关口，运行比 关口循环单元 D.Bahdanau 下降算法 相对弱 LSTM更快，更容易 Y.Bengio V.Mnih 受人类的注意力 Attention【s N.Heess 机制的启发，每次处理 增加了存 2014 注意力机制 A.Graves 注意力部分的数据， 储开销 K.Kavukcuoglu 减少任务复杂度 Goodfellow lan Pougetabadie Jean 由不同网络组成，成 Mirza Mehdi 多层 对出现，协同工作 GANC64] Xu Bing 无向边 一个网络负责生成内容，训练较难：训练 2014 生成对抗网络 Wardefarley David 局部连接 BP;dropout 另一个负责对内容进行 过程不稳定 Ozair Sherjil 共享权值 评价多以前馈网络 Courville Aaron 和卷积网络的结合为主 Bengio Yoshua DCGANI65] 多层 GAN基于CNN的扩 A.Radford 无向边 BP:梯度 展，可以从训练数据 2015 深度卷积 L.Metz 训练过程不稳定 局部连接 下降算法 中学习近似的分布 生成对抗网络 S.Chintala 共享权值 情况 注：‘一'表示尚不明确或不适用。 派生树有助于理解众多神经网络结构之间的关 模型则属于判别模型，而像DBM、GAN等深度学习 系，而对应的表4则对每个深度学习算法的网络结 模型既包括生成模型也包括判别模型。 构、训练算法以及解决问题或存在问题给出了简要 在作者所收集信息的范围内，派生树涵盖了目 总结。两组信息合起来，能够成为该领域学习参考 前主流的20余种模型，然而研究人员实际提出的深 的一个索引。 层网络模型并不仅限于此。而且，也有新的机制在 深度学习的网络结构因网络的层数、权重共享 被引入到已有的深度学习模型中，例如2014年 性以及边的特点不同而有所不同。因此，在表4中 Mnih,Volodymyr等受人类注意力机制的启发，提出 给出了每一种深度学习算法的网络结构特点。其 了Attention模型（也叫注意力机制）。这一新的机 中，绝大多数深度学习算法体现为空间维度上的深 制，通过与RNN或CNN结合，降低了数据处理任务 层结构，且属于前向反馈神经网络：而以循环神经网 复杂度的同时，进一步拓宽了深度学习模型的应用 络(RNN)为代表的SRN、LSTM和GRU等深度学习 领域。作者认为新的模型是对原有基础框架的扩展 算法，通过引入定向循环，具有时间维度上的深层结 或改进，该树仍在不断生长。 构，从而可以处理那些输入之间有前后关联的问题。 2.3深度学习的应用案例 根据对标注数据的依赖程度，深度学习算法中 派生树（图4）揭示了近几年的时间里深度学习 DBN、AE及其派生分支体现为以无监督学习或半监 算法如雨后春笋不断涌现。这些算法在计算机图像 督学习为主；CNN、RNN及其派生分支则以有监督 识别、语音识别、自然语言处理以及信息检索等领域 学习为主。此外，根据学习函数的形式，机器学习算 在不断刷新历史记录。本节根据不同应用领域对相 法又可以分为生成模型和判别模型6。表4列出 关的知名案例进行简述。 的深度学习模型中，DBN及其派生的深度学习模型 1)图像识别 (如CDBN)属于生成模型，AE及其派生的深度学习 图像识别过去依赖人工设置的特征，特别适合
续表 ４ 年份 深度 模型 提出者 网络 结构 相关训练 算法 模型特点及 解决问题 存在 问题 ２０１４ ＧＲＵ ［６２］ 关口循环单元 Ｋ．Ｃｈｏ Ｂ．Ｖａｎ Ｍｅｒｒｉｅｎｂｏｅｒ Ｄ．Ｂａｈｄａｎａｕ Ｙ．Ｂｅｎｇｉｏ 多层 ＢＰＴＴ；梯度 下降算法 相比于 ＬＳＴＭ，只设 置一个更新关口，运行比 ＬＳＴＭ 更快，更容易 表达能力 相对弱 ２０１４ Ａｔｔｅｎｔｉｏｎ ［６３］ 注意力机制 Ｖ．Ｍｎｉｈ Ｎ．Ｈｅｅｓｓ Ａ．Ｇｒａｖｅｓ Ｋ．Ｋａｖｕｋｃｕｏｇｌｕ — — 受人类的注意力 机制的启发，每次处理 注意力部分的数据， 减少任务复杂度 增加了存 储开销 ２０１４ ＧＡＮ ［６４］ 生成对抗网络 Ｇｏｏｄｆｅｌｌｏｗ Ｉａｎ Ｐｏｕｇｅｔａｂａｄｉｅ Ｊｅａｎ Ｍｉｒｚａ Ｍｅｈｄｉ Ｘｕ Ｂｉｎｇ Ｗａｒｄｅｆａｒｌｅｙ Ｄａｖｉｄ Ｏｚａｉｒ Ｓｈｅｒｊｉｌ Ｃｏｕｒｖｉｌｌｅ Ａａｒｏｎ Ｂｅｎｇｉｏ Ｙｏｓｈｕａ 多层 无向边 局部连接 共享权值 ＢＰ；ｄｒｏｐｏｕｔ 由不同网络组成，成 对出现，协同工作 一个网络负责生成内容， 另一个负责对内容进行 评价多以前馈网络 和卷积网络的结合为主 训练较难；训练 过程不稳定 ２０１５ ＤＣＧＡＮ ［６５］ 深度卷积 生成对抗网络 Ａ．Ｒａｄｆｏｒｄ Ｌ．Ｍｅｔｚ Ｓ．Ｃｈｉｎｔａｌａ 多层 无向边 局部连接 共享权值 ＢＰ；梯度 下降算法 ＧＡＮ 基于 ＣＮＮ 的扩 展，可以从训练数据 中学习近似的分布 情况 训练过程不稳定 注：‘—’表示尚不明确或不适用。 派生树有助于理解众多神经网络结构之间的关 系，而对应的表 ４ 则对每个深度学习算法的网络结 构、训练算法以及解决问题或存在问题给出了简要 总结。 两组信息合起来，能够成为该领域学习参考 的一个索引。 深度学习的网络结构因网络的层数、权重共享 性以及边的特点不同而有所不同。 因此，在表 ４ 中 给出了每一种深度学习算法的网络结构特点。 其 中，绝大多数深度学习算法体现为空间维度上的深 层结构，且属于前向反馈神经网络；而以循环神经网 络（ＲＮＮ）为代表的 ＳＲＮ、ＬＳＴＭ 和 ＧＲＵ 等深度学习 算法，通过引入定向循环，具有时间维度上的深层结 构，从而可以处理那些输入之间有前后关联的问题。 根据对 标 注 数 据 的 依 赖 程 度， 深 度 学 习 算 法 中 ＤＢＮ、ＡＥ 及其派生分支体现为以无监督学习或半监 督学习为主；ＣＮＮ、ＲＮＮ 及其派生分支则以有监督 学习为主。 此外，根据学习函数的形式，机器学习算 法又可以分为生成模型和判别模型［６６］ 。 表 ４ 列出 的深度学习模型中，ＤＢＮ 及其派生的深度学习模型 （如 ＣＤＢＮ）属于生成模型，ＡＥ 及其派生的深度学习 模型则属于判别模型，而像 ＤＢＭ、ＧＡＮ 等深度学习 模型既包括生成模型也包括判别模型。 在作者所收集信息的范围内，派生树涵盖了目 前主流的 ２０ 余种模型，然而研究人员实际提出的深 层网络模型并不仅限于此。 而且，也有新的机制在 被引入到已有的深度学习模型中， 例如 ２０１４ 年 Ｍｎｉｈ， Ｖｏｌｏｄｙｍｙｒ 等受人类注意力机制的启发，提出 了 Ａｔｔｅｎｔｉｏｎ 模型（也叫注意力机制）。 这一新的机 制，通过与 ＲＮＮ 或 ＣＮＮ 结合，降低了数据处理任务 复杂度的同时，进一步拓宽了深度学习模型的应用 领域。 作者认为新的模型是对原有基础框架的扩展 或改进，该树仍在不断生长。 ２．３ 深度学习的应用案例 派生树（图 ４）揭示了近几年的时间里深度学习 算法如雨后春笋不断涌现。 这些算法在计算机图像 识别、语音识别、自然语言处理以及信息检索等领域 在不断刷新历史记录。 本节根据不同应用领域对相 关的知名案例进行简述。 １）图像识别 图像识别过去依赖人工设置的特征，特别适合 ·７３６· 智 能 系 统 学 报 第 １１ 卷
第6期 马世龙，等：大数据与深度学习综述 ·737. 于提取低等级边界信息的SlFT(scale invariant fea- (比分4：1)[四。AlphaGo的关键技术有深度学习、 ture transform,尺度不变特征转换)或HOG(Histo- 强化学习和蒙特卡洛树搜索。在其有监督学习策略 gram of Oriented Cradients,方向梯度直方图)等。 和强化学习价值网络中采用了CNN结构。 然而，随着小样本无法真实反映实际复杂的情况，研 2)语音识别 究人员开始在大数据集上进行实验。 在过去语音识别一直采用GMM-HMM模型。 2006年，GE Hinton用一个拥有3个隐藏层， 然而，2012年G.E.Hinton等考虑了语音数据内部原 I70多万权重的DBN在MNIST手写特征识别的数 有的结构特征以后，将传统的模型中的高斯混合模 据集上进行训练，在没有对样本进行预处理的情况 型GMM替换为DBN进行实验，结果表明在TIMT 下，在1万左右的测试集上，错误率为1.25%，低于 核心测试集上，错误率降到20.7%，有明显提升[。 反向传播网络的最好成绩1.5%，以及支持向量机 无独有偶，其他研究人员也尝试将GMM-HMM (SVN)的1.4%[61 中的GMM替换为其他深度神经网络，也得到了良 l995年Yann Lecun推出LeNet--5系统，该系统 好的效果。例如，2014年IBM沃特森研究中心T.N 通过2个卷积层、2个子采样层和2个全连接层，形 Sainath证实DNN比过去的GMM-HMM提升8%~ 成典型的CNN网络。在MNIST数据集上的实验得 15%。2012年Pan Jia提出将GMM改为上下文 到了0.9%的错误率，20世纪90年代用于银行手写 相关的DNN,并对320h的英文接线员的语音记录 支票识别[)。这也是CNN成功案例之一。 和70~700h不等的3个中文语音记录进行试验，结 2010年，A.Krizhevsky用DCNN算法在LSVRC- 果表明错误率可降低3%[]。 2010数据集上，对1000个不同类别的120万个高 微软公司的语音视频检索系统(Microsoft audio 分辨率图像进行分类，测试结果在topl和top5上的 video indexing service,MAVIS)Io],t也是在CD-DNN- 错误率分别为37.5%和17.0%，刷新了当时的记录， HMM深度模型的基础上进行开发，其在RTO3S数 而他们所采用的是具有5个卷积层、6000万个参数 据集上单词错误率从27.4%降低到18.5%，相当于 和65万个神经元的深层网络[】。该方法在S- 效果提升33%m。2012年，微软在天津公开演示 VRC-2012数据集上top5的测试错误率为15.3%。 了MAVIS系统对现场讲演者的英文演讲，进行后台 2011年，在Google的xLab,A.Y.Ng和J.Dean 的语音识别、英中机器翻译和中文语音合成等一系 建立了全球最大的神经网络一“深度神经网络” 列处理，效果流畅。 (deep neural networks,DNN),也叫“谷歌大脑”，并 3)自然语言处理 进行了一个猫脸识别的实验。该实验从YouTube 自然语言处理(NLP)传统处理方法的缺陷为采 视频中取出1000万张200×200的静态图片，让系统 用浅层结构：使用线性分类器且需要人工设计大量 自动学习并判断哪些是猫的图片。实验结果表明， 较好的特征进行预处理：特征在分离的任务中被串 他们所建立的深层网络及其算法，在ImageNet数据 联导致传播误差增大[) 集1万类图中效果提升15%，2.2万类图中效果提 2O03年，Bengio等提出词向量(word embedding 升70%[。而据纽约时报[01，该网络是一个用 或word representation)方法[]，采用神经网络构建 16000个CPU并行计算平台训练内部拥有10亿个 语言模型。之后，研究人员在此基础上提出了不同 节点的机器学习模型。 的词向量训练模型，包括：2008年Collobert,Ronan 2014年，Sun Yi等提出Deep-D应用于人脸识 等提出的C&W模型用以完成自然语言处理中的词 别，在LFW上取得97.45%的准确率。同年， 性标注、命名实体识别、短语识别、语义角色标注等 Zheng Yi提出的多通道深度卷积神经网络(multi- 任务，由其在语义角色标签的问题上进行无人工设 channels deep convolutional neural networks,MC-DC- 计特征参与的训练，错误率降至14.3%，刷新了纪 NN)在BID-MC数据集上获得最好的准确率为 录[]：同年，Mnih和Hinton提出的HLBL模型[o] 94.67%。 将Bengio的词向量方法中最后隐藏层到输出层的 2016年初，谷歌旗下最强大脑(DeepMind)公司 矩阵乘积替换为一个层级结构，在算法复杂度上得 推出人工智能机器人AlphaGo,创下了围棋人工智能 到显著提升：由于人类自然语言具有递归特性，即任 领域的诸多世界纪录。包括：在不让子的情况下，第 何语言中的句子，事实上可以由词、短语递归组合 一次在完整的围棋竞技中击败专业选手（比分5：0）： 而成，因此，将循环神经网络(recurrent neural net-- 在中国围棋规则下，成功挑战围棋世界冠军李世石 wok,RNN)引入NLP成为一种趋势。从2010年开
于提取低等级边界信息的 ＳＩＦＴ（ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａ⁃ ｔｕｒｅ ｔｒａｎｓｆｏｒｍ，尺度不变特征转换） 或 ＨＯＧ（ Ｈｉｓｔｏ⁃ ｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ，方向梯度直方图）等 ［４３］ 。 然而，随着小样本无法真实反映实际复杂的情况，研 究人员开始在大数据集上进行实验。 ２００６ 年，ＧＥ Ｈｉｎｔｏｎ 用一个拥有 ３ 个隐藏层， １７０ 多万权重的 ＤＢＮ 在 ＭＮＩＳＴ 手写特征识别的数 据集上进行训练，在没有对样本进行预处理的情况 下，在 １ 万左右的测试集上，错误率为 １．２５％，低于 反向传播网络的最好成绩 １．５％，以及支持向量机 （ＳＶＮ）的 １．４％ ［６７］ 。 １９９５ 年 Ｙａｎｎ Ｌｅｃｕｎ 推出 ＬｅＮｅｔ⁃５ 系统，该系统 通过 ２ 个卷积层、２ 个子采样层和 ２ 个全连接层，形 成典型的 ＣＮＮ 网络。 在 ＭＮＩＳＴ 数据集上的实验得 到了 ０．９％的错误率，２０ 世纪 ９０ 年代用于银行手写 支票识别［６８］ 。 这也是 ＣＮＮ 成功案例之一。 ２０１０ 年，Ａ．Ｋｒｉｚｈｅｖｓｋｙ 用 ＤＣＮＮ 算法在 ＬＳＶＲＣ⁃ ２０１０ 数据集上，对 １ ０００ 个不同类别的 １２０ 万个高 分辨率图像进行分类，测试结果在 ｔｏｐ１ 和 ｔｏｐ５ 上的 错误率分别为 ３７．５％和 １７．０％，刷新了当时的记录， 而他们所采用的是具有 ５ 个卷积层、６ ０００ 万个参数 和 ６５ 万个神经元的深层网络［５８］ 。 该方法在 ＩＬＳ⁃ ＶＲＣ⁃２０１２ 数据集上 ｔｏｐ５ 的测试错误率为 １５．３％。 ２０１１ 年，在 Ｇｏｏｇｌｅ 的 ｘＬａｂ，Ａ．Ｙ． Ｎｇ 和 Ｊ．Ｄｅａｎ 建立了全球最大的神经网络———“深度神经网络” （ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＤＮＮ），也叫“谷歌大脑”，并 进行了一个猫脸识别的实验。 该实验从 ＹｏｕＴｕｂｅ 视频中取出 １０００ 万张 ２００×２００ 的静态图片，让系统 自动学习并判断哪些是猫的图片。 实验结果表明， 他们所建立的深层网络及其算法，在 ＩｍａｇｅＮｅｔ 数据 集 １ 万类图中效果提升 １５％，２．２ 万类图中效果提 升 ７０％ ［６９］ 。 而据纽约时报［７０］ ， 该网络是一个用 １６ ０００个 ＣＰＵ 并行计算平台训练内部拥有 １０ 亿个 节点的机器学习模型。 ２０１４ 年，Ｓｕｎ Ｙｉ 等提出 Ｄｅｅｐ⁃ＩＤ 应用于人脸识 别，在 ＬＦＷ 上取得 ９７． ４５％ 的准确率［７１］ 。 同年， Ｚｈｅｎｇ Ｙｉ 提出的多通道深度卷积神经网络（ ｍｕｌｔｉ⁃ ｃｈａｎｎｅｌｓ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＭＣ⁃ＤＣ⁃ ＮＮ ）在 ＢＩＤ⁃ＭＣ 数据集上获得最好的准确率为 ９４．６７％。 ２０１６ 年初，谷歌旗下最强大脑（ＤｅｅｐＭｉｎｄ）公司 推出人工智能机器人 ＡｌｐｈａＧｏ，创下了围棋人工智能 领域的诸多世界纪录。 包括：在不让子的情况下，第 一次在完整的围棋竞技中击败专业选手（比分５ ∶ ０）； 在中国围棋规则下，成功挑战围棋世界冠军李世石 （比分 ４ ∶ １） ［７２］ 。 ＡｌｐｈａＧｏ 的关键技术有深度学习、 强化学习和蒙特卡洛树搜索。 在其有监督学习策略 和强化学习价值网络中采用了 ＣＮＮ 结构［７３］ 。 ２）语音识别 在过去语音识别一直采用 ＧＭＭ⁃ＨＭＭ 模型。 然而，２０１２ 年 Ｇ．Ｅ．Ｈｉｎｔｏｎ 等考虑了语音数据内部原 有的结构特征以后，将传统的模型中的高斯混合模 型 ＧＭＭ 替换为 ＤＢＮ 进行实验，结果表明在 ＴＩＭＩＴ 核心测试集上，错误率降到 ２０．７％，有明显提升［７４］ 。 无独有偶，其他研究人员也尝试将 ＧＭＭ⁃ＨＭＭ 中的 ＧＭＭ 替换为其他深度神经网络，也得到了良 好的效果。 例如，２０１４ 年 ＩＢＭ 沃特森研究中心 Ｔ．Ｎ． Ｓａｉｎａｔｈ 证实 ＤＮＮ 比过去的 ＧＭＭ⁃ＨＭＭ 提升 ８％ ～ １５％ ［４３］ 。 ２０１２ 年 Ｐａｎ Ｊｉａ 提出将 ＧＭＭ 改为上下文 相关的 ＤＮＮ，并对 ３２０ ｈ 的英文接线员的语音记录 和 ７０～７００ ｈ 不等的 ３ 个中文语音记录进行试验，结 果表明错误率可降低 ３％ ［７５］ 。 微软公司的语音视频检索系统（Ｍｉｃｒｏｓｏｆｔ ａｕｄｉｏ ｖｉｄｅｏ ｉｎｄｅｘｉｎｇ ｓｅｒｖｉｃｅ， ＭＡＶＩＳ） ［７６］ ，也是在 ＣＤ⁃ＤＮＮ⁃ ＨＭＭ 深度模型的基础上进行开发，其在 ＲＴ０３Ｓ 数 据集上单词错误率从 ２７．４％降低到 １８．５％，相当于 效果提升 ３３％ ［７７］ 。 ２０１２ 年，微软在天津公开演示 了 ＭＡＶＩＳ 系统对现场讲演者的英文演讲，进行后台 的语音识别、英中机器翻译和中文语音合成等一系 列处理，效果流畅。 ３）自然语言处理 自然语言处理（ＮＬＰ）传统处理方法的缺陷为采 用浅层结构；使用线性分类器且需要人工设计大量 较好的特征进行预处理；特征在分离的任务中被串 联导致传播误差增大 ［４３］ 。 ２００３ 年， Ｂｅｎｇｉｏ 等提出词向量（ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ 或 ｗｏｒｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ） 方 法［７８］ ，采用神经网络构建 语言模型。 之后，研究人员在此基础上提出了不同 的词向量训练模型，包括：２００８ 年 Ｃｏｌｌｏｂｅｒｔ， Ｒｏｎａｎ 等提出的 Ｃ＆Ｗ 模型用以完成自然语言处理中的词 性标注、命名实体识别、短语识别、语义角色标注等 任务，由其在语义角色标签的问题上进行无人工设 计特征参与的训练，错误率降至 １４．３％，刷新了纪 录［７９］ ；同年，Ｍｎｉｈ 和 Ｈｉｎｔｏｎ 提出的 ＨＬＢＬ 模型［８０］ ， 将 Ｂｅｎｇｉｏ 的词向量方法中最后隐藏层到输出层的 矩阵乘积替换为一个层级结构，在算法复杂度上得 到显著提升；由于人类自然语言具有递归特性，即任 何语言中的句子， 事实上可以由词、短语递归组合 而成，因此，将循环神经网络（ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔ⁃ ｗｏｒｋ， ＲＮＮ）引入 ＮＬＰ 成为一种趋势。 从 ２０１０ 年开 第 ６ 期 马世龙，等：大数据与深度学习综述 ·７３７·
