第11卷第6期 智能系统学报 Vol.11 No.6 2016年12月 CAAI Transactions on Intelligent Systems Dec.2016 D0I:10.11992/is.201611021 网络出版地址：http://www.cnki.net/kcms/detail,/23.1538.TP.20170116.1503.004.html 大数据与深度学习综述 马世龙，乌尼日其其格，李小平 (北京航空航天大学软件开发环境国家重点实验室，北京100191) 摘要：大数据时代改变了基于数理统计的传统数据科学，促进了数据分析方法的创新，从机器学习和多层神经网 络演化而来的深度学习是当前大数据处理与分析的研究前沿。从机器学习到深度学习，经历了早期的符号归纳机 器学习、统计机器学习、神经网络和20世纪末开始的数据挖掘等几十年的研究和实践，发现深度学习可以挖掘大数 据的潜在价值。本文给出大数据和深度学习的综述，特别是，给出了各种深层结构及其学习算法之间关联的图谱， 给出了深度学习在若干领域应用的知名案例。最后，展望了大数据上深度学习的发展与挑战。 关键词：大数据：机器学习：深层结构：深度学习：神经网铬：人工智能：学习算法：派生树 中图分类号：TP311文献标志码：A文章编号：1673-4785(2016)06-0728-15 中文引用格式：马世龙，乌尼日其其格，李小平.大数据与深度学习综述[J].智能系统学报，2016,11(6)：728-742. 英文引用格式：MA Shilong,WUNIRI Qiqige,LI Xiaoping..Deep learning with big data:state of the art and development[J]. CAAI Transactions on Intelligent Systems,2016,11(6):728-742. Deep learning with big data:state of the art and development MA Shilong,WUNIRI Qiqige,LI Xiaoping (State Key Laboratory of Software Development Environment,Beihang University,Beijing 100191,China) Abstract:As the era of the big data arrives,it is accompanied by profound changes to traditional data science based on statistics.Big data also pushes innovations in the methods of data analysis.Deep learning that evolves from ma- chine learning and multilayer neural networks are currently extremely active research areas.From the symbolic ma- chine learning and statistical machine learning to the artificial neural network,followed by data mining in the 90s, this has built a solid foundation for deep learning(DL)that makes it a notable tool for discovering the potential val- ue behind big data.This survey compactly summarized big data and DL,proposed a generative relationship tree of the major deep networks and the algorithms,illustrated a broad area of applications based on DL,and highlighted the challenges to DL with big data,as well as identified future trends. Keywords:big data;machine learning;deep network;deep learning;neural network;artificial intelligence; learning algorithm;derivation tree 大数据不仅为企业带来丰厚的利润，也开启了理统计的传统数据科学，促进了新的数据分析方法 科学研究的第四范式，即数据密集型科学发现)。 的创新，从机器学习和多层神经网络演化而来的深 学术界和产业界对大数据的认识正逐步清晰化并形 度学习是当前大数据处理和分析方法的研究前沿。 成共识。大数据时代同时也改变了基于概率论和数 1大数据及其挑战 收稿日期：2016-11-15. 大数据(big data)的概念自1996年由John 基金项目：国家自然科学基金项目(61003016,61300007,61305054) 科技部基本科研业务费重点科技创新类项目(YWF-14 、Mashey!2]提出以来，经历了一段时间的众说纷纭，带 SXY-007):软件开发环境国家重点实验室自主探索基金项 着产业界的事实数据，不断进入学术界的研究领域， SKLSDE-2012ZX-28 ,SKLSDE-2014ZX-06). 通信作者：李小平.E-mail:lce.rex@163.com. 引领了一个时代[)的到来。第 １１ 卷第 ６ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．６ ２０１６ 年 １２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｄｅｃ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６１１０２１ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１７０１１６．１５０３．００４．ｈｔｍｌ 大数据与深度学习综述 马世龙，乌尼日其其格，李小平 （北京航空航天大学 软件开发环境国家重点实验室，北京 １００１９１） 摘 要：大数据时代改变了基于数理统计的传统数据科学，促进了数据分析方法的创新，从机器学习和多层神经网 络演化而来的深度学习是当前大数据处理与分析的研究前沿。 从机器学习到深度学习，经历了早期的符号归纳机 器学习、统计机器学习、神经网络和 ２０ 世纪末开始的数据挖掘等几十年的研究和实践，发现深度学习可以挖掘大数 据的潜在价值。 本文给出大数据和深度学习的综述，特别是，给出了各种深层结构及其学习算法之间关联的图谱， 给出了深度学习在若干领域应用的知名案例。 最后，展望了大数据上深度学习的发展与挑战。 关键词：大数据；机器学习；深层结构；深度学习；神经网络；人工智能；学习算法；派生树 中图分类号： ＴＰ３１１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１６）０６－０７２８－１５ 中文引用格式：马世龙，乌尼日其其格，李小平． 大数据与深度学习综述［Ｊ］． 智能系统学报， ２０１６， １１（６）： ７２８－７４２． 英文引用格式：ＭＡ Ｓｈｉｌｏｎｇ， ＷＵＮＩＲＩ Ｑｉｑｉｇｅ， ＬＩ Ｘｉａｏｐｉｎｇ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｂｉｇ ｄａｔａ： ｓｔａｔｅ ｏｆ ｔｈｅ ａｒｔ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ［ Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１６， １１（６）： ７２８－７４２． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｂｉｇ ｄａｔａ： ｓｔａｔｅ ｏｆ ｔｈｅ ａｒｔ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ ＭＡ Ｓｈｉｌｏｎｇ， ＷＵＮＩＲＩ Ｑｉｑｉｇｅ， ＬＩ Ｘｉａｏｐｉｎｇ （Ｓｔａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｅｎｖｉｒｏｎｍｅｎｔ， Ｂｅｉｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １００１９１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓ ｔｈｅ ｅｒａ ｏｆ ｔｈｅ ｂｉｇ ｄａｔａ ａｒｒｉｖｅｓ， ｉｔ ｉｓ ａｃｃｏｍｐａｎｉｅｄ ｂｙ ｐｒｏｆｏｕｎｄ ｃｈａｎｇｅｓ ｔｏ ｔｒａｄｉｔｉｏｎａｌ ｄａｔａ ｓｃｉｅｎｃｅ ｂａｓｅｄ ｏｎ ｓｔａｔｉｓｔｉｃｓ． Ｂｉｇ ｄａｔａ ａｌｓｏ ｐｕｓｈｅｓ ｉｎｎｏｖａｔｉｏｎｓ ｉｎ ｔｈｅ ｍｅｔｈｏｄｓ ｏｆ ｄａｔａ ａｎａｌｙｓｉｓ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｔｈａｔ ｅｖｏｌｖｅｓ ｆｒｏｍ ｍａ⁃ ｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｒｅ ｃｕｒｒｅｎｔｌｙ ｅｘｔｒｅｍｅｌｙ ａｃｔｉｖｅ ｒｅｓｅａｒｃｈ ａｒｅａｓ． Ｆｒｏｍ ｔｈｅ ｓｙｍｂｏｌｉｃ ｍａ⁃ ｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ｓｔａｔｉｓｔｉｃａｌ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｔｏ ｔｈｅ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ｆｏｌｌｏｗｅｄ ｂｙ ｄａｔａ ｍｉｎｉｎｇ ｉｎ ｔｈｅ ９０ｓ， ｔｈｉｓ ｈａｓ ｂｕｉｌｔ ａ ｓｏｌｉｄ ｆｏｕｎｄａｔｉｏｎ ｆｏｒ ｄｅｅｐ ｌｅａｒｎｉｎｇ （ＤＬ） ｔｈａｔ ｍａｋｅｓ ｉｔ ａ ｎｏｔａｂｌｅ ｔｏｏｌ ｆｏｒ ｄｉｓｃｏｖｅｒｉｎｇ ｔｈｅ ｐｏｔｅｎｔｉａｌ ｖａｌ⁃ ｕｅ ｂｅｈｉｎｄ ｂｉｇ ｄａｔａ． Ｔｈｉｓ ｓｕｒｖｅｙ ｃｏｍｐａｃｔｌｙ ｓｕｍｍａｒｉｚｅｄ ｂｉｇ ｄａｔａ ａｎｄ ＤＬ， ｐｒｏｐｏｓｅｄ ａ ｇｅｎｅｒａｔｉｖｅ ｒｅｌａｔｉｏｎｓｈｉｐ ｔｒｅｅ ｏｆ ｔｈｅ ｍａｊｏｒ ｄｅｅｐ ｎｅｔｗｏｒｋｓ ａｎｄ ｔｈｅ ａｌｇｏｒｉｔｈｍｓ， ｉｌｌｕｓｔｒａｔｅｄ ａ ｂｒｏａｄ ａｒｅａ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｂａｓｅｄ ｏｎ ＤＬ， ａｎｄ ｈｉｇｈｌｉｇｈｔｅｄ ｔｈｅ ｃｈａｌｌｅｎｇｅｓ ｔｏ ＤＬ ｗｉｔｈ ｂｉｇ ｄａｔａ， ａｓ ｗｅｌｌ ａｓ ｉｄｅｎｔｉｆｉｅｄ ｆｕｔｕｒｅ ｔｒｅｎｄｓ． Ｋｅｙｗｏｒｄｓ： ｂｉｇ ｄａｔａ； ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ； ｄｅｅｐ ｎｅｔｗｏｒｋ； ｄｅｅｐ ｌｅａｒｎｉｎｇ； ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ； ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ； ｄｅｒｉｖａｔｉｏｎ ｔｒｅｅ 收稿日期：２０１６－１１－１５． 基金项目：国家自然科学基金项目（ ６１００３０１６， ６１３００００７， ６１３０５０５４）； 科技部基本科研业务费重点科技创新类 项 目 （ ＹＷＦ⁃１４⁃ ＪＳＪＸＹ⁃００７）；软件开发环境国家重点实验室自主探索基金项 目（ＳＫＬＳＤＥ⁃２０１２ＺＸ⁃２８，ＳＫＬＳＤＥ⁃２０１４ＺＸ⁃０６）． 通信作者：李小平． Ｅ⁃ｍａｉｌ：ｌｅｅ．ｒｅｘ＠ １６３．ｃｏｍ． 大数据不仅为企业带来丰厚的利润，也开启了 科学研究的第四范式，即数据密集型科学发现［１］ 。 学术界和产业界对大数据的认识正逐步清晰化并形 成共识。 大数据时代同时也改变了基于概率论和数 理统计的传统数据科学，促进了新的数据分析方法 的创新，从机器学习和多层神经网络演化而来的深 度学习是当前大数据处理和分析方法的研究前沿。 １ 大数据及其挑战 大数据 （ ｂｉｇ ｄａｔａ） 的 概 念 自 １９９６ 年 由 Ｊｏｈｎ Ｍａｓｈｅｙ ［２］提出以来，经历了一段时间的众说纷纭，带 着产业界的事实数据，不断进入学术界的研究领域， 引领了一个时代［３］的到来