第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/is.201511028 网络出版地址：htp:/www.cmki.net/kcms/detail/23.1538.TP.20160715.1353.002.html 深度学习方法研究新进展 刘帅师，程曦，郭文燕，陈奇 (长春工业大学电气与电子工程学院，吉林长春130000) 摘要：本文依据模型结构对深度学习进行了归纳和总结，描述了不同模型的结构和特点。首先介绍了深度学习的 概念及意义，然后介绍了4种典型模型：卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器，并对近3 年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍，最后对现有深度学 习模型进行了总结，并且讨论了未来所面临的挑战。 关键词：深度学习：卷积神经网络：深度信念网铬：深度玻尔兹曼机：堆叠自动编码器 中图分类号：TP18文献标志码：A文章编号：1673-4785(2016)05-0567-10 中文引用格式：刘帅师，程曦，郭文慕，等.深度学习方法研究新进展[J].智能系统学报，2016,11(5)：567-577， 英文引用格式：LIU Shuaishi,CHENG XI,GUO Wenyan,etal.Progress report on new research in deep learning[J].CAAI trans- actions on intelligent systems,2016,11(5):567-577. Progress report on new research in deep learning LIU Shuaishi,CHENG Xi,GUO Wenyan,CHEN Qi College of Electrical and Electronic Engineering,Changchun University of Technology,Changchun 130000,China) Abstract:Deep learning has recently received widespread attention.Using a model structure,this paper gives a summarization and analysis on deep learning by describing and reviewing the structure and characteristics of differ- ent models.The paper firstly introduces the concept and significance of deep learning,and then reviews four typical models:a convolutional neural network;deep belief networks;the deep Boltzmann machine;and an automatic stacking encoder.The paper then concludes by reviewing the applications of deep learning as regards speech pro- cessing,computer vision,natural language processing,medical science,and other aspects.Finally,the existing deep learning model is summarized and future challenges discussed. Keywords:deep learning;convolutional neural network;deep belief networks;deep Boltzmann machine;automat- ic stacking encoder 深度学习是机器学习的一个分支，属于人工智 究热点。 能的新领域。深度学习的本质是特征提取，即通过 2006年，机器学习大师Hinton等[)在《科学》 组合低层次的特征形成更加抽象的高层表示，以达 上发表的一篇论文，开启了深度学习的浪潮。他提 到获得最佳特征的目的。它主要通过神经网络 出了深度信念网的概念，成功地利用贪心策略逐层 来模拟人的大脑的学习过程，希望实现对现实对象 训练由限制玻尔兹曼机组成的深层架构，解决了以 或数据（图像、语音及文本等）的抽象表达，整合特 往深度网络训练困难的问题。此后，Hinton、Lecun、 征抽取和分类器到一个学习框架下)。目前，深度 Bengio等大量科研人员对深度学习的模型构建、训 学习在许多领域取得了广泛的关注，成为当今的研 练方式等做出了杰出的贡献。文献[4]对近几年新 兴的深度学习的初始化方法、模型结构、学习算法等 收稿日期：2015-11-27.网络出版日期：2016-07-15. 基金项目：吉林省科技厅青年科研基金项目(20140520065H 进行了详细的分析。2014年余滨等1从训练方式 20140520076H):长春工业大学科学研究发展基金自然科学 的角度对深度学习进行了总结。文献[6]依据数据 计划项目(2010XN07). 通信作者：.E-mail:刘帅师.E-mail:liu-shuaishi@126.com. 流向对深度学习进行不同分类，本文将重点放在模
第 １１ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．５ ２０１６ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５１１０２８ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０７１５．１３５３．００２．ｈｔｍｌ 深度学习方法研究新进展 刘帅师，程曦，郭文燕，陈奇 （长春工业大学 电气与电子工程学院，吉林 长春 １３００００） 摘 要：本文依据模型结构对深度学习进行了归纳和总结，描述了不同模型的结构和特点。 首先介绍了深度学习的 概念及意义，然后介绍了 ４ 种典型模型：卷积神经网络、深度信念网络、深度玻尔兹曼机和堆叠自动编码器，并对近 ３ 年深度学习在语音处理、计算机视觉、自然语言处理以及医疗应用等方面的应用现状进行介绍，最后对现有深度学 习模型进行了总结，并且讨论了未来所面临的挑战。 关键词：深度学习；卷积神经网络；深度信念网络；深度玻尔兹曼机；堆叠自动编码器 中图分类号：ＴＰ１８ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０５⁃０５６７⁃１０ 中文引用格式：刘帅师，程曦，郭文燕，等．深度学习方法研究新进展［Ｊ］． 智能系统学报， ２０１６， １１（５）： ５６７⁃５７７． 英文引用格式：ＬＩＵ Ｓｈｕａｉｓｈｉ， ＣＨＥＮＧ Ｘｉ， ＧＵＯ Ｗｅｎｙａｎ， ｅｔ ａｌ． Ｐｒｏｇｒｅｓｓ ｒｅｐｏｒｔ ｏｎ ｎｅｗ ｒｅｓｅａｒｃｈ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］． ＣＡＡＩ ｔｒａｎｓ⁃ ａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（５）：５６７⁃５７７． Ｐｒｏｇｒｅｓｓ ｒｅｐｏｒｔ ｏｎ ｎｅｗ ｒｅｓｅａｒｃｈ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ＬＩＵ Ｓｈｕａｉｓｈｉ， ＣＨＥＮＧ Ｘｉ， ＧＵＯ Ｗｅｎｙａｎ， ＣＨＥＮ Ｑｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｃｈａｎｇｃｈｕｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｈａｎｇｃｈｕｎ １３００００， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｈａｓ ｒｅｃｅｎｔｌｙ ｒｅｃｅｉｖｅｄ ｗｉｄｅｓｐｒｅａｄ ａｔｔｅｎｔｉｏｎ． Ｕｓｉｎｇ ａ ｍｏｄｅｌ ｓｔｒｕｃｔｕｒｅ， ｔｈｉｓ ｐａｐｅｒ ｇｉｖｅｓ ａ ｓｕｍｍａｒｉｚａｔｉｏｎ ａｎｄ ａｎａｌｙｓｉｓ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂｙ ｄｅｓｃｒｉｂｉｎｇ ａｎｄ ｒｅｖｉｅｗｉｎｇ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ａｎｄ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｄｉｆｆｅｒ⁃ ｅｎｔ ｍｏｄｅｌｓ． Ｔｈｅ ｐａｐｅｒ ｆｉｒｓｔｌｙ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｃｏｎｃｅｐｔ ａｎｄ ｓｉｇｎｉｆｉｃａｎｃｅ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ， ａｎｄ ｔｈｅｎ ｒｅｖｉｅｗｓ ｆｏｕｒ ｔｙｐｉｃａｌ ｍｏｄｅｌｓ： ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ； ｔｈｅ ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ； ａｎｄ ａｎ ａｕｔｏｍａｔｉｃ ｓｔａｃｋｉｎｇ ｅｎｃｏｄｅｒ． Ｔｈｅ ｐａｐｅｒ ｔｈｅｎ ｃｏｎｃｌｕｄｅｓ ｂｙ ｒｅｖｉｅｗｉｎｇ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｓ ｒｅｇａｒｄｓ ｓｐｅｅｃｈ ｐｒｏ⁃ ｃｅｓｓｉｎｇ， ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ， ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ， ｍｅｄｉｃａｌ ｓｃｉｅｎｃｅ， ａｎｄ ｏｔｈｅｒ ａｓｐｅｃｔｓ． Ｆｉｎａｌｌｙ， ｔｈｅ ｅｘｉｓｔｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ ｉｓ ｓｕｍｍａｒｉｚｅｄ ａｎｄ ｆｕｔｕｒｅ ｃｈａｌｌｅｎｇｅｓ ｄｉｓｃｕｓｓｅｄ． Ｋｅｙｗｏｒｄｓ：ｄｅｅｐ ｌｅａｒｎｉｎｇ； ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ； ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ； ａｕｔｏｍａｔ⁃ ｉｃ ｓｔａｃｋｉｎｇ ｅｎｃｏｄｅｒ 收稿日期：２０１５⁃１１⁃２７． 网络出版日期：２０１６⁃０７⁃１５． 基金项目： 吉 林 省 科 技 厅 青 年 科 研 基 金 项 目 （ ２０１４０５２００６５ＪＨ， ２０１４０５２００７６ＪＨ）；长春工业大学科学研究发展基金自然科学 计划项目（２０１０ＸＮ０７）． 通信作者：． Ｅ⁃ｍａｉｌ：刘帅师． Ｅ⁃ｍａｉｌ：ｌｉｕ⁃ｓｈｕａｉｓｈｉ＠ １２６．ｃｏｍ． 深度学习是机器学习的一个分支，属于人工智 能的新领域。 深度学习的本质是特征提取，即通过 组合低层次的特征形成更加抽象的高层表示，以达 到获得最佳特征的目的［１］ 。 它主要通过神经网络 来模拟人的大脑的学习过程，希望实现对现实对象 或数据（图像、语音及文本等）的抽象表达，整合特 征抽取和分类器到一个学习框架下［２］ 。 目前，深度 学习在许多领域取得了广泛的关注，成为当今的研 究热点。 ２００６ 年，机器学习大师 Ｈｉｎｔｏｎ 等［３］ 在《科学》 上发表的一篇论文，开启了深度学习的浪潮。 他提 出了深度信念网的概念，成功地利用贪心策略逐层 训练由限制玻尔兹曼机组成的深层架构，解决了以 往深度网络训练困难的问题。 此后，Ｈｉｎｔｏｎ、Ｌｅｃｕｎ、 Ｂｅｎｇｉｏ 等大量科研人员对深度学习的模型构建、训 练方式等做出了杰出的贡献。 文献［４］对近几年新 兴的深度学习的初始化方法、模型结构、学习算法等 进行了详细的分析。 ２０１４ 年余滨等［５］ 从训练方式 的角度对深度学习进行了总结。 文献［６］依据数据 流向对深度学习进行不同分类，本文将重点放在模
·568 智能系统学报 第11卷 型结构，以深度学习的核心模型结构而展开。文献 使用。 [7]从深度学习结构进行展开，本文大量增加了近3 首先，为了降低网络的复杂性，卷积神经网络采 年新的研究成果，因此能够更准确地反映该领域的 用权重共享方式，即同一个特征图，卷积核是一样 最新研究进展。 的11：其次，对得到的特征输入给一个非线性函数， 本文依据模型结构，着重介绍4种典型的深度 比如RLU等；最后，再采取下采样方法，比如最大 学习模型，即卷积神经网络、深度信念网络、深度玻 池化等。下采样的作用是把语义上相似的特征合并 尔兹曼机、堆叠自动编码器。下面对这些模型进行 起来，这是因为形成一个主题的特征的相对位置不 描述。 太一样。 1.1.3训练方式 1深度学习典型模型 卷积神经网络的训练采用有监督训练方式。首 1.1卷积神经网络 先是向前传播，即输入X经过卷积神经网路后变为 1.1.1历史 输出0，再将0与标签进行比较，然后以向后传播的 卷积神经网络(convolutional neural networks,. 方式，到将所得误差传播到每个节点，根据权值更新 CNN)最早在20世纪80年代就已被提出，是由于在 公式，更新相应的卷积核权值4.6。 研究猫脑皮层时受到的启发。它的典型模型LeNet- 此外，以卷积神经网络为核心的深度学习网络 5[8]系统，在MNIST上得到了0.9%的错误率，并在 还有3-D卷积神经网络(3-D convolutional neural 20世纪90年代就已用于银行的手写支票识别)。 networks,3D-CNN)[,光谱网络(spectral net-- 但是，由于在大尺寸图像上没有好的效果，一度被人 works,SN)Ia),金字塔卷积神经网络(pyramid conv- 忽视。随着高效的GPU计算的兴起，直到2012年 olutional neural networks,PCNN)[],多级金字塔卷 Hinton在ImageNet问题的成功，才使它在近几年流 积神经网络(multi level pyamid convolutional neural 行起来[)。如今卷积神经网络已经成为众多科学 networks,MLPCNN)[4等。 领域的研究热点之一，特别是在图像识别领域。由 12受限制玻尔兹曼机为核心的深度网络 于该网络避免了对图像的复杂前期预处理，可以直 受限制玻尔兹曼机为核心的深度网络有2种： 接输入原始图像，因而得到了广泛的应用。 深度信念网和深度玻尔兹曼机。现简要分析二者的 1.1.2结构 区别 卷积神经网络是前馈神经网络的一种。卷积神 1.2.1受限制玻尔兹曼机 经网络的模型如图1所示，它是一个多层的神经网 受限制玻尔兹曼机(restricted Boltzmann ma- 络，每层由多个二维平面组成，而每个平面由多个独 chine,RBM)是一类无向图模型[a],由可视层和隐含 立神经元组成。传统的神经网络层与层之间神经元 层组成，与玻尔兹曼机(Boltzmann machine,BM)不 采取全连接方式，而卷积神经网络采用稀疏连接方 同，层内无连接，层间有连接。这种结构更易于计算 式，即每个特征图上的神经元只连接上一层的一个 隐含层单元与可视层单元的条件分布)。受限制 小区域的神经元连接。 玻尔兹曼机的训练方式通常采用对比散度方(cot- C,特征 ,特征层 rastive divergence,.CD)。常见的玻尔兹曼机的演变 C,特征层 输入层 特征层 特征层 特征层输出层 模型如图2所示。 输 BM 卷莲类 卷积 下采样L卷积下采样1接1器 RBM 图1卷积神经网络模型 CRBM SRBM SGRBM CRBM Fig.1 Convolutional neural network model 卷积神经网络的低隐含层是由卷积层和最大池 图2玻尔兹曼机演变模型 采样层交替组成，高层通常是全连接层作为分类器 Fig.2 The evolution model of boltzmann machine
型结构，以深度学习的核心模型结构而展开。 文献 ［７］从深度学习结构进行展开，本文大量增加了近 ３ 年新的研究成果，因此能够更准确地反映该领域的 最新研究进展。 本文依据模型结构，着重介绍 ４ 种典型的深度 学习模型，即卷积神经网络、深度信念网络、深度玻 尔兹曼机、堆叠自动编码器。 下面对这些模型进行 描述。 １ 深度学习典型模型 １．１ 卷积神经网络 １．１．１ 历史 卷积神经网络 （ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ＣＮＮ）最早在 ２０ 世纪 ８０ 年代就已被提出，是由于在 研究猫脑皮层时受到的启发。 它的典型模型 ＬｅＮｅｔ⁃ ５ ［８］系统，在 ＭＮＩＳＴ 上得到了 ０．９％的错误率，并在 ２０ 世纪 ９０ 年代就已用于银行的手写支票识别［７］ 。 但是，由于在大尺寸图像上没有好的效果，一度被人 忽视。 随着高效的 ＧＰＵ 计算的兴起，直到 ２０１２ 年 Ｈｉｎｔｏｎ 在 ＩｍａｇｅＮｅｔ 问题的成功，才使它在近几年流 行起来［９］ 。 如今卷积神经网络已经成为众多科学 领域的研究热点之一，特别是在图像识别领域。 由 于该网络避免了对图像的复杂前期预处理，可以直 接输入原始图像，因而得到了广泛的应用。 １．１．２ 结构 卷积神经网络是前馈神经网络的一种。 卷积神 经网络的模型如图 １ 所示，它是一个多层的神经网 络，每层由多个二维平面组成，而每个平面由多个独 立神经元组成。 传统的神经网络层与层之间神经元 采取全连接方式，而卷积神经网络采用稀疏连接方 式，即每个特征图上的神经元只连接上一层的一个 小区域的神经元连接。 图 １ 卷积神经网络模型 Ｆｉｇ．１ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ 卷积神经网络的低隐含层是由卷积层和最大池 采样层交替组成，高层通常是全连接层作为分类器 使用。 首先，为了降低网络的复杂性，卷积神经网络采 用权重共享方式，即同一个特征图，卷积核是一样 的［１０］ ；其次，对得到的特征输入给一个非线性函数， 比如 ＲｅＬＵ 等；最后，再采取下采样方法，比如最大 池化等。 下采样的作用是把语义上相似的特征合并 起来，这是因为形成一个主题的特征的相对位置不 太一样［１］ 。 １．１．３ 训练方式 卷积神经网络的训练采用有监督训练方式。 首 先是向前传播，即输入 Ｘ 经过卷积神经网路后变为 输出 Ｏ，再将 Ｏ 与标签进行比较，然后以向后传播的 方式，到将所得误差传播到每个节点，根据权值更新 公式，更新相应的卷积核权值［４，６］ 。 此外，以卷积神经网络为核心的深度学习网络 还有 ３⁃Ｄ 卷积神经网络 （ ３⁃Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ３Ｄ⁃ＣＮＮ）） ［１１］ ， 光 谱 网 络 （ ｓｐｅｃｔｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ，ＳＮ） ［１２］ ，金字塔卷积神经网络（ ｐｙｒａｍｉｄ ｃｏｎｖ⁃ ｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＰＣＮＮ） ［１３］ ，多级金字塔卷 积神经网络（ｍｕｌｔｉ ｌｅｖｅｌ ｐｙａｍｉｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＭＬＰＣＮＮ） ［１４］等。 １．２ 受限制玻尔兹曼机为核心的深度网络 受限制玻尔兹曼机为核心的深度网络有 ２ 种： 深度信念网和深度玻尔兹曼机。 现简要分析二者的 区别。 １．２．１ 受限制玻尔兹曼机 受限制玻尔兹曼机 （ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａ⁃ ｃｈｉｎｅ，ＲＢＭ）是一类无向图模型［４］ ，由可视层和隐含 层组成，与玻尔兹曼机（Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＢＭ） 不 同，层内无连接，层间有连接。 这种结构更易于计算 隐含层单元与可视层单元的条件分布［５］ 。 受限制 玻尔兹曼机的训练方式通常采用对比散度方（ ｃｏｎｔ⁃ ｒａｓｔｉｖｅ ｄｉｖｅｒｇｅｎｃｅ，ＣＤ）。 常见的玻尔兹曼机的演变 模型如图 ２ 所示。 图 ２ 玻尔兹曼机演变模型 Ｆｉｇ．２ Ｔｈｅ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ ｏｆ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ ·５６８· 智 能 系 统 学 报 第 １１ 卷
第5期 刘帅师，等：深度学习方法研究新进展 ·569· 受限制玻尔滋曼机的演变模型有卷积受限制玻 DDBN)[2]等。 尔a兹曼机(convolutional restricted Boltzmann ma- 1.2.3深度玻尔兹曼机 chine,CRBM)【s]、稀疏受限制玻尔兹曼机(sparse 深度玻尔兹曼机(deep Boltzmann machine, restricted Boltzmann machine,SRBM)Iu6]、稀疏组受 DBM)与深度信念网络相似，都是以受限制玻尔滋 限制玻尔兹曼机(sparse group restricted Boltzmann 曼机叠加而成。但是，与深度信念网络不同，层间均 machine,SGRBM)【)、分类受限制玻尔兹曼机(class 为无向连接，省略了由上至下的反馈参数调节。训 restricted Boltzmann machine,CRBM)[u8]等。更详细 练方式也与深度信念网络相似，先采用无监督预训 的描述内容参见文献[19]。 练方法，得到初始权值，再运用场均值算法，最后采 1.2.2深度信念网络 用有监督微方式进行微调。 深度信念网络(deep belief networks,DBN)是由 1.3堆叠自动编码器 多个受限制玻尔兹曼机(RBM)叠加而成的深度网 1.3.1自动编码器 络。深度信念网络的典型结构如图3所示，它通过 自动编码器(auto encoder,AE)由编码器与解码 无监督预训练和有监督微调来训练整个深度信念网 器组成，其原理如图4所示。核心思想是将输入信 络)。预训练时用无标签数据单独训练每一层受 号进行编码，使用编码之后的信号重建原始信号，目 限制玻尔兹曼机，通过自下而上的方式，将下层受限 的是让重建信号与原始信号相比重建误差最小[2]。 制玻尔兹曼机输出作为上层受限制玻尔兹曼机输 编码器将输入数据映射到特征空间，解码器将特征 入。当预训练完成后，网络会获得一个较好的网络 映射回数据空间，完成对输入数据的重建。 初始值，但这还不是最优的20)。再采用有标签数据 oooooO代码层 去训练网络，误差自顶向下传播，一般采用梯度下降 编码 解码 法对网络进行微调。深度信念网络的出现是深度学 输入层ooooO oooooo输出层 习的转折点，目前深度信念网络已应用于语音、图像 处理等方面，尤其是在大数据方面[0]。 图4自动编码器原理图 Fig.4 The illustration of autoencoder 标签单位 自动编码器演化的模型如图5所示，自动编码 顶层单元 器演化的模型有去噪自动编码器(denoising auto en- coder,DAE)[2]、稀疏自动编码器(sparse auto en- 隐含层单元 coder,SAE)[2]、收缩自动编码器(contractive auto encoder,CAE)[2)]、卷积自动编码(convolutional auto 隐含层单元 encoder,.CAE)[2]等。更详细的描述内容参见文献 检测权值 生成权值 [29-31]。 隐含层单元 AE 隐含层 权值 RBM DAE 可视层 图5自动编码器的演变模型 输入 Fig.5 The evolution model of autoencoder 图3深度信念网络典型结构 1.3.2堆叠自动编码器原理 Fig.3 The illustration of deep belief network framework 堆叠自动编码器(stacked auto encoders,SAE) 深度信念网络的变种模型有卷积深度信念网 与深度信念网络类似，其结构如图6所示，都是由简 (convolutional deep belief networks,CDBN)[2)、稀疏 单结构叠加起来的深层网络。简单来说，就是将 深度信念网(sparse deep belief networks.,SDBN)Ia) DBN中的RBM替换成AE就得到了SAE。自动编 判别深度信念网(discriminative deep belief networks, 码器的训练过程也是使用贪心逐层预训练算法，但
受限制玻尔兹曼机的演变模型有卷积受限制玻 尔 兹 曼 机 （ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａ⁃ ｃｈｉｎｅ，ＣＲＢＭ） ［１５］ 、稀疏受限制玻尔兹曼机（ ｓｐａｒｓｅ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ， ＳＲＢＭ） ［１６］ 、稀疏组受 限制玻尔兹曼机（ ｓｐａｒｓｅ ｇｒｏｕｐ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＳＧＲＢＭ） ［１７］ 、分类受限制玻尔兹曼机（ｃｌａｓｓ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ，ＣＲＢＭ） ［１８］ 等。 更详细 的描述内容参见文献［１９］。 １．２．２ 深度信念网络 深度信念网络（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＤＢＮ）是由 多个受限制玻尔兹曼机（ＲＢＭ）叠加而成的深度网 络。 深度信念网络的典型结构如图 ３ 所示，它通过 无监督预训练和有监督微调来训练整个深度信念网 络［７］ 。 预训练时用无标签数据单独训练每一层受 限制玻尔兹曼机，通过自下而上的方式，将下层受限 制玻尔兹曼机输出作为上层受限制玻尔兹曼机输 入。 当预训练完成后，网络会获得一个较好的网络 初始值，但这还不是最优的［２０］ 。 再采用有标签数据 去训练网络，误差自顶向下传播，一般采用梯度下降 法对网络进行微调。 深度信念网络的出现是深度学 习的转折点，目前深度信念网络已应用于语音、图像 处理等方面，尤其是在大数据方面［１０］ 。 图 ３ 深度信念网络典型结构 Ｆｉｇ．３ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ ｆｒａｍｅｗｏｒｋ 深度信念网络的变种模型有卷积深度信念网 （ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＣＤＢＮ） ［２１］ 、稀疏 深度信念网（ｓｐａｒｓｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ，ＳＤＢＮ） ［２２］ 、 判别深度信念网（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ， ＤＤＢＮ） ［２３］等。 １．２．３ 深度玻尔兹曼机 深度 玻 尔 兹 曼 机 （ ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ， ＤＢＭ）与深度信念网络相似，都是以受限制玻尔兹 曼机叠加而成。 但是，与深度信念网络不同，层间均 为无向连接，省略了由上至下的反馈参数调节。 训 练方式也与深度信念网络相似，先采用无监督预训 练方法，得到初始权值，再运用场均值算法，最后采 用有监督微方式进行微调。 １．３ 堆叠自动编码器 １．３．１ 自动编码器 自动编码器（ａｕｔｏ ｅｎｃｏｄｅｒ，ＡＥ）由编码器与解码 器组成，其原理如图 ４ 所示。 核心思想是将输入信 号进行编码，使用编码之后的信号重建原始信号，目 的是让重建信号与原始信号相比重建误差最小［２４］ 。 编码器将输入数据映射到特征空间，解码器将特征 映射回数据空间，完成对输入数据的重建。 图 ４ 自动编码器原理图 Ｆｉｇ．４ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ａｕｔｏｅｎｃｏｄｅｒ 自动编码器演化的模型如图 ５ 所示，自动编码 器演化的模型有去噪自动编码器（ｄｅｎｏｉｓｉｎｇ ａｕｔｏ ｅｎ⁃ ｃｏｄｅｒ，ＤＡＥ） ［２５］ 、稀疏自动编码器（ ｓｐａｒｓｅ ａｕｔｏ ｅｎ⁃ ｃｏｄｅｒ，ＳＡＥ） ［２６］ 、收缩自动编码器 （ ｃｏｎｔｒａｃｔｉｖｅ ａｕｔｏ ｅｎｃｏｄｅｒ，ＣＡＥ） ［２７］ 、卷积自动编码（ ｃｏｎｖｏｌｕｔｉｏｎａｌ ａｕｔｏ ｅｎｃｏｄｅｒ，ＣＡＥ） ［２８］等。 更详细的描述内容参见文献 ［２９⁃３１］。 图 ５ 自动编码器的演变模型 Ｆｉｇ．５ Ｔｈｅ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ ｏｆ ａｕｔｏｅｎｃｏｄｅｒ １．３．２ 堆叠自动编码器原理 堆叠自动编码器（ ｓｔａｃｋｅｄ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＡＥ） 与深度信念网络类似，其结构如图 ６ 所示，都是由简 单结构叠加起来的深层网络。 简单来说，就是将 ＤＢＮ 中的 ＲＢＭ 替换成 ＡＥ 就得到了 ＳＡＥ。 自动编 码器的训练过程也是使用贪心逐层预训练算法，但 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５６９·
·570 智能系统学报 第11卷 因为是通过重构误差来进行训练，相比较而言比受 语言模型时在谷歌语音搜索任务词错率达到 限制玻尔兹曼机训练容易[)。 14.2%,当结合语言模型时词错率达到11.2%。 以自动编码器及其变种模型的为核心的深度网 2.2计算机视觉 络称之为深度自动编码(deep auto encoders,DAE)。 2012年Hinton[39]和他的2个学生在著名的m- 文献[32]对深度自动编码器进行了详细的描述。 ageNet问题上用更深的卷积神经网络取得世界最好 堆叠自动编码器就是一种典型的深度自动编码。类 结果，赢得了冠军，使得图像识别大踏步前进。随 似的还有堆叠去噪自动编码器(stacked denoising 后，深度学习在图像处理方面取得突破性进展，如物 auto-encoders,SDAE)[2]、堆叠稀疏自动编码器 体定位[o]、脸部识别[4]和人体姿势估计[2]等。 (stacked sparse auto encoders,SSAE)[3]等。 2015年深海团队[4)利用卷积神经网络对3万个例 子进行121种浮游生物分类。Denton等[4]利用卷 第n层 000 重构 积神经网络通过用户的性别、年龄、城市和图片等特 AE 构造1 00 征进行整合。在Facebook上对用户上传的图片进 0000 行标签、分类。 第2层 构造 重构 2.2.1图像语义分割 AE ○OOO O0O 图像包括很多层信息，例如这幅图像是否有特 第1层 构造「 重构 定的物体（如汽车）。所谓的图像语义分割，就是描 AE OOO○ ○○OO 述图片中包含哪些物体、包括街头的场景分割、三维 扫描、对3-D人体解剖分割定位等。因为是基于像 图6堆叠自动编码器结构 Fig.6 The illustration of stacked Autoencoder framework 素分类方法，所以这个问题会带来巨大的计算量。 2015年Long等[4]提出了利用全卷积网络(fly 2深度学习应用 convolutional networks,FCN,)的概念去进行图像语 义分割。同年Behnke等[6]提出了语义RGB-D感 2.1语音处理 知器的概念，使得基于深度学习的图像语义分割得 长期以来，语音识别技术普遍采用的是声学模 型混合高斯模型。但这种混合高斯模型本质上是一 到进一步发展。 2.2.2人脸识别 种浅层网络建模，不能充分描述特征的状态空间分 Linkface开发了基于深度学习的人脸检测创新 布3)。2011年微软[3)将深度学习引入语音识别领 算法。无论场景中是单人还是多人，是侧脸、半遮 域，提出深度神经网络DNN,本质上是把混合高斯 挡还是模糊等情景中，均能进行精准检测。据全球 模型替换成了深度神经网络模型大大提高识别率。 最具权威的人脸检测评测平台FDDB最新数据， 该模型在Switchboard标准数据集上的识别错误率 Linkface的人脸检测算法达到了世界领先的水平。 比最低错误率降低了33%。2014年Van等6在网 2014年Facebook开发一种叫DeepFacet)技术。其 络音乐平台Spotify使用深度卷积神经网络做基于 贡献在于对人脸对齐和人脸表示环节的改进。通过 内容的音乐推荐，以及实现依靠音频信号预测听众 革新的3-D人脸建模勾勒出脸部特征，然后通过颜 的收听喜好，然后采用WMF(weighted matrix factori- 色过滤做出一个刻画特定脸部元素的平面模型。 zation)模型进行评分预测。百度的深度学习语音识 Facebook建立了一个来自于4030个人的440万张 别系统DeepSpeech[]可以在饭店等嘈杂环境下实 标签化的人脸池，Facebook称这是迄今为止最大规 现将近81%的辨识准确率。2015年Chan等38]提 模的人脸池。它是一个拥有9层的深度卷积神经网 出了LAS(listen,attend and spell)系统。该系统利 络，网络有超过1.2亿个参数。该技术在LFW数据 用金字塔式双向的RNN网络。不同于传统的模型， 集上取得了97.25%的平均精度.已经接近人类的识 不需要完整的端对端的CTC(connectionist temporal 别水平。2015年Google提出FaceNet!)]进行人脸 classification),实现跳过音素直接把语音识别为字 验证。它直接学习图像到欧式空间上点的映射，然 符，合成了约4万小时音频。当不依赖语音词典和 后基于这个编码再做人脸识别、人脸验证和人脸聚
因为是通过重构误差来进行训练，相比较而言比受 限制玻尔兹曼机训练容易［７］ 。 以自动编码器及其变种模型的为核心的深度网 络称之为深度自动编码（ｄｅｅｐ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＤＡＥ）。 文献［３２］ 对深度自动编码器进行了详细的描述。 堆叠自动编码器就是一种典型的深度自动编码。 类 似的还有堆叠去噪自动编码器（ ｓｔａｃｋｅｄ ｄｅｎｏｉｓｉｎｇ ａｕｔｏ⁃ｅｎｃｏｄｅｒｓ， ＳＤＡＥ ） ［２５］ 、 堆 叠 稀 疏 自 动 编 码 器 （ｓｔａｃｋｅｄ ｓｐａｒｓｅ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＳＳＡＥ） ［３３］等。 图 ６ 堆叠自动编码器结构 Ｆｉｇ．６ Ｔｈｅ ｉｌｌｕｓｔｒａｔｉｏｎ ｏｆ ｓｔａｃｋｅｄ Ａｕｔｏｅｎｃｏｄｅｒ ｆｒａｍｅｗｏｒｋ ２ 深度学习应用 ２．１ 语音处理 长期以来，语音识别技术普遍采用的是声学模 型混合高斯模型。 但这种混合高斯模型本质上是一 种浅层网络建模，不能充分描述特征的状态空间分 布［３４］ 。 ２０１１ 年微软［３５］将深度学习引入语音识别领 域，提出深度神经网络 ＤＮＮ，本质上是把混合高斯 模型替换成了深度神经网络模型大大提高识别率。 该模型在 Ｓｗｉｔｃｈｂｏａｒｄ 标准数据集上的识别错误率 比最低错误率降低了 ３３％。 ２０１４ 年 Ｖａｎ 等［３６］ 在网 络音乐平台 Ｓｐｏｔｉｆｙ 使用深度卷积神经网络做基于 内容的音乐推荐，以及实现依靠音频信号预测听众 的收听喜好，然后采用 ＷＭＦ（ｗｅｉｇｈｔｅｄ ｍａｔｒｉｘ ｆａｃｔｏｒｉ⁃ ｚａｔｉｏｎ）模型进行评分预测。 百度的深度学习语音识 别系统 ＤｅｅｐＳｐｅｅｃｈ ［３７］ 可以在饭店等嘈杂环境下实 现将近 ８１％ 的辨识准确率。 ２０１５ 年 Ｃｈａｎ 等［３８］ 提 出了 ＬＡＳ（ ｌｉｓｔｅｎ， ａｔｔｅｎｄ ａｎｄ ｓｐｅｌｌ ）系统。 该系统利 用金字塔式双向的 ＲＮＮ 网络。 不同于传统的模型， 不需要完整的端对端的 ＣＴＣ（ ｃｏｎｎｅｃｔｉｏｎｉｓｔ ｔｅｍｐｏｒａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ），实现跳过音素直接把语音识别为字 符，合成了约 ４ 万小时音频。 当不依赖语音词典和 语言 模 型 时 在 谷 歌 语 音 搜 索 任 务 词 错 率 达 到 １４．２％，当结合语言模型时词错率达到１１．２％。 ２．２ 计算机视觉 ２０１２ 年 Ｈｉｎｔｏｎ ［３９］和他的 ２ 个学生在著名的 Ｉｍ⁃ ａｇｅＮｅｔ 问题上用更深的卷积神经网络取得世界最好 结果，赢得了冠军，使得图像识别大踏步前进。 随 后，深度学习在图像处理方面取得突破性进展，如物 体定位［４０］ 、 脸部识别［４１］ 和人体姿势估 计［４２］ 等。 ２０１５ 年深海团队［４３］利用卷积神经网络对 ３ 万个例 子进行 １２１ 种浮游生物分类。 Ｄｅｎｔｏｎ 等［４４］ 利用卷 积神经网络通过用户的性别、年龄、城市和图片等特 征进行整合。 在 Ｆａｃｅｂｏｏｋ 上对用户上传的图片进 行标签、分类。 ２．２．１ 图像语义分割 图像包括很多层信息，例如这幅图像是否有特 定的物体（如汽车）。 所谓的图像语义分割，就是描 述图片中包含哪些物体、包括街头的场景分割、三维 扫描、对 ３⁃Ｄ 人体解剖分割定位等。 因为是基于像 素分类方法，所以这个问题会带来巨大的计算量。 ２０１５ 年 Ｌｏｎｇ 等［４５］ 提出了利用全卷积网络 （ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ，ＦＣＮ，） 的概念去进行图像语 义分割。 同年 Ｂｅｈｎｋｅ 等［４６］ 提出了语义 ＲＧＢ⁃Ｄ 感 知器的概念，使得基于深度学习的图像语义分割得 到进一步发展。 ２．２．２ 人脸识别 Ｌｉｎｋｆａｃｅ 开发了基于深度学习的人脸检测创新 算法 。 无论场景中是单人还是多人，是侧脸、半遮 挡还是模糊等情景中，均能进行精准检测。 据全球 最具权威的人脸检测评测平台 ＦＤＤＢ 最新数据， Ｌｉｎｋｆａｃｅ 的人脸检测算法达到了世界领先的水平。 ２０１４ 年 Ｆａｃｅｂｏｏｋ 开发一种叫 ＤｅｅｐＦａｃｅ ［４１］技术。 其 贡献在于对人脸对齐和人脸表示环节的改进。 通过 革新的 ３⁃Ｄ 人脸建模勾勒出脸部特征，然后通过颜 色过滤做出一个刻画特定脸部元素的平面模型。 Ｆａｃｅｂｏｏｋ 建立了一个来自于 ４ ０３０ 个人的 ４４０ 万张 标签化的人脸池，Ｆａｃｅｂｏｏｋ 称这是迄今为止最大规 模的人脸池。 它是一个拥有 ９ 层的深度卷积神经网 络，网络有超过 １．２ 亿个参数。 该技术在 ＬＦＷ 数据 集上取得了 ９７．２５％的平均精度，已经接近人类的识 别水平。 ２０１５ 年 Ｇｏｏｇｌｅ 提出 ＦａｃｅＮｅｔ ［４７］ 进行人脸 验证。 它直接学习图像到欧式空间上点的映射，然 后基于这个编码再做人脸识别、人脸验证和人脸聚 ·５７０· 智 能 系 统 学 报 第 １１ 卷
第5期 刘帅师，等：深度学习方法研究新进展 ·571· 类等。其中两张图像所对应的特征欧式空间上的点 的数据集上准确率达到47.67%。 之间的距离直接对应着两个图像是否相似。 2.3自然语言处理 FaceNet并没有像DeepFace和DeepID那样需要对 Sashihithlu等eo]采用递归自编码方法(recur- 齐。FaceNet得到最终表示后不用像DeepID那样需 sive auto encoders,RAE)来解决较为复杂的情感分 要再训练模型进行分类，直接计算距离就可以，简单 析问题。Johnson等[6l]提出一种基于卷积神经网络 而有效。在Youtube数据集上测试准确率为95.12%。 直接在词袋模型(BoW)上用做文本分类任务。 目前，传统人脸识别技术主要集中在可见光谱 2015年谷歌的Good等利用深度神经网络开发了字 的范畴，对于跨模态人脸识别问题尚无好的解决方 镜头(word lens)实时视频翻译性能和通话实时翻译 法。2015年Sarfraz等[48]利用深度神经网络，成功 功能。它可以实现拿着手机摄像头对着实物，实物 将红外热图像与可见光图像进行匹配，实现了跨模 中的文字就可被即时识别出，并被翻译成目标语言， 态人脸匹配。该网络可以在短短35ms的时间内，能 目前该技术可支持20多种语言的即时视觉翻译。 够将红外热图像匹配到其可见光图像，可以实现实 更重要的是即使它在不联网的状态下也能进行工 时运行。 作，所有深度学习的庞大计算都是在手机上完成的。 2.2.3表情识别 李婷等[6]利用堆叠去噪自动编码器(stack denoising 目前，大部分研究者把卷积神经网络应用在表 auto encoder,SDAE)识别盲文。 情识别上。例如，2013年Liu等[4提出了构建一个 2.4、医疗应用 新的深层结构(AU-aware deep networks,AUDN),基 Deep Genomics公司开始把基因组和深度学习 于卷积神经网络进行特征提取，连接SVM做表情分 结合起来，Deep Genomics已经推出了他们的第一款 类器。2014年0 uellet等[so0]使用卷积神经网络对电 产品SPIDEX。只需将测试结果和细胞类型导入， 脑前的游戏玩家进行实时表情识别。Somg等[s)]利 SPIDEX便可分析出某一变异对RNA剪切的影响， 用了一种5层卷积神经网络，实现了每幅图像在服 并计算出该变异与疾病之间的关系。Koziol等[] 务器的预测时间为50ms,每个图像的往返时间小 利用一种受限玻尔兹曼机用于肝细胞癌的分类。 于100ms,在智能手机上实现实时表情识别。jia 2015年Fauw等[641利用20多层的卷积神经网络检 等[s2]用Kinect深度传感器得到的图片作为表情识 测糖尿病视网膜病变的眼底图像。 别的对象，并在卷积神经网络进行表情识别取得了 较好的效果。Byeon等s使用3D卷积神经网络去 3模型总结及面临的挑战 识别视频人脸表情。文献[54]证明在实时表情识 3.1深度学习模型 别系统，卷积神经网络比深层神经网络具有更好的 本文对深度学习模型进行分类、概括，在此以模 效果。 型的结构为序，对深度学习模型进行总结如表1~表 还有一部分研究者利用其他深度学习模型进行 3所示。 表情识别。例如，McLaughlin等[s提出一种基于深 1)模型结构。目前，大部分的深度学习模型都 度信念网络的实时表情识别系统，但只能检测4种 是以卷积神经网络、深度信念网络、深度玻尔滋曼 表情。2013年He等[]利用深度玻尔兹曼机对红 机、堆叠自动编码器等几种基本模型为基础演变而 外热图像进行表情识别。 来。除此之外，还有像递归神经网络(recurrentneu- 此外，一些研究者们将多种深度学习模型结合 ral networks,RNN)[、深度凸形网络(deep convex 起来进行表情识别。例如，2014年LYU等s)将深 net,DCN)【]等其他类型的新型深度模型。 度信念网络与自编码器相结合来进行识别。2015 2)训练方式。深度学习模型的训练方式主要 年Jung等s]将卷积神经网络与深度神经网络合起 有有监督学习和无监督学习2种。训练方式因模型 来。Kahou等s9提出一种视频表情识别系统 结构而异，一般以卷积神经网络为核心的模型一般 EmoNets。卷积神经网络捕捉视频信息，检测人脸。 采取有监督训练方式。而以受限制玻尔兹曼机与自 深度信念网络捕捉音频信息，自编码器捕捉人肢体 动编码器为核心的模型，大部分采用无监督学习方 行为。该理论赢得了2013 EmotiW挑战赛，在2014 式预训练，配合有监督微调模式进行参数训练
类等。 其中两张图像所对应的特征欧式空间上的点 之间 的 距 离 直 接 对 应 着 两 个 图 像 是 否 相 似。 ＦａｃｅＮｅｔ 并没有像 ＤｅｅｐＦａｃｅ 和 ＤｅｅｐＩＤ 那样需要对 齐。 ＦａｃｅＮｅｔ 得到最终表示后不用像 ＤｅｅｐＩＤ 那样需 要再训练模型进行分类，直接计算距离就可以，简单 而有效。 在 Ｙｏｕｔｕｂｅ 数据集上测试准确率为９５．１２％。 目前，传统人脸识别技术主要集中在可见光谱 的范畴，对于跨模态人脸识别问题尚无好的解决方 法。 ２０１５ 年 Ｓａｒｆｒａｚ 等［４８］ 利用深度神经网络，成功 将红外热图像与可见光图像进行匹配，实现了跨模 态人脸匹配。 该网络可以在短短３５ ｍｓ的时间内，能 够将红外热图像匹配到其可见光图像，可以实现实 时运行。 ２．２．３ 表情识别 目前，大部分研究者把卷积神经网络应用在表 情识别上。 例如，２０１３ 年 Ｌｉｕ 等［４９］提出了构建一个 新的深层结构（ＡＵ⁃ａｗａｒｅ ｄｅｅｐ ｎｅｔｗｏｒｋｓ，ＡＵＤＮ），基 于卷积神经网络进行特征提取，连接 ＳＶＭ 做表情分 类器。 ２０１４ 年 Ｏｕｅｌｌｅｔ 等［５０］使用卷积神经网络对电 脑前的游戏玩家进行实时表情识别。 Ｓｏｎｇ 等［５１］ 利 用了一种 ５ 层卷积神经网络，实现了每幅图像在服 务器的预测时间为 ５０ ｍｓ，每个图像的往返时间小 于 １００ ｍｓ，在智能手机上实现实时表情识别。 Ｉｊｊｉｎａ 等［５２］用 Ｋｉｎｅｃｔ 深度传感器得到的图片作为表情识 别的对象，并在卷积神经网络进行表情识别取得了 较好的效果。 Ｂｙｅｏｎ 等［５３］ 使用 ３Ｄ 卷积神经网络去 识别视频人脸表情。 文献［５４］ 证明在实时表情识 别系统，卷积神经网络比深层神经网络具有更好的 效果。 还有一部分研究者利用其他深度学习模型进行 表情识别。 例如，ＭｃＬａｕｇｈｌｉｎ 等［５５］ 提出一种基于深 度信念网络的实时表情识别系统，但只能检测 ４ 种 表情。 ２０１３ 年 Ｈｅ 等［５６］ 利用深度玻尔兹曼机对红 外热图像进行表情识别。 此外，一些研究者们将多种深度学习模型结合 起来进行表情识别。 例如，２０１４ 年 ＬＹＵ 等［５７］ 将深 度信念网络与自编码器相结合来进行识别。 ２０１５ 年 Ｊｕｎｇ 等［５８］ 将卷积神经网络与深度神经网络合起 来。 Ｋａｈｏｕ 等［５９］ 提 出 一 种 视 频 表 情 识 别 系 统 ＥｍｏＮｅｔｓ。 卷积神经网络捕捉视频信息，检测人脸。 深度信念网络捕捉音频信息，自编码器捕捉人肢体 行为。 该理论赢得了 ２０１３ ＥｍｏｔｉＷ 挑战赛，在 ２０１４ 的数据集上准确率达到 ４７．６７％。 ２．３ 自然语言处理 Ｓａｓｈｉｈｉｔｈｌｕ 等［６０］ 采用递归自编码方法（ ｒｅｃｕｒ⁃ ｓｉｖｅ ａｕｔｏ ｅｎｃｏｄｅｒｓ，ＲＡＥ） 来解决较为复杂的情感分 析问题。 Ｊｏｈｎｓｏｎ 等［６１］提出一种基于卷积神经网络 直接在词袋模型 （ ＢｏＷ） 上用做文 本 分 类 任 务。 ２０１５ 年谷歌的 Ｇｏｏｄ 等利用深度神经网络开发了字 镜头（ｗｏｒｄ ｌｅｎｓ）实时视频翻译性能和通话实时翻译 功能。 它可以实现拿着手机摄像头对着实物，实物 中的文字就可被即时识别出，并被翻译成目标语言， 目前该技术可支持 ２０ 多种语言的即时视觉翻译。 更重要的是即使它在不联网的状态下也能进行工 作，所有深度学习的庞大计算都是在手机上完成的。 李婷等［６２］利用堆叠去噪自动编码器（ｓｔａｃｋ ｄｅｎｏｉｓｉｎｇ ａｕｔｏ ｅｎｃｏｄｅｒ，ＳＤＡＥ）识别盲文。 ２．４ 医疗应用 Ｄｅｅｐ Ｇｅｎｏｍｉｃｓ 公司开始把基因组和深度学习 结合起来，Ｄｅｅｐ Ｇｅｎｏｍｉｃｓ 已经推出了他们的第一款 产品 ＳＰＩＤＥＸ。 只需将测试结果和细胞类型导入， ＳＰＩＤＥＸ 便可分析出某一变异对 ＲＮＡ 剪切的影响， 并计算出该变异与疾病之间的关系。 Ｋｏｚｉｏｌ 等［６３］ 利用一种受限玻尔兹曼机用于肝细胞癌的分类。 ２０１５ 年 Ｆａｕｗ 等［６４］利用 ２０ 多层的卷积神经网络检 测糖尿病视网膜病变的眼底图像。 ３ 模型总结及面临的挑战 ３．１ 深度学习模型 本文对深度学习模型进行分类、概括，在此以模 型的结构为序，对深度学习模型进行总结如表 １～表 ３ 所示。 １）模型结构。 目前，大部分的深度学习模型都 是以卷积神经网络、深度信念网络、深度玻尔兹曼 机、堆叠自动编码器等几种基本模型为基础演变而 来。 除此之外，还有像递归神经网络（ ｒｅｃｕｒｒｅｎｔｎｅｕ⁃ ｒａｌ ｎｅｔｗｏｒｋｓ，ＲＮＮ） ［７４］ 、深度凸形网络（ ｄｅｅｐ ｃｏｎｖｅｘ ｎｅｔ，ＤＣＮ） ［７５］等其他类型的新型深度模型。 ２）训练方式。 深度学习模型的训练方式主要 有有监督学习和无监督学习 ２ 种。 训练方式因模型 结构而异，一般以卷积神经网络为核心的模型一般 采取有监督训练方式。 而以受限制玻尔兹曼机与自 动编码器为核心的模型，大部分采用无监督学习方 式预训练，配合有监督微调模式进行参数训练。 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５７１·
·572. 智能系统学报 第11卷 表1典型深度学习模型 Table 1 Typical deep learing model 序号 模型名称 模型描述 常用训练方式 适用范围 作者，文献，年份 卷积神经网络 多个卷积层和下采样层交有监督，运用前向 图像处理，自然语 Lecun Y,[65],1990 (CNN) 替组成，以及一个全连接 传播和后向传播 言处理，视频分析 层 (BP)相结合方式 3D卷积神经网络 适用于视频中，通过堆叠有监督，通过随机 视频分析 JiS.[66],2013 (3D-CNN) 多个连续的帧组成一个立对角Levenberg- 方体，然后在立方体中运 Marquardt 用3D卷积核，捕捉在时间 法来优化训练 和空间维度都具有区分性 的特征 金字塔卷积神经网络与CNN不同，是Siamese 有监督逐层训练 图像处理 FamH.[13],2014 PCNN) 网络，由多个金字塔组成 深度信念网络 多个RBM累加而成的深 无监督贪婪逐层预语音识别，图像处Hinton G E,[67],2006 (DBN) 度网络 训练，有监督微调 理，自然语言处理 (BP) 卷积深度信念网络 将DBN中RBM替换成无监督贪婪逐层预 图像处理， LeeH.[21].2011 (CDBN) CRBM 训练，有监督微调 语音信号处理 稀疏深度信念网 将DBN中RBM替换成无监督贪婪逐层预 图像处理 Halkias X C.[22]2014 (SDBN) SRBM 训练，有监督微调 深度玻尔兹曼机 多个RBM累加而成，与无监督贪婪逐层预 图像处理 Salakhutdinov R. DBM) DBN不同层间均为无向连训练，再进行场均 [68],2009 接，省略了由上至下的反值算法，有监督微 馈参数调节 调(BP) 3 卷积深度玻尔兹曼机将DBM中RBM替换成无监督贪婪逐层预 图像处理 杜卷，[69]2014 (CDBM) CRBM 训练，再进行场均 值算法，有监督 微调 堆叠自动编码器 多个AE累加而成 无监督贪婪逐层预 图像处理 Bengio Y,70],2009 (SAE) 训练，再将网络展 开，有监督微调 (BP) 堆叠去噪自动编码器将SAE中AE替换成DAE无监督贪婪逐层预 图像处理， Vincent P,[25],2008 (SDAE) 训练，再将网络展 自然语言处理 开，有监督微调 (BP)
表 １ 典型深度学习模型 Ｔａｂｌｅ １ Ｔｙｐｉｃａｌ ｄｅｅｐ ｌｅａｒｉｎｇ ｍｏｄｅｌ 序号 模型名称 模型描述 常用训练方式 适用范围 作者，文献，年份 １ 卷积神经网络 （ＣＮＮ） 多个卷积层和下采样层交 替组成，以及一个全连接 层 有监督，运用前向 传播和后向传播 （ＢＰ）相结合方式 图像处理，自然语 言处理，视频分析 Ｌｅｃｕｎ Ｙ，［６５］，１９９０ ３Ｄ 卷积神经网络 （３Ｄ⁃ＣＮＮ） 适用于视频中，通过堆叠 多个连续的帧组成一个立 方体，然后在立方体中运 用 ３Ｄ 卷积核，捕捉在时间 和空间维度都具有区分性 的特征 有监督， 通过随机 对角 Ｌｅｖｅｎｂｅｒｇ⁃ Ｍａｒｑｕａｒｄｔ 法来优化训练 视频分析 Ｊｉ Ｓ，［６６］，２０１３ 金字塔卷积神经网络 （ＰＣＮＮ） 与 ＣＮＮ 不 同， 是 Ｓｉａｍｅｓｅ 网络，由多个金字塔组成 有监督逐层训练 图像处理 Ｆａｎ Ｈ，［１３］，２０１４ ２ 深 度 信 念 网 络 （ＤＢＮ） 多个 ＲＢＭ 累加而成的深 度网络 无监督贪婪逐层预 训练，有监督微调 （ＢＰ） 语音识别，图像处 理，自然语言处理 Ｈｉｎｔｏｎ Ｇ Ｅ，［６７］， ２００６ 卷积深度信念网络 （ＣＤＢＮ） 将 ＤＢＮ 中 ＲＢＭ 替换成 ＣＲＢＭ 无监督贪婪逐层预 训练，有监督微调 图像处理， 语音信号处理 Ｌｅｅ Ｈ，［２１］，２０１１ 稀疏深度信念网 （ＳＤＢＮ） 将 ＤＢＮ 中 ＲＢＭ 替换成 ＳＲＢＭ 无监督贪婪逐层预 训练，有监督微调 图像处理 Ｈａｌｋｉａｓ Ｘ Ｃ，［２２］ ２０１４ ３ 深度玻尔兹曼机 （ＤＢＭ） 多个 ＲＢＭ 累 加 而 成， 与 ＤＢＮ 不同层间均为无向连 接，省略了由上至下的反 馈参数调节 无监督贪婪逐层预 训练， 再进行场均 值算法，有监督微 调（ＢＰ） 图像处理 Ｓａｌａｋｈｕｔｄｉｎｏｖ Ｒ， ［６８］，２００９ 卷积深度玻尔兹曼机 （ＣＤＢＭ） 将 ＤＢＭ 中 ＲＢＭ 替 换 成 ＣＲＢＭ 无监督贪婪逐层预 训练，再进行场均 值算法，有监督 微调 图像处理 杜骞，［６９］２０１４ ４ 堆叠自动编码器 （ＳＡＥ） 多个 ＡＥ 累加而成 无监督贪婪逐层预 训练，再将网络展 开，有监督微调 （ＢＰ） 图像处理 Ｂｅｎｇｉｏ Ｙ，［７０］，２００９ 堆叠去噪自动编码器 （ＳＤＡＥ） 将 ＳＡＥ 中 ＡＥ 替换成 ＤＡＥ 无监督贪婪逐层预 训练，再将网络展 开，有监督微调 （ＢＰ） 图像处理， 自然语言处理 Ｖｉｎｃｅｎｔ Ｐ，［２５］，２００８ ·５７２· 智 能 系 统 学 报 第 １１ 卷
第5期 刘帅师，等：深度学习方法研究新进展 ·573· 表2玻尔兹曼机及其演化模型 Table 2 Boltzmann machine and its evolution model 序号 模型名称 模型描述 作者，文献，年份 随机神经元组成的二值随机机器，一种 玻尔兹曼机(BM) Hinton G E,[71],1986 随机递归神经网络 2 受限制玻尔兹曼机(RBM) 与BM结果相同，只是没有层间的连接 Smolensky P,[72],1986 三层两部无向图模型，由可视层、 卷积受限制玻尔兹曼机(CRBM) LeeH.[15],2009 检测层、池层组成 在RBM的对数似然目标函数上， 稀疏受限制玻尔兹曼机(SRBM) LeeH.[16].2008 增加了一个稀疏惩罚项 5 稀疏租受限制玻尔兹曼机(SGRBM) 将组稀疏方法应用到RBM 罗恒，[17]，2011 利用包含二值随机变量的隐单元来 6 分类受限制玻尔兹曼机(CRBM) Larochelle H,[18],2008 拟合输人特征与类标签的联合分布 表3自动编码器及其演化模型 Table 3 Automatic encoder and its evolution model 序号 模型名称 模型描述 作者，文献，年份 多层神经网络，从输入层到隐藏层为编码 1 自动编码器(AE) 器，从隐藏层到输出层为解码器 Rumelhart D E,[73],1986 去噪自动编码器(DAE) 在AE的输入层引人随机噪声 Vincent P,[25],2008 3 稀疏自动编码器(SAE) AE加入稀疏性限制 Bengio Y,[26],2007 4 收缩自动编码器(CAE) 对AE的升维和降维过程加以限制 Rifai S,[27],2011 5 卷积自动编码器(CAE) AE每个隐含层的节点都是用来做卷积 Masci J,[28],2011 3)应用领域。深度学习在语音处理、计算机视 上的无监督学习。因此，如何做到完全意义上的无 觉的应用已十分广泛，许多技术已用于商用。但是， 监督学习是未来研究的重点。 在自然语言处理的应用尚不成熟口。一些研究者 3)减少训练时间。当待解决的问题过于复杂， 尝试用递归神经网络去解决这一问题。文献[74- 使深度学习模型参数增加时，会导致模型的训练时 78]对递归神经网络在文本生成和机器翻译的应用 间逐渐上升，是否可以在不改变硬件性能的条件下， 做出了详细的描述。目前，递归神经网络的变种模 对算法进行改进，在保证精度的同时，提高训练速 型长短时记忆模型(long short-term memory,LSTM) 度。所以，减少训练时间，仍是深度学习需要努力的 被证明比传统的递归神经网络更加有效[]。 研究方向。 3.2面临的挑战 4)实现在线学习。目前，深度学习的算法大多 1)模型结构创新。自Hinton提出深度学习的 采用无监督预训练与有监督微调配合的方式进行。 思想以来，已经涌现出大量的深度学习模型，然而大 然而，一旦在线环境下引入全局微调，会使结果陷入 部分的模型的构建依旧停留在以简单模型（如AE, 局部最小值。因此，这种训练算法不利于在线学习。 RBM等)叠加而成的深度网络，或是几种深度学习 是否可以改进算法进而将深度学习应用于在线环 模型简单相叠加，来构建深度学习模型。这种形式 境，这是未来要思考的问题。 的模型往往不能发挥深度学习的优势，是否存在其 5)克服对抗样本。通过稍微修改实际样本，而 他有效的深度学习模型，是否可以让深度学习与其 构造出的合成样本，会使一个分类器以高置信度认 他方法进行融合，这是今后要研究的问题。 为它们属于错误的分类，这就是深度学习对抗样本 2)训练方式的改进。深度学习已经在各个领 问题02]。研究如何克服它们可以帮助我们避免 域取得了突破性的成果，大部分深度学习模型均采 潜在的安全问题。然而，目前为止并没有好的方法 用无监督学习方式。但是，离完全的无监督学习还 出现。一些研究人员尝试使用常见的正则化方法 有一定的距离。目前的深度学习模型在无监督预训 (包括均化多重模型、均化图像多采样观测等)去解 练后，仍然需要有监督的微调，并没有做到完全意义 决这一问题，但是并没有取得良好的进展。因此，深
表 ２ 玻尔兹曼机及其演化模型 Ｔａｂｌｅ ２ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ ａｎｄ ｉｔｓ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ 序号 模型名称 模型描述 作者，文献，年份 １ 玻尔兹曼机（ＢＭ） 随机神经元组成的二值随机机器，一种 随机递归神经网络 Ｈｉｎｔｏｎ Ｇ Ｅ，［７１］，１９８６ ２ 受限制玻尔兹曼机（ＲＢＭ） 与 ＢＭ 结果相同，只是没有层间的连接 Ｓｍｏｌｅｎｓｋｙ Ｐ ，［７２］，１９８６ ３ 卷积受限制玻尔兹曼机（ＣＲＢＭ） 三层两部无向图模型，由可视层、 检测层、池层组成 Ｌｅｅ Ｈ，［１５］，２００９ ４ 稀疏受限制玻尔兹曼机（ＳＲＢＭ） 在 ＲＢＭ 的对数似然目标函数上， 增加了一个稀疏惩罚项 Ｌｅｅ Ｈ，［１６］，２００８ ５ 稀疏租受限制玻尔兹曼机（ＳＧＲＢＭ） 将组稀疏方法应用到 ＲＢＭ 罗恒，［１７］，２０１１ ６ 分类受限制玻尔兹曼机（ＣＲＢＭ） 利用包含二值随机变量的隐单元来 拟合输入特征与类标签的联合分布 Ｌａｒｏｃｈｅｌｌｅ Ｈ，［１８］，２００８ 表 ３ 自动编码器及其演化模型 Ｔａｂｌｅ ３ Ａｕｔｏｍａｔｉｃ ｅｎｃｏｄｅｒ ａｎｄ ｉｔｓ ｅｖｏｌｕｔｉｏｎ ｍｏｄｅｌ 序号 模型名称 模型描述 作者，文献，年份 １ 自动编码器（ＡＥ） 多层神经网络，从输入层到隐藏层为编码 器，从隐藏层到输出层为解码器 Ｒｕｍｅｌｈａｒｔ Ｄ Ｅ，［７３］，１９８６ ２ 去噪自动编码器（ＤＡＥ） 在 ＡＥ 的输入层引入随机噪声 Ｖｉｎｃｅｎｔ Ｐ，［２５］，２００８ ３ 稀疏自动编码器（ＳＡＥ） ＡＥ 加入稀疏性限制 Ｂｅｎｇｉｏ Ｙ，［２６］，２００７ ４ 收缩自动编码器（ＣＡＥ） 对 ＡＥ 的升维和降维过程加以限制 Ｒｉｆａｉ Ｓ，［２７］，２０１１ ５ 卷积自动编码器（ＣＡＥ） ＡＥ 每个隐含层的节点都是用来做卷积 Ｍａｓｃｉ Ｊ，［２８］，２０１１ ３）应用领域。 深度学习在语音处理、计算机视 觉的应用已十分广泛，许多技术已用于商用。 但是， 在自然语言处理的应用尚不成熟［１］ 。 一些研究者 尝试用递归神经网络去解决这一问题。 文献［７４⁃ ７８］对递归神经网络在文本生成和机器翻译的应用 做出了详细的描述。 目前，递归神经网络的变种模 型长短时记忆模型 （ ｌｏｎｇ ｓｈｏｒｔ⁃ｔｅｒｍ ｍｅｍｏｒｙ，ＬＳＴＭ） 被证明比传统的递归神经网络更加有效［７９］ 。 ３．２ 面临的挑战 １）模型结构创新。 自 Ｈｉｎｔｏｎ 提出深度学习的 思想以来，已经涌现出大量的深度学习模型，然而大 部分的模型的构建依旧停留在以简单模型（如 ＡＥ， ＲＢＭ 等）叠加而成的深度网络，或是几种深度学习 模型简单相叠加，来构建深度学习模型。 这种形式 的模型往往不能发挥深度学习的优势，是否存在其 他有效的深度学习模型，是否可以让深度学习与其 他方法进行融合，这是今后要研究的问题。 ２）训练方式的改进。 深度学习已经在各个领 域取得了突破性的成果，大部分深度学习模型均采 用无监督学习方式。 但是，离完全的无监督学习还 有一定的距离。 目前的深度学习模型在无监督预训 练后，仍然需要有监督的微调，并没有做到完全意义 上的无监督学习。 因此，如何做到完全意义上的无 监督学习是未来研究的重点。 ３）减少训练时间。 当待解决的问题过于复杂， 使深度学习模型参数增加时，会导致模型的训练时 间逐渐上升，是否可以在不改变硬件性能的条件下， 对算法进行改进，在保证精度的同时，提高训练速 度。 所以，减少训练时间，仍是深度学习需要努力的 研究方向。 ４）实现在线学习。 目前，深度学习的算法大多 采用无监督预训练与有监督微调配合的方式进行。 然而，一旦在线环境下引入全局微调，会使结果陷入 局部最小值。 因此，这种训练算法不利于在线学习。 是否可以改进算法进而将深度学习应用于在线环 境，这是未来要思考的问题。 ５）克服对抗样本。 通过稍微修改实际样本，而 构造出的合成样本，会使一个分类器以高置信度认 为它们属于错误的分类，这就是深度学习对抗样本 问题［８０⁃８２］ 。 研究如何克服它们可以帮助我们避免 潜在的安全问题。 然而，目前为止并没有好的方法 出现。 一些研究人员尝试使用常见的正则化方法 （包括均化多重模型、均化图像多采样观测等）去解 决这一问题，但是并没有取得良好的进展。 因此，深 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５７３·
·574· 智能系统学报 第11卷 度学习的对抗样本问题仍然是待解决的难题之一。 Jiangsu university:natural science editions,2015,36(2): 191-200. 4结束语 [8]LECUN Y,JACKEL L D,BOTTOU L,et al.Learning al- 本文详细描述了几种典型的深度学习模型的构 gorithms for classification:a comparison on handwritten digit 造原理，以及训练方法。并且，对近3年深度学习在 recognition[M]//OH J H,KWON C,CHO S.Neural Net- 各个领域的应用进行了概括。最后，在现有深度学 works:The Statistical Mechanics Perspective.Singapore: World Scientific,1995:261-276. 习模型的基础上讨论了深度学习面临的桃战。 [9]陈先昌.基于卷积神经网络的深度学习算法与应用研究 深度学习自提出以来已经在许多领域取得了突 [D].杭州：浙江工商大学，2014. 破性的进展。但是，在深度学习实际应用的过程中， CHEN Xianchang.Research on algorithm and application of 往往为了要构造合适的深度学习模型而大费周章。 deep learning based on convolutional neural network [D] 因为目前的深度学习模型大部分是为了解决某一特 Hangzhou,China:Zhejiang Gongshang University,2014. 定问题，而量身定做的。如果用于解决其他问题，效 [10]李卫.深度学习在图像识别中的研究及应用[D].武 果往往不尽如人意。今后研究者们能否通过改进结 汉：武汉理工大学，2014. 构与算法，研究出一种可以应对大部分问题深度学 LI Wei.The research and application of deep learning in 习算法，这是未来要思考的难题。 image recognition[D].Wuhan:Wuhan University of Tech- nology,2014. 参考文献： [11]JI Shuiwang,XU Wei,YANG Ming,et al.3D convolu- tional neural networks for human action recognition J]. [1]LECUN Y,BENGIO Y,HINTON G.Deep learning J]. IEEE transactions on pattern analysis and machine intelli- Nature,2015,521(7553):436-444. gence,2013,35(1):221-231. [2]林妙真.基于深度学习的人脸识别研究[D].大连：大连 [12]BRUNA J,ZAREMBA W,SZLAM A,et al.Spectral net- 理工大学，2013 works and locally connected networks on graphs[EB/OL]. LIN Miaozhen.Research on face recognition based on deep Eprint Arxiv:Aiv,2013.[2014-10-10]http:/120.52 learning[D].Dalian,China:Dalian University of Technol- 73.79/axiv.org/pdf/1312.6203v3.pdf. 0,2013. [13 FAN Haoqiang,CAO Zhimin,JIANG Yuning,et al. [3]HINTON G E,SALAKHUTDINOV RR.Reducing the di- Learning deep face representation[EB/OL].Eprint Arx- mensionality of data with neural networks J].Science, iw:Axiv,2014.[2014-10-10]http://120.52.73.80/ 2006,313(5786)：504-507. arxiv.org/pdf/1403.2802v1.pdf. [4]刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机 [14]王冠皓，徐军.基于多级金字塔卷积神经网络的快速特 应用研究，2014,31(7)：1921-1930,1942 征表示方法[J].计算机应用研究，2015,32(8)：2492- LIU Jianwei,LIU Yuan,LUO Xionglin.Research and de- 2495. velopment on deep learning[J].Application research of WANG Guanhao,XU Jun.Fast feature representation computers,2014,31(7):1921-1930,1942. method based on multi-level pyramid convolution neural [5]余滨，李绍滋，徐素霞，等.深度学习：开启大数据时代 network[J].Application research of computers,2015,32 的钥匙[J].工程研究-跨学科视野中的工程，2014,6 (8):2492-2495. (3):233-243. [15]LEE H,GROSSE R,RANGANATH R,et al.Convolu- YU Bin,LI Shaozi,XU Suxia,et al.Deep learning:a key tional deep belief networks for scalable unsupervised learn- of stepping into the era of big data[]]Journal of engineer- ing of hierarchical representations[C]//Proceedings of the ing studies,.2014,6(3):233-243. 26th Annual International Conference on Machine Learn- [6]尹宝才，王文通，王立春.深度学习研究综述[J].北京 ing.New York,NY,USA,2009:609-616. 工业大学学报.2015,41(1)：48-59. [16]LEE H,EKANADHAM C,NG A Y.Sparse deep belief YIN Biaocai,WANG Wentong,WANG Lichun.Review of net model for visual area V2[C]//Advances in Neural In- deep leaming[J].Journal of Beijing university of technolo- formation Processing Systems 20:21st Annual Conference ,2015,41(1):48-59. on Neural Information Processing Systems.Vancouver, [7]张建明，詹智财，成科扬，等.深度学习的研究与发展 British Columbia,Canada,2007:873-880. [J].江苏大学学报：自然科学版，2015,36(2)：191- [17]罗恒.基于协同过滤视角的受限玻尔兹曼机研究[D]。 200. 上海：上海交通大学，2011. ZHANG Jianming,ZHAN Zhicai,CHENG Keyang,et al. LUO Heng.Restricted Boltzmann machines:a collaborative Review on development of deep learning [J].Journal of filtering perspective[D].Shanghai,China:Shanghai Jiao
度学习的对抗样本问题仍然是待解决的难题之一。 ４ 结束语 本文详细描述了几种典型的深度学习模型的构 造原理，以及训练方法。 并且，对近 ３ 年深度学习在 各个领域的应用进行了概括。 最后，在现有深度学 习模型的基础上讨论了深度学习面临的挑战。 深度学习自提出以来已经在许多领域取得了突 破性的进展。 但是，在深度学习实际应用的过程中， 往往为了要构造合适的深度学习模型而大费周章。 因为目前的深度学习模型大部分是为了解决某一特 定问题，而量身定做的。 如果用于解决其他问题，效 果往往不尽如人意。 今后研究者们能否通过改进结 构与算法，研究出一种可以应对大部分问题深度学 习算法，这是未来要思考的难题。 参考文献： ［１］ ＬＥＣＵＮ Ｙ， ＢＥＮＧＩＯ Ｙ， ＨＩＮＴＯＮ Ｇ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ［ Ｊ］． Ｎａｔｕｒｅ， ２０１５， ５２１（７５５３）： ４３６⁃４４４． ［２］林妙真． 基于深度学习的人脸识别研究［Ｄ］． 大连： 大连 理工大学， ２０１３． ＬＩＮ Ｍｉａｏｚｈｅｎ． Ｒｅｓｅａｒｃｈ ｏｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｄ］． Ｄａｌｉａｎ， Ｃｈｉｎａ： Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌ⁃ ｏｇｙ， ２０１３． ［３］ ＨＩＮＴＯＮ Ｇ Ｅ， ＳＡＬＡＫＨＵＴＤＩＮＯＶ Ｒ Ｒ． Ｒｅｄｕｃｉｎｇ ｔｈｅ ｄｉ⁃ ｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｄａｔａ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ［ Ｊ ］． Ｓｃｉｅｎｃｅ， ２００６， ３１３（５７８６）： ５０４⁃５０７． ［４］刘建伟， 刘媛， 罗雄麟． 深度学习研究进展［ Ｊ］． 计算机 应用研究， ２０１４， ３１（７）： １９２１⁃１９３０， １９４２． ＬＩＵ Ｊｉａｎｗｅｉ， ＬＩＵ Ｙｕａｎ， ＬＵＯ Ｘｉｏｎｇｌｉｎ． Ｒｅｓｅａｒｃｈ ａｎｄ ｄｅ⁃ ｖｅｌｏｐｍｅｎｔ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ［ Ｊ］． Ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ ｏｆ ｃｏｍｐｕｔｅｒｓ， ２０１４， ３１（７）： １９２１⁃１９３０， １９４２． ［５］余滨， 李绍滋， 徐素霞， 等． 深度学习： 开启大数据时代 的钥匙［ Ｊ］． 工程研究⁃跨学科视野中的工程， ２０１４， ６ （３）： ２３３⁃２４３． ＹＵ Ｂｉｎ， ＬＩ Ｓｈａｏｚｉ， ＸＵ Ｓｕｘｉａ， ｅｔ ａｌ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ： ａ ｋｅｙ ｏｆ ｓｔｅｐｐｉｎｇ ｉｎｔｏ ｔｈｅ ｅｒａ ｏｆ ｂｉｇ ｄａｔａ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｅｎｇｉｎｅｅｒ⁃ ｉｎｇ ｓｔｕｄｉｅｓ， ２０１４， ６（３）： ２３３⁃２４３． ［６］尹宝才， 王文通， 王立春． 深度学习研究综述［ Ｊ］． 北京 工业大学学报， ２０１５， ４１（１）： ４８⁃５９． ＹＩＮ Ｂｉａｏｃａｉ， ＷＡＮＧ Ｗｅｎｔｏｎｇ， ＷＡＮＧ Ｌｉｃｈｕｎ． Ｒｅｖｉｅｗ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｔｅｃｈｎｏｌｏ⁃ ｇｙ， ２０１５， ４１（１）： ４８⁃５９． ［７］张建明， 詹智财， 成科扬， 等． 深度学习的研究与发展 ［Ｊ］． 江苏大学学报： 自然科学版， ２０１５， ３６（ ２）： １９１⁃ ２００． ＺＨＡＮＧ Ｊｉａｎｍｉｎｇ， ＺＨＡＮ Ｚｈｉｃａｉ， ＣＨＥＮＧ Ｋｅｙａｎｇ， ｅｔ ａｌ． Ｒｅｖｉｅｗ ｏｎ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｊｉａｎｇｓｕ ｕｎｉｖｅｒｓｉｔｙ： ｎａｔｕｒａｌ ｓｃｉｅｎｃｅ ｅｄｉｔｉｏｎｓ， ２０１５， ３６（２）： １９１⁃２００． ［８］ＬＥＣＵＮ Ｙ， ＪＡＣＫＥＬ Ｌ Ｄ， ＢＯＴＴＯＵ Ｌ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ａｌ⁃ ｇｏｒｉｔｈｍｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ： ａ ｃｏｍｐａｒｉｓｏｎ ｏｎ ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔ ｒｅｃｏｇｎｉｔｉｏｎ［Ｍ］ ／ ／ ＯＨ Ｊ Ｈ， ＫＷＯＮ Ｃ， ＣＨＯ Ｓ． Ｎｅｕｒａｌ Ｎｅｔ⁃ ｗｏｒｋｓ： Ｔｈｅ Ｓｔａｔｉｓｔｉｃａｌ Ｍｅｃｈａｎｉｃｓ Ｐｅｒｓｐｅｃｔｉｖｅ． Ｓｉｎｇａｐｏｒｅ： Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ， １９９５： ２６１⁃２７６． ［９］陈先昌． 基于卷积神经网络的深度学习算法与应用研究 ［Ｄ］． 杭州： 浙江工商大学， ２０１４． ＣＨＥＮ Ｘｉａｎｃｈａｎｇ． Ｒｅｓｅａｒｃｈ ｏｎ ａｌｇｏｒｉｔｈｍ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ［ Ｄ］． Ｈａｎｇｚｈｏｕ， Ｃｈｉｎａ： Ｚｈｅｊｉａｎｇ Ｇｏｎｇｓｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２０１４． ［１０］李卫． 深度学习在图像识别中的研究及应用［Ｄ］． 武 汉： 武汉理工大学， ２０１４． ＬＩ Ｗｅｉ． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｄ］． Ｗｕｈａｎ： Ｗｕｈａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈ⁃ ｎｏｌｏｇｙ， ２０１４． ［１１］ ＪＩ Ｓｈｕｉｗａｎｇ， ＸＵ Ｗｅｉ， ＹＡＮＧ Ｍｉｎｇ， ｅｔ ａｌ． ３Ｄ ｃｏｎｖｏｌｕ⁃ ｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉ⁃ ｇｅｎｃｅ， ２０１３， ３５（１）： ２２１⁃２３１． ［１２］ＢＲＵＮＡ Ｊ， ＺＡＲＥＭＢＡ Ｗ， ＳＺＬＡＭ Ａ， ｅｔ ａｌ． Ｓｐｅｃｔｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ ａｎｄ ｌｏｃａｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋｓ ｏｎ ｇｒａｐｈｓ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ，２０１３． ［ ２０１４⁃１０⁃１０］ ｈｔｔｐ： ／ ／ １２０．５２． ７３．７９ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １３１２．６２０３ｖ３．ｐｄｆ． ［ １３ ］ ＦＡＮ Ｈａｏｑｉａｎｇ， ＣＡＯ Ｚｈｉｍｉｎ， ＪＩＡＮＧ Ｙｕｎｉｎｇ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ｄｅｅｐ ｆａｃｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘ⁃ ｉｖ： Ａｒｘｉｖ， ２０１４． ［２０１４－１０－１０］ ｈｔｔｐ： ／ ／ １２０．５２．７３．８０ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １４０３．２８０２ｖ１．ｐｄｆ． ［１４］王冠皓， 徐军． 基于多级金字塔卷积神经网络的快速特 征表示方法［Ｊ］． 计算机应用研究， ２０１５， ３２（８）： ２４９２⁃ ２４９５． ＷＡＮＧ Ｇｕａｎｈａｏ， ＸＵ Ｊｕｎ． Ｆａｓｔ ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｐｙｒａｍｉｄ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］． Ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ ｏｆ ｃｏｍｐｕｔｅｒｓ， ２０１５， ３２ （８）： ２４９２⁃２４９５． ［１５］ ＬＥＥ Ｈ， ＧＲＯＳＳＥ Ｒ， ＲＡＮＧＡＮＡＴＨ Ｒ， ｅｔ ａｌ． Ｃｏｎｖｏｌｕ⁃ ｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｃａｌａｂｌｅ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎ⁃ ｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２６ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎ⁃ ｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００９： ６０９⁃６１６． ［１６］ＬＥＥ Ｈ， ＥＫＡＮＡＤＨＡＭ Ｃ， ＮＧ Ａ Ｙ． Ｓｐａｒｓｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔ ｍｏｄｅｌ ｆｏｒ ｖｉｓｕａｌ ａｒｅａ Ｖ２［Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎ⁃ ｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２０： ２１ｓｔ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ， Ｃａｎａｄａ， ２００７： ８７３⁃８８０． ［１７］罗恒． 基于协同过滤视角的受限玻尔兹曼机研究［Ｄ］． 上海： 上海交通大学， ２０１１． ＬＵＯ Ｈｅｎｇ． Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ： ａ ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇ ｐｅｒｓｐｅｃｔｉｖｅ［Ｄ］． Ｓｈａｎｇｈａｉ， Ｃｈｉｎａ： Ｓｈａｎｇｈａｉ Ｊｉａｏ ·５７４· 智 能 系 统 学 报 第 １１ 卷
第5期 刘帅师，等：深度学习方法研究新进展 ·575· Tong University,2011 Artificial Neural Networks,Part I.Berlin Heidelberg,Ger- [18]LAROCHELLE H,BENGIO Y.Classification using dis- many,2011:52.59. criminative restricted Boltzmann machines [Cl//Proceed- [29]王雅思.深度学习中的自编码器的表达能力研究[D] ings of the 25th International Conference on Machine 哈尔滨：哈尔滨工业大学，2014。 Learning.New York,NY,USA,2008:536-543 WANG Yasi.Representation ability research of auto-en- [19]张春霞，姬楠楠，王冠伟.受限波尔兹曼机[J].工程数 coders in deep learning[D].Harbin:Harbin Institute of 学学报，2015,32(2)：159-173 Technology,2014. ZHANG Chunxia,JI Nannan,WANG Guanwei.Restricted [30]李远豪.基于深度自编码器的人脸美丽吸引力预测研 Boltzmann machines[J].Chinese journal of engineering 究[D].江门：五色大学，2014 mathematics,2015,32(2):159-173 LI Yuanhao.A study for facial beauty attractiveness predic- [20]刘银华.LBP和深度信念网络在非限制条件下人脸识 tion based on deep autoencoder[D].Jiangmen:Wuyi Uni- 别研究[D].江门：五邑大学，2014. versity,2014. LIU Yinhua.The research of face recognition under uncon- [31]林洲汉.基于自动编码机的高光谱图像特征提取及分 strained condition via LBP and deep belief network [D]. 类方法研究[D].哈尔滨：哈尔滨工业大学，2014. Jiangmen:Wuyi University,2014. LIN Zhouhan.Hyperspectral image feature extraction and [21]LEE H,GROSSE R,RANGANATH R,et al.Unsuper- classification based on autoencoders[D].Harbin:Harbin vised learning of hierarchical representations with convolu- Institute of Technology,2014. tional deep belief networks [J].Communications of the [32]曲建岭，杜辰飞，邸亚洲，等.深度自动编码器的研究 ACM.2011,54(10):95-103. 与展望[J].计算机与现代化.2014(8)：128-134. [22]HALKIAS X C,PARIS S,GLOTIN H.Sparse penalty in QU Jianling,DU Chenfei,DI Yazhou,et al.Research and deep belief networks:using the mixed norm constraint prospect of deep auto-encoders[J].Jisuanji yu xiandaihua, [EB/oL].[2014-05-08].http://axiv.org/pdf/1301. 2014(8):128-134. 3533.pdf. [33]林少飞，盛惠兴，李庆武.基于堆叠稀疏自动编码器的 [23]LIU Yan,ZHOU Shusen,CHEN Qingcai.Discriminative 手写数字分类[J].微处理机，2015(1)：47-51. deep belief networks for visual data classification[]].Pat- LIN Shaofei,SHENG Huixing,LI Qingwu.Handwritten tern recognition,2011,44(10/11):2287-2296. digital classification based on the stacked sparse autoencod- [24]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识 ers[J].Microprocessors,2015(1):47-51. 别中的新进展[J].中国图象图形学报，2014,19(2)： [34]陈硕.深度学习神经网络在语音识别中的应用研究 175-184. [D].广州：华南理工大学，2013. ZHENG Yin,CHEN Quanqi,ZHANG Yujin.Deep learn- CHEN Shuo.Research of deep learning neural networks ing and its new progress in object and behavior recognition applications in speech recognition[D].Guangzhou,Chi- [J].Journal of image and graphics,2014,19(2):175- na:South China University of Technology,2013. 184. [35]郭丽丽，丁世飞.深度学习研究进展[J刀].计算机科学， [25]VINCENT P,LAROCHELLE H,BENGIO Y,et al.Ex- 2015,42(5):28-33. tracting and composing robust features with denoising au- GOU Lili,DING Shifei.Research progress on deep learn- toencoders [C]//Proceedings of the 25th International ing[J].Computer science,2015,42(5):28-33. Conference on Machine Learning.New York,NY,USA, [36]VAN DEN OORD A,DIELEMAN S,SCHRAUWEN B. 2008:1096-1103. Deep content-based music recommendation M]//Ad- 26]BENGIO Y,LAMBLIN P,POPOVICI D,et al.Greedy vances in Neural Information Processing Systems 26:27th layer-wise training of deep networks [C]//Advances in Annual Conference on Neural Information Processing Sys- Neural Information Processing Systems 19:20th Annual tems.Lake Tahoe,2013:2643-2651. Conference on Neural Information Processing Systems. [37]HANNUN A,CASE C,CASPER J,et al.Deep speech: Vancouver,British Columbia,Canada,2006:153-160. scaling up end-to-end speech recognition[EB/OL].Eprint [27]RIFAI S,VINCENT P,MULLER X,et al.Contractive Arxiv:Arxiv,2014.[2014-12-19]https://arxiv.org/pdf/ auto-encoders:explicit invariance during feature extraction 1412.5567v2.pdf. [C]//Proceedings of the 28th Intemational Conference on [38]余凯，贾磊，陈雨强.深度学习的昨天、今天和明天 Machine Learning.Bellevue,WA,USA,2011. [J].计算机研究与发展，2013,50(9)：1799-1804. [28]MASCI J,MEIER U,CIRESAN D,et al.Stacked convo- YU Kai,JIA Lei,CHEN Yuqiang.Deep learning:yester- lutional auto-encoders for hierarchical feature extraction day,today,and tomorrow[J ]Journal of computer re- [C]//Proceedings of the 21st International Conference on search and development,2013,50(9):1799-1804
Ｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２０１１． ［１８］ ＬＡＲＯＣＨＥＬＬＥ Ｈ， ＢＥＮＧＩＯ Ｙ． Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｄｉｓ⁃ ｃｒｉｍｉｎａｔｉｖｅ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄ⁃ ｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００８： ５３６⁃５４３． ［１９］张春霞， 姬楠楠， 王冠伟． 受限波尔兹曼机［Ｊ］． 工程数 学学报， ２０１５， ３２（２）： １５９⁃１７３． ＺＨＡＮＧ Ｃｈｕｎｘｉａ， ＪＩ Ｎａｎｎａｎ， ＷＡＮＧ Ｇｕａｎｗｅｉ． Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ ［ Ｊ］． Ｃｈｉｎｅｓｅ ｊｏｕｒｎａｌ ｏｆ ｅｎｇｉｎｅｅｒｉｎｇ ｍａｔｈｅｍａｔｉｃｓ， ２０１５， ３２（２）： １５９⁃１７３． ［２０］刘银华． ＬＢＰ 和深度信念网络在非限制条件下人脸识 别研究［Ｄ］． 江门： 五邑大学， ２０１４． ＬＩＵ Ｙｉｎｈｕａ． Ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｎｄｅｒ ｕｎｃｏｎ⁃ ｓｔｒａｉｎｅｄ ｃｏｎｄｉｔｉｏｎ ｖｉａ ＬＢＰ ａｎｄ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ ［ Ｄ］． Ｊｉａｎｇｍｅｎ： Ｗｕｙｉ Ｕｎｉｖｅｒｓｉｔｙ， ２０１４． ［２１］ＬＥＥ Ｈ， ＧＲＯＳＳＥ Ｒ， ＲＡＮＧＡＮＡＴＨ Ｒ， ｅｔ ａｌ． Ｕｎｓｕｐｅｒ⁃ ｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｗｉｔｈ ｃｏｎｖｏｌｕ⁃ ｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ［ Ｊ］． Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ， ２０１１， ５４（１０）： ９５⁃１０３． ［２２］ＨＡＬＫＩＡＳ Ｘ Ｃ， ＰＡＲＩＳ Ｓ， ＧＬＯＴＩＮ Ｈ． Ｓｐａｒｓｅ ｐｅｎａｌｔｙ ｉｎ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ： ｕｓｉｎｇ ｔｈｅ ｍｉｘｅｄ ｎｏｒｍ ｃｏｎｓｔｒａｉｎｔ ［ＥＢ／ ＯＬ ］． ［ ２０１４⁃０５⁃０８ ］． ｈｔｔｐ： ／ ／ ａｒｘｉｖ． ｏｒｇ ／ ｐｄｆ ／ １３０１． ３５３３．ｐｄｆ． ［２３］ＬＩＵ Ｙａｎ， ＺＨＯＵ Ｓｈｕｓｅｎ， ＣＨＥＮ Ｑｉｎｇｃａｉ． Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｓｕａｌ ｄａｔａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ［ Ｊ］． Ｐａｔ⁃ ｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１１， ４４（１０ ／ １１）： ２２８７⁃２２９６． ［２４］郑胤， 陈权崎， 章毓晋． 深度学习及其在目标和行为识 别中的新进展［ Ｊ］． 中国图象图形学报， ２０１４， １９（２）： １７５⁃１８４． ＺＨＥＮＧ Ｙｉｎ， ＣＨＥＮ Ｑｕａｎｑｉ， ＺＨＡＮＧ Ｙｕｊｉｎ． Ｄｅｅｐ ｌｅａｒｎ⁃ ｉｎｇ ａｎｄ ｉｔｓ ｎｅｗ ｐｒｏｇｒｅｓｓ ｉｎ ｏｂｊｅｃｔ ａｎｄ ｂｅｈａｖｉｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｉｍａｇｅ ａｎｄ ｇｒａｐｈｉｃｓ， ２０１４， １９（ ２）： １７５⁃ １８４． ［２５］ ＶＩＮＣＥＮＴ Ｐ， ＬＡＲＯＣＨＥＬＬＥ Ｈ， ＢＥＮＧＩＯ Ｙ， ｅｔ ａｌ． Ｅｘ⁃ ｔｒａｃｔｉｎｇ ａｎｄ ｃｏｍｐｏｓｉｎｇ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ ｗｉｔｈ ｄｅｎｏｉｓｉｎｇ ａｕ⁃ ｔｏｅｎｃｏｄｅｒｓ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００８： １０９６⁃１１０３． ［２６］ ＢＥＮＧＩＯ Ｙ， ＬＡＭＢＬＩＮ Ｐ， ＰＯＰＯＶＩＣＩ Ｄ， ｅｔ ａｌ． Ｇｒｅｅｄｙ ｌａｙｅｒ⁃ｗｉｓｅ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｔｗｏｒｋｓ ［ Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １９： ２０ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ， Ｃａｎａｄａ， ２００６： １５３⁃１６０． ［２７］ ＲＩＦＡＩ Ｓ， ＶＩＮＣＥＮＴ Ｐ， ＭＵＬＬＥＲ Ｘ， ｅｔ ａｌ． Ｃｏｎｔｒａｃｔｉｖｅ ａｕｔｏ⁃ｅｎｃｏｄｅｒｓ： ｅｘｐｌｉｃｉｔ ｉｎｖａｒｉａｎｃｅ ｄｕｒｉｎｇ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｂｅｌｌｅｖｕｅ， ＷＡ， ＵＳＡ， ２０１１． ［２８］ＭＡＳＣＩ Ｊ， ＭＥＩＥＲ Ｕ， ＣＩＲＥŞＡＮ Ｄ， ｅｔ ａｌ． Ｓｔａｃｋｅｄ ｃｏｎｖｏ⁃ ｌｕｔｉｏｎａｌ ａｕｔｏ⁃ｅｎｃｏｄｅｒｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， Ｐａｒｔ Ｉ． Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ， Ｇｅｒ⁃ ｍａｎｙ， ２０１１： ５２⁃５９． ［２９］王雅思． 深度学习中的自编码器的表达能力研究［Ｄ］． 哈尔滨： 哈尔滨工业大学， ２０１４． ＷＡＮＧ Ｙａｓｉ． Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｂｉｌｉｔｙ ｒｅｓｅａｒｃｈ ｏｆ ａｕｔｏ⁃ｅｎ⁃ ｃｏｄｅｒｓ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｄ］． Ｈａｒｂｉｎ： Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１４． ［３０］李远豪． 基于深度自编码器的人脸美丽吸引力预测研 究［Ｄ］． 江门： 五邑大学， ２０１４． ＬＩ Ｙｕａｎｈａｏ． Ａ ｓｔｕｄｙ ｆｏｒ ｆａｃｉａｌ ｂｅａｕｔｙ ａｔｔｒａｃｔｉｖｅｎｅｓｓ ｐｒｅｄｉｃ⁃ ｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｅｐ ａｕｔｏｅｎｃｏｄｅｒ［Ｄ］． Ｊｉａｎｇｍｅｎ： Ｗｕｙｉ Ｕｎｉ⁃ ｖｅｒｓｉｔｙ， ２０１４． ［３１］林洲汉． 基于自动编码机的高光谱图像特征提取及分 类方法研究［Ｄ］． 哈尔滨： 哈尔滨工业大学， ２０１４． ＬＩＮ Ｚｈｏｕｈａｎ． Ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ａｕｔｏｅｎｃｏｄｅｒｓ［Ｄ］． Ｈａｒｂｉｎ： Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１４． ［３２］曲建岭， 杜辰飞， 邸亚洲， 等． 深度自动编码器的研究 与展望［Ｊ］． 计算机与现代化， ２０１４（８）： １２８⁃１３４． ＱＵ Ｊｉａｎｌｉｎｇ， ＤＵ Ｃｈｅｎｆｅｉ， ＤＩ Ｙａｚｈｏｕ， ｅｔ ａｌ． Ｒｅｓｅａｒｃｈ ａｎｄ ｐｒｏｓｐｅｃｔ ｏｆ ｄｅｅｐ ａｕｔｏ⁃ｅｎｃｏｄｅｒｓ［Ｊ］． Ｊｉｓｕａｎｊｉ ｙｕ ｘｉａｎｄａｉｈｕａ， ２０１４（８）： １２８⁃１３４． ［３３］林少飞， 盛惠兴， 李庆武． 基于堆叠稀疏自动编码器的 手写数字分类［Ｊ］． 微处理机， ２０１５（１）： ４７⁃５１． ＬＩＮ Ｓｈａｏｆｅｉ， ＳＨＥＮＧ Ｈｕｉｘｉｎｇ， ＬＩ Ｑｉｎｇｗｕ． Ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｔａｃｋｅｄ ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄ⁃ ｅｒｓ［Ｊ］． Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ， ２０１５（１）： ４７⁃５１． ［３４］陈硕． 深度学习神经网络在语音识别中的应用研究 ［Ｄ］． 广州： 华南理工大学， ２０１３． ＣＨＥＮ Ｓｈｕｏ． Ｒｅｓｅａｒｃｈ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｄ］． Ｇｕａｎｇｚｈｏｕ， Ｃｈｉ⁃ ｎａ： Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１３． ［３５］郭丽丽， 丁世飞． 深度学习研究进展［ Ｊ］． 计算机科学， ２０１５， ４２（５）： ２８⁃３３． ＧＯＵ Ｌｉｌｉ， ＤＩＮＧ Ｓｈｉｆｅｉ． Ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ ｏｎ ｄｅｅｐ ｌｅａｒｎ⁃ ｉｎｇ［Ｊ］． Ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ， ２０１５， ４２（５）： ２８⁃３３． ［３６］ ＶＡＮ ＤＥＮ ＯＯＲＤ Ａ， ＤＩＥＬＥＭＡＮ Ｓ， ＳＣＨＲＡＵＷＥＮ Ｂ． Ｄｅｅｐ ｃｏｎｔｅｎｔ⁃ｂａｓｅｄ ｍｕｓｉｃ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ［ Ｍ ］ ／ ／ Ａｄ⁃ ｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２６： ２７ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓ⁃ ｔｅｍｓ． Ｌａｋｅ Ｔａｈｏｅ， ２０１３： ２６４３⁃２６５１． ［３７］ＨＡＮＮＵＮ Ａ， ＣＡＳＥ Ｃ， ＣＡＳＰＥＲ Ｊ， ｅｔ ａｌ． Ｄｅｅｐ ｓｐｅｅｃｈ： ｓｃａｌｉｎｇ ｕｐ ｅｎｄ⁃ｔｏ⁃ｅｎｄ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ， ２０１４．［２０１４⁃１２⁃１９］ ｈｔｔｐｓ： ／ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １４１２．５５６７ｖ２．ｐｄｆ． ［３８］余凯， 贾磊， 陈雨强． 深度学习的昨天、今天和明天 ［Ｊ］． 计算机研究与发展， ２０１３， ５０（９）： １７９９⁃１８０４． ＹＵ Ｋａｉ， ＪＩＡ Ｌｅｉ， ＣＨＥＮ Ｙｕｑｉａｎｇ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ： ｙｅｓｔｅｒ⁃ ｄａｙ， ｔｏｄａｙ， ａｎｄ ｔｏｍｏｒｒｏｗ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｒｅ⁃ ｓｅａｒｃｈ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ， ２０１３， ５０（９）： １７９９⁃１８０４． 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５７５·
·576· 智能系统学报 第11卷 [39]GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich Proceedings of the 2014 IEEE International Conference on feature hierarchies for accurate object detection and seman- Consumer Electronics.Las Vegas,NV,2014:564-567. tic segmentation[C]//Proceedings of the 2014 IEEE Con- [51]IJJINA E P,MOHAN C K.Facial expression recognition ference on Computer Vision and Pattern Recognition.Co- using kinect depth sensor and convolutional neural net- 1 umbus.0H.2014:580-587. works[C]//Proceedings of the 2014 13th International [40]TAIGMAN Y,YANG Ming,RANZATO M A,et al.Deep- Conference on Machine Learning and Applications.De- Face:closing the gap to human-level performance in face troit.Ml.2014:392-396. verification[C]//Proceedings of the 2014 IEEE Confer- [52]BYEON Y H,KWAK K C.Facial expression recognition ence on Computer Vision and Pattern Recognition.Colum- using 3D convolutional neural network[J].International bus,0H,2014:1701-1708. journal of advanced computer science and applications, [41]TOSHEV A,SZEGEdY C.DeepPose:human pose estima- 2014,5(12):107-112 tion via deep neural networks [C]//Proceedings of the [53]JUNG H,LEE S,PARK S.et al.Development of deep 2014 IEEE Conference on Computer Vision and Pattern learning-based facial expression recognition system[C]/ Recognition.Columbus,OH,2014:1653-1660. Frontiers of Computer Vision (FCV),2015 21st Korea- [42]DIELEMAN S.Classifying plankton with deep neural net- Japan Joint Workshop on 2015:1-4. works[EB/0L].(2015-03-17)[2015-05-30].htp://he [54]MCLAUGHLIN T,MAI L,BAYANBAT N.Emotionrecog- nanne.github.io/2015/03/17/plankton.html. nition with deep-belief networks[EB/OL ]2008 http:// [43]DENTON E,WESTON J,PALURI M,et al.User condi- cs229.stanford.edu/proj2010/MeLaughlinLeBayanbat-Rec- tional hashtag prediction for images[C]//Proceedings of ognizingEmotions WithDeepBeliefNets.pdf. the 21th ACM SIGKDD International Conference on Knowl- [55]HE Shan,WANG Shanfei,LAN Wuwei,et al.Facial ex- edge Discovery and Data Mining.New York,NY,USA, pression recognition using deep Boltzmann machine from 2015:1731-1740. thermal infrared images[C]//Proceedings of the 2013 Hu- [44]LONG J.SHELHAMER E.DARRELL T Fully convolu- maine Association Conference on Affective Computing and tional networks for semantic segmentation[J].IEEE Con- Intelligent Interaction.Geneva,2013:239-244. ference on Computer Vision Pattern Recognition.2015, [56]LV Yadan,FENG Zhiyong,XU Chao.Facial expression 79(10):1337-1342. recognition via deep learning C]//Proceedings of the [45]SCHWARA M,SCHULZ H,BEHNKE S.RGB-D object 2014 International Conference on Smart Computing.Hong recognition and pose estimation based on pre-trained conv- Kong,China,2014:303-308. olutional neural network features[C]//Proceedings of the [57]JUNG H,LEE S,PARK S,et al.Deep temporal appear- 2015IEEE International Conference on Robotics and Auto- ance-geometry network for facial expression recognition mation.Seattle,WA,2015:1329-1335. [EB/OL].Eprint Arxiv:Arxiv,2015.[2015-6-5].http:// [46]SCHROFF F,KALENICHENKO D,PHILBIN J.FaceNet: 120.52.73.75/axiv.org/pdf/1503.01532v1.pdf. A unified embedding for face recognition and clustering [58]KAHOU S E,BOUTHILLIER X,LAMBLIN P et al. [C]//Computer Vision and Pattern Recognition EmoNets:Multimodal deep learning approaches for emo- (CVPR),Boston,USA,2015:815-823. tion recognition in video[J].Journal on Multimodal User [47]SARFRAZ M S,STIEFELHAGEN R.Deep perceptual Interfaces,2015,10(2):1-13. mapping for thermal to visible face recognition.[EB/OL] [59]SASHIHITHLU S,SOMAN SS.Complex sentimentanalys- Eprint Arxiv:Aniv,2015.[2015-12-23].htp:/120.52. is using recursive autoencoders [EB/OL].Core.ac.Uk: 73.80/arxiv.org/pdf/1507.02879v1.pdf. CiteSeerX,2013.[2015-9-30].https://core.ac.uk/display/ [48]LIU Mengyi,LI Shaoxin,SHAN Shiguang,et al.Au-a- 23426251. ware deep networks for facial expression recognition[C] [60]JOHNSON R,ZHANG Tong.Effective use of word order Proceedings of the 2013 10th IEEE International Confer- for text categorization with convolutional neural networks ence and Workshops on Automatic Face and Gesture Rec- EB/OL].Eprint Arxiv:Arxiv,2014.2014-10-10].ht- ognition.Shanghai,China,2013:1-6. p:/120.52.73.79/aiv.org/pdf/1412.1058.pdf. [49]OUELLET S.Real-time emotion recognition for gaming u- [61]李婷.基于深度学习的盲文识别方法[J].计算机与现 sing deep convolutional network features[EB/OL].Eprint 代化，2015(6)：37-40. Arxiv:Arxiv,2014.2014-7-16 ]https://arxiv.org/pdf/ LI Ting.A deep learing method for braille recognition[J]. 1408.3750v1.pdf. Jisuanji yu xiandaihua,2015(6):37-40. [50]SONG I,KIM H J,JEON P B.Deep learning for real-time [62]KOZIOL J A,TAN E M,DAI Liping,et al.Restricted robust facial expression recognition on a smartphone[C]// Boltzmann machines for classification of hepatocellular car-
［３９］ ＧＩＲＳＨＩＣＫ Ｒ， ＤＯＮＡＨＵＥ Ｊ， ＤＡＲＲＥＬＬ Ｔ， ｅｔ ａｌ． Ｒｉｃｈ ｆｅａｔｕｒｅ ｈｉｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎ⁃ ｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｃｏｎ⁃ ｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｃｏ⁃ ｌｕｍｂｕｓ， ＯＨ， ２０１４： ５８０⁃５８７． ［ ４０］ＴＡＩＧＭＡＮ Ｙ， ＹＡＮＧ Ｍｉｎｇ， ＲＡＮＺＡＴＯ Ｍ Ａ， ｅｔ ａｌ． Ｄｅｅｐ⁃ Ｆａｃｅ： ｃｌｏｓｉｎｇ ｔｈｅ ｇａｐ ｔｏ ｈｕｍａｎ⁃ｌｅｖｅｌ ｐｅｒｆｏｒｍａｎｃｅ ｉｎ ｆａｃｅ ｖｅｒｉｆｉｃａｔｉｏｎ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒ⁃ ｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｃｏｌｕｍ⁃ ｂｕｓ， ＯＨ， ２０１４： １７０１⁃１７０８． ［４１］ＴＯＳＨＥＶ Ａ， ＳＺＥＧＥｄＹ Ｃ． ＤｅｅｐＰｏｓｅ： ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａ⁃ ｔｉｏｎ ｖｉａ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｃｏｌｕｍｂｕｓ， ＯＨ， ２０１４： １６５３⁃１６６０． ［４２］ＤＩＥＬＥＭＡＮ Ｓ． Ｃｌａｓｓｉｆｙｉｎｇ ｐｌａｎｋｔｏｎ ｗｉｔｈ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ［ＥＢ／ ＯＬ］． （２０１５⁃０３⁃１７）［２０１５⁃０５⁃３０］． ｈｔｔｐ： ／ ／ ｂｅ⁃ ｎａｎｎｅ．ｇｉｔｈｕｂ．ｉｏ ／ ２０１５ ／ ０３ ／ １７ ／ ｐｌａｎｋｔｏｎ．ｈｔｍｌ． ［４３］ＤＥＮＴＯＮ Ｅ， ＷＥＳＴＯＮ Ｊ， ＰＡＬＵＲＩ Ｍ， ｅｔ ａｌ． Ｕｓｅｒ ｃｏｎｄｉ⁃ ｔｉｏｎａｌ ｈａｓｈｔａｇ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ｉｍａｇｅｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌ⁃ ｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２０１５： １７３１⁃１７４０． ［４４］ ＬＯＮＧ Ｊ， ＳＨＥＬＨＡＭＥＲ Ｅ， ＤＡＲＲＥＬＬ Ｔ Ｆｕｌｌｙ ｃｏｎｖｏｌｕ⁃ ｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ［ Ｊ］． ＩＥＥＥ Ｃｏｎ⁃ ｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ＆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ２０１５， ７９（１０）：１３３７⁃１３４２． ［４５］ ＳＣＨＷＡＲＡ Ｍ， ＳＣＨＵＬＺ Ｈ， ＢＥＨＮＫＥ Ｓ． ＲＧＢ⁃Ｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｒｅ⁃ｔｒａｉｎｅｄ ｃｏｎｖ⁃ ｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１５ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏ⁃ ｍａｔｉｏｎ．Ｓｅａｔｔｌｅ， ＷＡ， ２０１５： １３２９⁃１３３５． ［４６］ＳＣＨＲＯＦＦ Ｆ， ＫＡＬＥＮＩＣＨＥＮＫＯ Ｄ， ＰＨＩＬＢＩＮ Ｊ． ＦａｃｅＮｅｔ： Ａ ｕｎｉｆｉｅｄ ｅｍｂｅｄｄｉｎｇ ｆｏｒ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ ［ Ｃ ］ ／ ／ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｂｏｓｔｏｎ，ＵＳＡ，２０１５：８１５⁃８２３． ［４７］ ＳＡＲＦＲＡＺ Ｍ Ｓ， ＳＴＩＥＦＥＬＨＡＧＥＮ Ｒ． Ｄｅｅｐ ｐｅｒｃｅｐｔｕａｌ ｍａｐｐｉｎｇ ｆｏｒ ｔｈｅｒｍａｌ ｔｏ ｖｉｓｉｂｌｅ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ．［ＥＢ／ ＯＬ］ Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ，２０１５．［２０１５⁃１２⁃２３］．ｈｔｔｐ： ／ ／ １２０．５２． ７３．８０ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １５０７．０２８７９ｖ１．ｐｄｆ． ［４８］ ＬＩＵ Ｍｅｎｇｙｉ， ＬＩ Ｓｈａｏｘｉｎ， ＳＨＡＮ Ｓｈｉｇｕａｎｇ， ｅｔ ａｌ． Ａｕ⁃ａ⁃ ｗａｒｅ ｄｅｅｐ ｎｅｔｗｏｒｋｓ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ １０ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ⁃ ｅｎｃｅ ａｎｄ Ｗｏｒｋｓｈｏｐｓ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃ⁃ ｏｇｎｉｔｉｏｎ． Ｓｈａｎｇｈａｉ， Ｃｈｉｎａ， ２０１３： １⁃６． ［４９］ＯＵＥＬＬＥＴ Ｓ． Ｒｅａｌ⁃ｔｉｍｅ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ ｇａｍｉｎｇ ｕ⁃ ｓｉｎｇ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ， ２０１４． ［ ２０１４⁃７⁃１６］． ｈｔｔｐｓ： ／ ／ ａｒｘｉｖ． ｏｒｇ ／ ｐｄｆ ／ １４０８．３７５０ｖ１．ｐｄｆ． ［５０］ＳＯＮＧ Ｉ， ＫＩＭ Ｈ Ｊ， ＪＥＯＮ Ｐ Ｂ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｒｅａｌ⁃ｔｉｍｅ ｒｏｂｕｓｔ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｎ ａ ｓｍａｒｔｐｈｏｎｅ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ． Ｌａｓ Ｖｅｇａｓ， ＮＶ， ２０１４： ５６４⁃５６７． ［５１］ ＩＪＪＩＮＡ Ｅ Ｐ， ＭＯＨＡＮ Ｃ Ｋ． Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｋｉｎｅｃｔ ｄｅｐｔｈ ｓｅｎｓｏｒ ａｎｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ ［ Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ １３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ． Ｄｅ⁃ ｔｒｏｉｔ， ＭＩ， ２０１４： ３９２⁃３９６． ［５２］ ＢＹＥＯＮ Ｙ Ｈ， ＫＷＡＫ Ｋ Ｃ． Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ３Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ［ Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ａｄｖａｎｃｅｄ ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１４， ５（１２）： １０７⁃１１２． ［５３］ ＪＵＮＧ Ｈ， ＬＥＥ Ｓ， ＰＡＲＫ Ｓ， ｅｔ ａｌ． Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ⁃ｂａｓｅｄ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ［ Ｃ］ ／ ／ Ｆｒｏｎｔｉｅｒｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ ＦＣＶ）， ２０１５ ２１ｓｔ Ｋｏｒｅａ－ Ｊａｐａｎ Ｊｏｉｎｔ Ｗｏｒｋｓｈｏｐ ｏｎ ２０１５：１⁃４． ［５４］ＭＣＬＡＵＧＨＬＩＮ Ｔ， ＭＡＩ Ｌ， ＢＡＹＡＮＢＡＴ Ｎ． Ｅｍｏｔｉｏｎｒｅｃｏｇ⁃ ｎｉｔｉｏｎ ｗｉｔｈ ｄｅｅｐ⁃ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ［ ＥＢ／ ＯＬ］． ２００８ ｈｔｔｐ： ／ ／ ｃｓ２２９．ｓｔａｎｆｏｒｄ． ｅｄｕ ／ ｐｒｏｊ２０１０ ／ ＭｃＬａｕｇｈｌｉｎＬｅＢａｙａｎｂａｔ⁃Ｒｅｃ⁃ ｏｇｎｉｚｉｎｇＥｍｏｔｉｏｎｓＷｉｔｈＤｅｅｐＢｅｌｉｅｆＮｅｔｓ．ｐｄｆ． ［５５］ＨＥ Ｓｈａｎ， ＷＡＮＧ Ｓｈａｎｆｅｉ， ＬＡＮ Ｗｕｗｅｉ， ｅｔ ａｌ． Ｆａｃｉａｌ ｅｘ⁃ ｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ ｆｒｏｍ ｔｈｅｒｍａｌ ｉｎｆｒａｒｅｄ ｉｍａｇｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ Ｈｕ⁃ ｍａｉｎｅ Ａｓｓｏｃｉａｔｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｆｆｅｃｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｔｅｒａｃｔｉｏｎ． Ｇｅｎｅｖａ， ２０１３： ２３９⁃２４４． ［５６］ ＬＶ Ｙａｄａｎ， ＦＥＮＧ Ｚｈｉｙｏｎｇ， ＸＵ Ｃｈａｏ． Ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｖｉａ ｄｅｅｐ ｌｅａｒｎｉｎｇ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｍａｒｔ Ｃｏｍｐｕｔｉｎｇ． Ｈｏｎｇ Ｋｏｎｇ， Ｃｈｉｎａ， ２０１４： ３０３⁃３０８． ［５７］ＪＵＮＧ Ｈ， ＬＥＥ Ｓ， ＰＡＲＫ Ｓ， ｅｔ ａｌ． Ｄｅｅｐ ｔｅｍｐｏｒａｌ ａｐｐｅａｒ⁃ ａｎｃｅ⁃ｇｅｏｍｅｔｒｙ ｎｅｔｗｏｒｋ ｆｏｒ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［ＥＢ／ ＯＬ］ ．Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ，２０１５．［２０１５⁃６⁃５］．ｈｔｔｐ： ／ ／ １２０．５２．７３．７５ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １５０３．０１５３２ｖ１．ｐｄｆ． ［５８］ ＫＡＨＯＵ Ｓ Ｅ， ＢＯＵＴＨＩＬＬＩＥＲ Ｘ， ＬＡＭＢＬＩＮ Ｐ ｅｔ ａｌ． ＥｍｏＮｅｔｓ： Ｍｕｌｔｉｍｏｄａｌ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ ｆｏｒ ｅｍｏ⁃ ｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｖｉｄｅｏ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｎ Ｍｕｌｔｉｍｏｄａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ， ２０１５， １０（２）：１⁃１３． ［５９］ＳＡＳＨＩＨＩＴＨＬＵ Ｓ， ＳＯＭＡＮ Ｓ Ｓ． Ｃｏｍｐｌｅｘ ｓｅｎｔｉｍｅｎｔａｎａｌｙｓ⁃ ｉｓ ｕｓｉｎｇ ｒｅｃｕｒｓｉｖｅ ａｕｔｏｅｎｃｏｄｅｒｓ ［ ＥＢ／ ＯＬ］． Ｃｏｒｅ． ａｃ． Ｕｋ： ＣｉｔｅＳｅｅｒＸ，２０１３．［２０１５⁃９⁃３０］．ｈｔｔｐｓ： ／ ／ ｃｏｒｅ．ａｃ．ｕｋ ／ ｄｉｓｐｌａｙ ／ ２３４２６２５１． ［６０］ＪＯＨＮＳＯＮ Ｒ， ＺＨＡＮＧ Ｔｏｎｇ． Ｅｆｆｅｃｔｉｖｅ ｕｓｅ ｏｆ ｗｏｒｄ ｏｒｄｅｒ ｆｏｒ ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ，２０１４． ［ ２０１４⁃１０⁃１０］． ｈｔ⁃ ｔｐ： ／ ／ １２０．５２．７３．７９ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １４１２．１０５８．ｐｄｆ． ［６１］李婷． 基于深度学习的盲文识别方法［ Ｊ］． 计算机与现 代化， ２０１５（６）： ３７⁃４０． ＬＩ Ｔｉｎｇ． Ａ ｄｅｅｐ ｌｅａｒｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ｂｒａｉｌｌｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］． Ｊｉｓｕａｎｊｉ ｙｕ ｘｉａｎｄａｉｈｕａ， ２０１５（６）： ３７⁃４０． ［６２］ＫＯＺＩＯＬ Ｊ Ａ， ＴＡＮ Ｅ Ｍ， ＤＡＩ Ｌｉｐｉｎｇ， ｅｔ ａｌ． Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｈｅｐａｔｏｃｅｌｌｕｌａｒ ｃａｒ⁃ ·５７６· 智 能 系 统 学 报 第 １１ 卷
