第30卷第3期 南华大学学报(自然科学版 16年9月 Journal of University of South China( Science and Technology 文章编号:1673-0062(2016)03-0066-07 卷积神经网络的研究进展综述 杨斌,钟金英 (南华大学电气工程学院,湖南衡阳421001) 摘要:深度学习( deep learning,DL)强大的建模和表征能力很好地解决了特征表达 能力不足和维数灾难等模式识别方向的关键问题,受到各国学者的广泛关注而仿生 物视觉系统的卷积神经网络( convolutional neural network,CNN是DL中最先成功的 案例,其局部感受野、权值共享和降采样三个特点使之成为智能机器视觉领域的研究 热点对此,本文综述CN最新研究成果,介绍其发展历程、最新理论模型及其在语 音、图像和视频中的应用,并对CNN未来的发展潜力和发展方向进行了展望和总结 关键词:深度学习;卷积神经网络;特征提取;智能识别 中图分类号:TP412.14 文献标识码:A Review of convolution neural network YANG Bin, ZHONG Jin-ying School of Electrical Engineering, University of South China, Hengyang, Hunan 421001, China) Abstract: Deep learning theory has received extensive attention of scholars all over the orld because of its powerful modeling and high representational abilities. It solved the key problems of pattern recognition, such as the insufficiency of expression ability and dimen- sionality curse Convolutional neural network CNN) is a successful component of deep learning, which imitates the biological vision system. Local receptive field, sharing weights and down sampling are three important characteristics of Cnn which lead it to be the hots- pot in the field of intelligent machine vision. Therefore, this paper summarizes the latest re- earch works of CNN. Firstly, the history of CNN is introduced. Secondly, state-of-the-art odified models of CNN are reviewed. Then, the applications of CNN in speech, image and video processing are illustrated. Finally, the development trends of CNN are concluded 收稿日期:2016-04-05 基金项目:南华大学青年英才支持计划基金资助项目(聘字2014004号);国家自然科学基金资助项目(61102108); 南华大学校内博士启动基金资助项日(2011XQD29);湖南省优秀博士学位论文基金资助项 (YB2013B039) 作者简介:杨斌(1980-),男,河南平顶山人,南华大学电气工程学院副教授,博士主要研究方向:多传感器信息融 合理论、多分辨率表示理论、压缩传感理论、深度学习理论和模式识别理论
第 ３０ 卷第 ３ 期 ２０１６ 年 ９ 月 南华大学学报(自然科学版) Ｊｏｕｒｎａｌ ｏｆ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｏｕｔｈ Ｃｈｉｎａ(Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ) Ｖｏｌ ３０ Ｎｏ ３ Ｓｅｐ ２０１６ 收稿日期:２０１６－０４－０５ 基金项目:南华大学青年英才支持计划基金资助项目(聘字 ２０１４￣００４ 号)ꎻ国家自然科学基金资助项目(６１１０２１０８)ꎻ 南华大学 校 内 博 士 启 动 基 金 资 助 项 目 ( ２０１１ＸＱＤ２９)ꎻ 湖 南 省 优 秀 博 士 学 位 论 文 基 金 资 助 项 目 (ＹＢ２０１３Ｂ０３９) 作者简介:杨 斌(１９８０－)ꎬ男ꎬ河南平顶山人ꎬ南华大学电气工程学院副教授ꎬ博士.主要研究方向:多传感器信息融 合理论、多分辨率表示理论、压缩传感理论、深度学习理论和模式识别理论. 文章编号:１６７３－００６２(２０１６)０３－００６６－０７ 卷积神经网络的研究进展综述 杨 斌ꎬ钟金英 (南华大学 电气工程学院ꎬ湖南 衡阳 ４２１００１) 摘 要:深度学习(ｄｅｅｐ ｌｅａｒｎｉｎｇꎬＤＬ)强大的建模和表征能力很好地解决了特征表达 能力不足和维数灾难等模式识别方向的关键问题ꎬ受到各国学者的广泛关注.而仿生 物视觉系统的卷积神经网络(ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋꎬＣＮＮ)是 ＤＬ 中最先成功的 案例ꎬ其局部感受野、权值共享和降采样三个特点使之成为智能机器视觉领域的研究 热点.对此ꎬ本文综述 ＣＮＮ 最新研究成果ꎬ介绍其发展历程、最新理论模型及其在语 音、图像和视频中的应用ꎬ并对 ＣＮＮ 未来的发展潜力和发展方向进行了展望和总结. 关键词:深度学习ꎻ卷积神经网络ꎻ特征提取ꎻ智能识别 中图分类号:ＴＰ４１２.１４ 文献标识码:Ａ Ｒｅｖｉｅｗ ｏｆ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ＹＡＮＧ ＢｉｎꎬＺＨＯＮＧ Ｊｉｎ￣ｙｉｎｇ (Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ＥｎｇｉｎｅｅｒｉｎｇꎬＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｏｕｔｈ ＣｈｉｎａꎬＨｅｎｇｙａｎｇꎬＨｕｎａｎ ４２１００１ꎬＣｈｉｎａ) Ａｂｓｔｒａｃｔ:Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｔｈｅｏｒｙ ｈａｓ ｒｅｃｅｉｖｅｄ ｅｘｔｅｎｓｉｖｅ ａｔｔｅｎｔｉｏｎ ｏｆ ｓｃｈｏｌａｒｓ ａｌｌ ｏｖｅｒ ｔｈｅ ｗｏｒｌｄ ｂｅｃａｕｓｅ ｏｆ ｉｔｓ ｐｏｗｅｒｆｕｌ ｍｏｄｅｌｉｎｇ ａｎｄ ｈｉｇｈ ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ ａｂｉｌｉｔｉｅｓ.Ｉｔ ｓｏｌｖｅｄ ｔｈｅ ｋｅｙ ｐｒｏｂｌｅｍｓ ｏｆ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎꎬｓｕｃｈ ａｓ ｔｈｅ ｉｎｓｕｆｆｉｃｉｅｎｃｙ ｏｆ ｅｘｐｒｅｓｓｉｏｎ ａｂｉｌｉｔｙ ａｎｄ ｄｉｍｅｎ￣ ｓｉｏｎａｌｉｔｙ ｃｕｒｓｅ.Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ( ＣＮＮ) ｉｓ ａ ｓｕｃｃｅｓｓｆｕｌ ｃｏｍｐｏｎｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇꎬｗｈｉｃｈ ｉｍｉｔａｔｅｓ ｔｈｅ ｂｉｏｌｏｇｉｃａｌ ｖｉｓｉｏｎ ｓｙｓｔｅｍ.Ｌｏｃａｌ ｒｅｃｅｐｔｉｖｅ ｆｉｅｌｄꎬｓｈａｒｉｎｇ ｗｅｉｇｈｔｓ ａｎｄ ｄｏｗｎ ｓａｍｐｌｉｎｇ ａｒｅ ｔｈｒｅｅ ｉｍｐｏｒｔａｎｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ＣＮＮ ｗｈｉｃｈ ｌｅａｄ ｉｔ ｔｏ ｂｅ ｔｈｅ ｈｏｔｓ￣ ｐｏｔ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ.Ｔｈｅｒｅｆｏｒｅꎬｔｈｉｓ ｐａｐｅｒ ｓｕｍｍａｒｉｚｅｓ ｔｈｅ ｌａｔｅｓｔ ｒｅ￣ ｓｅａｒｃｈ ｗｏｒｋｓ ｏｆ ＣＮＮ. Ｆｉｒｓｔｌｙꎬｔｈｅ ｈｉｓｔｏｒｙ ｏｆ ＣＮＮ ｉｓ ｉｎｔｒｏｄｕｃｅｄ. Ｓｅｃｏｎｄｌｙꎬ ｓｔａｔｅ￣ｏｆ￣ｔｈｅ￣ａｒｔ ｍｏｄｉｆｉｅｄ ｍｏｄｅｌｓ ｏｆ ＣＮＮ ａｒｅ ｒｅｖｉｅｗｅｄ.Ｔｈｅｎꎬｔｈｅ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ＣＮＮ ｉｎ ｓｐｅｅｃｈꎬｉｍａｇｅ ａｎｄ ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ａｒｅ ｉｌｌｕｓｔｒａｔｅｄ.Ｆｉｎａｌｌｙꎬｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｔｒｅｎｄｓ ｏｆ ＣＮＮ ａｒｅ ｃｏｎｃｌｕｄｅｄ
30卷第3期 斌等:卷积神经网络的研究进展综述 key words: deep learning; convolutional neural network feature extraction; intelligent rec 1卷积神经网络模型 不能高效地学习数据深层次结构信息,导致神经 网络技术的发展停滞不前.CNN打破了原有全链 20世纪40年代末提出MP神经元模型,人接神经网络的技术瓶颈,获得了全球研究者的广 工神经网络的研究由此拉开序幕.1986年, Rumel-泛关注CNN受启发于猫的视觉系统结构,即以局 hat等学者提出反向传播网络学习算法(back部感受野来平铺覆盖整个视野区域.如图1所示 propagation,BP)1,神经网络开始在各领域得到若以10001000的输入图像为例,卷积层的节点 广泛应用继BP神经网络之后,一系列分类器如数为10°,则全连接方式a需要102个权值假设 支持向量机、 Boosting和最大熵等方法相继提出.图1b采用10×10的局部感受野,则其权值减少为 这些算法通常只含一个隐藏层,属于浅层学习 108个若系统有100个滤波器,在局部感受野的 人类大脑的深度层次结构相差较大2.且全连接基础上,CNN采用权值共享c可进一步将权值个 的神经网络训练时间长,参数依靠经验和技巧设数减少到104.由此可见,CNN的权值共享和局部 定,容易过拟合和陷入局部最优解由于缺乏深度感受野可以大幅度的减少网络参数. a全连接 b局部感受野 c权值共享 图1卷积神经网络减少参数的过程 Fig. 1 The process of reducing the parameters of convolutional neural network 与BP类似,CNN采用前向传播计算出输出采样处理,在减少数据量的同时保留有用的信息, 值,反向传播调整权重和偏置.如图2所示,经典也使CNN具有抗畸变的能力.全连接层(如 的CNN包括卷积层(C)、降采样层(S)和全连接 softmax层)一般位于网络尾端,对前面逐层变换 层(F)三部分3.卷积层的卷积核本质就是特征和映射提取的特征进行回归分类等处理,也可作 提取器,配合深度网络模型可以自动提取输入信输出层,把训练得到的特征图汇总成特征向量,为 号的深层信息.降采样层即池化层,实现特征图的输入图像的另一种信息表示 输入 C1:6 S4:16 32×32 28×28 5×5C5:120 14×14 高斯连接 f全连接 卷积 降采样 卷积 降采样全连接 图2 LeNet5模型 Fig. 2 The model of LeNet5
第 ３０ 卷第 ３ 期 杨 斌等:卷积神经网络的研究进展综述 ｋｅｙ ｗｏｒｄｓ:ｄｅｅｐ ｌｅａｒｎｉｎｇꎻｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋꎻｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎꎻｉｎｔｅｌｌｉｇｅｎｔ ｒｅｃ￣ ｏｇｎｉｔｉｏｎ １ 卷积神经网络模型 ２０ 世纪 ４０ 年代末提出 Ｍ￣Ｐ 神经元模型ꎬ人 工神经网络的研究由此拉开序幕.１９８６ 年ꎬＲｕｍｅｌ￣ ｈａｒｔ 等学者提出反向传播网络学习算法 ( ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎꎬＢＰ) [１] ꎬ神经网络开始在各领域得到 广泛应用.继 ＢＰ 神经网络之后ꎬ一系列分类器如 支持向量机、Ｂｏｏｓｔｉｎｇ 和最大熵等方法相继提出. 这些算法通常只含一个隐藏层ꎬ属于浅层学习ꎬ与 人类大脑的深度层次结构相差较大[２] .且全连接 的神经网络训练时间长ꎬ参数依靠经验和技巧设 定ꎬ容易过拟合和陷入局部最优解.由于缺乏深度 不能高效地学习数据深层次结构信息ꎬ导致神经 网络技术的发展停滞不前.ＣＮＮ 打破了原有全链 接神经网络的技术瓶颈ꎬ获得了全球研究者的广 泛关注.ＣＮＮ 受启发于猫的视觉系统结构ꎬ即以局 部感受野来平铺覆盖整个视野区域.如图 １ 所示ꎬ 若以 １０００×１０００ 的输入图像为例ꎬ卷积层的节点 数为 １０ ６ ꎬ则全连接方式 ａ 需要 １０ １２个权值.假设 图 １ｂ 采用 １０×１０ 的局部感受野ꎬ则其权值减少为 １０ ８ 个.若系统有 １００ 个滤波器ꎬ在局部感受野的 基础上ꎬＣＮＮ 采用权值共享 ｃ 可进一步将权值个 数减少到 １０ ４ .由此可见ꎬＣＮＮ 的权值共享和局部 感受野可以大幅度的减少网络参数. 图 １ 卷积神经网络减少参数的过程 Ｆｉｇ.１ Ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｒｅｄｕｃｉｎｇ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｏｆ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ 与 ＢＰ 类似ꎬＣＮＮ 采用前向传播计算出输出 值ꎬ反向传播调整权重和偏置.如图 ２ 所示ꎬ经典 的 ＣＮＮ 包括卷积层(Ｃ)、降采样层(Ｓ)和全连接 层(Ｆ)三部分[３] .卷积层的卷积核本质就是特征 提取器ꎬ配合深度网络模型可以自动提取输入信 号的深层信息.降采样层即池化层ꎬ实现特征图的 采样处理ꎬ在减少数据量的同时保留有用的信息ꎬ 也使 ＣＮＮ 具 有 抗 畸 变 的 能 力. 全 连 接 层 ( 如 ｓｏｆｔｍａｘ 层)一般位于网络尾端ꎬ对前面逐层变换 和映射提取的特征进行回归分类等处理ꎬ也可作 输出层ꎬ把训练得到的特征图汇总成特征向量ꎬ为 输入图像的另一种信息表示. 图 ２ ＬｅＮｅｔ５ 模型 Ｆｉｇ.２ Ｔｈｅ ｍｏｄｅｌ ｏｆ ＬｅＮｅｔ５ ６７
南华大学学报(自然科学版) 016年9月 CNN可能是机器学习领域近十年最成功的式识别会议上关于DL和CNN的研究成果较往年 研究方向,因此本文拟对CNN最新研究成果进行有大幅的提升.2015年9月,微软亚洲研究院的 介绍,并对其预期研究方向进行展望 “深层残差网络”( deep residual networks)在 2卷积神经网络的发展历程 ISⅤRC中获得图像分类、定位以及检测全部项目 的冠军,如分类方面将错误率降低至494%,比人 人类身处大量的数据包围之中,却总能以一眼辨识(错误率5.1%)更精确 种灵巧的方式来获取自己想要的信息对于人工 在大数据时代,各领域争先占领DL的技术 智能领域来说,模仿人脑高效准确地从大量感知制高点,希望找出更强大的模型来揭示海量数据 数据中获得本质信息,一直是模式识别理论研究所承载的丰富信息,对未知事件更精准地预测 的核心挑战2006年,机器学习领域的泰斗 Hinton 指出多层的神经网络结构能够学习到更深刻更本3卷积神经网络模型的改进 质的特征,并通过“逐层初始化”的训练办法克服 近年,围绕CNN的卷积层、降采样层及全连 了传统神经网络训练瓶颈问题,引领了DL的发接层三部分,各国学者不断探索研究,提出了多种 展方向4.从此,深度学习受到了各国学者的广泛形式的改进 关注,谷歌、微软、IBM、百度等拥有大数据的高科31CNN卷积层的改进 技公司相继投入大量资源进行DL理论研究2011 在增加模型深度可以有效增加网络性能的理 年以来,微软研究院和谷歌的语音识别人员采用论基础上, Krichevsky等把CNN的卷积层数加至5 深度神经网络( deep neural network,DN)技术,层,构成了深度卷积神经网络( deep convolutional 使语音识别有了突破性进展,识别误差可降低 eural network,DCN)0. Szegedy等组成的 0%-30%2013年百度宣布成立百度研究院, GoogLeNet小组构建了22层深度网络H,该网络 而其第一个研究重点就是DL.同年10月,比2012ISⅤRC获胜者的网络参数少了12倍,却 Facebook试图通过启用DL这一新的人工智能技能更精确的分类和检测,在2014年的ISⅤRC 术来帮助理解它的用户和相关数据,DL甚至可以举夺冠如何构建更深网络一直是CNN的研究热 仅仅基于那些并未有明确暗示的帖子来理解用户点,2015 ILSVRO的152层“深层残差网络9采 的心情或者预测将要发生的事 用了一个全新的“残差学习”原则指导学习,并重 DL的基本思想是建立模拟人大脑的神经元新定向了深层CNN中的信息流,高效地解决了深 连接结构,在处理具有复杂的数据内部关系时,通层神经网络准确度与层数之间的矛盾 过多个变换分层对数据特征进行描述,进而得到 王冠皓提出了多级金字塔卷积神经网络 数据的本质表示.常见的DL模型有CNN、深( multi-level pyramid CNN)2),CNN每层先使用 度信任网络( deep belief networks,DBN)切和栈稀疏自编码器预训练,再使用金字塔卷积神经网 式自动编码器( stacked auto-encoder,SAE).其络对整个网络训练,将低层的滤波权值共享到高 中,CNN是DL中最成功的一个分支,是对著名的层,保证训练时的卷积滤波只在小尺寸图像上进 Hubel-Wiesel生物视觉模型的模拟,通过多网络行,大尺度图像只进行一次向前传播,加快训练速 结构、卷积运算和降采样来实现对信号深层信息度此外, Zhang在 Image Net上训练具有7层的快 提取CNN把特征提取归入模型学习,把特征学习速非线性卷积神经网络,对每层加速以达到对 和分类学习有机结合起来,更有效地实现对图像整个网络加速的目的,速度可达到与 的识别特别是近两年,卷积神经网络受到了更为“ AlexNet"一致的同时,分类精度也提高了 广泛地关注2014年的大型视觉辨识挑战赛(Ima-4.7%为了保证卷积特征不变性, Spangenberg等 geNet Large Scale visual Recognition Challenge,构造了 stride卷积层,省去最大池化层,该网络 ILSVRO)中,几乎所有的参赛队伍都采用了卷积结构相对简单,但其识别效果比常见的卷积层和 神经网络及其变形方法2015年国际机器学习大池化层组合模型更好 会上来自工业界和学术界的各位专家对DL展开3.2CNN降采样层的改进 激烈讨论,指出DL在人类擅长的领域已经取得 常规DCNN只能对尺度固定的图像进行处 了令人振奋的成功,未来的探索方向是人类并不理,对尺度不同的输入图像需人工裁剪或拉伸之 擅长的任务、数据集2015年国际计算机视觉与模后才输入网络,会造成图像失真而影响分类的准
南华大学学报(自然科学版) ２０１６ 年 ９ 月 ＣＮＮ 可能是机器学习领域近十年最成功的 研究方向ꎬ因此本文拟对 ＣＮＮ 最新研究成果进行 介绍ꎬ并对其预期研究方向进行展望. ２ 卷积神经网络的发展历程 人类身处大量的数据包围之中ꎬ却总能以一 种灵巧的方式来获取自己想要的信息.对于人工 智能领域来说ꎬ模仿人脑高效准确地从大量感知 数据中获得本质信息ꎬ一直是模式识别理论研究 的核心挑战.２００６ 年ꎬ机器学习领域的泰斗 Ｈｉｎｔｏｎ 指出多层的神经网络结构能够学习到更深刻更本 质的特征ꎬ并通过“逐层初始化”的训练办法克服 了传统神经网络训练瓶颈问题ꎬ引领了 ＤＬ 的发 展方向[４] .从此ꎬ深度学习受到了各国学者的广泛 关注ꎬ谷歌、微软、ＩＢＭ、百度等拥有大数据的高科 技公司相继投入大量资源进行 ＤＬ 理论研究.２０１１ 年以来ꎬ微软研究院和谷歌的语音识别人员采用 深度神经网络( ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋꎬＤＮＮ) 技术ꎬ 使语音识别有了突破性进展ꎬ识别误差可降低 ２０％ ~ ３０％.２０１３ 年百度宣布成立百度研究院ꎬ 而其 第 一 个 研 究 重 点 就 是 ＤＬ. 同 年 １０ 月ꎬ Ｆａｃｅｂｏｏｋ 试图通过启用 ＤＬ 这一新的人工智能技 术来帮助理解它的用户和相关数据ꎬＤＬ 甚至可以 仅仅基于那些并未有明确暗示的帖子来理解用户 的心情或者预测将要发生的事. ＤＬ 的基本思想是建立模拟人大脑的神经元 连接结构ꎬ在处理具有复杂的数据内部关系时ꎬ通 过多个变换分层对数据特征进行描述ꎬ进而得到 数据的本质表示[５] .常见的 ＤＬ 模型有 ＣＮＮ [６] 、深 度信任网络 ( ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓꎬＤＢＮ) [７]和栈 式自动编码器 (ｓｔａｃｋｅｄ ａｕｔｏ￣ｅｎｃｏｄｅｒꎬＳＡＥ) [８] .其 中ꎬＣＮＮ 是 ＤＬ 中最成功的一个分支ꎬ是对著名的 Ｈｕｂｅｌ￣Ｗｉｅｓｅｌ 生物视觉模型的模拟ꎬ通过多网络 结构、卷积运算和降采样来实现对信号深层信息 提取.ＣＮＮ 把特征提取归入模型学习ꎬ把特征学习 和分类学习有机结合起来ꎬ更有效地实现对图像 的识别.特别是近两年ꎬ卷积神经网络受到了更为 广泛地关注.２０１４ 年的大型视觉辨识挑战赛(Ｉｍａ￣ ｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅꎬ ＩＬＳＶＲＣ)中ꎬ几乎所有的参赛队伍都采用了卷积 神经网络及其变形方法.２０１５ 年国际机器学习大 会上来自工业界和学术界的各位专家对 ＤＬ 展开 激烈讨论ꎬ指出 ＤＬ 在人类擅长的领域已经取得 了令人振奋的成功ꎬ未来的探索方向是人类并不 擅长的任务、数据集.２０１５ 年国际计算机视觉与模 式识别会议上关于 ＤＬ 和 ＣＮＮ 的研究成果较往年 有大幅的提升.２０１５ 年 ９ 月ꎬ微软亚洲研究院的 “深 层 残 差 网 络” ( ｄｅｅｐ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋｓ ) 在 ＩＬＳＶＲＣ 中获得图像分类、定位以及检测全部项目 的冠军ꎬ如分类方面将错误率降低至 ４.９４％ꎬ比人 眼辨识(错误率 ５.１％)更精确[９] . 在大数据时代ꎬ各领域争先占领 ＤＬ 的技术 制高点ꎬ希望找出更强大的模型来揭示海量数据 所承载的丰富信息ꎬ对未知事件更精准地预测. ３ 卷积神经网络模型的改进 近年ꎬ围绕 ＣＮＮ 的卷积层、降采样层及全连 接层三部分ꎬ各国学者不断探索研究ꎬ提出了多种 形式的改进. ３.１ ＣＮＮ 卷积层的改进 在增加模型深度可以有效增加网络性能的理 论基础上ꎬＫｒｉｚｈｅｖｓｋｙ 等把 ＣＮＮ 的卷积层数加至 ５ 层ꎬ构成了深度卷积神经网络(ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋꎬ ＤＣＮＮ ) [１０] . Ｓｚｅｇｅｄｙ 等 组 成 的 ＧｏｏｇＬｅＮｅｔ 小组构建了 ２２ 层深度网络 [１１] ꎬ该网络 比 ２０１２ ＩＬＳＶＲＣ 获胜者的网络参数少了 １２ 倍ꎬ却 能更精确的分类和检测ꎬ在 ２０１４ 年的 ＩＬＳＶＲＣ 一 举夺冠.如何构建更深网络一直是 ＣＮＮ 的研究热 点ꎬ２０１５ ＩＬＳＶＲＣ 的 １５２ 层“深层残差网络” [９] 采 用了一个全新的“残差学习”原则指导学习ꎬ并重 新定向了深层 ＣＮＮ 中的信息流ꎬ高效地解决了深 层神经网络准确度与层数之间的矛盾. 王冠皓提出了多级金字塔卷积神经网络 (ｍｕｌｔｉ￣ｌｅｖｅｌ ｐｙｒａｍｉｄ ＣＮＮ) [１２] ꎬＣＮＮ 每层先使用 稀疏自编码器预训练ꎬ再使用金字塔卷积神经网 络对整个网络训练ꎬ将低层的滤波权值共享到高 层ꎬ保证训练时的卷积滤波只在小尺寸图像上进 行ꎬ大尺度图像只进行一次向前传播ꎬ加快训练速 度.此外ꎬ Ｚｈａｎｇ 在 ＩｍａｇｅＮｅｔ 上训练具有 ７ 层的快 速非线性卷积神经网络[１３] ꎬ对每层加速以达到对 整 个 网 络 加 速 的 目 的ꎬ 速 度 可 达 到 与 “ＡｌｅｘＮｅｔ” [１４] 一致的同时ꎬ 分类精度也提高了 ４ ７％.为了保证卷积特征不变性ꎬＳｐｒｉｎｇｅｎｂｅｒｇ 等 构造了 ｓｔｒｉｄｅ 卷积层[１５] ꎬ省去最大池化层ꎬ该网络 结构相对简单ꎬ但其识别效果比常见的卷积层和 池化层组合模型更好. ３.２ ＣＮＮ 降采样层的改进 常规 ＤＣＮＮ 只能对尺度固定的图像进行处 理ꎬ对尺度不同的输入图像需人工裁剪或拉伸之 后才输入网络ꎬ会造成图像失真而影响分类的准 ６８
30卷第3 杨斌等:卷积神经网络的研究进展综述 确率He等在DCNN的卷积层尾端引入空间金字人进一步提出了 faster R-CNN,构建一个耗时极 塔降采样层去除固定尺度的约束,降采样获得与少且精确度高的全卷积层区域提取方案网络 全连接层相匹配的特征多尺度训练得到的空间( region proposal network,RPN),从提区域方案到 金字塔降采样网络( spatial pyramid pool 目标检测总共耗时198ms,在ⅤOC2007上mAP network,sPP-net)可处理任意尺度的图像也从FRCN的70%提高到73.2% Rippel等提出了频谱池化的方法{),将CNN进 无论卷积层的改进,还是降采样层及全连接 行傅里叶变换来把耗时的卷积操作替换为乘积操层的改进都是针对网络的学习能力及学习效率 作可加速网络训练,通过截取信号在频域特征表两方面的改进因为CN的学习能力可以通过调 示来降低维度,不仅可以保留更多的信息,还比其节网络的深度来增强,增加模型深度可以有效增 它的池化方法更灵活,提高了利用傅里叶变换计加网络性能为了使CNN更好地模拟大脑复杂的 算卷积效率 深层次神经网络,增加网络深度逐渐成为一种趋 zeiler等提出了反卷积神经网络( deconvolu-势另外,CNN的卷积核相当于特征提取器,可以 tional networks,DN),.用非监督方法对自然有效地提取输入信号的有用信息,但是耗时是卷 图像自顶向下进行卷积分解,再组合滤波器组学积操作必须重视的问题,针对这个问题,提出了 习到的卷积特征,获得一个特征丰富具有鲁棒性系列的加速方法,在一定程度上降低了训练和测 的图像表征但大量卷积操作也使DN比自底向试的时间但整体上,与传统的非神经网络方法相 上的编码模型耗时,因而zelr在DN每层之间采比,CN的耗时还是比较大,需要进一步改善如 用3D最大池化层,引入一组潜在开关变量,使得何在提高网络学习能力和减少耗时之间找到一个 模型可以根据多种输入模式自适应调整构建了平衡点依旧是CN面临的问题 由卷积稀疏编码层和最大降采样层交替的自适应 反卷积神经网络( adaptive deconvolutional4卷积神经网络算法的应用 networks,ADN)),在中间层和高层特征学习都 在 LeNet5成功的用于银行手写支票识别之 能取得不错的效果 后,关于CNN模型在不同的数据集和实际生产应 33CN全连接层的改进 用的研究越来越多,网络多样化决定其应用对象 为了克服过拟合问题, Krichevsky在CNN两 个全连接层采用了“ Dropout”策略则,每次送代各式各样 在语音识别方面,主流自动语音识别系统通 以0.5的概率使一些随机分布的节点不工作但权常使用隐形马尔科夫模型和混合高斯模型GMM 值保留,之后又可能参与训练该策略可以防止某 HMM,而DNN可以建模相关性复杂的语音特征, 些特征仅在其它特殊特征出现下才产生作用的情用 DNN-HMM模型2)比 GMM-HMM对说话方式 况,从而有效地避免了网络中特征之间的相互依 和环境具有更好的鲁棒性.O0sama等在DN 赖性孙艳丰提出了基于改进 Fisher准则的深度 HMM模型后面加上局部滤波层和最大采样 CNN识别算法( fisher-based convolution neural net wotk,FCNN),反向传播采用 Fisher的约束准层,获得更高性能的多个说话者语音识别系 则,加入判别准则的能量函数,在迭代求解权值的 统随后发现在处理语音特征时有限的权值共享 搜索空间受到判别条件约束影响,从全局搜索缩更具有优势,对于不同的频率通道使用单独的权 小到更有利于分类的局部空间,从而使权值更快值,学习不同的特征更适合语音识别 地逼近便于分类的最优值 在图像识别领域,Su等设计三层CNN用于 Girshick等提出基于区域卷积神经网络(Re估计脸部关键点的位置x1,利用了脸部的纹理环 gions with CNN features,RCNN){21),先找兴趣区域境信息来锁定关键点,训练网络时考虑了关键点 再进行检测和分割由于RCN兴趣区域中心点的几何位置分布,从而克服了传统人脸识别受遮 的运算量大而耗时,提出 fast E:CN挡姿势变换和光照等影响大的缺点闫鹏使用级 (FRCN)(21,把全连接层的矩阵进行SVD分解 速度提高了30%对于给定的图像和目标框方案 Q Ren S He K. Girshick R. et al. Faster R-CNN: towards real- FRCN进行目标检测耗时60~330ms,忽略了在区 time object detection with region proposal Networks [J].IEEE actions on Pattern Analysis and Machine Intelligence,2016.(已接收 域方案提取所需的时间(约1.51s).因此,Ren等还未发表)
第 ３０ 卷第 ３ 期 杨 斌等:卷积神经网络的研究进展综述 确率.Ｈｅ 等在 ＤＣＮＮ 的卷积层尾端引入空间金字 塔降采样层去除固定尺度的约束ꎬ降采样获得与 全连接层相匹配的特征.多尺度训练得到的空间 金 字 塔 降 采 样 网 络 ( ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ ｎｅｔｗｏｒｋꎬＳＰＰ￣ｎｅｔ ) [１６] 可 处 理 任 意 尺 度 的 图 像. Ｒｉｐｐｅｌ 等提出了频谱池化的方法[１７] ꎬ将 ＣＮＮ 进 行傅里叶变换来把耗时的卷积操作替换为乘积操 作可加速网络训练ꎬ通过截取信号在频域特征表 示来降低维度ꎬ不仅可以保留更多的信息ꎬ还比其 它的池化方法更灵活ꎬ提高了利用傅里叶变换计 算卷积效率. Ｚｅｉｌｅｒ 等提出了反卷积神经网络( ｄｅｃｏｎｖｏｌｕ￣ ｔｉｏｎａｌ ｎｅｔｗｏｒｋｓꎬＤＮ) [１８] ꎬ采用非监督方法对自然 图像自顶向下进行卷积分解ꎬ再组合滤波器组学 习到的卷积特征ꎬ获得一个特征丰富具有鲁棒性 的图像表征.但大量卷积操作也使 ＤＮ 比自底向 上的编码模型耗时ꎬ因而 Ｚｅｉｌｅｒ 在 ＤＮ 每层之间采 用 ３Ｄ 最大池化层ꎬ引入一组潜在开关变量ꎬ使得 模型可以根据多种输入模式自适应调整ꎬ构建了 由卷积稀疏编码层和最大降采样层交替的自适应 反 卷 积 神 经 网 络 ( ａｄａｐｔｉｖｅ ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓꎬＡＤＮ) [１９] ꎬ在中间层和高层特征学习都 能取得不错的效果. ３.３ ＣＮＮ 全连接层的改进 为了克服过拟合问题ꎬＫｒｉｚｈｅｖｓｋｙ 在 ＣＮＮ 两 个全连接层采用了“Ｄｒｏｐｏｕｔ” 策略[１０] ꎬ每次迭代 以 ０.５ 的概率使一些随机分布的节点不工作但权 值保留ꎬ之后又可能参与训练.该策略可以防止某 些特征仅在其它特殊特征出现下才产生作用的情 况ꎬ从而有效地避免了网络中特征之间的相互依 赖性.孙艳丰提出了基于改进 Ｆｉｓｈｅｒ 准则的深度 ＣＮＮ 识别算法(ｆｉｓｈｅｒ￣ｂａｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔ￣ ｗｏｒｋꎬＦＣＮＮ) [２０] ꎬ反向传播采用 Ｆｉｓｈｅｒ 的约束准 则ꎬ加入判别准则的能量函数ꎬ在迭代求解权值的 搜索空间受到判别条件约束影响ꎬ从全局搜索缩 小到更有利于分类的局部空间ꎬ从而使权值更快 地逼近便于分类的最优值. Ｇｉｒｓｈｉｃｋ 等提出基于区域卷积神经网络(Ｒｅ￣ ｇｉｏｎｓ ｗｉｔｈ ＣＮＮ ｆｅａｔｕｒｅｓꎬＲＣＮＮ) [２１] ꎬ先找兴趣区域 再进行检测和分割.由于 ＲＣＮＮ 兴趣区域中心点 的 运 算 量 大 而 耗 时ꎬ 提 出 ｆａｓｔ Ｒ￣ＣＮＮ (ＦＲＣＮ) [２２] ꎬ把全连接层的矩阵进行 ＳＶＤ 分解ꎬ 速度提高了 ３０％.对于给定的图像和目标框方案ꎬ ＦＲＣＮ 进行目标检测耗时 ６０~３３０ ｍｓꎬ忽略了在区 域方案提取所需的时间(约 １.５１ ｓ).因此ꎬＲｅｎ 等 人进一步提出了 ｆａｓｔｅｒ Ｒ￣ＣＮＮ①ꎬ构建一个耗时极 少且精确度高的全卷积层区域提取方案网络 (ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋꎬＲＰＮ)ꎬ从提区域方案到 目标检测总共耗时 １９８ ｍｓꎬ在 ＶＯＣ２００７ 上 ｍＡＰ 也从 ＦＲＣＮ 的 ７０％提高到 ７３.２％. 无论卷积层的改进ꎬ还是降采样层及全连接 层的改进ꎬ都是针对网络的学习能力及学习效率 两方面的改进.因为 ＣＮＮ 的学习能力可以通过调 节网络的深度来增强ꎬ增加模型深度可以有效增 加网络性能.为了使 ＣＮＮ 更好地模拟大脑复杂的 深层次神经网络ꎬ增加网络深度逐渐成为一种趋 势.另外ꎬＣＮＮ 的卷积核相当于特征提取器ꎬ可以 有效地提取输入信号的有用信息ꎬ但是耗时是卷 积操作必须重视的问题ꎬ针对这个问题ꎬ提出了一 系列的加速方法ꎬ在一定程度上降低了训练和测 试的时间.但整体上ꎬ与传统的非神经网络方法相 比ꎬＣＮＮ 的耗时还是比较大ꎬ需要进一步改善.如 何在提高网络学习能力和减少耗时之间找到一个 平衡点ꎬ依旧是 ＣＮＮ 面临的问题. ４ 卷积神经网络算法的应用 在 ＬｅＮｅｔ５ 成功的用于银行手写支票识别之 后ꎬ关于 ＣＮＮ 模型在不同的数据集和实际生产应 用的研究越来越多ꎬ网络多样化决定其应用对象 各式各样. 在语音识别方面ꎬ主流自动语音识别系统通 常使用隐形马尔科夫模型和混合高斯模型 ＧＭＭ￣ ＨＭＭꎬ而 ＤＮＮ 可以建模相关性复杂的语音特征ꎬ 用 ＤＮＮ￣ＨＭＭ 模型[２３] 比 ＧＭＭ￣ＨＭＭ 对说话方式 和环境具有更好的鲁棒性. Ｏｓｓａｍａ 等在 ＤＮＮ￣ ＨＭＭ 模 型 后 面 加 上 局 部 滤 波 层 和 最 大 采 样 层[２４] ꎬ获得更高性能的多个说话者语音识别系 统.随后发现在处理语音特征时有限的权值共享 更具有优势ꎬ对于不同的频率通道使用单独的权 值ꎬ学习不同的特征更适合语音识别[２５] . 在图像识别领域ꎬＳｕｎ 等设计三层 ＣＮＮ 用于 估计脸部关键点的位置[２６] ꎬ利用了脸部的纹理环 境信息来锁定关键点ꎬ训练网络时考虑了关键点 的几何位置分布ꎬ从而克服了传统人脸识别受遮 挡、姿势变换和光照等影响大的缺点.闫鹏使用级 ６９ ① Ｒｅｎ ＳꎬＨｅ ＫꎬＧｉｒｓｈｉｃｋ Ｒꎬｅｔ ａｌ.Ｆａｓｔｅｒ Ｒ￣ＣＮＮ:ｔｏｗａｒｄｓ ｒｅａｌ￣ ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ [ Ｊ].ＩＥＥＥ Ｔｒａｎｓ￣ ａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅꎬ２０１６.(已接收 还未发表)
南华大学学报(自然科学版) 2016年9月 联CNN实现车牌检测{2),通过引入级联结构,同人工设置类标号是非常费时和枯燥的然而,为了 时提高检测准确率和检测效率. Zhang等用基于贝使得监督卷积神经网络通过训练具有较高的泛化 叶斯优化的搜索策略,目标检测框依次通过候选能力,需要大量具有类标号的训练样本,这也是制 区域,把具有明显定位不准确的目标训练CNN,约临督卷积神经网络在实践中应用的主要因素. 处理定位问题[2 因此,研究非监督或者半监督卷积神经网络是进 CNN在视频识别还处于起步阶段,不过仍有步拓宽卷积神经网络应用的重要途径另外还 很多卓有成效的识别方法J等将3D的视频看成可以利用核函数等结构最优化方法提高网络全连 空域上的2D信号,学习时空域相关性来获得帧接层的泛化能力 之间的关联特征,从而获得多个相邻帧间的运动 3)神经网络的结构先验约束 信息,实现行为识别. Karpathy等用来自487类 CNN是仿生物视觉模型,其卷积核模拟视觉 的100万段 You Tube视频构建了 Sports M数据细胞的功能然而现有CN的结构与真实视觉结 集,并训练了基于CNN的大规模视频分类的经验构仍然有很大的不同现存的CNN模型的单个卷 评估模型,其分类准确率可达633%,比基于积核内部各元素在训练的时候视为相互独立的, 人工特征553%的识别率有明显提高.Li等基于如果能够将卷积核各像素之间的关系考虑进来 滤波器响应提出了对运动敏感的时空域深度卷积充分发挥卷积核的优势,则隐层可以捕获更多的 神经网络,可以很好的检测到视频的运动特征信息,应该可以更好地表达和理解图像,在图 特征 像重建及识别上可取得更好的效果论文[3也提 在低层图像处理方面CNN同样显示了其巨到,卷积层可视为具有非线性约束的特殊的稀疏 大的潜力Dong等提出的超分辨率卷积神经网络表示,利用CNN的卷积层能对图像局部凸信息进 ( super-resolution CNN,sRCN){,在低分辨率行特征提取,可以很好地解决图像融合的关键 图像和高分辨图像之间学习一个端对端映射,网问题 络结构简单却能提供优越的处理结果.此外,CNN 4)高层输出对低层输出的反馈 在图像去噪3、图像反卷积刈和图像修复[等 CNN的网络结构由多个不同作用的节点层 方向也展示了广阔的应用前景 构成,每个层次的输出特征图表示不同层次的源 5卷积神经网络研究展望 图像特征现有CNN的应用往往更注重最终的识 别结果,而没有充分用到不同层次抽象级别的图 深度卷积神经网络在图像处理和机器学习领像特征对于低层图像处理任务,综合利用不同层 域的应用,取得了突破性的进展,体现了深度次的图像特征可以有效改善处理效果,而利用高 CN处理图像数据的优势未来卷积神经网络将层信息对低层信息进行反馈也是低层图像处理的 会在以下五个方面进一步发展 一个潮流CNN的纵向多层结构为利用高层特征 1)多输入卷积神经网络 指导低层图像融合提供了方便的途径因此,研究 NN主要用来实现传统的模式识别任务,性深度CNN逐层特征之间的关系,制定高层信息对 能较传统模式有很大改进但依然没有突破单个低层信息的反馈指导是进一步提升图像处理质量 图像输人+特征提取+分类器的结构对于图像清的关键 晰度识别,视频异常判断等应用,需要多幅输人图 5)卷积神经网络应用的扩展 像综合分析才能得到识别结果.越来越多的视觉 近几年,CNN在目标检测、图像识别及处理 处理系统都采用多种具有互补特性的图像传感器等领域已经显示了巨大的优势然而,CNN的应用 来提高系统的可靠性和鲁棒性因此构造多图像领域还可以大大扩展正如2015年国际机器学习 输入的深度CN具有极高的理论和应用价值.另大会上的各国专家所指出的,CNN应用研究的中 外不同卷积层能够代表不同层次的图像特征信心未来将转移到模式识别以外的更广泛领域甚 息,通过构造不同层次的信息融合分层,可以方便至是探索一些人类难以完成的任务,继续研究新 地实现多传感视觉系统像素级特征级和决策级的理论和方法,突破存在的限制,更好的服务于各 的信息融合 行各业 2)提高卷积神经网络的泛化能力 实践中,具有类标号的数据较少,为每个数据
南华大学学报(自然科学版) ２０１６ 年 ９ 月 联 ＣＮＮ 实现车牌检测[２７] ꎬ通过引入级联结构ꎬ同 时提高检测准确率和检测效率.Ｚｈａｎｇ 等用基于贝 叶斯优化的搜索策略ꎬ目标检测框依次通过候选 区域ꎬ把具有明显定位不准确的目标训练 ＣＮＮꎬ 处理定位问题[２８] . ＣＮＮ 在视频识别还处于起步阶段ꎬ不过仍有 很多卓有成效的识别方法.Ｊｉ 等将 ３Ｄ 的视频看成 空域上的 ２Ｄ 信号ꎬ学习时空域相关性来获得帧 之间的关联特征ꎬ从而获得多个相邻帧间的运动 信息ꎬ实现行为识别[２９] .Ｋａｒｐａｔｈｙ 等用来自 ４８７ 类 的 １００ 万段 ＹｏｕＴｕｂｅ 视频构建了 Ｓｐｏｒｔｓ －１ Ｍ 数据 集ꎬ并训练了基于 ＣＮＮ 的大规模视频分类的经验 评估模型[３０] ꎬ其分类准确率可达 ６３.３％ꎬ比基于 人工特征 ５５.３％的识别率有明显提高.Ｌｉｕ 等基于 滤波器响应提出了对运动敏感的时空域深度卷积 神经网络[３１] ꎬ 可 以 很 好 的 检 测 到 视 频 的 运 动 特征. 在低层图像处理方面 ＣＮＮ 同样显示了其巨 大的潜力.Ｄｏｎｇ 等提出的超分辨率卷积神经网络 (ｓｕｐｅｒ￣ｒｅｓｏｌｕｔｉｏｎ ＣＮＮꎬ ＳＲＣＮＮ) [３２] ꎬ在低分辨率 图像和高分辨图像之间学习一个端对端映射ꎬ网 络结构简单却能提供优越的处理结果.此外ꎬＣＮＮ 在图像去噪[３３] 、图像反卷积[３４] 和图像修复[３５] 等 方向也展示了广阔的应用前景. ５ 卷积神经网络研究展望 深度卷积神经网络在图像处理和机器学习领 域的应用ꎬ 取得了突破性的进展ꎬ 体现了深度 ＣＮＮ 处理图像数据的优势.未来卷积神经网络将 会在以下五个方面进一步发展. １)多输入卷积神经网络 ＣＮＮ 主要用来实现传统的模式识别任务ꎬ性 能较传统模式有很大改进ꎬ但依然没有突破单个 图像输入＋特征提取＋分类器的结构.对于图像清 晰度识别ꎬ视频异常判断等应用ꎬ需要多幅输入图 像综合分析才能得到识别结果.越来越多的视觉 处理系统都采用多种具有互补特性的图像传感器 来提高系统的可靠性和鲁棒性.因此构造多图像 输入的深度 ＣＮＮ 具有极高的理论和应用价值.另 外不同卷积层能够代表不同层次的图像特征信 息ꎬ通过构造不同层次的信息融合分层ꎬ可以方便 地实现多传感视觉系统像素级、特征级和决策级 的信息融合. ２)提高卷积神经网络的泛化能力 实践中ꎬ具有类标号的数据较少ꎬ为每个数据 人工设置类标号是非常费时和枯燥的.然而ꎬ为了 使得监督卷积神经网络通过训练具有较高的泛化 能力ꎬ需要大量具有类标号的训练样本ꎬ这也是制 约临督卷积神经网络在实践中应用的主要因素. 因此ꎬ研究非监督或者半监督卷积神经网络是进 一步拓宽卷积神经网络应用的重要途径.另外还 可以利用核函数等结构最优化方法提高网络全连 接层的泛化能力. ３)神经网络的结构先验约束 ＣＮＮ 是仿生物视觉模型ꎬ其卷积核模拟视觉 细胞的功能.然而现有 ＣＮＮ 的结构与真实视觉结 构仍然有很大的不同.现存的 ＣＮＮ 模型的单个卷 积核内部各元素在训练的时候视为相互独立的ꎬ 如果能够将卷积核各像素之间的关系考虑进来ꎬ 充分发挥卷积核的优势ꎬ则隐层可以捕获更多的 特征信息ꎬ应该可以更好地表达和理解图像ꎬ在图 像重建及识别上可取得更好的效果.论文[３３] 也提 到ꎬ卷积层可视为具有非线性约束的特殊的稀疏 表示ꎬ利用 ＣＮＮ 的卷积层能对图像局部凸信息进 行特征提取ꎬ可以很好地解决图像融合的关键 问题. ４)高层输出对低层输出的反馈 ＣＮＮ 的网络结构由多个不同作用的节点层 构成ꎬ每个层次的输出特征图表示不同层次的源 图像特征.现有 ＣＮＮ 的应用往往更注重最终的识 别结果ꎬ而没有充分用到不同层次抽象级别的图 像特征.对于低层图像处理任务ꎬ综合利用不同层 次的图像特征可以有效改善处理效果ꎬ而利用高 层信息对低层信息进行反馈也是低层图像处理的 一个潮流.ＣＮＮ 的纵向多层结构为利用高层特征 指导低层图像融合提供了方便的途径.因此ꎬ研究 深度 ＣＮＮ 逐层特征之间的关系ꎬ制定高层信息对 低层信息的反馈指导是进一步提升图像处理质量 的关键. ５)卷积神经网络应用的扩展 近几年ꎬＣＮＮ 在目标检测、图像识别及处理 等领域已经显示了巨大的优势.然而ꎬＣＮＮ 的应用 领域还可以大大扩展.正如 ２０１５ 年国际机器学习 大会上的各国专家所指出的ꎬ ＣＮＮ 应用研究的中 心未来将转移到模式识别以外的更广泛领域ꎬ甚 至是探索一些人类难以完成的任务ꎬ继续研究新 的理论和方法ꎬ突破存在的限制ꎬ更好的服务于各 行各业. ７０
30卷第3 斌等:卷积神经网络的研究进展综述 6结论 image recognition[C]//Proceedings of the International Conference on Computer Vision and Pattern Recognitio 目前CN已成为机器学习领域中的一个研 Las Vegas, Nevada. IEEE, 2016: 770-778 究热点,其强大的建模和特征学习能力为模式识0 Krichevsky A,uner, linton G E Imagenet classi 别的瓶颈问题提供了高效的途径和思路,成功应 fication with deep convolutional neural networks[C/ 用于多种模式分类问题其本质是构建含有多隐 Proceeding of 26th annual conference on neural Infor- mation Processing System. Lake Tahoe, USA: MIT 层的网络模型,训练之后可以有效地捕获隐藏的 Press,20l2:1097-1105 数据内部结构得到大量更具代表性的特征信息,[1] Szegedy c,Limw,Jmy, et al. Going deeper with cor 从而对样本更高精度的分类和预测本文选择深 lutions[C// Proceedings of International Conferenc 度学习中最接近人类视觉系统的卷积神经网络, on Computer Vision and Pattern Recognition. Boston 介绍其基本原理,然后综述CNN最新的算法及应 USA: IEEE Computer Society, 2015: 1-9 用,最后结合自己的研究方向展望CNN用于多聚[12]王冠皓,徐军基于多级金字塔卷积神经网络 焦图像融合、多光谱图像融合等应用虽然CNN ( MLPCNN)的快速特征表示方法[J计算机应用研 还存在系统复杂欠稀疏性、训练时间长及依赖标 究,2015,32(8):2492-249 签数据等缺点,其强大的学习能力和巨大潜力表[13]mx.m, Ming x, et al. Efficient and a 明,如果能突破这一系列的难题,将大大加速推进 proximations of nonlinear convolutional networks[C]// Proceedings of the Conference on Computer Vision and 人工智能向前发展,更加广泛地应用在各个领域 Pattern Recognition. Columbus. USA. IEEE. 2014 1984-1992 参考文献: [14 Girshick R, Donahue J, Darrell T, et al. Rich feature hi- 1 Rumelhart D E, Hinton G E, Williams R J Learning rep- eparchies for accurate object detection and semantic resentations by back-propagating errors [J].Nature segmentation[ C]//Proceedings of the Conference on 1986,323(6088):533-536 Computer Vision and Pattern Recognition. Columbus [2] Bengio Y Deep Learning of Representations: looking for- USA:IEEE,2014:580-587 ard[J]. Lecture Notes in Computer Science, 2013, [15] Springenberg J T, Dosovitskiy A, Brox T, et al. Striving 7978 simplicity: the all convolutional net[C]/ [3]Bottou L, Bengio Y, Cun Y L Global training of document Proceedings of the 3rd International Conference on processing systems using grap Learning Representations ICLR ) San Diego, USA [C]//Proceedings of the IEEE Computer Society Con- IEEE- 2015. ference on Computer Vision and Pattern Recognition. San [16] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in Juan, Puerto Rico: IEEE, 1997: 489-494. deep convolutional networks for visual recognition[J] [4] HintonG E, Salakhutdinov RR. Reducing the dimension- IEEE Transactions on Pattern Analysis Machine In ality of data with neural networks[J].Science, 2006, 313 telligence,2015,37(9):1904-1916 (5786):504-507 [17]RippelO,Snoek J, Adams R PSpectral representations [5 Bengio Y Learning deep architectures for Al[M].Hano- convolutional neural networks [J]. Advances in ver: The Association for Computing Machinery, 2009 eural Information Processing Systems, 2015, 28(1) [6] Lecun Y, Bottou L, Bengio Y, et al. Gradient based arming applied to document recognition[ J] Proceedings [ 18] Zeiler M D, Krishnan D, Taylor G W, et al.Deconvolu of the Ieee,1998,86(11):2278-2324 tional networks[ C]//Proceedings of the IEEE Confer- [7 Hinton G E, Osindero S, Yw T A fast learning algorith ence on Computer Vision and Pattern Recognition. Cali- for deep belief nets [J]. Neural Computation, 2006, 18 fornia. USA. IEEE- 2010. 2528-2535 [19] Zeiler M D, Krishnan D, Taylor G W, et al. Adaptive de- [8] Deng L, Seltzer M, Yu D, et al. Binary coding of speech convolutional networks for mid and high level feature Proceedings of the 1lth Annual Conference on Interna on Computer Vision. Colorado Springs, USA: IEEE, 2011 tional Speech Communication Association. Chiba, Japan Makuhari,2010:1692-1695 [20]孙艳丰,齐光磊,胡永利基于改进 Fisher淮则的深 [9] He K M, Zhang X, Ren S, et al. Deep residual learning for 度卷积神经网络识别算法[J].北京工业大学学报
第 ３０ 卷第 ３ 期 杨 斌等:卷积神经网络的研究进展综述 ６ 结 论 目前 ＣＮＮ 已成为机器学习领域中的一个研 究热点ꎬ其强大的建模和特征学习能力为模式识 别的瓶颈问题提供了高效的途径和思路ꎬ成功应 用于多种模式分类问题.其本质是构建含有多隐 层的网络模型ꎬ训练之后可以有效地捕获隐藏的 数据内部结构ꎬ得到大量更具代表性的特征信息ꎬ 从而对样本更高精度的分类和预测.本文选择深 度学习中最接近人类视觉系统的卷积神经网络ꎬ 介绍其基本原理ꎬ然后综述 ＣＮＮ 最新的算法及应 用ꎬ最后结合自己的研究方向展望 ＣＮＮ 用于多聚 焦图像融合、多光谱图像融合等应用.虽然 ＣＮＮ 还存在系统复杂欠稀疏性、训练时间长及依赖标 签数据等缺点ꎬ其强大的学习能力和巨大潜力表 明ꎬ如果能突破这一系列的难题ꎬ将大大加速推进 人工智能向前发展ꎬ更加广泛地应用在各个领域. 参考文献: [１] Ｒｕｍｅｌｈａｒｔ Ｄ ＥꎬＨｉｎｔｏｎ Ｇ ＥꎬＷｉｌｌｉａｍｓ Ｒ Ｊ.Ｌｅａｒｎｉｎｇ ｒｅｐ￣ ｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｂａｃｋ￣ｐｒｏｐａｇａｔｉｎｇ ｅｒｒｏｒｓ [ Ｊ ]. Ｎａｔｕｒｅꎬ １９８６ꎬ３２３(６０８８):５３３￣５３６. [２] Ｂｅｎｇｉｏ Ｙ.Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｏｆ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ:ｌｏｏｋｉｎｇ ｆｏｒ￣ ｗａｒｄ [ Ｊ ]. Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅꎬ ２０１３ꎬ ７９７８:１￣３７. [３] Ｂｏｔｔｏｕ ＬꎬＢｅｎｇｉｏ ＹꎬＣｕｎ Ｙ Ｌ.Ｇｌｏｂａｌ ｔｒａｉｎｉｎｇ ｏｆ ｄｏｃｕｍｅｎｔ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ ｕｓｉｎｇ ｇｒａｐｈ ｔｒａｎｓｆｏｒｍｅｒ ｎｅｔｗｏｒｋｓ [Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎ￣ ｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ.Ｓａｎ ＪｕａｎꎬＰｕｅｒｔｏ Ｒｉｃｏ:ＩＥＥＥꎬ１９９７:４８９￣４９４. [４] Ｈｉｎｔｏｎ Ｇ ＥꎬＳａｌａｋｈｕｔｄｉｎｏｖ Ｒ Ｒ.Ｒｅｄｕｃｉｎｇ ｔｈｅ ｄｉｍｅｎｓｉｏｎ￣ ａｌｉｔｙ ｏｆ ｄａｔａ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ[Ｊ].Ｓｃｉｅｎｃｅꎬ２００６ꎬ３１３ (５７８６):５０４￣５０７. [５] Ｂｅｎｇｉｏ Ｙ.Ｌｅａｒｎｉｎｇ ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ ＡＩ[Ｍ].Ｈａｎｏ￣ ｖｅｒ:Ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ Ｍａｃｈｉｎｅｒｙꎬ２００９. [６] Ｌｅｃｕｎ Ｙꎬ Ｂｏｔｔｏｕ Ｌꎬ Ｂｅｎｇｉｏ Ｙꎬ ｅｔ ａｌ. Ｇｒａｄｉｅｎｔ ｂａｓｅｄ ｌｅａｒｎｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｄｏｃｕｍｅｎｔ ｒｅｃｏｇｎｉｔｉｏｎ[Ｊ].Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥꎬ１９９８ꎬ８６(１１):２２７８￣２３２４. [７] Ｈｉｎｔｏｎ Ｇ ＥꎬＯｓｉｎｄｅｒｏ ＳꎬＹｗ Ｔ.Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ [ Ｊ]. Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎꎬ ２００６ꎬ １８ (７):１５２７￣１５５４. [８] Ｄｅｎｇ ＬꎬＳｅｌｔｚｅｒ ＭꎬＹｕ Ｄꎬｅｔ ａｌ.Ｂｉｎａｒｙ ｃｏｄｉｎｇ ｏｆ ｓｐｅｅｃｈ ｓｐｅｃｔｒｏｇｒａｍｓ ｕｓｉｎｇ ａ ｄｅｅｐ ａｕｔｏ￣ｅｎｃｏｄｅｒ [ Ｃ ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １１ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｒｎａ￣ ｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ.ＣｈｉｂａꎬＪａｐａｎ: Ｍａｋｕｈａｒｉꎬ２０１０:１６９２￣１６９５. [９] Ｈｅ Ｋ ＭꎬＺｈａｎｇ ＸꎬＲｅｎ Ｓꎬｅｔ ａｌ.Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ. Ｌａｓ ＶｅｇａｓꎬＮｅｖａｄａ.ＩＥＥＥꎬ２０１６:７７０￣７７８. [１０] Ｋｒｉｚｈｅｖｓｋｙ ＡꎬＳｕｔｓｋｅｖｅｒ ＩꎬＨｉｎｔｏｎ Ｇ Ｅ.Ｉｍａｇｅｎｅｔ ｃｌａｓｓｉ￣ ｆｉｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ２６ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒ￣ ｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍ. Ｌａｋｅ Ｔａｈｏｅꎬ ＵＳＡ: ＭＩＴ Ｐｒｅｓｓꎬ２０１２:１０９７￣１１０５. [１１] Ｓｚｅｇｅｄｙ ＣꎬＬｉｕ ＷꎬＪｉａ Ｙꎬｅｔ ａｌ.Ｇｏｉｎｇ ｄｅｅｐｅｒ ｗｉｔｈ ｃｏｎｖｏ￣ ｌｕｔｉｏｎｓ[ Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ. Ｂｏｓｔｏｎꎬ ＵＳＡ:ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙꎬ２０１５:１￣９. [１２] 王 冠 皓ꎬ 徐 军. 基 于 多 级 金 字 塔 卷 积 神 经 网 络 (ＭＬＰＣＮＮ)的快速特征表示方法[Ｊ].计算机应用研 究ꎬ２０１５ꎬ３２(８):２４９２￣２４９５. [１３] Ｚｈａｎｇ ＸꎬＺｏｕ ＪꎬＭｉｎｇ Ｘꎬｅｔ ａｌ.Ｅｆｆｉｃｉｅｎｔ ａｎｄ ａｃｃｕｒａｔｅ ａｐ￣ ｐｒｏｘｉｍａｔｉｏｎｓ ｏｆ ｎｏｎｌｉｎｅａｒ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ. Ｃｏｌｕｍｂｕｓꎬ ＵＳＡ: ＩＥＥＥꎬ ２０１４: １９８４￣１９９２. [１４] Ｇｉｒｓｈｉｃｋ ＲꎬＤｏｎａｈｕｅ ＪꎬＤａｒｒｅｌｌ Ｔꎬｅｔ ａｌ.Ｒｉｃｈ ｆｅａｔｕｒｅ ｈｉ￣ ｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ[ Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ. Ｃｏｌｕｍｂｕｓꎬ ＵＳＡ:ＩＥＥＥꎬ２０１４:５８０￣５８７. [１５] Ｓｐｒｉｎｇｅｎｂｅｒｇ Ｊ ＴꎬＤｏｓｏｖｉｔｓｋｉｙ ＡꎬＢｒｏｘ Ｔꎬｅｔ ａｌ. Ｓｔｒｉｖｉｎｇ ｆｏｒ ｓｉｍｐｌｉｃｉｔｙ: ｔｈｅ ａｌｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔ [ Ｃ ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ( ＩＣＬＲ)ꎬ Ｓａｎ Ｄｉｅｇｏꎬ ＵＳＡ: ＩＥＥＥꎬ２０１５. [１６] Ｈｅ ＫꎬＺｈａｎｇ ＸꎬＲｅｎ Ｓꎬｅｔ ａｌ.Ｓｐａｔｉａｌ ｐｙｒａｍｉｄ ｐｏｏｌｉｎｇ ｉｎ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｓｕａｌ ｒｅｃｏｇｎｉｔｉｏｎ[ Ｊ]. ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎ￣ ｔｅｌｌｉｇｅｎｃｅꎬ２０１５ꎬ３７(９):１９０４￣１９１６. [１７] Ｒｉｐｐｅｌ ＯꎬＳｎｏｅｋ ＪꎬＡｄａｍｓ Ｒ Ｐ.Ｓｐｅｃｔｒａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｏｒ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ [ Ｊ ]. Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓꎬ２０１５ꎬ２８ ( １): ２４４０￣２４４８. [１８] Ｚｅｉｌｅｒ Ｍ ＤꎬＫｒｉｓｈｎａｎ ＤꎬＴａｙｌｏｒ Ｇ Ｗꎬｅｔ ａｌ.Ｄｅｃｏｎｖｏｌｕ￣ ｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒ￣ ｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ.Ｃａｌｉ￣ ｆｏｒｎｉａꎬＵＳＡ:ＩＥＥＥꎬ２０１０:２５２８￣２５３５. [１９] Ｚｅｉｌｅｒ Ｍ ＤꎬＫｒｉｓｈｎａｎ ＤꎬＴａｙｌｏｒ Ｇ Ｗꎬｅｔ ａｌ.Ａｄａｐｔｉｖｅ ｄｅ￣ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｉｄ ａｎｄ ｈｉｇｈ ｌｅｖｅｌ ｆｅａｔｕｒｅ ｌｅａｒｎｉｎｇ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ.Ｃｏｌｏｒａｄｏ ＳｐｒｉｎｇｓꎬＵＳＡ:ＩＥＥＥꎬ２０１１: ２０１８￣２０２５. [２０] 孙艳丰ꎬ齐光磊ꎬ胡永利.基于改进 Ｆｉｓｈｅｒ 准则的深 度卷积神经网络识别算法[ Ｊ].北京工业大学学报ꎬ ７１
南华大学学报(自然科学版) 016年9月 2015,41(6):835-841 optimizationandstructuredprediction[j].computer [21]Girshick R, Donahue J, Darrell T, et al. Rich feature hi- Sclence,2015,8(1):132-132. erarchies for accurate object detection and semantic [29]Ji S, Yang M, Yu K 3D convolutional neural networks tation[C]//Proceedings of the IEEE conference for human action recognition[J]. IEEE Transactions on on computer vision and pattern recognition, Columbus Pattern Analysis and Machine Intelligence, 2013, 35 Ohio. USA: IEEE- 2014. 580-587 (1):221-231. [22] Girshick R, Girshick R Fast R-CNN[ C]//Proceedings [30 Karpathy A, Toderici G, Shetty S, et al. Large-scale video of the International Conference on Computer Vision. Co- classification with convolutional neural Networks [C]// penhagen, Denmark: IEEE, 2015: 1440-1448 Proceedings of the IEEE Conference on Computer Vision [23Mohamed A R, Dahl G E, Hinton G Acoustic modelin and Pattern Recognition. Columbus. USA, IEEE. 2014 using deep belief networks [J]. IEEE Transactions on Audio Speech and Language Processing,2012,20(1):[31]刘琮,许维胜,吴启迪时空域深度卷积神经网络及 14-22. 其在行为识别上的应用[J].计算机科学,2015,42 [24]Ossama A H, Mohamedz A R, Jiang Hui, et al. Applying (7):245-249 convolutional neural networks concepts to hybrid NN- [32] Dong C, Chen C L, He K, et al. Learning a deep convo- HMM model for speech recognition[C]//Processings of ion[C]//P ceedings of the European Conference on Computer Vi Processing. Kyoto, Japan: IEEE, 2012: 4277-4280. sion.Zurich: Springer, 2014: 184-199 [25]Ossama A H, Mohamedz A R, Jiang Hui, et al. Convolu. [33] Jain V, Seung H S Natural image denoising with convo- tional neural networks for speech recognition[J].IEEE lutioanl networks[ C]//Proceedings of the 28th Annual Conference on Neural Information Processing Systen processing,2014,22(10):15331545. Montreal Canada. MIT Press. 2015 [26] Sun Y, Wang X, Tang X Deep convolutional network [34] Xu L, Ren S J, Liu Ce, et al. Deep convolutional neural cascade for facial point detection[ C]//Proceedings of network for image deconvolution[ C]//Proceedings of the the IEEE Conference on Computer Vision and Pattem 27th Annual Conference on Neural Information Processing Recognition Portland USA: IEEE. 2013. 3476-3483. Systems. Montreal, Canada: MIT, 2014: 1790-1798 [27]闫鹏,牛常勇,范明基于级联卷积网络的自然场景[35] Ren s j,xuL,YanQ,eta. Shepard convolutional 下的车牌检测[J]计算机工程与设计,2014,35 neural networks[ C]//Proceedings of the 28th Annual (12):4296-4301 Conference on Neural Information Processing Syster [28 Zhang Y, Sohn K, Villegas R, et al. Improving object de- Montreal Canada. MIT. 2015 ection with deep convolutional networks via Bayesian
南华大学学报(自然科学版) ２０１６ 年 ９ 月 ２０１５ꎬ４１(６):８３５￣８４１. [２１] Ｇｉｒｓｈｉｃｋ ＲꎬＤｏｎａｈｕｅ ＪꎬＤａｒｒｅｌｌ Ｔꎬｅｔ ａｌ.Ｒｉｃｈ ｆｅａｔｕｒｅ ｈｉ￣ ｅｒａｒｃｈｉｅｓ ｆｏｒ ａｃｃｕｒａｔｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎꎬＣｏｌｕｍｂｕｓꎬ ＯｈｉｏꎬＵＳＡ:ＩＥＥＥꎬ２０１４:５８０￣５８７. [２２] Ｇｉｒｓｈｉｃｋ ＲꎬＧｉｒｓｈｉｃｋ Ｒ.Ｆａｓｔ Ｒ￣ＣＮＮ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ.Ｃｏ￣ ｐｅｎｈａｇｅｎꎬＤｅｎｍａｒｋ:ＩＥＥＥꎬ２０１５:１４４０￣１４４８. [２３] Ｍｏｈａｍｅｄ Ａ ＲꎬＤａｈｌ Ｇ ＥꎬＨｉｎｔｏｎ Ｇ.Ａｃｏｕｓｔｉｃ ｍｏｄｅｌｉｎｇ ｕｓｉｎｇ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ [ Ｊ]. ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇꎬ２０１２ꎬ２０(１): １４￣２２. [２４] Ｏｓｓａｍａ Ａ ＨꎬＭｏｈａｍｅｄｚ Ａ ＲꎬＪｉａｎｇ Ｈｕｉꎬｅｔ ａｌ.Ａｐｐｌｙｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｃｏｎｃｅｐｔｓ ｔｏ ｈｙｂｒｉｄ ＮＮ￣ ＨＭＭ ｍｏｄｅｌ ｆｏｒ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ[Ｃ] / / Ｐｒｏｃｅｓｓｉｎｇｓ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＡｃｏｕｓｔｉｃｓꎬＳｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ.ＫｙｏｔｏꎬＪａｐａｎ:ＩＥＥＥꎬ２０１２:４２７７￣４２８０. [２５] Ｏｓｓａｍａ Ａ ＨꎬＭｏｈａｍｅｄｚ Ａ ＲꎬＪｉａｎｇ Ｈｕｉꎬｅｔ ａｌ.Ｃｏｎｖｏｌｕ￣ ｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ[ Ｊ].ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏꎬ Ｓｐｅｅｃｈꎬ ａｎｄ Ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇꎬ２０１４ꎬ２２(１０):１５３３￣１５４５. [２６] Ｓｕｎ ＹꎬＷａｎｇ ＸꎬＴａｎｇ Ｘ. Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ ｃａｓｃａｄｅ ｆｏｒ ｆａｃｉａｌ ｐｏｉｎｔ ｄｅｔｅｃｔｉｏｎ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ.ＰｏｒｔｌａｎｄꎬＵＳＡ:ＩＥＥＥꎬ２０１３:３４７６￣３４８３. [２７] 闫鹏ꎬ牛常勇ꎬ范明.基于级联卷积网络的自然场景 下的车牌检测 [ Ｊ]. 计算机工程与设计ꎬ ２０１４ꎬ ３５ (１２):４２９６￣４３０１. [２８] Ｚｈａｎｇ ＹꎬＳｏｈｎ ＫꎬＶｉｌｌｅｇａｓ Ｒꎬｅｔ ａｌ.Ｉｍｐｒｏｖｉｎｇ ｏｂｊｅｃｔ ｄｅ￣ ｔｅｃｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｖｉａ Ｂａｙｅｓｉａｎ ｏｐｔｉｍｉｚａｔｉｏｎ ａｎｄ ｓｔｒｕｃｔｕｒｅｄ ｐｒｅｄｉｃｔｉｏｎ [ Ｊ ]. Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅꎬ２０１５ꎬ８(１):１３２￣１３２. [２９] Ｊｉ ＳꎬＹａｎｇ ＭꎬＹｕ Ｋ.３Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ[ Ｊ].ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅꎬ ２０１３ꎬ ３５ (１):２２１￣２３１. [３０] Ｋａｒｐａｔｈｙ ＡꎬＴｏｄｅｒｉｃｉ ＧꎬＳｈｅｔｔｙ Ｓꎬｅｔ ａｌ.Ｌａｒｇｅ￣ｓｃａｌｅ ｖｉｄｅｏ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ [Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ. Ｃｏｌｕｍｂｕｓꎬ ＵＳＡ: ＩＥＥＥꎬ ２０１４: １７２５￣１７３２. [３１] 刘琮ꎬ许维胜ꎬ吴启迪.时空域深度卷积神经网络及 其在行为识别上的应用[ Ｊ].计算机科学ꎬ２０１５ꎬ４２ (７):２４５￣２４９. [３２] Ｄｏｎｇ ＣꎬＣｈｅｎ Ｃ ＬꎬＨｅ Ｋꎬｅｔ ａｌ.Ｌｅａｒｎｉｎｇ ａ ｄｅｅｐ ｃｏｎｖｏ￣ ｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｉｍａｇｅ ｓｕｐｅｒ￣ｒｅｓｏｌｕｔｉｏｎ [ Ｃ] / / Ｐｒｏ￣ ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉ￣ ｓｉｏｎ.Ｚｕｒｉｃｈ:Ｓｐｒｉｎｇｅｒꎬ２０１４:１８４￣１９９. [３３] Ｊａｉｎ ＶꎬＳｅｕｎｇ Ｈ Ｓ.Ｎａｔｕｒａｌ ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ｗｉｔｈ ｃｏｎｖｏ￣ ｌｕｔｉｏａｎｌ ｎｅｔｗｏｒｋｓ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２８ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ. Ｍｏｎｔｒｅａｌ Ｃａｎａｄａ:ＭＩＴ Ｐｒｅｓｓꎬ２０１５. [３４] Ｘｕ ＬꎬＲｅｎ Ｓ ＪꎬＬｉｕ Ｃｅꎬｅｔ ａｌ.Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｉｍａｇｅ ｄｅｃｏｎｖｏｌｕｔｉｏｎ[Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ.ＭｏｎｔｒｅａｌꎬＣａｎａｄａ:ＭＩＴꎬ２０１４:１７９０￣１７９８. [３５] Ｒｅｎ Ｓ Ｊꎬ Ｘｕ Ｌꎬ Ｙａｎ Ｑꎬ ｅｔ ａｌ. Ｓｈｅｐａｒｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ[ Ｃ] / / Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２８ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ. ＭｏｎｔｒｅａｌꎬＣａｎａｄａ:ＭＩＴꎬ２０１５. ７２