·574· 智能系统学报 第11卷 度学习的对抗样本问题仍然是待解决的难题之一。 Jiangsu university:natural science editions,2015,36(2): 191-200. 4结束语 [8]LECUN Y,JACKEL L D,BOTTOU L,et al.Learning al- 本文详细描述了几种典型的深度学习模型的构 gorithms for classification:a comparison on handwritten digit 造原理，以及训练方法。并且，对近3年深度学习在 recognition[M]//OH J H,KWON C,CHO S.Neural Net- 各个领域的应用进行了概括。最后，在现有深度学 works:The Statistical Mechanics Perspective.Singapore: World Scientific,1995:261-276. 习模型的基础上讨论了深度学习面临的桃战。 [9]陈先昌.基于卷积神经网络的深度学习算法与应用研究 深度学习自提出以来已经在许多领域取得了突 [D].杭州：浙江工商大学，2014. 破性的进展。但是，在深度学习实际应用的过程中， CHEN Xianchang.Research on algorithm and application of 往往为了要构造合适的深度学习模型而大费周章。 deep learning based on convolutional neural network [D] 因为目前的深度学习模型大部分是为了解决某一特 Hangzhou,China:Zhejiang Gongshang University,2014. 定问题，而量身定做的。如果用于解决其他问题，效 [10]李卫.深度学习在图像识别中的研究及应用[D].武 果往往不尽如人意。今后研究者们能否通过改进结 汉：武汉理工大学，2014. 构与算法，研究出一种可以应对大部分问题深度学 LI Wei.The research and application of deep learning in 习算法，这是未来要思考的难题。 image recognition[D].Wuhan:Wuhan University of Tech- nology,2014. 参考文献： [11]JI Shuiwang,XU Wei,YANG Ming,et al.3D convolu- tional neural networks for human action recognition J]. [1]LECUN Y,BENGIO Y,HINTON G.Deep learning J]. IEEE transactions on pattern analysis and machine intelli- Nature,2015,521(7553):436-444. gence,2013,35(1):221-231. [2]林妙真.基于深度学习的人脸识别研究[D].大连：大连 [12]BRUNA J,ZAREMBA W,SZLAM A,et al.Spectral net- 理工大学，2013 works and locally connected networks on graphs[EB/OL]. LIN Miaozhen.Research on face recognition based on deep Eprint Arxiv:Aiv,2013.[2014-10-10]http:/120.52 learning[D].Dalian,China:Dalian University of Technol- 73.79/axiv.org/pdf/1312.6203v3.pdf. 0,2013. [13 FAN Haoqiang,CAO Zhimin,JIANG Yuning,et al. [3]HINTON G E,SALAKHUTDINOV RR.Reducing the di- Learning deep face representation[EB/OL].Eprint Arx- mensionality of data with neural networks J].Science, iw:Axiv,2014.[2014-10-10]http://120.52.73.80/ 2006,313(5786)：504-507. arxiv.org/pdf/1403.2802v1.pdf. [4]刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机 [14]王冠皓，徐军.基于多级金字塔卷积神经网络的快速特 应用研究，2014,31(7)：1921-1930,1942 征表示方法[J].计算机应用研究，2015,32(8)：2492- LIU Jianwei,LIU Yuan,LUO Xionglin.Research and de- 2495. velopment on deep learning[J].Application research of WANG Guanhao,XU Jun.Fast feature representation computers,2014,31(7):1921-1930,1942. method based on multi-level pyramid convolution neural [5]余滨，李绍滋，徐素霞，等.深度学习：开启大数据时代 network[J].Application research of computers,2015,32 的钥匙[J].工程研究-跨学科视野中的工程，2014,6 (8):2492-2495. (3):233-243. [15]LEE H,GROSSE R,RANGANATH R,et al.Convolu- YU Bin,LI Shaozi,XU Suxia,et al.Deep learning:a key tional deep belief networks for scalable unsupervised learn- of stepping into the era of big data[]]Journal of engineer- ing of hierarchical representations[C]//Proceedings of the ing studies,.2014,6(3):233-243. 26th Annual International Conference on Machine Learn- [6]尹宝才，王文通，王立春.深度学习研究综述[J].北京 ing.New York,NY,USA,2009:609-616. 工业大学学报.2015,41(1)：48-59. [16]LEE H,EKANADHAM C,NG A Y.Sparse deep belief YIN Biaocai,WANG Wentong,WANG Lichun.Review of net model for visual area V2[C]//Advances in Neural In- deep leaming[J].Journal of Beijing university of technolo- formation Processing Systems 20:21st Annual Conference ,2015,41(1):48-59. on Neural Information Processing Systems.Vancouver, [7]张建明，詹智财，成科扬，等.深度学习的研究与发展 British Columbia,Canada,2007:873-880. [J].江苏大学学报：自然科学版，2015,36(2)：191- [17]罗恒.基于协同过滤视角的受限玻尔兹曼机研究[D]。 200. 上海：上海交通大学，2011. ZHANG Jianming,ZHAN Zhicai,CHENG Keyang,et al. LUO Heng.Restricted Boltzmann machines:a collaborative Review on development of deep learning [J].Journal of filtering perspective[D].Shanghai,China:Shanghai Jiao度学习的对抗样本问题仍然是待解决的难题之一。 ４ 结束语 本文详细描述了几种典型的深度学习模型的构 造原理，以及训练方法。 并且，对近 ３ 年深度学习在 各个领域的应用进行了概括。 最后，在现有深度学 习模型的基础上讨论了深度学习面临的挑战。 深度学习自提出以来已经在许多领域取得了突 破性的进展。 但是，在深度学习实际应用的过程中， 往往为了要构造合适的深度学习模型而大费周章。 因为目前的深度学习模型大部分是为了解决某一特 定问题，而量身定做的。 如果用于解决其他问题，效 果往往不尽如人意。 今后研究者们能否通过改进结 构与算法，研究出一种可以应对大部分问题深度学 习算法，这是未来要思考的难题。 参考文献： ［１］ ＬＥＣＵＮ Ｙ， ＢＥＮＧＩＯ Ｙ， ＨＩＮＴＯＮ Ｇ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ ［ Ｊ］． Ｎａｔｕｒｅ， ２０１５， ５２１（７５５３）： ４３６⁃４４４． ［２］林妙真． 基于深度学习的人脸识别研究［Ｄ］． 大连： 大连 理工大学， ２０１３． ＬＩＮ Ｍｉａｏｚｈｅｎ． Ｒｅｓｅａｒｃｈ ｏｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｄ］． Ｄａｌｉａｎ， Ｃｈｉｎａ： Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌ⁃ ｏｇｙ， ２０１３． ［３］ ＨＩＮＴＯＮ Ｇ Ｅ， ＳＡＬＡＫＨＵＴＤＩＮＯＶ Ｒ Ｒ． Ｒｅｄｕｃｉｎｇ ｔｈｅ ｄｉ⁃ ｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｄａｔａ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ［ Ｊ ］． Ｓｃｉｅｎｃｅ， ２００６， ３１３（５７８６）： ５０４⁃５０７． ［４］刘建伟， 刘媛， 罗雄麟． 深度学习研究进展［ Ｊ］． 计算机 应用研究， ２０１４， ３１（７）： １９２１⁃１９３０， １９４２． ＬＩＵ Ｊｉａｎｗｅｉ， ＬＩＵ Ｙｕａｎ， ＬＵＯ Ｘｉｏｎｇｌｉｎ． Ｒｅｓｅａｒｃｈ ａｎｄ ｄｅ⁃ ｖｅｌｏｐｍｅｎｔ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ［ Ｊ］． Ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ ｏｆ ｃｏｍｐｕｔｅｒｓ， ２０１４， ３１（７）： １９２１⁃１９３０， １９４２． ［５］余滨， 李绍滋， 徐素霞， 等． 深度学习： 开启大数据时代 的钥匙［ Ｊ］． 工程研究⁃跨学科视野中的工程， ２０１４， ６ （３）： ２３３⁃２４３． ＹＵ Ｂｉｎ， ＬＩ Ｓｈａｏｚｉ， ＸＵ Ｓｕｘｉａ， ｅｔ ａｌ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ： ａ ｋｅｙ ｏｆ ｓｔｅｐｐｉｎｇ ｉｎｔｏ ｔｈｅ ｅｒａ ｏｆ ｂｉｇ ｄａｔａ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｅｎｇｉｎｅｅｒ⁃ ｉｎｇ ｓｔｕｄｉｅｓ， ２０１４， ６（３）： ２３３⁃２４３． ［６］尹宝才， 王文通， 王立春． 深度学习研究综述［ Ｊ］． 北京 工业大学学报， ２０１５， ４１（１）： ４８⁃５９． ＹＩＮ Ｂｉａｏｃａｉ， ＷＡＮＧ Ｗｅｎｔｏｎｇ， ＷＡＮＧ Ｌｉｃｈｕｎ． Ｒｅｖｉｅｗ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ ｕｎｉｖｅｒｓｉｔｙ ｏｆ ｔｅｃｈｎｏｌｏ⁃ ｇｙ， ２０１５， ４１（１）： ４８⁃５９． ［７］张建明， 詹智财， 成科扬， 等． 深度学习的研究与发展 ［Ｊ］． 江苏大学学报： 自然科学版， ２０１５， ３６（ ２）： １９１⁃ ２００． ＺＨＡＮＧ Ｊｉａｎｍｉｎｇ， ＺＨＡＮ Ｚｈｉｃａｉ， ＣＨＥＮＧ Ｋｅｙａｎｇ， ｅｔ ａｌ． Ｒｅｖｉｅｗ ｏｎ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ［ Ｊ ］． Ｊｏｕｒｎａｌ ｏｆ Ｊｉａｎｇｓｕ ｕｎｉｖｅｒｓｉｔｙ： ｎａｔｕｒａｌ ｓｃｉｅｎｃｅ ｅｄｉｔｉｏｎｓ， ２０１５， ３６（２）： １９１⁃２００． ［８］ＬＥＣＵＮ Ｙ， ＪＡＣＫＥＬ Ｌ Ｄ， ＢＯＴＴＯＵ Ｌ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ａｌ⁃ ｇｏｒｉｔｈｍｓ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ： ａ ｃｏｍｐａｒｉｓｏｎ ｏｎ ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔ ｒｅｃｏｇｎｉｔｉｏｎ［Ｍ］ ／ ／ ＯＨ Ｊ Ｈ， ＫＷＯＮ Ｃ， ＣＨＯ Ｓ． Ｎｅｕｒａｌ Ｎｅｔ⁃ ｗｏｒｋｓ： Ｔｈｅ Ｓｔａｔｉｓｔｉｃａｌ Ｍｅｃｈａｎｉｃｓ Ｐｅｒｓｐｅｃｔｉｖｅ． Ｓｉｎｇａｐｏｒｅ： Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ， １９９５： ２６１⁃２７６． ［９］陈先昌． 基于卷积神经网络的深度学习算法与应用研究 ［Ｄ］． 杭州： 浙江工商大学， ２０１４． ＣＨＥＮ Ｘｉａｎｃｈａｎｇ． Ｒｅｓｅａｒｃｈ ｏｎ ａｌｇｏｒｉｔｈｍ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ［ Ｄ］． Ｈａｎｇｚｈｏｕ， Ｃｈｉｎａ： Ｚｈｅｊｉａｎｇ Ｇｏｎｇｓｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２０１４． ［１０］李卫． 深度学习在图像识别中的研究及应用［Ｄ］． 武 汉： 武汉理工大学， ２０１４． ＬＩ Ｗｅｉ． Ｔｈｅ ｒｅｓｅａｒｃｈ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｄ］． Ｗｕｈａｎ： Ｗｕｈａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈ⁃ ｎｏｌｏｇｙ， ２０１４． ［１１］ ＪＩ Ｓｈｕｉｗａｎｇ， ＸＵ Ｗｅｉ， ＹＡＮＧ Ｍｉｎｇ， ｅｔ ａｌ． ３Ｄ ｃｏｎｖｏｌｕ⁃ ｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉ⁃ ｇｅｎｃｅ， ２０１３， ３５（１）： ２２１⁃２３１． ［１２］ＢＲＵＮＡ Ｊ， ＺＡＲＥＭＢＡ Ｗ， ＳＺＬＡＭ Ａ， ｅｔ ａｌ． Ｓｐｅｃｔｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ ａｎｄ ｌｏｃａｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋｓ ｏｎ ｇｒａｐｈｓ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ，２０１３． ［ ２０１４⁃１０⁃１０］ ｈｔｔｐ： ／ ／ １２０．５２． ７３．７９ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １３１２．６２０３ｖ３．ｐｄｆ． ［ １３ ］ ＦＡＮ Ｈａｏｑｉａｎｇ， ＣＡＯ Ｚｈｉｍｉｎ， ＪＩＡＮＧ Ｙｕｎｉｎｇ， ｅｔ ａｌ． Ｌｅａｒｎｉｎｇ ｄｅｅｐ ｆａｃｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘ⁃ ｉｖ： Ａｒｘｉｖ， ２０１４． ［２０１４－１０－１０］ ｈｔｔｐ： ／ ／ １２０．５２．７３．８０ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １４０３．２８０２ｖ１．ｐｄｆ． ［１４］王冠皓， 徐军． 基于多级金字塔卷积神经网络的快速特 征表示方法［Ｊ］． 计算机应用研究， ２０１５， ３２（８）： ２４９２⁃ ２４９５． ＷＡＮＧ Ｇｕａｎｈａｏ， ＸＵ Ｊｕｎ． Ｆａｓｔ ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｍｕｌｔｉ⁃ｌｅｖｅｌ ｐｙｒａｍｉｄ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｊ］． Ａｐｐｌｉｃａｔｉｏｎ ｒｅｓｅａｒｃｈ ｏｆ ｃｏｍｐｕｔｅｒｓ， ２０１５， ３２ （８）： ２４９２⁃２４９５． ［１５］ ＬＥＥ Ｈ， ＧＲＯＳＳＥ Ｒ， ＲＡＮＧＡＮＡＴＨ Ｒ， ｅｔ ａｌ． Ｃｏｎｖｏｌｕ⁃ ｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｃａｌａｂｌｅ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎ⁃ ｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２６ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎ⁃ ｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００９： ６０９⁃６１６． ［１６］ＬＥＥ Ｈ， ＥＫＡＮＡＤＨＡＭ Ｃ， ＮＧ Ａ Ｙ． Ｓｐａｒｓｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔ ｍｏｄｅｌ ｆｏｒ ｖｉｓｕａｌ ａｒｅａ Ｖ２［Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎ⁃ ｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２０： ２１ｓｔ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ， Ｃａｎａｄａ， ２００７： ８７３⁃８８０． ［１７］罗恒． 基于协同过滤视角的受限玻尔兹曼机研究［Ｄ］． 上海： 上海交通大学， ２０１１． ＬＵＯ Ｈｅｎｇ． Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ： ａ ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇ ｐｅｒｓｐｅｃｔｉｖｅ［Ｄ］． Ｓｈａｎｇｈａｉ， Ｃｈｉｎａ： Ｓｈａｎｇｈａｉ Ｊｉａｏ ·５７４· 智 能 系 统 学 报 第 １１ 卷