第5期 刘帅师，等：深度学习方法研究新进展 ·575· Tong University,2011 Artificial Neural Networks,Part I.Berlin Heidelberg,Ger- [18]LAROCHELLE H,BENGIO Y.Classification using dis- many,2011:52.59. criminative restricted Boltzmann machines [Cl//Proceed- [29]王雅思.深度学习中的自编码器的表达能力研究[D] ings of the 25th International Conference on Machine 哈尔滨：哈尔滨工业大学，2014。 Learning.New York,NY,USA,2008:536-543 WANG Yasi.Representation ability research of auto-en- [19]张春霞，姬楠楠，王冠伟.受限波尔兹曼机[J].工程数 coders in deep learning[D].Harbin:Harbin Institute of 学学报，2015,32(2)：159-173 Technology,2014. ZHANG Chunxia,JI Nannan,WANG Guanwei.Restricted [30]李远豪.基于深度自编码器的人脸美丽吸引力预测研 Boltzmann machines[J].Chinese journal of engineering 究[D].江门：五色大学，2014 mathematics,2015,32(2):159-173 LI Yuanhao.A study for facial beauty attractiveness predic- [20]刘银华.LBP和深度信念网络在非限制条件下人脸识 tion based on deep autoencoder[D].Jiangmen:Wuyi Uni- 别研究[D].江门：五邑大学，2014. versity,2014. LIU Yinhua.The research of face recognition under uncon- [31]林洲汉.基于自动编码机的高光谱图像特征提取及分 strained condition via LBP and deep belief network [D]. 类方法研究[D].哈尔滨：哈尔滨工业大学，2014. Jiangmen:Wuyi University,2014. LIN Zhouhan.Hyperspectral image feature extraction and [21]LEE H,GROSSE R,RANGANATH R,et al.Unsuper- classification based on autoencoders[D].Harbin:Harbin vised learning of hierarchical representations with convolu- Institute of Technology,2014. tional deep belief networks [J].Communications of the [32]曲建岭，杜辰飞，邸亚洲，等.深度自动编码器的研究 ACM.2011,54(10):95-103. 与展望[J].计算机与现代化.2014(8)：128-134. [22]HALKIAS X C,PARIS S,GLOTIN H.Sparse penalty in QU Jianling,DU Chenfei,DI Yazhou,et al.Research and deep belief networks:using the mixed norm constraint prospect of deep auto-encoders[J].Jisuanji yu xiandaihua, [EB/oL].[2014-05-08].http://axiv.org/pdf/1301. 2014(8):128-134. 3533.pdf. [33]林少飞，盛惠兴，李庆武.基于堆叠稀疏自动编码器的 [23]LIU Yan,ZHOU Shusen,CHEN Qingcai.Discriminative 手写数字分类[J].微处理机，2015(1)：47-51. deep belief networks for visual data classification[]].Pat- LIN Shaofei,SHENG Huixing,LI Qingwu.Handwritten tern recognition,2011,44(10/11):2287-2296. digital classification based on the stacked sparse autoencod- [24]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识 ers[J].Microprocessors,2015(1):47-51. 别中的新进展[J].中国图象图形学报，2014,19(2)： [34]陈硕.深度学习神经网络在语音识别中的应用研究 175-184. [D].广州：华南理工大学，2013. ZHENG Yin,CHEN Quanqi,ZHANG Yujin.Deep learn- CHEN Shuo.Research of deep learning neural networks ing and its new progress in object and behavior recognition applications in speech recognition[D].Guangzhou,Chi- [J].Journal of image and graphics,2014,19(2):175- na:South China University of Technology,2013. 184. [35]郭丽丽，丁世飞.深度学习研究进展[J刀].计算机科学， [25]VINCENT P,LAROCHELLE H,BENGIO Y,et al.Ex- 2015,42(5):28-33. tracting and composing robust features with denoising au- GOU Lili,DING Shifei.Research progress on deep learn- toencoders [C]//Proceedings of the 25th International ing[J].Computer science,2015,42(5):28-33. Conference on Machine Learning.New York,NY,USA, [36]VAN DEN OORD A,DIELEMAN S,SCHRAUWEN B. 2008:1096-1103. Deep content-based music recommendation M]//Ad- 26]BENGIO Y,LAMBLIN P,POPOVICI D,et al.Greedy vances in Neural Information Processing Systems 26:27th layer-wise training of deep networks [C]//Advances in Annual Conference on Neural Information Processing Sys- Neural Information Processing Systems 19:20th Annual tems.Lake Tahoe,2013:2643-2651. Conference on Neural Information Processing Systems. [37]HANNUN A,CASE C,CASPER J,et al.Deep speech: Vancouver,British Columbia,Canada,2006:153-160. scaling up end-to-end speech recognition[EB/OL].Eprint [27]RIFAI S,VINCENT P,MULLER X,et al.Contractive Arxiv:Arxiv,2014.[2014-12-19]https://arxiv.org/pdf/ auto-encoders:explicit invariance during feature extraction 1412.5567v2.pdf. [C]//Proceedings of the 28th Intemational Conference on [38]余凯，贾磊，陈雨强.深度学习的昨天、今天和明天 Machine Learning.Bellevue,WA,USA,2011. [J].计算机研究与发展，2013,50(9)：1799-1804. [28]MASCI J,MEIER U,CIRESAN D,et al.Stacked convo- YU Kai,JIA Lei,CHEN Yuqiang.Deep learning:yester- lutional auto-encoders for hierarchical feature extraction day,today,and tomorrow[J ]Journal of computer re- [C]//Proceedings of the 21st International Conference on search and development,2013,50(9):1799-1804Ｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２０１１． ［１８］ ＬＡＲＯＣＨＥＬＬＥ Ｈ， ＢＥＮＧＩＯ Ｙ． Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｄｉｓ⁃ ｃｒｉｍｉｎａｔｉｖｅ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄ⁃ ｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００８： ５３６⁃５４３． ［１９］张春霞， 姬楠楠， 王冠伟． 受限波尔兹曼机［Ｊ］． 工程数 学学报， ２０１５， ３２（２）： １５９⁃１７３． ＺＨＡＮＧ Ｃｈｕｎｘｉａ， ＪＩ Ｎａｎｎａｎ， ＷＡＮＧ Ｇｕａｎｗｅｉ． Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ ［ Ｊ］． Ｃｈｉｎｅｓｅ ｊｏｕｒｎａｌ ｏｆ ｅｎｇｉｎｅｅｒｉｎｇ ｍａｔｈｅｍａｔｉｃｓ， ２０１５， ３２（２）： １５９⁃１７３． ［２０］刘银华． ＬＢＰ 和深度信念网络在非限制条件下人脸识 别研究［Ｄ］． 江门： 五邑大学， ２０１４． ＬＩＵ Ｙｉｎｈｕａ． Ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｎｄｅｒ ｕｎｃｏｎ⁃ ｓｔｒａｉｎｅｄ ｃｏｎｄｉｔｉｏｎ ｖｉａ ＬＢＰ ａｎｄ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ ［ Ｄ］． Ｊｉａｎｇｍｅｎ： Ｗｕｙｉ Ｕｎｉｖｅｒｓｉｔｙ， ２０１４． ［２１］ＬＥＥ Ｈ， ＧＲＯＳＳＥ Ｒ， ＲＡＮＧＡＮＡＴＨ Ｒ， ｅｔ ａｌ． Ｕｎｓｕｐｅｒ⁃ ｖｉｓｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｈｉｅｒａｒｃｈｉｃａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｗｉｔｈ ｃｏｎｖｏｌｕ⁃ ｔｉｏｎａｌ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ［ Ｊ］． Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ， ２０１１， ５４（１０）： ９５⁃１０３． ［２２］ＨＡＬＫＩＡＳ Ｘ Ｃ， ＰＡＲＩＳ Ｓ， ＧＬＯＴＩＮ Ｈ． Ｓｐａｒｓｅ ｐｅｎａｌｔｙ ｉｎ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ： ｕｓｉｎｇ ｔｈｅ ｍｉｘｅｄ ｎｏｒｍ ｃｏｎｓｔｒａｉｎｔ ［ＥＢ／ ＯＬ ］． ［ ２０１４⁃０５⁃０８ ］． ｈｔｔｐ： ／ ／ ａｒｘｉｖ． ｏｒｇ ／ ｐｄｆ ／ １３０１． ３５３３．ｐｄｆ． ［２３］ＬＩＵ Ｙａｎ， ＺＨＯＵ Ｓｈｕｓｅｎ， ＣＨＥＮ Ｑｉｎｇｃａｉ． Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｓｕａｌ ｄａｔａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ［ Ｊ］． Ｐａｔ⁃ ｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ， ２０１１， ４４（１０ ／ １１）： ２２８７⁃２２９６． ［２４］郑胤， 陈权崎， 章毓晋． 深度学习及其在目标和行为识 别中的新进展［ Ｊ］． 中国图象图形学报， ２０１４， １９（２）： １７５⁃１８４． ＺＨＥＮＧ Ｙｉｎ， ＣＨＥＮ Ｑｕａｎｑｉ， ＺＨＡＮＧ Ｙｕｊｉｎ． Ｄｅｅｐ ｌｅａｒｎ⁃ ｉｎｇ ａｎｄ ｉｔｓ ｎｅｗ ｐｒｏｇｒｅｓｓ ｉｎ ｏｂｊｅｃｔ ａｎｄ ｂｅｈａｖｉｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｉｍａｇｅ ａｎｄ ｇｒａｐｈｉｃｓ， ２０１４， １９（ ２）： １７５⁃ １８４． ［２５］ ＶＩＮＣＥＮＴ Ｐ， ＬＡＲＯＣＨＥＬＬＥ Ｈ， ＢＥＮＧＩＯ Ｙ， ｅｔ ａｌ． Ｅｘ⁃ ｔｒａｃｔｉｎｇ ａｎｄ ｃｏｍｐｏｓｉｎｇ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ ｗｉｔｈ ｄｅｎｏｉｓｉｎｇ ａｕ⁃ ｔｏｅｎｃｏｄｅｒｓ ［ Ｃ ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ， ＮＹ， ＵＳＡ， ２００８： １０９６⁃１１０３． ［２６］ ＢＥＮＧＩＯ Ｙ， ＬＡＭＢＬＩＮ Ｐ， ＰＯＰＯＶＩＣＩ Ｄ， ｅｔ ａｌ． Ｇｒｅｅｄｙ ｌａｙｅｒ⁃ｗｉｓｅ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｔｗｏｒｋｓ ［ Ｃ］ ／ ／ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １９： ２０ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ， Ｃａｎａｄａ， ２００６： １５３⁃１６０． ［２７］ ＲＩＦＡＩ Ｓ， ＶＩＮＣＥＮＴ Ｐ， ＭＵＬＬＥＲ Ｘ， ｅｔ ａｌ． Ｃｏｎｔｒａｃｔｉｖｅ ａｕｔｏ⁃ｅｎｃｏｄｅｒｓ： ｅｘｐｌｉｃｉｔ ｉｎｖａｒｉａｎｃｅ ｄｕｒｉｎｇ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ． Ｂｅｌｌｅｖｕｅ， ＷＡ， ＵＳＡ， ２０１１． ［２８］ＭＡＳＣＩ Ｊ， ＭＥＩＥＲ Ｕ， ＣＩＲＥŞＡＮ Ｄ， ｅｔ ａｌ． Ｓｔａｃｋｅｄ ｃｏｎｖｏ⁃ ｌｕｔｉｏｎａｌ ａｕｔｏ⁃ｅｎｃｏｄｅｒｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， Ｐａｒｔ Ｉ． Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ， Ｇｅｒ⁃ ｍａｎｙ， ２０１１： ５２⁃５９． ［２９］王雅思． 深度学习中的自编码器的表达能力研究［Ｄ］． 哈尔滨： 哈尔滨工业大学， ２０１４． ＷＡＮＧ Ｙａｓｉ． Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｂｉｌｉｔｙ ｒｅｓｅａｒｃｈ ｏｆ ａｕｔｏ⁃ｅｎ⁃ ｃｏｄｅｒｓ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ［Ｄ］． Ｈａｒｂｉｎ： Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１４． ［３０］李远豪． 基于深度自编码器的人脸美丽吸引力预测研 究［Ｄ］． 江门： 五邑大学， ２０１４． ＬＩ Ｙｕａｎｈａｏ． Ａ ｓｔｕｄｙ ｆｏｒ ｆａｃｉａｌ ｂｅａｕｔｙ ａｔｔｒａｃｔｉｖｅｎｅｓｓ ｐｒｅｄｉｃ⁃ ｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｅｐ ａｕｔｏｅｎｃｏｄｅｒ［Ｄ］． Ｊｉａｎｇｍｅｎ： Ｗｕｙｉ Ｕｎｉ⁃ ｖｅｒｓｉｔｙ， ２０１４． ［３１］林洲汉． 基于自动编码机的高光谱图像特征提取及分 类方法研究［Ｄ］． 哈尔滨： 哈尔滨工业大学， ２０１４． ＬＩＮ Ｚｈｏｕｈａｎ． Ｈｙｐｅｒｓｐｅｃｔｒａｌ ｉｍａｇｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ａｕｔｏｅｎｃｏｄｅｒｓ［Ｄ］． Ｈａｒｂｉｎ： Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１４． ［３２］曲建岭， 杜辰飞， 邸亚洲， 等． 深度自动编码器的研究 与展望［Ｊ］． 计算机与现代化， ２０１４（８）： １２８⁃１３４． ＱＵ Ｊｉａｎｌｉｎｇ， ＤＵ Ｃｈｅｎｆｅｉ， ＤＩ Ｙａｚｈｏｕ， ｅｔ ａｌ． Ｒｅｓｅａｒｃｈ ａｎｄ ｐｒｏｓｐｅｃｔ ｏｆ ｄｅｅｐ ａｕｔｏ⁃ｅｎｃｏｄｅｒｓ［Ｊ］． Ｊｉｓｕａｎｊｉ ｙｕ ｘｉａｎｄａｉｈｕａ， ２０１４（８）： １２８⁃１３４． ［３３］林少飞， 盛惠兴， 李庆武． 基于堆叠稀疏自动编码器的 手写数字分类［Ｊ］． 微处理机， ２０１５（１）： ４７⁃５１． ＬＩＮ Ｓｈａｏｆｅｉ， ＳＨＥＮＧ Ｈｕｉｘｉｎｇ， ＬＩ Ｑｉｎｇｗｕ． Ｈａｎｄｗｒｉｔｔｅｎ ｄｉｇｉｔａｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｔａｃｋｅｄ ｓｐａｒｓｅ ａｕｔｏｅｎｃｏｄ⁃ ｅｒｓ［Ｊ］． Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ， ２０１５（１）： ４７⁃５１． ［３４］陈硕． 深度学习神经网络在语音识别中的应用研究 ［Ｄ］． 广州： 华南理工大学， ２０１３． ＣＨＥＮ Ｓｈｕｏ． Ｒｅｓｅａｒｃｈ ｏｆ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ［ Ｄ］． Ｇｕａｎｇｚｈｏｕ， Ｃｈｉ⁃ ｎａ： Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， ２０１３． ［３５］郭丽丽， 丁世飞． 深度学习研究进展［ Ｊ］． 计算机科学， ２０１５， ４２（５）： ２８⁃３３． ＧＯＵ Ｌｉｌｉ， ＤＩＮＧ Ｓｈｉｆｅｉ． Ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ ｏｎ ｄｅｅｐ ｌｅａｒｎ⁃ ｉｎｇ［Ｊ］． Ｃｏｍｐｕｔｅｒ ｓｃｉｅｎｃｅ， ２０１５， ４２（５）： ２８⁃３３． ［３６］ ＶＡＮ ＤＥＮ ＯＯＲＤ Ａ， ＤＩＥＬＥＭＡＮ Ｓ， ＳＣＨＲＡＵＷＥＮ Ｂ． Ｄｅｅｐ ｃｏｎｔｅｎｔ⁃ｂａｓｅｄ ｍｕｓｉｃ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ［ Ｍ ］ ／ ／ Ａｄ⁃ ｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２６： ２７ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓ⁃ ｔｅｍｓ． Ｌａｋｅ Ｔａｈｏｅ， ２０１３： ２６４３⁃２６５１． ［３７］ＨＡＮＮＵＮ Ａ， ＣＡＳＥ Ｃ， ＣＡＳＰＥＲ Ｊ， ｅｔ ａｌ． Ｄｅｅｐ ｓｐｅｅｃｈ： ｓｃａｌｉｎｇ ｕｐ ｅｎｄ⁃ｔｏ⁃ｅｎｄ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ［ＥＢ／ ＯＬ］． Ｅｐｒｉｎｔ Ａｒｘｉｖ： Ａｒｘｉｖ， ２０１４．［２０１４⁃１２⁃１９］ ｈｔｔｐｓ： ／ ／ ａｒｘｉｖ．ｏｒｇ ／ ｐｄｆ ／ １４１２．５５６７ｖ２．ｐｄｆ． ［３８］余凯， 贾磊， 陈雨强． 深度学习的昨天、今天和明天 ［Ｊ］． 计算机研究与发展， ２０１３， ５０（９）： １７９９⁃１８０４． ＹＵ Ｋａｉ， ＪＩＡ Ｌｅｉ， ＣＨＥＮ Ｙｕｑｉａｎｇ． Ｄｅｅｐ ｌｅａｒｎｉｎｇ： ｙｅｓｔｅｒ⁃ ｄａｙ， ｔｏｄａｙ， ａｎｄ ｔｏｍｏｒｒｏｗ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ｃｏｍｐｕｔｅｒ ｒｅ⁃ ｓｅａｒｃｈ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ， ２０１３， ５０（９）： １７９９⁃１８０４． 第 ５ 期 刘帅师，等：深度学习方法研究新进展 ·５７５·