第6期 乔俊飞，等：随机权神经网络研究现状与展望 .765· treme learning machines:new trends and applications[J]. ognition using a predictive echo state network classifier[J] Science China information sciences,2015,58(2):1-16. Neural networks,2007,20(3):414-423. [13]PAO Y H,TAKEFUJI Y.Functional-link net computing: [26]LI Decai,HAN Min,WANG Jun.Chaotic time series pre- theory,system architecture,and functionalities[J].Com- diction based on a novel robust echo state network J]. puter,1992,25(5):76-79. IEEE transactions on neural networks and learning sys- [14]HUANG Guangbin,ZHU Qinyu,SIEW C K.Extreme tems,2012,23(5):787-799. learning machine:theory and applications[].Neurocom- [27]SCHMIDT W F,KRAAIJVELD M A,DUIN R P W. puting,2006,70(1/2/3):489-501. Feedforward neural networks with random weights[C]// [15]RAHIMI A,RECHT B.Weighted sums of random kitchen Proceedings of 11th International Conference on Pattern sinks:replacing minimization with randomization in learn- Recognition Methodology and Systems.Hague,Holland: ing[C]//Proceedings of the 21st International Conference IEEE,1992:1-4. [28]IGELNIK B,PAO Y H.Stochastic choice of basis func- on Neural Information Processing Systems.Vancouver, British Columbia,Canada:Curran Associates Inc.,2008: tions in adaptive function approximation and the Function- al-link neural net[J].IEEE transactions on neural net- 1313-1320. work8,1995,6(6):1320-1329. [16]WIDROW B,GREENBLATT A,KIM Y,et al.The No- [29]HUANG Guangbin.An insight into extreme learning ma- Prop algorithm:A new learning algorithm for multilayer chines:random neurons,random features and kernels[J]. neural networks J].Neural networks,2013,37:182- Cognitive computation,2014,6(3):376-390. 188. [30]HUANG Guangbin,ZHU Qinyu,SIEW C K.Extreme [17]KASUN L L C,ZHOU Hongming,HUANG Guangbin,et learning machine:theory and applications[].Neurocom- al.Representational learning with ELMs for big data[J] puting,2006,70(1/2/3):489-501. IEEE intelligent systems,2013,28(6):31-34. [31]HUANG G B,CHEN L,SIEW C K.Universal approxima- [18]TANG Jiexiong,DENG Chenwei,HUANG Guangbin.Ex- tion using incremental constructive feedforward networks treme learning machine for multilayer perceptron[J].IEEE with random hidden nodes[J].IEEE transactions on neural transactions on neural networks and learning systems, networks,.2006,17(4):879-92. 2016,27(4):809-821. [32]LIU Xia,LIN Shaobo,FANG Jian,et al.Is extreme learn- [19]QIAO Junfei,LI Fanjun,HAN Honggui,et al.Construc- ing machine feasible?a theoretical assessment Part 1) tive algorithm for fully connected cascade feedforward neu- [J].IEEE transactions on neural networks and learning ral networks[J].Neurocomputing,2016,182:154-164. systems,2014,26(1):7-20. [20]WAN Yihe,SONG Shiji,HUANG Gao.Incremental ex- [33]DEHURI S,CHO S B.A comprehensive survey on func- treme learning machine based on cascade neural networks tional link neural networks and an adaptive PSO-BP learn- [C]//IEEE International Conference on Systems,Man, ing for CFLNN[J].Neural computing and applications, and Cybernetics.Kowloon:IEEE,2015:1889-1894. 2010,19(2):187-205. [21]STEIL J J.Memory in backpropagation-decorrelation O(N) [34]ZHANG Le,SUGANTHAN P N.A comprehensive evalua- efficient online recurrent learning[C]//Proceedings of the tion of random vector functional link networks[].Informa- 15th International Conference on Artificial Neural Net- tion sciences,2015,367/368:1094-1105. works:Formal Models and Their Applications.Berlin Hei- [35]LIANG Nanying,HUANG Guangbin,SARATCHANDRAN delberg:Springer,2005:750-750. P,et al.A fast and accurate online sequential learning al- [22]HERBERT J.The "echo state"approach to analyzing and gorithm for feedforward networks[J].IEEE transactions on training recurrent neural networks with an erratum note neural networks,2006,17(6):1411-1423. [R].Bonn,Germany:German National Research Center [36]SCARDAPANE S,WANG Dianhui,PANELLA M,et al. for Information Technology,2001. Distributed learning for random vector functional-link net- [23]MAASS W.Liquid state machines:motivation,theory, works[J].Information sciences,2015,301:271-284. and applications[J].Computability in context,2010:275 [37]ALHAMDOOSH M,WANG Dianhui.Fast decorrelated -296.D0I:10.1142/97818481627780008 neural network ensembles with random weights[J].Infor- [24]LIANG Nanying,SARATCHANDRAN P,HUANG Guang- mation sciences,2014,264:104-117. bin,et al.Classification of mental tasks from EEG signals [38]LI Ying.Orthogonal incremental extreme learning machine using extreme learning machine[J.International journal of for regression and multiclass classification[]].Neural com- neural systems,2006,16(1):29-38. puting and applications,2014,27(1):111-120. [25]SKOWRONSKI M D,HARRIS J G.Automatic speech rec- [39]李凡军，乔俊飞，韩红桂.网络结构增长的极端学习机ｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅｓ： ｎｅｗ ｔｒｅｎｄｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ［ Ｊ］． Ｓｃｉｅｎｃｅ Ｃｈｉｎａ ｉｎｆｏｒｍａｔｉｏｎ ｓｃｉｅｎｃｅｓ， ２０１５， ５８（２）： １－１６． ［１３］ＰＡＯ Ｙ Ｈ， ＴＡＫＥＦＵＪＩ Ｙ． Ｆｕｎｃｔｉｏｎａｌ⁃ｌｉｎｋ ｎｅｔ ｃｏｍｐｕｔｉｎｇ： ｔｈｅｏｒｙ， ｓｙｓｔｅｍ ａｒｃｈｉｔｅｃｔｕｒｅ， ａｎｄ ｆｕｎｃｔｉｏｎａｌｉｔｉｅｓ［ Ｊ］． Ｃｏｍ⁃ ｐｕｔｅｒ， １９９２， ２５（５）： ７６－７９． ［１４］ ＨＵＡＮＧ Ｇｕａｎｇｂｉｎ， ＺＨＵ Ｑｉｎｙｕ， ＳＩＥＷ Ｃ Ｋ． Ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ： ｔｈｅｏｒｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］． Ｎｅｕｒｏｃｏｍ⁃ ｐｕｔｉｎｇ， ２００６， ７０（１ ／ ２ ／ ３）： ４８９－５０１． ［１５］ＲＡＨＩＭＩ Ａ， ＲＥＣＨＴ Ｂ． Ｗｅｉｇｈｔｅｄ ｓｕｍｓ ｏｆ ｒａｎｄｏｍ ｋｉｔｃｈｅｎ ｓｉｎｋｓ： ｒｅｐｌａｃｉｎｇ ｍｉｎｉｍｉｚａｔｉｏｎ ｗｉｔｈ ｒａｎｄｏｍｉｚａｔｉｏｎ ｉｎ ｌｅａｒｎ⁃ ｉｎｇ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２１ｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ， Ｃａｎａｄａ： Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ Ｉｎｃ．， ２００８： １３１３－１３２０． ［１６］ＷＩＤＲＯＷ Ｂ， ＧＲＥＥＮＢＬＡＴＴ Ａ， ＫＩＭ Ｙ， ｅｔ ａｌ． Ｔｈｅ Ｎｏ⁃ Ｐｒｏｐ ａｌｇｏｒｉｔｈｍ： Ａ ｎｅｗ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｍｕｌｔｉｌａｙｅｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ［ Ｊ］． Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ２０１３， ３７： １８２ － １８８． ［１７］ＫＡＳＵＮ Ｌ Ｌ Ｃ， ＺＨＯＵ Ｈｏｎｇｍｉｎｇ， ＨＵＡＮＧ Ｇｕａｎｇｂｉｎ， ｅｔ ａｌ． Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ ｌｅａｒｎｉｎｇ ｗｉｔｈ ＥＬＭｓ ｆｏｒ ｂｉｇ ｄａｔａ［ Ｊ］． ＩＥＥＥ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１３， ２８（６）： ３１－３４． ［１８］ＴＡＮＧ Ｊｉｅｘｉｏｎｇ， ＤＥＮＧ Ｃｈｅｎｗｅｉ， ＨＵＡＮＧ Ｇｕａｎｇｂｉｎ． Ｅｘ⁃ ｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ｆｏｒ ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ， ２０１６， ２７（４）： ８０９－８２１． ［１９］ＱＩＡＯ Ｊｕｎｆｅｉ， ＬＩ Ｆａｎｊｕｎ， ＨＡＮ Ｈｏｎｇｇｕｉ， ｅｔ ａｌ． Ｃｏｎｓｔｒｕｃ⁃ ｔｉｖｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｃａｓｃａｄｅ ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕ⁃ ｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２０１６， １８２： １５４－１６４． ［２０］ ＷＡＮ Ｙｉｈｅ， ＳＯＮＧ Ｓｈｉｊｉ， ＨＵＡＮＧ Ｇａｏ． Ｉｎｃｒｅｍｅｎｔａｌ ｅｘ⁃ ｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ｂａｓｅｄ ｏｎ ｃａｓｃａｄｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ［Ｃ］ ／ ／ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ， ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ． Ｋｏｗｌｏｏｎ： ＩＥＥＥ， ２０１５： １８８９－１８９４． ［２１］ＳＴＥＩＬ Ｊ Ｊ． Ｍｅｍｏｒｙ ｉｎ ｂａｃｋｐｒｏｐａｇａｔｉｏｎ⁃ｄｅｃｏｒｒｅｌａｔｉｏｎ Ｏ（Ｎ） ｅｆｆｉｃｉｅｎｔ ｏｎｌｉｎｅ ｒｅｃｕｒｒｅｎｔ ｌｅａｒｎｉｎｇ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔ⁃ ｗｏｒｋｓ： Ｆｏｒｍａｌ Ｍｏｄｅｌｓ ａｎｄ Ｔｈｅｉｒ Ａｐｐｌｉｃａｔｉｏｎｓ． Ｂｅｒｌｉｎ Ｈｅｉ⁃ ｄｅｌｂｅｒｇ： Ｓｐｒｉｎｇｅｒ， ２００５： ７５０－７５０． ［２２］ＨＥＲＢＥＲＴ Ｊ． Ｔｈｅ “ｅｃｈｏ ｓｔａｔｅ” ａｐｐｒｏａｃｈ ｔｏ ａｎａｌｙｚｉｎｇ ａｎｄ ｔｒａｉｎｉｎｇ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ａｎ ｅｒｒａｔｕｍ ｎｏｔｅ ［Ｒ］． Ｂｏｎｎ， Ｇｅｒｍａｎｙ： Ｇｅｒｍａｎ Ｎａｔｉｏｎａｌ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， ２００１． ［２３］ ＭＡＡＳＳ Ｗ． Ｌｉｑｕｉｄ ｓｔａｔｅ ｍａｃｈｉｎｅｓ： ｍｏｔｉｖａｔｉｏｎ， ｔｈｅｏｒｙ， ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］． Ｃｏｍｐｕｔａｂｉｌｉｔｙ ｉｎ ｃｏｎｔｅｘｔ， ２０１０： ２７５ －２９６． ＤＯＩ： １０．１１４２ ／ ９７８１８４８１６２７７８＿０００８． ［２４］ＬＩＡＮＧ Ｎａｎｙｉｎｇ， ＳＡＲＡＴＣＨＡＮＤＲＡＮ Ｐ， ＨＵＡＮＧ Ｇｕａｎｇ⁃ ｂｉｎ， ｅｔ ａｌ． Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｍｅｎｔａｌ ｔａｓｋｓ ｆｒｏｍ ＥＥＧ ｓｉｇｎａｌｓ ｕｓｉｎｇ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ ｊｏｕｒｎａｌ ｏｆ ｎｅｕｒａｌ ｓｙｓｔｅｍｓ， ２００６， １６（１）： ２９－３８． ［２５］ＳＫＯＷＲＯＮＳＫＩ Ｍ Ｄ， ＨＡＲＲＩＳ Ｊ Ｇ． Ａｕｔｏｍａｔｉｃ ｓｐｅｅｃｈ ｒｅｃ⁃ ｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ ｐｒｅｄｉｃｔｉｖｅ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ ｃｌａｓｓｉｆｉｅｒ［Ｊ］． Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ２００７， ２０（３）： ４１４－４２３． ［２６］ＬＩ Ｄｅｃａｉ， ＨＡＮ Ｍｉｎ， ＷＡＮＧ Ｊｕｎ． Ｃｈａｏｔｉｃ ｔｉｍｅ ｓｅｒｉｅｓ ｐｒｅ⁃ ｄｉｃｔｉｏｎ ｂａｓｅｄ ｏｎ ａ ｎｏｖｅｌ ｒｏｂｕｓｔ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓ⁃ ｔｅｍｓ， ２０１２， ２３（５）： ７８７－７９９． ［２７］ ＳＣＨＭＩＤＴ Ｗ Ｆ， ＫＲＡＡＩＪＶＥＬＤ Ｍ Ａ， ＤＵＩＮ Ｒ Ｐ Ｗ． Ｆｅｅｄｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｒａｎｄｏｍ ｗｅｉｇｈｔｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｅｔｈｏｄｏｌｏｇｙ ａｎｄ Ｓｙｓｔｅｍｓ． Ｈａｇｕｅ， Ｈｏｌｌａｎｄ： ＩＥＥＥ， １９９２： １－４． ［２８］ＩＧＥＬＮＩＫ Ｂ， ＰＡＯ Ｙ Ｈ． Ｓｔｏｃｈａｓｔｉｃ ｃｈｏｉｃｅ ｏｆ ｂａｓｉｓ ｆｕｎｃ⁃ ｔｉｏｎｓ ｉｎ ａｄａｐｔｉｖｅ ｆｕｎｃｔｉｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎ ａｎｄ ｔｈｅ Ｆｕｎｃｔｉｏｎ⁃ ａｌ⁃ｌｉｎｋ ｎｅｕｒａｌ ｎｅｔ ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔ⁃ ｗｏｒｋｓ， １９９５， ６（６）： １３２０－１３２９． ［２９］ ＨＵＡＮＧ Ｇｕａｎｇｂｉｎ． Ａｎ ｉｎｓｉｇｈｔ ｉｎｔｏ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａ⁃ ｃｈｉｎｅｓ： ｒａｎｄｏｍ ｎｅｕｒｏｎｓ， ｒａｎｄｏｍ ｆｅａｔｕｒｅｓ ａｎｄ ｋｅｒｎｅｌｓ［Ｊ］． Ｃｏｇｎｉｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎ， ２０１４， ６（３）： ３７６－３９０． ［３０］ ＨＵＡＮＧ Ｇｕａｎｇｂｉｎ， ＺＨＵ Ｑｉｎｙｕ， ＳＩＥＷ Ｃ Ｋ． Ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ： ｔｈｅｏｒｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］． Ｎｅｕｒｏｃｏｍ⁃ ｐｕｔｉｎｇ， ２００６， ７０（１ ／ ２ ／ ３）： ４８９－５０１． ［３１］ＨＵＡＮＧ Ｇ Ｂ， ＣＨＥＮ Ｌ， ＳＩＥＷ Ｃ Ｋ． Ｕｎｉｖｅｒｓａｌ ａｐｐｒｏｘｉｍａ⁃ ｔｉｏｎ ｕｓｉｎｇ ｉｎｃｒｅｍｅｎｔａｌ ｃｏｎｓｔｒｕｃｔｉｖｅ ｆｅｅｄｆｏｒｗａｒｄ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｒａｎｄｏｍ ｈｉｄｄｅｎ ｎｏｄｅｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ２００６， １７（４）： ８７９－９２． ［ ３２］ＬＩＵ Ｘｉａ， ＬＩＮ Ｓｈａｏｂｏ， ＦＡＮＧ Ｊｉａｎ， ｅｔ ａｌ． Ｉｓ ｅｘｔｒｅｍｅ ｌｅａｒｎ⁃ ｉｎｇ ｍａｃｈｉｎｅ ｆｅａｓｉｂｌｅ？ ａ ｔｈｅｏｒｅｔｉｃａｌ ａｓｓｅｓｓｍｅｎｔ （ Ｐａｒｔ Ｉ） ［ Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ， ２０１４， ２６（１）： ７－２０． ［３３］ＤＥＨＵＲＩ Ｓ， ＣＨＯ Ｓ Ｂ． Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｓｕｒｖｅｙ ｏｎ ｆｕｎｃ⁃ ｔｉｏｎａｌ ｌｉｎｋ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ａｎ ａｄａｐｔｉｖｅ ＰＳＯ⁃ＢＰ ｌｅａｒｎ⁃ ｉｎｇ ｆｏｒ ＣＦＬＮＮ［ Ｊ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔｉｎｇ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１０， １９（２）： １８７－２０５． ［３４］ＺＨＡＮＧ Ｌｅ， ＳＵＧＡＮＴＨＡＮ Ｐ Ｎ． Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｅｖａｌｕａ⁃ ｔｉｏｎ ｏｆ ｒａｎｄｏｍ ｖｅｃｔｏｒ ｆｕｎｃｔｉｏｎａｌ ｌｉｎｋ ｎｅｔｗｏｒｋｓ［Ｊ］． Ｉｎｆｏｒｍａ⁃ ｔｉｏｎ ｓｃｉｅｎｃｅｓ， ２０１５， ３６７ ／ ３６８： １０９４－１１０５． ［３５］ＬＩＡＮＧ Ｎａｎｙｉｎｇ， ＨＵＡＮＧ Ｇｕａｎｇｂｉｎ， ＳＡＲＡＴＣＨＡＮＤＲＡＮ Ｐ， ｅｔ ａｌ． Ａ ｆａｓｔ ａｎｄ ａｃｃｕｒａｔｅ ｏｎｌｉｎｅ ｓｅｑｕｅｎｔｉａｌ ｌｅａｒｎｉｎｇ ａｌ⁃ ｇｏｒｉｔｈｍ ｆｏｒ ｆｅｅｄｆｏｒｗａｒｄ ｎｅｔｗｏｒｋｓ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ２００６， １７（６）： １４１１－１４２３． ［３６］ＳＣＡＲＤＡＰＡＮＥ Ｓ， ＷＡＮＧ Ｄｉａｎｈｕｉ， ＰＡＮＥＬＬＡ Ｍ， ｅｔ ａｌ． Ｄｉｓｔｒｉｂｕｔｅｄ ｌｅａｒｎｉｎｇ ｆｏｒ ｒａｎｄｏｍ ｖｅｃｔｏｒ ｆｕｎｃｔｉｏｎａｌ⁃ｌｉｎｋ ｎｅｔ⁃ ｗｏｒｋｓ［Ｊ］． Ｉｎｆｏｒｍａｔｉｏｎ ｓｃｉｅｎｃｅｓ， ２０１５， ３０１： ２７１－２８４． ［３７］ ＡＬＨＡＭＤＯＯＳＨ Ｍ， ＷＡＮＧ Ｄｉａｎｈｕｉ． Ｆａｓｔ ｄｅｃｏｒｒｅｌａｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｅｎｓｅｍｂｌｅｓ ｗｉｔｈ ｒａｎｄｏｍ ｗｅｉｇｈｔｓ［ Ｊ］． Ｉｎｆｏｒ⁃ ｍａｔｉｏｎ ｓｃｉｅｎｃｅｓ， ２０１４， ２６４： １０４－１１７． ［３８］ＬＩ Ｙｉｎｇ． Ｏｒｔｈｏｇｏｎａｌ ｉｎｃｒｅｍｅｎｔａｌ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ｆｏｒ ｒｅｇｒｅｓｓｉｏｎ ａｎｄ ｍｕｌｔｉｃｌａｓｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］． Ｎｅｕｒａｌ ｃｏｍ⁃ ｐｕｔｉｎｇ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ， ２０１４， ２７（１）： １１１－１２０． ［３９］李凡军， 乔俊飞， 韩红桂． 网络结构增长的极端学习机 第 ６ 期 乔俊飞，等：随机权神经网络研究现状与展望 ·７６５·