第6期 乔俊飞，等：随机权神经网络研究现状与展望 .767. 18(5):1364-1375 [78]CUI H,LIU X,LI L.The architecture of dynamic reser- [66]STRAUSS T,WUSTLICH W,LABAHN R.Design strate- voir in the echo state network[J].Chaos,2012,22(3): gies for weight matrices of echo state networks[J].Neural 033127. computation,2012,24(12):3246-3276. [79]OZTURK M C,XU Dongming.Analysis and design of echo [67]XUE Yanbo,YANG Le,HAYKIN S.Decoupled echo state state networks[J].Neural computation,2007,19(1): networks with lateral inhibition J].Neural networks, 111-138. 2007,20(3):365-376. [80]DUAN Haibin,WANG Xiaohua.Echo state networks with [68]NAJIBI E.ROSTAMI H.SCESN.SPESN.SWESN:three orthogonal pigeon-inspired optimization for image restora- recurrent neural echo state networks with clustered reser- tion[J].IEEE transactions on neural networks and learning voirs for prediction of nonlinear and chaotic time series[J] systems,.2015,27(11):2413-2425. Applied intelligence,2015,43(2):460-472. [81]BOCCATO L,ATTUX R,VON ZUBEN F J.Self-organiza- [69]薄迎春，乔俊飞，张昭昭.一种具有small world特性的 tion and lateral interaction in echo state network reservoirs EsN结构分析与设计[J].控制与决策，2012,27(3)： [J].Neurocomputing,2014,138:297-309. 383-388 [82]KORYAKIN D,LOHMANN J,BUTZ M V.Balanced echo BO Yingchun,QIAO Junfei,ZHANG Zhaozhao.Analysis state networks[J].Neural networks the official journal of and design on structure of small world property ESN[J]. the international neural network,2012,36:35-45. Control and decision,2012,27(3):383-388. [83]YUENYONG S,NISHIHARA A.Evolutionary pre-training [70]李凡军，乔俊飞.一种增量式模块化回声状态网络[J] for CRJ-type reservoir of echo state networks[J].Neuro- 控制与决策，2016,31(8)：1481-1486. computing,2015,149:1324-1329. LI Fanjun,QIAO Junfei.An incremental modular echo [84]LI Xiumin,ZHONG Ling,XUE Fangzheng,et al.A priori state network[J].Control and decision,2016,31(8): data-driven multi-clustered reservoir generation algorithm 1481-1486. for echo state network J].PLoS one,2015,10(4): [71]SCHRAUWEN B,VERSTRAETEN D,VAN CAMPEN- e0120750. HOUT J M.An overview of reservoir computing:Theory, [85]PALANGI H,DENG Li,WARD R K.Learning input and applications and implementations[C]//Proceedings of the recurrent weight matrices in echo state networks[C]//Ad- 15th European Symposium on Artificial Neural Networks. vances in Neural Information Processing Systems 22:Con- Bruges,Belgium,2007:471-482. ference on Neural Information Processing Systems.Vancou- [72]MAASS W,NATSCHLAGER T,MARKRAM H.Real- ver,British Columbia,Canada,2009 time computing without stable states:a new framework for 作者简介： neural computation based on perturbations [J].Neural 乔俊飞.男.1968年生，教授，博士 computation,2002.14(11）:2531-2560. 生导师，中国人工智能学会科普工作 [73]LEGENSTEIN R,MAASS W.Edge of chaos and predic- 委员会主任，主要研究方向为智能信息 tion of computational performance for neural circuit models. 处理、智能控制理论与应用。获教育部科 [J].Neural networks,2007,20(3):323-334. 技进步奖一等奖和北京市科学技术奖 [74]BURGSTEINER H,KROLL M,LEOPOLD A,et al. 三等奖各1项。发表学术论文100余 Movement prediction from real-world images using a liquid 篇，其中被SCI收录20余篇，EI收录60余篇，获得发明专 state machine[J].Applied intelligence,2007,26(2): 利20余项。 99-109. [75]张冠元，王斌一种基于液体状态机的音乐和弦序列识别 方法[J].模式识别与人工智能，2013,26(7)：643-647. 李凡军，男，1977年生，副教授，主 ZHANG Guanyuan,WANG Bin.Liquid state machine 要研究方向为智能系统与智能信息处 based music chord sequence recognition algorithm[J].Pat- 理。发表学术论文10余篇，其中被SCI tern recognition and artificial intelligence,2013,26(7): 检索3篇，EI检索6篇。 643-647. [76]HUANG Guangbin,CHEN Lei.Enhanced random search 杨翠丽，女，1986年生，讲师，主要 based incremental extreme learning machine[J].Neuro- 研究方向为进化算法和智能信息处理。 computing,2008,71(16/17/18):3460-3468. 发表学术论文10余篇，其中被SCI检 [77]WANG Yuguang,CAO Feilong,YUAN Yubo.A study on effectiveness of extreme learning machine[J].Neurocom- 索7篇，EI检索12篇。 puting,2011,74(16):2483-2490.１８（５）： １３６４－１３７５． ［６６］ＳＴＲＡＵＳＳ Ｔ， ＷＵＳＴＬＩＣＨ Ｗ， ＬＡＢＡＨＮ Ｒ． Ｄｅｓｉｇｎ ｓｔｒａｔｅ⁃ ｇｉｅｓ ｆｏｒ ｗｅｉｇｈｔ ｍａｔｒｉｃｅｓ ｏｆ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ［ Ｊ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ， ２０１２， ２４（１２）： ３２４６－３２７６． ［ ６７］ＸＵＥ Ｙａｎｂｏ， ＹＡＮＧ Ｌｅ， ＨＡＹＫＩＮ Ｓ． Ｄｅｃｏｕｐｌｅｄ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｌａｔｅｒａｌ ｉｎｈｉｂｉｔｉｏｎ ［ Ｊ ］． Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ２００７， ２０（３）： ３６５－３７６． ［６８］ＮＡＪＩＢＩ Ｅ， ＲＯＳＴＡＭＩ Ｈ． ＳＣＥＳＮ， ＳＰＥＳＮ， ＳＷＥＳＮ： ｔｈｒｅｅ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｃｌｕｓｔｅｒｅｄ ｒｅｓｅｒ⁃ ｖｏｉｒｓ ｆｏｒ ｐｒｅｄｉｃｔｉｏｎ ｏｆ ｎｏｎｌｉｎｅａｒ ａｎｄ ｃｈａｏｔｉｃ ｔｉｍｅ ｓｅｒｉｅｓ［Ｊ］． Ａｐｐｌｉｅｄ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１５， ４３（２）： ４６０－４７２． ［６９］薄迎春， 乔俊飞， 张昭昭． 一种具有 ｓｍａｌｌ ｗｏｒｌｄ 特性的 ＥＳＮ 结构分析与设计［ Ｊ］． 控制与决策， ２０１２， ２７（３）： ３８３－３８８． ＢＯ Ｙｉｎｇｃｈｕｎ， ＱＩＡＯ Ｊｕｎｆｅｉ， ＺＨＡＮＧ Ｚｈａｏｚｈａｏ． Ａｎａｌｙｓｉｓ ａｎｄ ｄｅｓｉｇｎ ｏｎ ｓｔｒｕｃｔｕｒｅ ｏｆ ｓｍａｌｌ ｗｏｒｌｄ ｐｒｏｐｅｒｔｙ ＥＳＮ［ Ｊ］． Ｃｏｎｔｒｏｌ ａｎｄ ｄｅｃｉｓｉｏｎ， ２０１２， ２７（３）： ３８３－３８８． ［７０］李凡军， 乔俊飞． 一种增量式模块化回声状态网络［ Ｊ］． 控制与决策， ２０１６， ３１（８）： １４８１－１４８６． ＬＩ Ｆａｎｊｕｎ， ＱＩＡＯ Ｊｕｎｆｅｉ． Ａｎ ｉｎｃｒｅｍｅｎｔａｌ ｍｏｄｕｌａｒ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ ［ Ｊ］． Ｃｏｎｔｒｏｌ ａｎｄ ｄｅｃｉｓｉｏｎ， ２０１６， ３１ （ ８）： １４８１－１４８６． ［７１］ ＳＣＨＲＡＵＷＥＮ Ｂ， ＶＥＲＳＴＲＡＥＴＥＮ Ｄ， ＶＡＮ ＣＡＭＰＥＮ⁃ ＨＯＵＴ Ｊ Ｍ． Ａｎ ｏｖｅｒｖｉｅｗ ｏｆ ｒｅｓｅｒｖｏｉｒ ｃｏｍｐｕｔｉｎｇ： Ｔｈｅｏｒｙ， ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓ［Ｃ］ ／ ／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １５ｔｈ Ｅｕｒｏｐｅａｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ． Ｂｒｕｇｅｓ， Ｂｅｌｇｉｕｍ， ２００７： ４７１－４８２． ［７２］ ＭＡＡＳＳ Ｗ， ＮＡＴＳＣＨＬÃＧＥＲ Ｔ， ＭＡＲＫＲＡＭ Ｈ． Ｒｅａｌ⁃ ｔｉｍｅ ｃｏｍｐｕｔｉｎｇ ｗｉｔｈｏｕｔ ｓｔａｂｌｅ ｓｔａｔｅｓ： ａ ｎｅｗ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ ｂａｓｅｄ ｏｎ ｐｅｒｔｕｒｂａｔｉｏｎｓ ［ Ｊ ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ， ２００２， １４（１１）： ２５３１－２５６０． ［７３］ＬＥＧＥＮＳＴＥＩＮ Ｒ， ＭＡＡＳＳ Ｗ． Ｅｄｇｅ ｏｆ ｃｈａｏｓ ａｎｄ ｐｒｅｄｉｃ⁃ ｔｉｏｎ ｏｆ ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｅｒｆｏｒｍａｎｃｅ ｆｏｒ ｎｅｕｒａｌ ｃｉｒｃｕｉｔ ｍｏｄｅｌｓ． ［Ｊ］． Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ２００７， ２０（３）： ３２３－３３４． ［ ７４ ］ ＢＵＲＧＳＴＥＩＮＥＲ Ｈ， ＫＲÖＬＬ Ｍ， ＬＥＯＰＯＬＤ Ａ， ｅｔ ａｌ． Ｍｏｖｅｍｅｎｔ ｐｒｅｄｉｃｔｉｏｎ ｆｒｏｍ ｒｅａｌ⁃ｗｏｒｌｄ ｉｍａｇｅｓ ｕｓｉｎｇ ａ ｌｉｑｕｉｄ ９９－１０９． ［７５］张冠元， 王斌． 一种基于液体状态机的音乐和弦序列识别 方法［Ｊ］． 模式识别与人工智能， ２０１３， ２６（７）： ６４３－６４７． ＺＨＡＮＧ Ｇｕａｎｙｕａｎ， ＷＡＮＧ Ｂｉｎ． Ｌｉｑｕｉｄ ｓｔａｔｅ ｍａｃｈｉｎｅ ｂａｓｅｄ ｍｕｓｉｃ ｃｈｏｒｄ ｓｅｑｕｅｎｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍ［Ｊ］． Ｐａｔ⁃ ｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２０１３， ２６（７）： ６４３－６４７． ［７６］ＨＵＡＮＧ Ｇｕａｎｇｂｉｎ， ＣＨＥＮ Ｌｅｉ． Ｅｎｈａｎｃｅｄ ｒａｎｄｏｍ ｓｅａｒｃｈ ｂａｓｅｄ ｉｎｃｒｅｍｅｎｔａｌ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ ［ Ｊ］． Ｎｅｕｒｏ⁃ ｃｏｍｐｕｔｉｎｇ， ２００８， ７１（１６ ／ １７ ／ １８）： ３４６０－３４６８． ［７７］ＷＡＮＧ Ｙｕｇｕａｎｇ， ＣＡＯ Ｆｅｉｌｏｎｇ， ＹＵＡＮ Ｙｕｂｏ． Ａ ｓｔｕｄｙ ｏｎ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｅｘｔｒｅｍｅ ｌｅａｒｎｉｎｇ ｍａｃｈｉｎｅ［ Ｊ］． Ｎｅｕｒｏｃｏｍ⁃ ｐｕｔｉｎｇ， ２０１１， ７４（１６）： ２４８３－２４９０． ［７８］ＣＵＩ Ｈ， ＬＩＵ Ｘ， ＬＩ Ｌ． Ｔｈｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｏｆ ｄｙｎａｍｉｃ ｒｅｓｅｒ⁃ ｖｏｉｒ ｉｎ ｔｈｅ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ［ Ｊ］． Ｃｈａｏｓ， ２０１２， ２２（３）： ０３３１２７． ［７９］ＯＺＴＵＲＫ Ｍ Ｃ， ＸＵ Ｄｏｎｇｍｉｎｇ． Ａｎａｌｙｓｉｓ ａｎｄ ｄｅｓｉｇｎ ｏｆ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ ［ Ｊ］． Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ， ２００７， １９ （ １）： １１１－１３８． ［８０］ＤＵＡＮ Ｈａｉｂｉｎ， ＷＡＮＧ Ｘｉａｏｈｕａ． Ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｏｒｔｈｏｇｏｎａｌ ｐｉｇｅｏｎ⁃ｉｎｓｐｉｒｅｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ｉｍａｇｅ ｒｅｓｔｏｒａ⁃ ｔｉｏｎ［Ｊ］． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ， ２０１５， ２７（１１）： ２４１３－２４２５． ［８１］ＢＯＣＣＡＴＯ Ｌ， ＡＴＴＵＸ Ｒ， ＶＯＮ ＺＵＢＥＮ Ｆ Ｊ． Ｓｅｌｆ⁃ｏｒｇａｎｉｚａ⁃ ｔｉｏｎ ａｎｄ ｌａｔｅｒａｌ ｉｎｔｅｒａｃｔｉｏｎ ｉｎ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ ｒｅｓｅｒｖｏｉｒｓ ［Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２０１４， １３８： ２９７－３０９． ［８２］ＫＯＲＹＡＫＩＮ Ｄ， ＬＯＨＭＡＮＮ Ｊ， ＢＵＴＺ Ｍ Ｖ． Ｂａｌａｎｃｅｄ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ［ Ｊ］． Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｔｈｅ ｏｆｆｉｃｉａｌ ｊｏｕｒｎａｌ ｏｆ ｔｈｅ ｉｎｔｅｒｎａｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ， ２０１２， ３６： ３５－４５． ［８３］ＹＵＥＮＹＯＮＧ Ｓ， ＮＩＳＨＩＨＡＲＡ Ａ． Ｅｖｏｌｕｔｉｏｎａｒｙ ｐｒｅ⁃ｔｒａｉｎｉｎｇ ｆｏｒ ＣＲＪ⁃ｔｙｐｅ ｒｅｓｅｒｖｏｉｒ ｏｆ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ［ Ｊ］． Ｎｅｕｒｏ⁃ ｃｏｍｐｕｔｉｎｇ， ２０１５， １４９： １３２４－１３２９． ［８４］ＬＩ Ｘｉｕｍｉｎ， ＺＨＯＮＧ Ｌｉｎｇ， ＸＵＥ Ｆａｎｇｚｈｅｎｇ， ｅｔ ａｌ． Ａ ｐｒｉｏｒｉ ｄａｔａ⁃ｄｒｉｖｅｎ ｍｕｌｔｉ⁃ｃｌｕｓｔｅｒｅｄ ｒｅｓｅｒｖｏｉｒ ｇｅｎｅｒａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ ［ Ｊ］． ＰＬｏＳ ｏｎｅ， ２０１５， １０ （ ４）： ｅ０１２０７５０． ［８５］ＰＡＬＡＮＧＩ Ｈ， ＤＥＮＧ Ｌｉ， ＷＡＲＤ Ｒ Ｋ． Ｌｅａｒｎｉｎｇ ｉｎｐｕｔ ａｎｄ ｒｅｃｕｒｒｅｎｔ ｗｅｉｇｈｔ ｍａｔｒｉｃｅｓ ｉｎ ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋｓ［Ｃ］ ／ ／ Ａｄ⁃ ｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２２： Ｃｏｎ⁃ ｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｖａｎｃｏｕ⁃ ｖｅｒ， Ｂｒｉｔｉｓｈ Ｃｏｌｕｍｂｉａ， Ｃａｎａｄａ， ２００９． 作者简介： 乔俊飞，男，１９６８ 年生，教授，博士 生导师， 中国人工智能学会科普工作 委员会主任，主要研究方向为智能信息 处理、智能控制理论与应用。获教育部科 篇，其中被 ＳＣＩ 收录２０ 余篇，ＥＩ 收录 ６０余篇，获得发明专 ｓｔａｔｅ ｍａｃｈｉｎｅ［ Ｊ］． Ａｐｐｌｉｅｄ ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００７， ２６ （ ２） ： 李凡军，男，１９７７ 年生，副教授，主 要研究方向为智能系统与智能信息处 理。 发表学术论文 １０ 余篇，其中被 ＳＣＩ 检索 ３ 篇，ＥＩ 检索 ６ 篇。 杨翠丽，女，１９８６ 年生，讲师 ，主要 研究方向为进化算法和智能信息处理。 发表学术论文 １０ 余篇，其中被 ＳＣＩ 检 索 ７ 篇，ＥＩ 检索 １２ 篇。 第 ６ 期 乔俊飞，等：随机权神经网络研究现状与展望 ·７６７· 技进步奖一 等奖和北京市科学技术奖 三等奖各 １ 项 。 发表学术论文 １００ 利 ２０ 余项。 余