D0L:10.13374/5.issn1001-053x.2012.02.018 第34卷第2期 北京科技大学学报 Vol.34 No.2 2012年2月 Journal of University of Science and Technology Beijing Feb.2012 回声状态网络的研究进展 罗 熊)四黎江)孙增折2 1)北京科技大学计算机与通信工程学院，北京100083 2)清华大学计算机科学与技术系智能技术与系统国家重点实验室，北京100084 区通信作者，E-mail::xuo@usth.ed.cm 摘要回声状态网络是近年来新兴的一种递归神经网络，独特而简单的训练方式以及高精度的训练结果已使其成为当前 研究的热点之一·在该网络中，引入了储备池计算模式这一新的神经网络的建设方案，克服了之前网络模型基于梯度下降的 学习算法所难以避免的收敛慢和容易陷入局部极小等问题.围绕这种新型网络结构，国内外许多学者开展了多样的研究.本 文全面深入介绍了回声状态网络这一新兴技术，讨论了回声状态网络的优缺点，并综合近年的研究现状，总结了回声状态网 络的主要研究工作进展和未来的研究方向. 关键词回声状态网络；储备池计算：递归神经网络 分类号TP18 Review on echo state networks LUO Xiong,LI Jiang,SUN Zeng- 1)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)State Key Laboratory of Intelligent Technology and Systems,Department of Computer Science and Technology,Tsinghua University,Beijing 100084, China Corresponding author.E-mail:xluo@ustb.edu.en ABSTRACT The echo state network (ESN)is a novel kind of recurrent neural network and has recently become a hot topic for its easy and distinctive training method along with high performance.In ESN,the reservoir computing method is introduced,which is a completely new approach used to design a recurrent neural network.By comparing this novel model with existing recurrent neural net- work models,it can overcome the difficulty encountered in slow convergence and local minimum in the gradient descent based training algorithm.Currently,there is considerable enthusiasm for the research and application of ESN.A review on ESN is presented in this paper.The advantages and drawbacks of ESN and various improvements are analyzed.Finally,some future research directions are also discussed. KEY WORDS echo state networks:reservoir computing:recurrent neural networks 对实际应用场合中的一些动态系统，可以通过 由Jaeger和Haas所提出的回声状态网络(echo 引入反馈连接之后的神经网络（即所谓的递归神经 state network,ESN)以及相应的学习算法为递归神 网络)来建模.尽管这种递归神经网络与自然界生 经网络的研究开辟了崭新的道路].这种方法也被 物的神经网络更加类似，理论描述比较完善，但是由 称为所谓的储备池计算模式，它引入一个称作储备 于网络中存在着递归信号，网络状态一般随着时间 池的内部网络，当外部的输入序列进入这个内部网 变化而变化，其运动轨迹存在稳定性问题，致使 络时，便在其中激发起复杂多样的非线性状态空间， 难于找到有效的学习算法.由于相关的学习算法均 然后再通过一个简单的读出网络来得到网络输出. 基于误差对权值的梯度进行，使得递归网络的训练 与之前递归神经网络的最大不同之处是在训练过程 收敛慢，训练复杂度高，难以被广泛地应用 中，储备池内部的连接权值是固定不变的，调整仅仅 收稿日期：201105-25 基金项目：国家自然科学基金资助项目(61174103：61074066：61004021)：中央高校基本科研业务费专项资金资助项目(FRF-TP-11002B)第 34 卷 第 2 期 2012 年 2 月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 2 Feb． 2012 回声状态网络的研究进展 罗 熊1) 黎 江1) 孙增圻2) 1) 北京科技大学计算机与通信工程学院，北京 100083 2) 清华大学计算机科学与技术系智能技术与系统国家重点实验室，北京 100084 通信作者，E-mail: xluo@ ustb． edu． cn 摘 要 回声状态网络是近年来新兴的一种递归神经网络，独特而简单的训练方式以及高精度的训练结果已使其成为当前 研究的热点之一． 在该网络中，引入了储备池计算模式这一新的神经网络的建设方案，克服了之前网络模型基于梯度下降的 学习算法所难以避免的收敛慢和容易陷入局部极小等问题． 围绕这种新型网络结构，国内外许多学者开展了多样的研究． 本 文全面深入介绍了回声状态网络这一新兴技术，讨论了回声状态网络的优缺点，并综合近年的研究现状，总结了回声状态网 络的主要研究工作进展和未来的研究方向． 关键词 回声状态网络; 储备池计算; 递归神经网络 分类号 TP18 Review on echo state networks LUO Xiong1) ，LI Jiang1) ，SUN Zeng-qi 2) 1) School of Computer and Communication Engineering，University of Science and Technology Beijing，Beijing 100083，China 2) State Key Laboratory of Intelligent Technology and Systems，Department of Computer Science and Technology，Tsinghua University，Beijing 100084， China Corresponding author，E-mail: xluo@ ustb． edu． cn ABSTRACT The echo state network ( ESN) is a novel kind of recurrent neural network and has recently become a hot topic for its easy and distinctive training method along with high performance． In ESN，the reservoir computing method is introduced，which is a completely new approach used to design a recurrent neural network． By comparing this novel model with existing recurrent neural net￾work models，it can overcome the difficulty encountered in slow convergence and local minimum in the gradient descent based training algorithm． Currently，there is considerable enthusiasm for the research and application of ESN． A review on ESN is presented in this paper． The advantages and drawbacks of ESN and various improvements are analyzed． Finally，some future research directions are also discussed． KEY WORDS echo state networks; reservoir computing; recurrent neural networks 收稿日期: 2011--05--25 基金项目: 国家自然科学基金资助项目( 61174103; 61074066; 61004021) ; 中央高校基本科研业务费专项资金资助项目( FRF--TP--11--002B) 对实际应用场合中的一些动态系统，可以通过 引入反馈连接之后的神经网络( 即所谓的递归神经 网络) 来建模． 尽管这种递归神经网络与自然界生 物的神经网络更加类似，理论描述比较完善，但是由 于网络中存在着递归信号，网络状态一般随着时间 变化而变化，其运动轨迹存在稳定性问题［1］，致使 难于找到有效的学习算法． 由于相关的学习算法均 基于误差对权值的梯度进行，使得递归网络的训练 收敛慢，训练复杂度高，难以被广泛地应用． 由 Jaeger 和 Haas 所提出的回声状态网络( echo state network，ESN) 以及相应的学习算法为递归神 经网络的研究开辟了崭新的道路［2］． 这种方法也被 称为所谓的储备池计算模式，它引入一个称作储备 池的内部网络，当外部的输入序列进入这个内部网 络时，便在其中激发起复杂多样的非线性状态空间， 然后再通过一个简单的读出网络来得到网络输出． 与之前递归神经网络的最大不同之处是在训练过程 中，储备池内部的连接权值是固定不变的，调整仅仅 DOI:10.13374/j.issn1001-053x.2012.02.018