第1期 杨博等：面向匹配决策问题的漏整合神经元稀疏ESN网络 ·11· 在测试过程中对所属吸引子的模式进行了正确回 an learning rule.Annu Rer Neurosci,2008,31(1):25 想.这从另一个方面表明，仅仅依靠递归神经网络 2]Wills T J,Lever C,Cacucei F,et al.Attractor dynamics in the 也可以完成匹配决策任务，而无需使用某种特殊的 hippocampal representation of the local environment.Science, 2005,308(5723):873 网络结构或神经元连接关系.这一结果更加符合生 B]Jaeger H.Adaptive nonlinear system identification with echo state 物神经网络的特性和有关实验研究结果. networks /Proceeding of Neural Information Processing Systems 该模型还存在着某些不足.例如，模型对序列 (NIPS).Vancouver,2002:593 中的发放间隔和发放平移具有一定的鲁棒性，但并 4]Jaeger H,Lukosevicius M,Popovici D,et al.Optimization and 不能在更大的发放间隔区间上成功地进行匹配决 applications of echo state networks with leaky-integrator neurons. Neural Netcorks,2007,20(3):335 策.又如，利用在线监督学习算法训练网络能够得 [5]Deng Z D,Zhang Y.Collective behavior of a small-world recurrent 到较好的结果，但却没有直接的生理学依据。此时 neural system with scale-free distribution.IEEE Trans Neural Net- 可考虑采用再励学习.此外，模型将匹配决策问题 corks,2007,18(5):1364 简化为二分类的模式识别问题，但实际中的匹配决 [6]Lukosevicius M,Jaeger H.Reservoir computing approaches to re- 策问题则包含了更多的分类 current neural network training.Comput Sci Rev,2009,3(3): 127 3结论 LiY B,Song Y,Rong X W.A method for controlling chaos with echo state network /Proceeding of Intelligent Control and Auto- 本文面向神经生理学中的匹配决策问题，提出 mation (WCICA).Jinan,2010:60 了一种具有漏神经元的稀疏ESN网络，并将其应用 8] Skowronski D M,Harris G J.Noise-robust automatic speech rec- 于该匹配决策问题的建模和预测，并利用最大相关 ognition using a predictive echo state network.IEEE Trans Audio Speech Lang Process,2007,15 (5):1724 系数对网络的决策性能进行评估.实验结果表明， 9] Devert A,Bredeche N,Schoenauer M.Unsupervised leaming of 本文提出的模型只需较少的训练周期即可获得较好 echo state networks:a case study in artificial embryogeny /Pro- 的判定结果，且对发放间隔、发放时间具有较好的鲁 ceedings of Artificial Erolution.Tours,2007:278 棒性.如何提高该模型在发放间隔较大时的决策准 [10]Smolinski T G,Prinz AA.Multi-objective evolutionary algo- 确率，以及如何使其具有更多神经生理学特性以获 rithms for model neuron parameter value selection matching bio- 得更好的预测精度，值得进一步研究 logical behavior under different simulation scenarios.BMC Neu- rosci,2009,10(Suppl 1)26 [11]Krimm R F,Hill DL.Neuron/target matching between chorda 参考文献 tympani neurons and taste buds during postnatal rat development. Caporale N,Yang D.Spike timing-dependent plasticity:a Hebbi- J Neurobiol,2000,43(1)98第 1 期 杨 博等: 面向匹配决策问题的漏整合神经元稀疏 ESN 网络 在测试过程中对所属吸引子的模式进行了正确回 想． 这从另一个方面表明，仅仅依靠递归神经网络 也可以完成匹配决策任务，而无需使用某种特殊的 网络结构或神经元连接关系． 这一结果更加符合生 物神经网络的特性和有关实验研究结果． 该模型还存在着某些不足． 例如，模型对序列 中的发放间隔和发放平移具有一定的鲁棒性，但并 不能在更大的发放间隔区间上成功地进行匹配决 策． 又如，利用在线监督学习算法训练网络能够得 到较好的结果，但却没有直接的生理学依据． 此时 可考虑采用再励学习． 此外，模型将匹配决策问题 简化为二分类的模式识别问题，但实际中的匹配决 策问题则包含了更多的分类． 3 结论 本文面向神经生理学中的匹配决策问题，提出 了一种具有漏神经元的稀疏 ESN 网络，并将其应用 于该匹配决策问题的建模和预测，并利用最大相关 系数对网络的决策性能进行评估． 实验结果表明， 本文提出的模型只需较少的训练周期即可获得较好 的判定结果，且对发放间隔、发放时间具有较好的鲁 棒性． 如何提高该模型在发放间隔较大时的决策准 确率，以及如何使其具有更多神经生理学特性以获 得更好的预测精度，值得进一步研究． 参 考 文 献 ［1］ Caporale N，Yang D． Spike timing-dependent plasticity: a Hebbi￾an learning rule． Annu Rev Neurosci，2008，31( 1) : 25 ［2］ Wills T J，Lever C，Cacucci F，et al． Attractor dynamics in the hippocampal representation of the local environment． Science， 2005，308( 5723) : 873 ［3］ Jaeger H． Adaptive nonlinear system identification with echo state networks / / Proceeding of Neural Information Processing Systems ( NIPS) ． Vancouver，2002: 593 ［4］ Jaeger H，Lukoevicˇius M，Popovici D，et al． Optimization and applications of echo state networks with leaky-integrator neurons． Neural Networks，2007，20( 3) : 335 ［5］ Deng Z D，Zhang Y． Collective behavior of a small-world recurrent neural system with scale-free distribution． IEEE Trans Neural Net￾works，2007，18( 5) : 1364 ［6］ Lukoevicˇius M，Jaeger H． Reservoir computing approaches to re￾current neural network training． Comput Sci Rev，2009，3 ( 3 ) : 127 ［7］ LiY B，Song Y，Rong X W． A method for controlling chaos with echo state network / / Proceeding of Intelligent Control and Auto￾mation ( WCICA) ． Jinan，2010: 60 ［8］ Skowronski D M，Harris G J． Noise-robust automatic speech rec￾ognition using a predictive echo state network． IEEE Trans Audio Speech Lang Process，2007，15( 5) : 1724 ［9］ Devert A，Bredeche N，Schoenauer M． Unsupervised learning of echo state networks: a case study in artificial embryogeny / / Pro￾ceedings of Artificial Evolution． Tours，2007: 278 ［10］ Smolinski T G，Prinz A A． Multi-objective evolutionary algo￾rithms for model neuron parameter value selection matching bio￾logical behavior under different simulation scenarios． BMC Neu￾rosci，2009，10( Suppl 1) : 26 ［11］ Krimm R F，Hill D L． Neuron /target matching between chorda tympani neurons and taste buds during postnatal rat development． J Neurobiol，2000，43( 1) : 98 ·11·