面向匹配决策问题的漏整合神经元稀疏ESN网络.pdf_大学文库

D0I:10.13374/.issn1001-053x.2012.01.002 第34卷第1期北京科技大学学报 Vol.34 No.1 2012年1月 Journal of University of Science and Technology Beijing Jan.2012 面向匹配决策问题的漏整合神经元稀疏ESN网络杨博程振波邓志东⑧ 清华大学计算机系清华信息科学与技术国家实验室（筹）智能技术与系统国家重点实验室，北京100084 区通信作者，E-mail:michael(@tsinghua.edu.cn 摘要为了对匹配决策问题进行建模与预测，提出了一种具有更多神经生理学特征的稀疏回声状态网络(ESN),并基于在线监督学习方法对网络进行训练.为了评估网络的匹配决策性能，设计了三组测试数据集对网络性能进行测试，并提出了一种基于网络期望输出与实际输出序列最大相关系数的评价方法.仿真结果表明，新模型只需要较少的训练时间即可获得较好的决策性能，且对发放时间间隔、平移和网络噪声具有较好的鲁棒性关键词回声状态网络(ESN):递归神经网络；决策：匹配：神经元分类号TP183 Sparse ESN with a leaky integrator for matching decision-making problems YANG Bo,CHENG Zhen-bo,DENG Zhi-dong State Key Laboratory of Intelligent Technology and Systems,Tsinghua National Laboratory for Information Science and Technology, Department of Computer Science Technology,Tsinghua University,Beijing 100084,China Corresponding author,E-mail:michael@tsinghua.edu.cn ABSTRACT A new sparse echo state network (ESN)with a leaky integrator,which is expected to has more neurophysiology charac- teristics,was proposed and trained using the online supervised learning method so as to make the modeling and prediction of the matc- hing decision-making problem.To evaluate the matching decision-making performance of the network,three kinds of test datasets were set up and an estimation method based on the maximum correlation coefficient for the actual output and the desired one was present Simulation experimental results show that the proposed model can achieve a better decision-making performance with a less training time.Meanwhile the model has a better robustness on spiking interval change,shifting,and network noise. KEY WORDS echo state network (ESN);recurrent neural networks:decision making;matching:neurons 随着实验技术与手段的进步，生物脑的大量奥间可塑性(spike-timing-dependent plasticity,STDP) 秘不断被揭示.在生物神经网络中，传递信息的载学习算法0 体是发放(spiking).发放是经由神经元膜电位的变吸引子是分析递归神经网络的重要工具之一化而产生的，超过阈值的膜电位变化导致神经元产 2005年Wls等有关老鼠大脑CA1区的实验结果对生一个动作电位，并沿神经纤维进行传导.最近的此提供了一个直接的生理学证据回.Jaeger于2002 研究结果表明，神经元不仅通过发放率来传递信年提出了一种新的递归神经网络的回声状态网络息，而且发放与发放之间的时间间隔在时间轴上 (echo state networks,ESN)模型同，并得到了不断的的排列也包含了大量的神经信息.因此，研究神经完善-日.ESN网络包含一个隐层，其中的隐层神经元发放时序关系所蕴含的信息正在成为目前的研元完全随机连接，这赋予了隐层丰富的状态空间究热点之一.迄今己提出许多基于神经元发放时 (即状态池)，从而使ESN网络可以记忆更加复杂的序关系的学习算法，其中较著名的如依赖发放时吸引子形式：而输出层神经元只需通过某种连接方收稿日期：201105-25 基金项目：国家自然科学基金资助项目(90820305：60775040：60621062：61005085)：中国科学院自动化研究所模式识别国家重点实验室开放合作基金项目

第 34 卷第 1 期 2012 年 1 月北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 1 Jan． 2012 面向匹配决策问题的漏整合神经元稀疏 ESN 网络杨博程振波邓志东清华大学计算机系清华信息科学与技术国家实验室( 筹) 智能技术与系统国家重点实验室，北京 100084 通信作者，E-mail: michael@ tsinghua． edu． cn 摘要为了对匹配决策问题进行建模与预测，提出了一种具有更多神经生理学特征的稀疏回声状态网络( ESN) ，并基于在线监督学习方法对网络进行训练．为了评估网络的匹配决策性能，设计了三组测试数据集对网络性能进行测试，并提出了一种基于网络期望输出与实际输出序列最大相关系数的评价方法．仿真结果表明，新模型只需要较少的训练时间即可获得较好的决策性能，且对发放时间间隔、平移和网络噪声具有较好的鲁棒性．关键词回声状态网络( ESN) ; 递归神经网络; 决策; 匹配; 神经元分类号 TP183 Sparse ESN with a leaky integrator for matching decision-making problems YANG Bo，CHENG Zhen-bo，DENG Zhi-dong State Key Laboratory of Intelligent Technology and Systems，Tsinghua National Laboratory for Information Science and Technology， Department of Computer Science ＆ Technology，Tsinghua University，Beijing 100084，China Corresponding author，E-mail: michael@ tsinghua． edu． cn ABSTRACT A new sparse echo state network ( ESN) with a leaky integrator，which is expected to has more neurophysiology characteristics，was proposed and trained using the online supervised learning method so as to make the modeling and prediction of the matching decision-making problem． To evaluate the matching decision-making performance of the network，three kinds of test datasets were set up and an estimation method based on the maximum correlation coefficient for the actual output and the desired one was present． Simulation experimental results show that the proposed model can achieve a better decision-making performance with a less training time． Meanwhile the model has a better robustness on spiking interval change，shifting，and network noise． KEY WORDS echo state network ( ESN) ; recurrent neural networks; decision making; matching; neurons 收稿日期: 2011--05--25 基金项目: 国家自然科学基金资助项目( 90820305; 60775040; 60621062; 61005085) ; 中国科学院自动化研究所模式识别国家重点实验室开放合作基金项目随着实验技术与手段的进步，生物脑的大量奥秘不断被揭示．在生物神经网络中，传递信息的载体是发放( spiking) ．发放是经由神经元膜电位的变化而产生的，超过阈值的膜电位变化导致神经元产生一个动作电位，并沿神经纤维进行传导．最近的研究结果表明，神经元不仅通过发放率来传递信息，而且发放与发放之间的时间间隔在时间轴上的排列也包含了大量的神经信息．因此，研究神经元发放时序关系所蕴含的信息正在成为目前的研究热点之一．迄今已提出许多基于神经元发放时序关系的学习算法，其中较著名的如依赖发放时间可塑性( spike-timing-dependent plasticity，STDP) 学习算法［1］．吸引子是分析递归神经网络的重要工具之一． 2005 年 Wills 等有关老鼠大脑 CA1 区的实验结果对此提供了一个直接的生理学证据［2］． Jaeger 于 2002 年提出了一种新的递归神经网络的回声状态网络 ( echo state networks，ESN) 模型［3］，并得到了不断的完善［4--6］． ESN 网络包含一个隐层，其中的隐层神经元完全随机连接，这赋予了隐层丰富的状态空间 ( 即状态池) ，从而使 ESN 网络可以记忆更加复杂的吸引子形式; 而输出层神经元只需通过某种连接方 DOI:10.13374/j.issn1001-053x.2012.01.002

第1期杨博等：面向匹配决策问题的漏整合神经元稀疏ESN网络 7 式即可从状态池中读取所需的状态，其参数学习过输出；隐层中的神经元完全随机连接，包含反馈连接程则仅需调节输出连接权.目前ESN网络己被广泛和自连接.根据脑科学的观点，自然界中的网络是地应用于时间序列的逼近与预测任务中) 稀疏的，其连接度很低.参照这一观点，设计ESN网在决策任务中，匹配决策问题一直是人们研究络输入层与隐层稀疏连接，连接度αp=0.5:隐层的热点，国际上有很多学者使用了各种模型对此类内神经元间也是稀疏连接，连接度α=0.1.这些问题进行建模0；但这些模型对网络结构的要求数据与脑科学中的实验结果相吻合；输出层与隐层较为严格，甚至是特殊设计，并不符合生物神经网络之间随机全连接.这样构建的ESN网络结构如图2 的结构特点.本文则试图通过构建一种更加接近生所示物神经网络特性的模型来解释匹配决策问题输入层隐层输出层 1 一种具有漏整合神经元的稀疏ESN网络发放 1.1问题描述人类日常的决策过程常常包含短期记忆.为了解该记忆在决策过程中的作用，生理学家设计了两类典型的实验模式：一类是判断之后的刺激与前一反馈连接个刺激是否相同，其中第二个刺激在一个时延后给图2本文使用的ESN模型示意图出(match-to-sample,配对)；另一类是给定两个连续 Fig.2 ESN structure used in this paper 的刺激后，需要判断这两个刺激是否属于同一类别 (match/.non-match decision,匹配决策).前一类任务漏整合神经元(leaky integrator)在递归神经网只需要知道刺激是否发生了重复，而匹配决策任务络中有着广泛的应用四.该神经元可记忆之前的历则还需要对刺激进行合适的分类，并根据分类结果史状态，因此可用来改善网络对缓慢变化时间序列给出两个刺激是否属于同一类别的判断结果. 学习和分类的性能.使用的漏整合神经元更新方程本文将刺激简化为神经元发放来对匹配决策问有两种，分别在激发函数前和后使用.这里使用前题进行建模.假设存在两个输入序列A和B.当A 者，此时网络的状态空间表达式为或B序列包含同时两个连续的发放，而另一个序列 =-ax+f(wx+w"Y+w"U+V). 并不包含任何发放，则认为匹配(match);当A或B Y=Wf(X) (2) 序列包含一个发放，另一序列也包含一个发放，则认式中，X为状态池的状态变量，Y为网络输出，U为为不匹配(non-match).因此，匹配决策问题可简化输入，W为隐层连接权矩阵，W为反馈连接权矩为时间序列模式识别问题，即匹配模式和非匹配模阵，W为输入连接权矩阵，W为输出连接权矩阵，式，如图1所示 V为网络噪声，f为神经元激发函数，？和α分别为时间常数和漏衰减率.当输入为“（冰）时，可以将式(1)展开为 B B 匹配不匹配 Xk+)=(1-g)x)+(wx)+ wY(k)+wiU(k)+V(k)). (3) 式中，X()、Y(k)、U()和V(k)分别为网络在第k B 时刻的状态池变量、网络输出、网络输入和网络噪声图1神经元脉冲序列的匹配/不匹配模式 Fig.I Match and non-match patterns of neuron spikes 1.3输出权的在线监督学习算法网络训练时使用了在线监督学习算法回，该算 1.2网络结构法被证明是收敛的，具体证明过程参见文献4].算这里使用ESN网络来构建模型.输入层包含两法的具体步骤描述如下. 个神经元，分别输入两组待识别的输入序列：输出层 (1)初始状态：X和Y置为0，随机选取“的包含一个神经元，用于从状态池中读取状态并产生值，满足均匀分布：定义P(0)=I·(1/a),I为N×N

第 1 期杨博等: 面向匹配决策问题的漏整合神经元稀疏 ESN 网络式即可从状态池中读取所需的状态，其参数学习过程则仅需调节输出连接权．目前 ESN 网络已被广泛地应用于时间序列的逼近与预测任务中［7--9］．在决策任务中，匹配决策问题一直是人们研究的热点，国际上有很多学者使用了各种模型对此类问题进行建模［10--11］; 但这些模型对网络结构的要求较为严格，甚至是特殊设计，并不符合生物神经网络的结构特点．本文则试图通过构建一种更加接近生物神经网络特性的模型来解释匹配决策问题． 1 一种具有漏整合神经元的稀疏 ESN 网络发放 1. 1 问题描述人类日常的决策过程常常包含短期记忆．为了解该记忆在决策过程中的作用，生理学家设计了两类典型的实验模式: 一类是判断之后的刺激与前一个刺激是否相同，其中第二个刺激在一个时延后给出( match-to-sample，配对) ; 另一类是给定两个连续的刺激后，需要判断这两个刺激是否属于同一类别 ( match /non-match decision，匹配决策) ．前一类任务只需要知道刺激是否发生了重复，而匹配决策任务则还需要对刺激进行合适的分类，并根据分类结果给出两个刺激是否属于同一类别的判断结果．本文将刺激简化为神经元发放来对匹配决策问题进行建模．假设存在两个输入序列 A 和 B．当 A 或 B 序列包含同时两个连续的发放，而另一个序列并不包含任何发放，则认为匹配( match) ; 当 A 或 B 序列包含一个发放，另一序列也包含一个发放，则认为不匹配( non-match) ．因此，匹配决策问题可简化为时间序列模式识别问题，即匹配模式和非匹配模式，如图 1 所示．图 1 神经元脉冲序列的匹配/不匹配模式 Fig． 1 Match and non-match patterns of neuron spikes 1. 2 网络结构这里使用 ESN 网络来构建模型．输入层包含两个神经元，分别输入两组待识别的输入序列; 输出层包含一个神经元，用于从状态池中读取状态并产生输出; 隐层中的神经元完全随机连接，包含反馈连接和自连接．根据脑科学的观点，自然界中的网络是稀疏的，其连接度很低．参照这一观点，设计 ESN 网络输入层与隐层稀疏连接，连接度 αinput = 0. 5; 隐层内神经元间也是稀疏连接，连接度 αres = 0. 1．这些数据与脑科学中的实验结果相吻合; 输出层与隐层之间随机全连接．这样构建的 ESN 网络结构如图 2 所示．图 2 本文使用的 ESN 模型示意图 Fig． 2 ESN structure used in this paper 漏整合神经元( leaky integrator) 在递归神经网络中有着广泛的应用［4］．该神经元可记忆之前的历史状态，因此可用来改善网络对缓慢变化时间序列学习和分类的性能．使用的漏整合神经元更新方程有两种，分别在激发函数前和后使用．这里使用前者，此时网络的状态空间表达式为 τ dX dt = － αX + f( Wres X + Wfb Y + Win U + V) ，( 1) Y = Wout f( X) ． ( 2) 式中，X 为状态池的状态变量，Y 为网络输出，U 为输入，Wres 为隐层连接权矩阵，Wfb 为反馈连接权矩阵，Win 为输入连接权矩阵，Wout 为输出连接权矩阵， V 为网络噪声，f 为神经元激发函数，τ 和 α 分别为时间常数和漏衰减率．当输入为 u( δk) 时，可以将式( 1) 展开为 X( k + 1) = ( 1 － δα ) τ X( k) + δ τ ·f( Wres X( k) + Wfb Y( k) + Win U( k) + V( k) ) ． ( 3) 式中，X( k) 、Y( k) 、U( k) 和 V( k) 分别为网络在第 k 时刻的状态池变量、网络输出、网络输入和网络噪声． 1. 3 输出权的在线监督学习算法网络训练时使用了在线监督学习算法［4］，该算法被证明是收敛的，具体证明过程参见文献［4］．算法的具体步骤描述如下． ( 1) 初始状态: X 和 Y 置为 0，随机选取 Wout 的值，满足均匀分布; 定义 P( 0) = I·( 1 /α) ，I 为 N × N ·7·

8 北京科技大学学报第34卷单位矩阵，N是网络隐层神经元个数式中，r为时间常数，这里取r=2s.设定输出序列 (2)对输入序列u(1),u(2),…,u(k),…, y:是幅度为gm=1.2的正弦信号序列，即 u(n)的每一步值，计算网络输出y()与教师序列 0, t哇2，t2+r]: yteacher（k)的误差， ya(t)= (5) e(k)=ych(k)-y(k) ,t∈2，t2+r]. (3)使用P和e更新网络输出连接权矩阵，实验中定义四组输入输出序列对如表1所示 W(k)=Wm(k-1)+e(k)·r(k)·c, 其中M1和M2是结果为匹配的序列对，NM1和 r(k)=f(x()),λ=P(k-1)·r(k), NM2是结果为不匹配的序列对. 1 c=1+r()入表1四组输入输出序列对 Table 1 Four pairs of input/output sequences (4)更新P的值， P(k)=P(k-1)-A.Ac. 序列对输入输出 M (5)重复步骤(2)、(3)和(4)，直到k=n. 1=+2’4=0 叫1=0,2=山1+“2 Ytescher=ya(t） M2 2实验结果与分析 NMI 41=1·2=2 Yteacher=-ya(t） 2.1构建训练集与测试集 NM2 1=,2=u 实验中设定训练和测试用的时间序列长度T= 本文使用这四组序列对构造实验中使用的训练 6s,离散化采样间隔△t=0.08s.构造两个长度为t 集和测试集，如表2所示，其中定义发放间隔的序列4，和u,其发放时间分别为t1=1s和t2= delay=t2-t,=2s.Datasetl是训练集，每次从其中 3s,发放幅度g。=0.675,发放时长入=1s,即四种序列对中随机抽取一对训练.Dataset2~ r0, t任1，t1+入]： 4,()= Dataset4是测试集，分别代表三种不同类型的测试序 gmpe",tE+]. 列：(1)首次发放时间不变，发放间隔不同：(2)发放 r0, t生2t2+入]：间隔不变，发放时间发生变化：(3)发放时间和间隔 3(t)= (4) ,te2,l2+]. 都发生变化. 表2实验中数据集的定义 Table 2 Datasets defined in the experiment 类型数据集包含的序列对参数训练集 Datasetl MI,M2,NMI,NM2 t=Is,delay =2s 测试集 Dataset2 MI,M2.NMI,NM2 t1=1s,delay=0.5~3.0s 测试集 Dataset3 MI,M2,NMI,NM2 t =0.5 ~4.0s,delay =2s 测试集 Dataset4 MI,M2,NMI,NM2 41=0.5-3.0s,delay=0.5~3.0s 网络测试的输出结果使用最大相关系数0来 2.2实验结果及分析衡量，如下式所示：实验中使用的网络隐层神经元个数N=5000, 0m=max(corrcoef(y,y))= α=δ=1.经过100次训练之后，输出连接权矩阵的 12=1 均值如图3(a)所示.从图3(a)可以看出：网络在经过60次训练之后，输出连接权的均值变化趋于平 6 (y()-习∑(y,()-,) =0 max- (6) 缓：当训练次数达到100次时，其输出连接权均值逐经=1 (y()-习2∑(，()-，)2 渐向某个常量无限接近.图3(b)则显示了网络输出连接权的标准差随着训练步数的增加而变化的曲当网络输出与匹配决策期望输出序列的匹配最线，可以看出当训练步数达到60步之后，网络输出大相关系数0s>0.9且与非匹配决策的期望输出连接权标准差已经趋近于零，意味着网络的输出连序列的非匹配最大相关系数阈值0s<0.5时，认为接权不再发生明显的变化，说明网络训练确实收敛匹配：反之则认为非匹配与此同时，测得训练均方误差(MSE)均小于0.01

北京科技大学学报第 34 卷单位矩阵，N 是网络隐层神经元个数． ( 2) 对输入序列 u( 1) ，u( 2) ，…，u( k) ，…， u( n) 的每一步值，计算网络输出 y( k) 与教师序列 yteacher( k) 的误差， e( k) = yteacher( k) － y( k) ． ( 3) 使用 P 和 e 更新网络输出连接权矩阵， Wout ( k) = Wout ( k － 1) + e( k)·r( k)·c， r( k) = f( x( k) ) ，λ = P( k － 1)·r( k) ， c = 1 1 + r( k) 'λ ． ( 4) 更新 P 的值， P( k) = P( k － 1) － λ·λ'·c． ( 5) 重复步骤( 2) 、( 3) 和( 4) ，直到 k = n． 2 实验结果与分析 2. 1 构建训练集与测试集实验中设定训练和测试用的时间序列长度Tf = 6 s，离散化采样间隔 Δt = 0. 08 s．构造两个长度为 t 的序列 ut1和 ut2 ，其发放时间分别为 t1 = 1 s 和t2 = 3 s，发放幅度 gin = 0. 675，发放时长 λ = 1 s，即 ut1 ( t) = 0， t［t1，t1 + λ］; ginpute － τt ， t∈［t1，t { 1 + λ］. ut2 ( t) = 0， t［t2，t2 + λ］; ginpute － τt ， t∈［t2，t { 2 + λ］. ( 4) 式中，τ 为时间常数，这里取 τ = 2 s．设定输出序列 yd是幅度为 gout = 1. 2 的正弦信号序列，即 yd ( t) = 0， t［t2，t2 + τ］; goutput ( sin π τ ) t ， t∈［t2，t { 2 + τ］． ( 5) 实验中定义四组输入输出序列对如表 1 所示．其中 M1 和 M2 是结果为匹配的序列对，NM1 和 NM2 是结果为不匹配的序列对．表 1 四组输入输出序列对 Table 1 Four pairs of input /output sequences 序列对输入输出 M1 u1 = ut1 + ut2，u2 = 0 yteacher = yd ( t) M2 u1 = 0，u2 = ut1 + ut2 NM1 u1 = ut 1，u2 = ut2 yteacher = － yd ( t) NM2 u1 = ut 2，u2 = ut 1 本文使用这四组序列对构造实验中使用的训练集和测试集，如表 2 所示，其中定义发放间隔 delay = t2 － t1 = 2 s． Dataset1 是训练集，每次从其中四种序列对中随机抽取一对训练． Dataset2 ～ Dataset4是测试集，分别代表三种不同类型的测试序列: ( 1) 首次发放时间不变，发放间隔不同; ( 2) 发放间隔不变，发放时间发生变化; ( 3) 发放时间和间隔都发生变化．表 2 实验中数据集的定义 Table 2 Datasets defined in the experiment 类型数据集包含的序列对参数训练集 Dataset1 M1，M2，NM1，NM2 t1 = 1 s，delay = 2 s 测试集 Dataset2 M1，M2，NM1，NM2 t1 = 1 s，delay = 0. 5 ～ 3. 0 s 测试集 Dataset3 M1，M2，NM1，NM2 t1 = 0. 5 ～ 4. 0 s，delay = 2 s 测试集 Dataset4 M1，M2，NM1，NM2 t1 = 0. 5 ～ 3. 0 s，delay = 0. 5 ～ 3. 0 s 网络测试的输出结果使用最大相关系数 θmax来衡量，如下式所示: θmax = max 6 t2 = 1 ( corrcoef( y，yt2 ) ) = max 6 t2 = 1 ∑ l i = 0 ( y( i) － y) ∑( yt2 ( i) － yt2 ) ∑ l i = 0 ( y( i) － y) 2 ∑( yt2 ( i) － yt2 ) 槡 2 ． ( 6) 当网络输出与匹配决策期望输出序列的匹配最大相关系数 θmax ＞ 0. 9 且与非匹配决策的期望输出序列的非匹配最大相关系数阈值 θmax ＜ 0. 5 时，认为匹配; 反之则认为非匹配． 2. 2 实验结果及分析实验中使用的网络隐层神经元个数 N = 5 000， α = δ = 1．经过 100 次训练之后，输出连接权矩阵的均值如图 3( a) 所示．从图 3( a) 可以看出: 网络在经过 60 次训练之后，输出连接权的均值变化趋于平缓; 当训练次数达到 100 次时，其输出连接权均值逐渐向某个常量无限接近．图 3( b) 则显示了网络输出连接权的标准差随着训练步数的增加而变化的曲线，可以看出当训练步数达到 60 步之后，网络输出连接权标准差已经趋近于零，意味着网络的输出连接权不再发生明显的变化，说明网络训练确实收敛．与此同时，测得训练均方误差( MSE) 均小于 0. 01， ·8·

第1期杨博等：面向匹配决策问题的漏整合神经元稀疏ESN网络 9 当训练100次之后与训练集中的四组序列对的最大相关系数分别为0.939、0.9344、0.9042和0.9561. 0.20 0.15 0.10 0.05 20 40 60 80 100 20 40 60 训练次数训练次数图3学习曲线.(a)输出连接权均值：(b)输出训练误差标准差 Fig.3 Learning curves:(a)average output weights:(b)standard deviation of network output error 使用Dataset2测试网络输出的匹配和非匹配最会引起决策失败.这说明网络对于发放间隔的变化大相关系数曲线如图4所示.当输入匹配序列发放是比较敏感的.使用Dataset3测试网络输出的匹配间隔delay>2.5时匹配最大相关系数会急剧下降，和非匹配最大相关系数曲线如图5所示.从图5中非匹配最大相关系数急剧上升，导致网络输出的决可见曲线变化较为平稳，误差在0.1以内，这说明网策失败；当输入非匹配发放间隔delay<l.5s时也络对于发放时间是不敏感的. 1.0 1.0 a) (b) 0.8 0.8 一匹配最大相关匹配最大和关系数曲线系数曲线非匹配最大相关非匹配最大相关系数曲线系数曲线层0.4 0.2 0.2 0.5 1.0 1.52.0 2.5 3.0 0.5 1.0 1.5 2.0 2.5 3.0 发放时间间隔s 发放时间间隔s 1.0 1.0 c d 0.8 0.8 匹配最大相关一匹配最大相关系数曲线系数曲线非匹配最大相关非匹配最大相关系数曲线系数曲线 0.4 0.2 0.2 05 1.0 1.52.0 2.5 3.0 0.5 1.0 1.5 2.0 2.5 3.0 发放时间间附/s 发放时间间隔s 图4使用Dataset2测试网络的最大相关系数曲线.(a)M1:(b)M2:(c)NM1:(d)NM2 Fig.4 Maximum correlation coefficient curves obtained using Dataset2 to test the network:(a)M1:(b)M2;(c)NMI:(d)NM2 图6中则显示了使用Dataset4测试网络输出最大相关系数的误差变化范围会随着发放间隔的的匹配和非匹配最大相关系数曲线.当输入序列增大而增大：而当输入非匹配序列则相反.这说明的发放间隔一定时，不同的发放时间会导致匹配网络对发放间隔的敏感程度要大于对发放时间的和非匹配最大相关系数变化.当输入匹配序列时，敏感程度

第1期杨博等：面向匹配决策问题的漏整合神经元稀疏ESN网络 ·11· 在测试过程中对所属吸引子的模式进行了正确回 an learning rule.Annu Rer Neurosci,2008,31(1):25 想.这从另一个方面表明，仅仅依靠递归神经网络 2]Wills T J,Lever C,Cacucei F,et al.Attractor dynamics in the 也可以完成匹配决策任务，而无需使用某种特殊的 hippocampal representation of the local environment.Science, 2005,308(5723):873 网络结构或神经元连接关系.这一结果更加符合生 B]Jaeger H.Adaptive nonlinear system identification with echo state 物神经网络的特性和有关实验研究结果. networks /Proceeding of Neural Information Processing Systems 该模型还存在着某些不足.例如，模型对序列 (NIPS).Vancouver,2002:593 中的发放间隔和发放平移具有一定的鲁棒性，但并 4]Jaeger H,Lukosevicius M,Popovici D,et al.Optimization and 不能在更大的发放间隔区间上成功地进行匹配决 applications of echo state networks with leaky-integrator neurons. Neural Netcorks,2007,20(3):335 策.又如，利用在线监督学习算法训练网络能够得 [5]Deng Z D,Zhang Y.Collective behavior of a small-world recurrent 到较好的结果，但却没有直接的生理学依据。此时 neural system with scale-free distribution.IEEE Trans Neural Net- 可考虑采用再励学习.此外，模型将匹配决策问题 corks,2007,18(5):1364 简化为二分类的模式识别问题，但实际中的匹配决 [6]Lukosevicius M,Jaeger H.Reservoir computing approaches to re- 策问题则包含了更多的分类 current neural network training.Comput Sci Rev,2009,3(3): 127 3结论 LiY B,Song Y,Rong X W.A method for controlling chaos with echo state network /Proceeding of Intelligent Control and Auto- 本文面向神经生理学中的匹配决策问题，提出 mation (WCICA).Jinan,2010:60 了一种具有漏神经元的稀疏ESN网络，并将其应用 8] Skowronski D M,Harris G J.Noise-robust automatic speech rec- 于该匹配决策问题的建模和预测，并利用最大相关 ognition using a predictive echo state network.IEEE Trans Audio Speech Lang Process,2007,15 (5):1724 系数对网络的决策性能进行评估.实验结果表明， 9] Devert A,Bredeche N,Schoenauer M.Unsupervised leaming of 本文提出的模型只需较少的训练周期即可获得较好 echo state networks:a case study in artificial embryogeny /Pro- 的判定结果，且对发放间隔、发放时间具有较好的鲁 ceedings of Artificial Erolution.Tours,2007:278 棒性.如何提高该模型在发放间隔较大时的决策准 [10]Smolinski T G,Prinz AA.Multi-objective evolutionary algo- 确率，以及如何使其具有更多神经生理学特性以获 rithms for model neuron parameter value selection matching bio- 得更好的预测精度，值得进一步研究 logical behavior under different simulation scenarios.BMC Neu- rosci,2009,10(Suppl 1)26 [11]Krimm R F,Hill DL.Neuron/target matching between chorda 参考文献 tympani neurons and taste buds during postnatal rat development. Caporale N,Yang D.Spike timing-dependent plasticity:a Hebbi- J Neurobiol,2000,43(1)98

第 1 期杨博等: 面向匹配决策问题的漏整合神经元稀疏 ESN 网络在测试过程中对所属吸引子的模式进行了正确回想．这从另一个方面表明，仅仅依靠递归神经网络也可以完成匹配决策任务，而无需使用某种特殊的网络结构或神经元连接关系．这一结果更加符合生物神经网络的特性和有关实验研究结果．该模型还存在着某些不足．例如，模型对序列中的发放间隔和发放平移具有一定的鲁棒性，但并不能在更大的发放间隔区间上成功地进行匹配决策．又如，利用在线监督学习算法训练网络能够得到较好的结果，但却没有直接的生理学依据．此时可考虑采用再励学习．此外，模型将匹配决策问题简化为二分类的模式识别问题，但实际中的匹配决策问题则包含了更多的分类． 3 结论本文面向神经生理学中的匹配决策问题，提出了一种具有漏神经元的稀疏 ESN 网络，并将其应用于该匹配决策问题的建模和预测，并利用最大相关系数对网络的决策性能进行评估．实验结果表明，本文提出的模型只需较少的训练周期即可获得较好的判定结果，且对发放间隔、发放时间具有较好的鲁棒性．如何提高该模型在发放间隔较大时的决策准确率，以及如何使其具有更多神经生理学特性以获得更好的预测精度，值得进一步研究．参考文献［1］ Caporale N，Yang D． Spike timing-dependent plasticity: a Hebbian learning rule． Annu Rev Neurosci，2008，31( 1) : 25 ［2］ Wills T J，Lever C，Cacucci F，et al． Attractor dynamics in the hippocampal representation of the local environment． Science， 2005，308( 5723) : 873 ［3］ Jaeger H． Adaptive nonlinear system identification with echo state networks / / Proceeding of Neural Information Processing Systems ( NIPS) ． Vancouver，2002: 593 ［4］ Jaeger H，Lukoevicˇius M，Popovici D，et al． Optimization and applications of echo state networks with leaky-integrator neurons． Neural Networks，2007，20( 3) : 335 ［5］ Deng Z D，Zhang Y． Collective behavior of a small-world recurrent neural system with scale-free distribution． IEEE Trans Neural Networks，2007，18( 5) : 1364 ［6］ Lukoevicˇius M，Jaeger H． Reservoir computing approaches to recurrent neural network training． Comput Sci Rev，2009，3 ( 3 ) : 127 ［7］ LiY B，Song Y，Rong X W． A method for controlling chaos with echo state network / / Proceeding of Intelligent Control and Automation ( WCICA) ． Jinan，2010: 60 ［8］ Skowronski D M，Harris G J． Noise-robust automatic speech recognition using a predictive echo state network． IEEE Trans Audio Speech Lang Process，2007，15( 5) : 1724 ［9］ Devert A，Bredeche N，Schoenauer M． Unsupervised learning of echo state networks: a case study in artificial embryogeny / / Proceedings of Artificial Evolution． Tours，2007: 278 ［10］ Smolinski T G，Prinz A A． Multi-objective evolutionary algorithms for model neuron parameter value selection matching biological behavior under different simulation scenarios． BMC Neurosci，2009，10( Suppl 1) : 26 ［11］ Krimm R F，Hill D L． Neuron /target matching between chorda tympani neurons and taste buds during postnatal rat development． J Neurobiol，2000，43( 1) : 98 ·11·