面向匹配决策问题的漏整合神经元稀疏ESN网络

D0I:10.13374/.issn1001-053x.2012.01.002 第34卷第1期 北京科技大学学报 Vol.34 No.1 2012年1月 Journal of University of Science and Technology Beijing Jan.2012 面向匹配决策问题的漏整合神经元稀疏ESN网络 杨博程振波邓志东⑧ 清华大学计算机系清华信息科学与技术国家实验室（筹）智能技术与系统国家重点实验室，北京100084 区通信作者，E-mail:michael(@tsinghua.edu.cn 摘要为了对匹配决策问题进行建模与预测，提出了一种具有更多神经生理学特征的稀疏回声状态网络(ESN),并基于在 线监督学习方法对网络进行训练.为了评估网络的匹配决策性能，设计了三组测试数据集对网络性能进行测试，并提出了一 种基于网络期望输出与实际输出序列最大相关系数的评价方法.仿真结果表明，新模型只需要较少的训练时间即可获得较好 的决策性能，且对发放时间间隔、平移和网络噪声具有较好的鲁棒性 关键词回声状态网络(ESN):递归神经网络；决策：匹配：神经元 分类号TP183 Sparse ESN with a leaky integrator for matching decision-making problems YANG Bo,CHENG Zhen-bo,DENG Zhi-dong State Key Laboratory of Intelligent Technology and Systems,Tsinghua National Laboratory for Information Science and Technology, Department of Computer Science Technology,Tsinghua University,Beijing 100084,China Corresponding author,E-mail:michael@tsinghua.edu.cn ABSTRACT A new sparse echo state network (ESN)with a leaky integrator,which is expected to has more neurophysiology charac- teristics,was proposed and trained using the online supervised learning method so as to make the modeling and prediction of the matc- hing decision-making problem.To evaluate the matching decision-making performance of the network,three kinds of test datasets were set up and an estimation method based on the maximum correlation coefficient for the actual output and the desired one was present Simulation experimental results show that the proposed model can achieve a better decision-making performance with a less training time.Meanwhile the model has a better robustness on spiking interval change,shifting,and network noise. KEY WORDS echo state network (ESN);recurrent neural networks:decision making;matching:neurons 随着实验技术与手段的进步，生物脑的大量奥 间可塑性(spike-timing-dependent plasticity,STDP) 秘不断被揭示.在生物神经网络中，传递信息的载 学习算法0 体是发放(spiking).发放是经由神经元膜电位的变 吸引子是分析递归神经网络的重要工具之一 化而产生的，超过阈值的膜电位变化导致神经元产 2005年Wls等有关老鼠大脑CA1区的实验结果对 生一个动作电位，并沿神经纤维进行传导.最近的 此提供了一个直接的生理学证据回.Jaeger于2002 研究结果表明，神经元不仅通过发放率来传递信 年提出了一种新的递归神经网络的回声状态网络 息，而且发放与发放之间的时间间隔在时间轴上 (echo state networks,ESN)模型同，并得到了不断的 的排列也包含了大量的神经信息.因此，研究神经 完善-日.ESN网络包含一个隐层，其中的隐层神经 元发放时序关系所蕴含的信息正在成为目前的研 元完全随机连接，这赋予了隐层丰富的状态空间 究热点之一.迄今己提出许多基于神经元发放时 (即状态池)，从而使ESN网络可以记忆更加复杂的 序关系的学习算法，其中较著名的如依赖发放时 吸引子形式：而输出层神经元只需通过某种连接方 收稿日期：201105-25 基金项目：国家自然科学基金资助项目(90820305：60775040：60621062：61005085)：中国科学院自动化研究所模式识别国家重点实验室开 放合作基金项目

第 34 卷 第 1 期 2012 年 1 月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 1 Jan． 2012 面向匹配决策问题的漏整合神经元稀疏 ESN 网络 杨 博 程振波 邓志东 清华大学计算机系清华信息科学与技术国家实验室( 筹) 智能技术与系统国家重点实验室，北京 100084 通信作者，E-mail: michael@ tsinghua． edu． cn 摘 要 为了对匹配决策问题进行建模与预测，提出了一种具有更多神经生理学特征的稀疏回声状态网络( ESN) ，并基于在 线监督学习方法对网络进行训练． 为了评估网络的匹配决策性能，设计了三组测试数据集对网络性能进行测试，并提出了一 种基于网络期望输出与实际输出序列最大相关系数的评价方法． 仿真结果表明，新模型只需要较少的训练时间即可获得较好 的决策性能，且对发放时间间隔、平移和网络噪声具有较好的鲁棒性． 关键词 回声状态网络( ESN) ; 递归神经网络; 决策; 匹配; 神经元 分类号 TP183 Sparse ESN with a leaky integrator for matching decision-making problems YANG Bo，CHENG Zhen-bo，DENG Zhi-dong State Key Laboratory of Intelligent Technology and Systems，Tsinghua National Laboratory for Information Science and Technology， Department of Computer Science ＆ Technology，Tsinghua University，Beijing 100084，China Corresponding author，E-mail: michael@ tsinghua． edu． cn ABSTRACT A new sparse echo state network ( ESN) with a leaky integrator，which is expected to has more neurophysiology charac￾teristics，was proposed and trained using the online supervised learning method so as to make the modeling and prediction of the matc￾hing decision-making problem． To evaluate the matching decision-making performance of the network，three kinds of test datasets were set up and an estimation method based on the maximum correlation coefficient for the actual output and the desired one was present． Simulation experimental results show that the proposed model can achieve a better decision-making performance with a less training time． Meanwhile the model has a better robustness on spiking interval change，shifting，and network noise． KEY WORDS echo state network ( ESN) ; recurrent neural networks; decision making; matching; neurons 收稿日期: 2011--05--25 基金项目: 国家自然科学基金资助项目( 90820305; 60775040; 60621062; 61005085) ; 中国科学院自动化研究所模式识别国家重点实验室开 放合作基金项目 随着实验技术与手段的进步，生物脑的大量奥 秘不断被揭示． 在生物神经网络中，传递信息的载 体是发放( spiking) ． 发放是经由神经元膜电位的变 化而产生的，超过阈值的膜电位变化导致神经元产 生一个动作电位，并沿神经纤维进行传导． 最近的 研究结果表明，神经元不仅通过发放率来传递信 息，而且发放与发放之间的时间间隔在时间轴上 的排列也包含了大量的神经信息． 因此，研究神经 元发放时序关系所蕴含的信息正在成为目前的研 究热点之一． 迄今已提出许多基于神经元发放时 序关系的学习算法，其中较著名的如依赖发放时 间可塑 性( spike-timing-dependent plasticity，STDP) 学习算法［1］． 吸引子是分析递归神经网络的重要工具之一． 2005 年 Wills 等有关老鼠大脑 CA1 区的实验结果对 此提供了一个直接的生理学证据［2］． Jaeger 于 2002 年提出了一种新的递归神经网络的回声状态网络 ( echo state networks，ESN) 模型［3］，并得到了不断的 完善［4--6］． ESN 网络包含一个隐层，其中的隐层神经 元完全随机连接，这赋予了隐层丰富的状态空间 ( 即状态池) ，从而使 ESN 网络可以记忆更加复杂的 吸引子形式; 而输出层神经元只需通过某种连接方 DOI:10.13374/j.issn1001-053x.2012.01.002

第1期 杨博等：面向匹配决策问题的漏整合神经元稀疏ESN网络 7 式即可从状态池中读取所需的状态，其参数学习过 输出；隐层中的神经元完全随机连接，包含反馈连接 程则仅需调节输出连接权.目前ESN网络己被广泛 和自连接.根据脑科学的观点，自然界中的网络是 地应用于时间序列的逼近与预测任务中) 稀疏的，其连接度很低.参照这一观点，设计ESN网 在决策任务中，匹配决策问题一直是人们研究 络输入层与隐层稀疏连接，连接度αp=0.5:隐层 的热点，国际上有很多学者使用了各种模型对此类 内神经元间也是稀疏连接，连接度α=0.1.这些 问题进行建模0；但这些模型对网络结构的要求 数据与脑科学中的实验结果相吻合；输出层与隐层 较为严格，甚至是特殊设计，并不符合生物神经网络 之间随机全连接.这样构建的ESN网络结构如图2 的结构特点.本文则试图通过构建一种更加接近生 所示 物神经网络特性的模型来解释匹配决策问题 输入层 隐层 输出层 1 一种具有漏整合神经元的稀疏ESN网络 发放 1.1问题描述 人类日常的决策过程常常包含短期记忆.为了 解该记忆在决策过程中的作用，生理学家设计了两 类典型的实验模式：一类是判断之后的刺激与前一 反馈连接 个刺激是否相同，其中第二个刺激在一个时延后给 图2本文使用的ESN模型示意图 出(match-to-sample,配对)；另一类是给定两个连续 Fig.2 ESN structure used in this paper 的刺激后，需要判断这两个刺激是否属于同一类别 (match/.non-match decision,匹配决策).前一类任务 漏整合神经元(leaky integrator)在递归神经网 只需要知道刺激是否发生了重复，而匹配决策任务 络中有着广泛的应用四.该神经元可记忆之前的历 则还需要对刺激进行合适的分类，并根据分类结果 史状态，因此可用来改善网络对缓慢变化时间序列 给出两个刺激是否属于同一类别的判断结果. 学习和分类的性能.使用的漏整合神经元更新方程 本文将刺激简化为神经元发放来对匹配决策问 有两种，分别在激发函数前和后使用.这里使用前 题进行建模.假设存在两个输入序列A和B.当A 者，此时网络的状态空间表达式为 或B序列包含同时两个连续的发放，而另一个序列 =-ax+f(wx+w"Y+w"U+V). 并不包含任何发放，则认为匹配(match);当A或B Y=Wf(X) (2) 序列包含一个发放，另一序列也包含一个发放，则认 式中，X为状态池的状态变量，Y为网络输出，U为 为不匹配(non-match).因此，匹配决策问题可简化 输入，W为隐层连接权矩阵，W为反馈连接权矩 为时间序列模式识别问题，即匹配模式和非匹配模 阵，W为输入连接权矩阵，W为输出连接权矩阵， 式，如图1所示 V为网络噪声，f为神经元激发函数，？和α分别为 时间常数和漏衰减率.当输入为“（冰）时，可以将 式(1)展开为 B B 匹配 不匹配 Xk+)=(1-g)x)+(wx)+ wY(k)+wiU(k)+V(k)). (3) 式中，X()、Y(k)、U()和V(k)分别为网络在第k B 时刻的状态池变量、网络输出、网络输入和网络 噪声 图1神经元脉冲序列的匹配/不匹配模式 Fig.I Match and non-match patterns of neuron spikes 1.3输出权的在线监督学习算法 网络训练时使用了在线监督学习算法回，该算 1.2网络结构 法被证明是收敛的，具体证明过程参见文献4].算 这里使用ESN网络来构建模型.输入层包含两 法的具体步骤描述如下. 个神经元，分别输入两组待识别的输入序列：输出层 (1)初始状态：X和Y置为0，随机选取“的 包含一个神经元，用于从状态池中读取状态并产生 值，满足均匀分布：定义P(0)=I·(1/a),I为N×N

第 1 期 杨 博等: 面向匹配决策问题的漏整合神经元稀疏 ESN 网络 式即可从状态池中读取所需的状态，其参数学习过 程则仅需调节输出连接权． 目前 ESN 网络已被广泛 地应用于时间序列的逼近与预测任务中［7--9］． 在决策任务中，匹配决策问题一直是人们研究 的热点，国际上有很多学者使用了各种模型对此类 问题进行建模［10--11］; 但这些模型对网络结构的要求 较为严格，甚至是特殊设计，并不符合生物神经网络 的结构特点． 本文则试图通过构建一种更加接近生 物神经网络特性的模型来解释匹配决策问题． 1 一种具有漏整合神经元的稀疏 ESN 网络 发放 1. 1 问题描述 人类日常的决策过程常常包含短期记忆． 为了 解该记忆在决策过程中的作用，生理学家设计了两 类典型的实验模式: 一类是判断之后的刺激与前一 个刺激是否相同，其中第二个刺激在一个时延后给 出( match-to-sample，配对) ; 另一类是给定两个连续 的刺激后，需要判断这两个刺激是否属于同一类别 ( match /non-match decision，匹配决策) ． 前一类任务 只需要知道刺激是否发生了重复，而匹配决策任务 则还需要对刺激进行合适的分类，并根据分类结果 给出两个刺激是否属于同一类别的判断结果． 本文将刺激简化为神经元发放来对匹配决策问 题进行建模． 假设存在两个输入序列 A 和 B． 当 A 或 B 序列包含同时两个连续的发放，而另一个序列 并不包含任何发放，则认为匹配( match) ; 当 A 或 B 序列包含一个发放，另一序列也包含一个发放，则认 为不匹配( non-match) ． 因此，匹配决策问题可简化 为时间序列模式识别问题，即匹配模式和非匹配模 式，如图 1 所示． 图 1 神经元脉冲序列的匹配/不匹配模式 Fig． 1 Match and non-match patterns of neuron spikes 1. 2 网络结构 这里使用 ESN 网络来构建模型． 输入层包含两 个神经元，分别输入两组待识别的输入序列; 输出层 包含一个神经元，用于从状态池中读取状态并产生 输出; 隐层中的神经元完全随机连接，包含反馈连接 和自连接． 根据脑科学的观点，自然界中的网络是 稀疏的，其连接度很低． 参照这一观点，设计 ESN 网 络输入层与隐层稀疏连接，连接度 αinput = 0. 5; 隐层 内神经元间也是稀疏连接，连接度 αres = 0. 1． 这些 数据与脑科学中的实验结果相吻合; 输出层与隐层 之间随机全连接． 这样构建的 ESN 网络结构如图 2 所示． 图 2 本文使用的 ESN 模型示意图 Fig． 2 ESN structure used in this paper 漏整合神经元( leaky integrator) 在递归神经网 络中有着广泛的应用［4］． 该神经元可记忆之前的历 史状态，因此可用来改善网络对缓慢变化时间序列 学习和分类的性能． 使用的漏整合神经元更新方程 有两种，分别在激发函数前和后使用． 这里使用前 者，此时网络的状态空间表达式为 τ dX dt = － αX + f( Wres X + Wfb Y + Win U + V) ，( 1) Y = Wout f( X) ． ( 2) 式中，X 为状态池的状态变量，Y 为网络输出，U 为 输入，Wres 为隐层连接权矩阵，Wfb 为反馈连接权矩 阵，Win 为输入连接权矩阵，Wout 为输出连接权矩阵， V 为网络噪声，f 为神经元激发函数，τ 和 α 分别为 时间常数和漏衰减率． 当输入为 u( δk) 时，可以将 式( 1) 展开为 X( k + 1) = ( 1 － δα ) τ X( k) + δ τ ·f( Wres X( k) + Wfb Y( k) + Win U( k) + V( k) ) ． ( 3) 式中，X( k) 、Y( k) 、U( k) 和 V( k) 分别为网络在第 k 时刻的状态池变量、网 络 输 出、网络输入和网络 噪声． 1. 3 输出权的在线监督学习算法 网络训练时使用了在线监督学习算法［4］，该算 法被证明是收敛的，具体证明过程参见文献［4］． 算 法的具体步骤描述如下． ( 1) 初始状态: X 和 Y 置为 0，随机选取 Wout 的 值，满足均匀分布; 定义 P( 0) = I·( 1 /α) ，I 为 N × N ·7·

8 北京科技大学学报 第34卷 单位矩阵，N是网络隐层神经元个数 式中，r为时间常数，这里取r=2s.设定输出序列 (2)对输入序列u(1),u(2),…,u(k),…, y:是幅度为gm=1.2的正弦信号序列，即 u(n)的每一步值，计算网络输出y()与教师序列 0, t哇2，t2+r]: yteacher（k)的误差， ya(t)= (5) e(k)=ych(k)-y(k) ,t∈2，t2+r]. (3)使用P和e更新网络输出连接权矩阵， 实验中定义四组输入输出序列对如表1所示 W(k)=Wm(k-1)+e(k)·r(k)·c, 其中M1和M2是结果为匹配的序列对，NM1和 r(k)=f(x()),λ=P(k-1)·r(k), NM2是结果为不匹配的序列对. 1 c=1+r()入 表1四组输入输出序列对 Table 1 Four pairs of input/output sequences (4)更新P的值， P(k)=P(k-1)-A.Ac. 序列对 输入 输出 M (5)重复步骤(2)、(3)和(4)，直到k=n. 1=+2’4=0 叫1=0,2=山1+“2 Ytescher=ya(t） M2 2实验结果与分析 NMI 41=1·2=2 Yteacher=-ya(t） 2.1构建训练集与测试集 NM2 1=,2=u 实验中设定训练和测试用的时间序列长度T= 本文使用这四组序列对构造实验中使用的训练 6s,离散化采样间隔△t=0.08s.构造两个长度为t 集和测试集，如表2所示，其中定义发放间隔 的序列4，和u,其发放时间分别为t1=1s和t2= delay=t2-t,=2s.Datasetl是训练集，每次从其中 3s,发放幅度g。=0.675,发放时长入=1s,即 四种序列对中随机抽取一对训练.Dataset2~ r0, t任1，t1+入]： 4,()= Dataset4是测试集，分别代表三种不同类型的测试序 gmpe",tE+]. 列：(1)首次发放时间不变，发放间隔不同：(2)发放 r0, t生2t2+入]： 间隔不变，发放时间发生变化：(3)发放时间和间隔 3(t)= (4) ,te2,l2+]. 都发生变化. 表2实验中数据集的定义 Table 2 Datasets defined in the experiment 类型 数据集 包含的序列对 参数 训练集 Datasetl MI,M2,NMI,NM2 t=Is,delay =2s 测试集 Dataset2 MI,M2.NMI,NM2 t1=1s,delay=0.5~3.0s 测试集 Dataset3 MI,M2,NMI,NM2 t =0.5 ~4.0s,delay =2s 测试集 Dataset4 MI,M2,NMI,NM2 41=0.5-3.0s,delay=0.5~3.0s 网络测试的输出结果使用最大相关系数0来 2.2实验结果及分析 衡量，如下式所示： 实验中使用的网络隐层神经元个数N=5000, 0m=max(corrcoef(y,y))= α=δ=1.经过100次训练之后，输出连接权矩阵的 12=1 均值如图3(a)所示.从图3(a)可以看出：网络在经 过60次训练之后，输出连接权的均值变化趋于平 6 (y()-习∑(y,()-,) =0 max- (6) 缓：当训练次数达到100次时，其输出连接权均值逐 经=1 (y()-习2∑(，()-，)2 渐向某个常量无限接近.图3(b)则显示了网络输 出连接权的标准差随着训练步数的增加而变化的曲 当网络输出与匹配决策期望输出序列的匹配最 线，可以看出当训练步数达到60步之后，网络输出 大相关系数0s>0.9且与非匹配决策的期望输出 连接权标准差已经趋近于零，意味着网络的输出连 序列的非匹配最大相关系数阈值0s<0.5时，认为 接权不再发生明显的变化，说明网络训练确实收敛 匹配：反之则认为非匹配 与此同时，测得训练均方误差(MSE)均小于0.01

北 京 科 技 大 学 学 报 第 34 卷 单位矩阵，N 是网络隐层神经元个数． ( 2) 对输入序列 u( 1) ，u( 2) ，…，u( k) ，…， u( n) 的每一步值，计算网络输出 y( k) 与教师序列 yteacher( k) 的误差， e( k) = yteacher( k) － y( k) ． ( 3) 使用 P 和 e 更新网络输出连接权矩阵， Wout ( k) = Wout ( k － 1) + e( k)·r( k)·c， r( k) = f( x( k) ) ，λ = P( k － 1)·r( k) ， c = 1 1 + r( k) 'λ ． ( 4) 更新 P 的值， P( k) = P( k － 1) － λ·λ'·c． ( 5) 重复步骤( 2) 、( 3) 和( 4) ，直到 k = n． 2 实验结果与分析 2. 1 构建训练集与测试集 实验中设定训练和测试用的时间序列长度Tf = 6 s，离散化采样间隔 Δt = 0. 08 s． 构造两个长度为 t 的序列 ut1和 ut2 ，其发放时间分别为 t1 = 1 s 和t2 = 3 s，发放幅度 gin = 0. 675，发放时长 λ = 1 s，即 ut1 ( t) = 0， t［t1，t1 + λ］; ginpute － τt ， t∈［t1，t { 1 + λ］. ut2 ( t) = 0， t［t2，t2 + λ］; ginpute － τt ， t∈［t2，t { 2 + λ］. ( 4) 式中，τ 为时间常数，这里取 τ = 2 s． 设定输出序列 yd是幅度为 gout = 1. 2 的正弦信号序列，即 yd ( t) = 0， t［t2，t2 + τ］; goutput ( sin π τ ) t ， t∈［t2，t { 2 + τ］． ( 5) 实验中定义四组输入输出序列对如表 1 所示． 其中 M1 和 M2 是结果为匹配的序列对，NM1 和 NM2 是结果为不匹配的序列对． 表 1 四组输入输出序列对 Table 1 Four pairs of input /output sequences 序列对 输入 输出 M1 u1 = ut1 + ut2，u2 = 0 yteacher = yd ( t) M2 u1 = 0，u2 = ut1 + ut2 NM1 u1 = ut 1，u2 = ut2 yteacher = － yd ( t) NM2 u1 = ut 2，u2 = ut 1 本文使用这四组序列对构造实验中使用的训练 集和 测 试 集，如 表 2 所 示，其 中 定 义 发 放 间 隔 delay = t2 － t1 = 2 s． Dataset1 是训练集，每次从其中 四种序列对中随机抽取一对训练． Dataset2 ～ Dataset4是测试集，分别代表三种不同类型的测试序 列: ( 1) 首次发放时间不变，发放间隔不同; ( 2) 发放 间隔不变，发放时间发生变化; ( 3) 发放时间和间隔 都发生变化． 表 2 实验中数据集的定义 Table 2 Datasets defined in the experiment 类型 数据集 包含的序列对 参数 训练集 Dataset1 M1，M2，NM1，NM2 t1 = 1 s，delay = 2 s 测试集 Dataset2 M1，M2，NM1，NM2 t1 = 1 s，delay = 0. 5 ～ 3. 0 s 测试集 Dataset3 M1，M2，NM1，NM2 t1 = 0. 5 ～ 4. 0 s，delay = 2 s 测试集 Dataset4 M1，M2，NM1，NM2 t1 = 0. 5 ～ 3. 0 s，delay = 0. 5 ～ 3. 0 s 网络测试的输出结果使用最大相关系数 θmax来 衡量，如下式所示: θmax = max 6 t2 = 1 ( corrcoef( y，yt2 ) ) = max 6 t2 = 1 ∑ l i = 0 ( y( i) － y) ∑( yt2 ( i) － yt2 ) ∑ l i = 0 ( y( i) － y) 2 ∑( yt2 ( i) － yt2 ) 槡 2 ． ( 6) 当网络输出与匹配决策期望输出序列的匹配最 大相关系数 θmax ＞ 0. 9 且与非匹配决策的期望输出 序列的非匹配最大相关系数阈值 θmax ＜ 0. 5 时，认为 匹配; 反之则认为非匹配． 2. 2 实验结果及分析 实验中使用的网络隐层神经元个数 N = 5 000， α = δ = 1． 经过 100 次训练之后，输出连接权矩阵的 均值如图 3( a) 所示． 从图 3( a) 可以看出: 网络在经 过 60 次训练之后，输出连接权的均值变化趋于平 缓; 当训练次数达到 100 次时，其输出连接权均值逐 渐向某个常量无限接近． 图 3( b) 则显示了网络输 出连接权的标准差随着训练步数的增加而变化的曲 线，可以看出当训练步数达到 60 步之后，网络输出 连接权标准差已经趋近于零，意味着网络的输出连 接权不再发生明显的变化，说明网络训练确实收敛． 与此同时，测得训练均方误差( MSE) 均小于 0. 01， ·8·

第1期 杨博等：面向匹配决策问题的漏整合神经元稀疏ESN网络 9 当训练100次之后与训练集中的四组序列对的最大 相关系数分别为0.939、0.9344、0.9042和0.9561. 0.20 0.15 0.10 0.05 20 40 60 80 100 20 40 60 训练次数 训练次数 图3学习曲线.(a)输出连接权均值：(b)输出训练误差标准差 Fig.3 Learning curves:(a)average output weights:(b)standard deviation of network output error 使用Dataset2测试网络输出的匹配和非匹配最 会引起决策失败.这说明网络对于发放间隔的变化 大相关系数曲线如图4所示.当输入匹配序列发放 是比较敏感的.使用Dataset3测试网络输出的匹配 间隔delay>2.5时匹配最大相关系数会急剧下降， 和非匹配最大相关系数曲线如图5所示.从图5中 非匹配最大相关系数急剧上升，导致网络输出的决 可见曲线变化较为平稳，误差在0.1以内，这说明网 策失败；当输入非匹配发放间隔delay<l.5s时也 络对于发放时间是不敏感的. 1.0 1.0 a) (b) 0.8 0.8 一匹配最大相关 匹配最大和关 系数曲线 系数曲线 非匹配最大相关 非匹配最大相关 系数曲线 系数曲线 层0.4 0.2 0.2 0.5 1.0 1.52.0 2.5 3.0 0.5 1.0 1.5 2.0 2.5 3.0 发放时间间隔s 发放时间间隔s 1.0 1.0 c d 0.8 0.8 匹配最大相关 一匹配最大相关 系数曲线 系数曲线 非匹配最大相关 非匹配最大相关 系数曲线 系数曲线 0.4 0.2 0.2 05 1.0 1.52.0 2.5 3.0 0.5 1.0 1.5 2.0 2.5 3.0 发放时间间附/s 发放时间间隔s 图4使用Dataset2测试网络的最大相关系数曲线.(a)M1:(b)M2:(c)NM1:(d)NM2 Fig.4 Maximum correlation coefficient curves obtained using Dataset2 to test the network:(a)M1:(b)M2;(c)NMI:(d)NM2 图6中则显示了使用Dataset4测试网络输出 最大相关系数的误差变化范围会随着发放间隔的 的匹配和非匹配最大相关系数曲线.当输入序列 增大而增大：而当输入非匹配序列则相反.这说明 的发放间隔一定时，不同的发放时间会导致匹配 网络对发放间隔的敏感程度要大于对发放时间的 和非匹配最大相关系数变化.当输入匹配序列时， 敏感程度

第 1 期 杨 博等: 面向匹配决策问题的漏整合神经元稀疏 ESN 网络 当训练 100 次之后与训练集中的四组序列对的最大 相关系数分别为 0. 939、0. 934 4、0. 904 2 和 0. 956 1． 图 3 学习曲线． ( a) 输出连接权均值; ( b) 输出训练误差标准差 Fig． 3 Learning curves: ( a) average output weights; ( b) standard deviation of network output error 使用 Dataset2 测试网络输出的匹配和非匹配最 大相关系数曲线如图 4 所示． 当输入匹配序列发放 间隔 delay ＞ 2. 5 时匹配最大相关系数会急剧下降， 非匹配最大相关系数急剧上升，导致网络输出的决 策失败; 当输入非匹配发放间隔 delay ＜ 1. 5 s 时也 会引起决策失败． 这说明网络对于发放间隔的变化 是比较敏感的． 使用 Dataset3 测试网络输出的匹配 和非匹配最大相关系数曲线如图 5 所示． 从图 5 中 可见曲线变化较为平稳，误差在 0. 1 以内，这说明网 络对于发放时间是不敏感的． 图 4 使用 Dataset2 测试网络的最大相关系数曲线． ( a) M1; ( b) M2; ( c) NM1; ( d) NM2 Fig． 4 Maximum correlation coefficient curves obtained using Dataset2 to test the network: ( a) M1; ( b) M2; ( c) NM1; ( d) NM2 图 6 中则显示了使用 Dataset4 测试网络输出 的匹配和非匹配最大相关系数曲线． 当输入序列 的发放间隔一定时，不同的发放时间会导致匹配 和非匹配最大相关系数变化． 当输入匹配序列时， 最大相关系数的误差变化范围会随着发放间隔的 增大而增大; 而当输入非匹配序列则相反． 这说明 网络对发放间隔的敏感程度要大于对发放时间的 敏感程度． ·9·

·10 北京科技大学学报 第34卷 1.0 1.0 (a 0.8 0.8 匹配最大相关 匹配最大相关 系数曲线 系数曲线 80.6 非匹配最大相关 非匹配最大相关 系数曲线 系数曲线 0.4 路0.4 0.2 0.2 0.5 1.0 1.5 2.02.53.0 3.54.0 0.51.01.5 2.02.5 3.03.54.0 1.0m 1.0m (e) d 08- 0.8 匹配最大相关 匹配最大相关 0.6 系数曲线 系数曲线 非匹配最大相关 非匹配最大相关 系数曲线 系数曲线 0.4 0.4 0.2 0.2 0.51.0 1.52.02.53.0 3.54.0 0.5 1.01.52.02.53.03.54.0 ,s 图5使用Datase3测试网络的最大相关系数曲线.(a)M1:(b)M2;(c)NM1:(d)NM2 Fig.5 Maximum correlation coefficient curves obtained using Dataset3 to test the network:(a)M1:(b)M2:(c)NMI:(d)NM2 1.01十 a 0.8 08 匹配最大相关 一匹配最大相关 系数曲线 系数曲线 非匹配最大相关 0.6 非匹配最大相关 系数曲线 系数曲线 0.4 0.2 0.2 05 1.0 1.5 2.0 30 0.5 1.0 1.5 2.0 30 发放时问问隔/s 发放时向向隔 1.0 王 0.8* 0.8 ~匹配最大相关 匹配最大相关 系数曲线 系数曲线 0.6 非匹配最大相关 非匹配最大相关 系数曲线 系数曲线 0.4 0.2 0.2 0.5 1.0 1.5 70 2.5 3.0 1.0 1.5 2.0 2.5 3.0 发放时间间隔/s 发放时间间隔/ 图6使用Dataset-4测试网络的最大相关系数曲线.(a)M1:(b)M2:(c)NM1:(d)NM2 Fig.6 Maximum correlation coefficient curves obtained using Dataset4 to test the network:(a)Ml:(b)M2:(c)NMI:(d)NM2 从以上实验结果可以看到，本文设计的ESN网 简单的易于判断的教师信号，模型能够在较短的训 络模型能够识别不同发放序列所组成的不同模式 练次数内“学会”不同的输入模式。从吸引子的角度 当序列模式分别为匹配和非匹配模式时，通过设定 分析，模型记忆了不同输入模式所对应的吸引子，并

北 京 科 技 大 学 学 报 第 34 卷 图 5 使用 Datase3 测试网络的最大相关系数曲线． ( a) M1; ( b) M2; ( c) NM1; ( d) NM2 Fig． 5 Maximum correlation coefficient curves obtained using Dataset3 to test the network: ( a) M1; ( b) M2; ( c) NM1; ( d) NM2 图 6 使用 Dataset4 测试网络的最大相关系数曲线． ( a) M1; ( b) M2; ( c) NM1; ( d) NM2 Fig． 6 Maximum correlation coefficient curves obtained using Dataset4 to test the network: ( a) M1; ( b) M2; ( c) NM1; ( d) NM2 从以上实验结果可以看到，本文设计的 ESN 网 络模型能够识别不同发放序列所组成的不同模式． 当序列模式分别为匹配和非匹配模式时，通过设定 简单的易于判断的教师信号，模型能够在较短的训 练次数内“学会”不同的输入模式． 从吸引子的角度 分析，模型记忆了不同输入模式所对应的吸引子，并 ·10·

第1期 杨博等：面向匹配决策问题的漏整合神经元稀疏ESN网络 ·11· 在测试过程中对所属吸引子的模式进行了正确回 an learning rule.Annu Rer Neurosci,2008,31(1):25 想.这从另一个方面表明，仅仅依靠递归神经网络 2]Wills T J,Lever C,Cacucei F,et al.Attractor dynamics in the 也可以完成匹配决策任务，而无需使用某种特殊的 hippocampal representation of the local environment.Science, 2005,308(5723):873 网络结构或神经元连接关系.这一结果更加符合生 B]Jaeger H.Adaptive nonlinear system identification with echo state 物神经网络的特性和有关实验研究结果. networks /Proceeding of Neural Information Processing Systems 该模型还存在着某些不足.例如，模型对序列 (NIPS).Vancouver,2002:593 中的发放间隔和发放平移具有一定的鲁棒性，但并 4]Jaeger H,Lukosevicius M,Popovici D,et al.Optimization and 不能在更大的发放间隔区间上成功地进行匹配决 applications of echo state networks with leaky-integrator neurons. Neural Netcorks,2007,20(3):335 策.又如，利用在线监督学习算法训练网络能够得 [5]Deng Z D,Zhang Y.Collective behavior of a small-world recurrent 到较好的结果，但却没有直接的生理学依据。此时 neural system with scale-free distribution.IEEE Trans Neural Net- 可考虑采用再励学习.此外，模型将匹配决策问题 corks,2007,18(5):1364 简化为二分类的模式识别问题，但实际中的匹配决 [6]Lukosevicius M,Jaeger H.Reservoir computing approaches to re- 策问题则包含了更多的分类 current neural network training.Comput Sci Rev,2009,3(3): 127 3结论 LiY B,Song Y,Rong X W.A method for controlling chaos with echo state network /Proceeding of Intelligent Control and Auto- 本文面向神经生理学中的匹配决策问题，提出 mation (WCICA).Jinan,2010:60 了一种具有漏神经元的稀疏ESN网络，并将其应用 8] Skowronski D M,Harris G J.Noise-robust automatic speech rec- 于该匹配决策问题的建模和预测，并利用最大相关 ognition using a predictive echo state network.IEEE Trans Audio Speech Lang Process,2007,15 (5):1724 系数对网络的决策性能进行评估.实验结果表明， 9] Devert A,Bredeche N,Schoenauer M.Unsupervised leaming of 本文提出的模型只需较少的训练周期即可获得较好 echo state networks:a case study in artificial embryogeny /Pro- 的判定结果，且对发放间隔、发放时间具有较好的鲁 ceedings of Artificial Erolution.Tours,2007:278 棒性.如何提高该模型在发放间隔较大时的决策准 [10]Smolinski T G,Prinz AA.Multi-objective evolutionary algo- 确率，以及如何使其具有更多神经生理学特性以获 rithms for model neuron parameter value selection matching bio- 得更好的预测精度，值得进一步研究 logical behavior under different simulation scenarios.BMC Neu- rosci,2009,10(Suppl 1)26 [11]Krimm R F,Hill DL.Neuron/target matching between chorda 参考文献 tympani neurons and taste buds during postnatal rat development. Caporale N,Yang D.Spike timing-dependent plasticity:a Hebbi- J Neurobiol,2000,43(1)98

第 1 期 杨 博等: 面向匹配决策问题的漏整合神经元稀疏 ESN 网络 在测试过程中对所属吸引子的模式进行了正确回 想． 这从另一个方面表明，仅仅依靠递归神经网络 也可以完成匹配决策任务，而无需使用某种特殊的 网络结构或神经元连接关系． 这一结果更加符合生 物神经网络的特性和有关实验研究结果． 该模型还存在着某些不足． 例如，模型对序列 中的发放间隔和发放平移具有一定的鲁棒性，但并 不能在更大的发放间隔区间上成功地进行匹配决 策． 又如，利用在线监督学习算法训练网络能够得 到较好的结果，但却没有直接的生理学依据． 此时 可考虑采用再励学习． 此外，模型将匹配决策问题 简化为二分类的模式识别问题，但实际中的匹配决 策问题则包含了更多的分类． 3 结论 本文面向神经生理学中的匹配决策问题，提出 了一种具有漏神经元的稀疏 ESN 网络，并将其应用 于该匹配决策问题的建模和预测，并利用最大相关 系数对网络的决策性能进行评估． 实验结果表明， 本文提出的模型只需较少的训练周期即可获得较好 的判定结果，且对发放间隔、发放时间具有较好的鲁 棒性． 如何提高该模型在发放间隔较大时的决策准 确率，以及如何使其具有更多神经生理学特性以获 得更好的预测精度，值得进一步研究． 参 考 文 献 ［1］ Caporale N，Yang D． Spike timing-dependent plasticity: a Hebbi￾an learning rule． Annu Rev Neurosci，2008，31( 1) : 25 ［2］ Wills T J，Lever C，Cacucci F，et al． Attractor dynamics in the hippocampal representation of the local environment． Science， 2005，308( 5723) : 873 ［3］ Jaeger H． Adaptive nonlinear system identification with echo state networks / / Proceeding of Neural Information Processing Systems ( NIPS) ． Vancouver，2002: 593 ［4］ Jaeger H，Lukoevicˇius M，Popovici D，et al． Optimization and applications of echo state networks with leaky-integrator neurons． Neural Networks，2007，20( 3) : 335 ［5］ Deng Z D，Zhang Y． Collective behavior of a small-world recurrent neural system with scale-free distribution． IEEE Trans Neural Net￾works，2007，18( 5) : 1364 ［6］ Lukoevicˇius M，Jaeger H． Reservoir computing approaches to re￾current neural network training． Comput Sci Rev，2009，3 ( 3 ) : 127 ［7］ LiY B，Song Y，Rong X W． A method for controlling chaos with echo state network / / Proceeding of Intelligent Control and Auto￾mation ( WCICA) ． Jinan，2010: 60 ［8］ Skowronski D M，Harris G J． Noise-robust automatic speech rec￾ognition using a predictive echo state network． IEEE Trans Audio Speech Lang Process，2007，15( 5) : 1724 ［9］ Devert A，Bredeche N，Schoenauer M． Unsupervised learning of echo state networks: a case study in artificial embryogeny / / Pro￾ceedings of Artificial Evolution． Tours，2007: 278 ［10］ Smolinski T G，Prinz A A． Multi-objective evolutionary algo￾rithms for model neuron parameter value selection matching bio￾logical behavior under different simulation scenarios． BMC Neu￾rosci，2009，10( Suppl 1) : 26 ［11］ Krimm R F，Hill D L． Neuron /target matching between chorda tympani neurons and taste buds during postnatal rat development． J Neurobiol，2000，43( 1) : 98 ·11·