218 北京科技大学学报 第34卷 针对读出网络进行.由于大大降低了训练的计算 结点的激励函数，Wm、W4和W分别为输入连接、 量，又避免了大多数基于梯度下降的学习算法所难 输出反馈连接和储备池内部连接的权值矩阵.网络 回避的局部极小现象，并同时能够取得很好的建模 的输出按下式计算： 精度，所以近年来ESN引起了很多学者的关注，已 y(1+1)=fWm(u(t+1),x(t+1),y(t))). 逐渐成为递归神经网络中的研究热点之一· (2) 1ESN的基本原理 式中，W为输出权值矩阵，f(·)为输出节点的激励 函数 基本ESN的拓扑结构如图1所示).图中左侧 ESN的基本思想，就是由储备池生成一个随输 为K个输入节点：中间是储备池网络，由N个内部 入而不断变化着的复杂动态空间.当这个状态空间 节点以及稀疏的节点连接权值构成：右侧是L个输 足够复杂时，就可以利用这些内部状态，线性地组合 出节点.图中实线表示了网络的必要连接，而虚线 出所需要的对应输出.相对于调整内部连接矩阵权 则表示了不同情况下还可能存在的连接，但它们对 值而言，E$N的训练要简单得多，在网络初始化之 于构成ESN并不是必需的.在ESN中，在训练阶段 后，唯一会在训练中发生变化的只有输出连接的权 会改变的只有输出连接权值. 值.对于输出权值的调整，主要是基于最小均方误 ◆W W 差的原则独立地调整每个输出节点. ESN的一个典型建立流程如图2所示 ESN的构造方法很简单，但在具体使用过程中， 必须对网络中的一些关键参数进行经验性选择和 调整. 首先是储备池的规模.这点对于各类神经网络 ● 均有类似的结论，即节点越多，能表现的系统越复 杂.由于ESN仅仅通过调整输出权值来线性拟合输 u(t) x(t) 出结果，所以一般情况下SN需要远大于一般神经 输入层 储备池 输出层 网络的节点规模.ESN训练算法的简单，使得训练 (K个节点) W个节点) L个节点) 过程能快速完成. 图1回声状态网络SN的拓扑结构 其次是输入连接的权值大小以及内部连接矩阵 Fig.1 Framework of an echo state network 的谱半径.这些关键参数会影响到网络短期记忆时 储备池状态依照下式进行更新： 间的长短.输入权值越小而内部矩阵的谱半径越接 x(t+1)=f Wi u(t+1)+Wx(t)+Wiy(t)). 近1，网络短期记忆时间越长.但是，增强记忆能力 (1) 的同时，这种操作也造成了网络对“快速变化”系统 式中，x(t)为第t步的储备池状态向量，(t)和y(t) 的建模能力下降).在实际应用中，要通过分析被 则分别为第t步的输入和输出向量，∫(·)为储备池 建模系统的实际变化特征来选取相应的数值， 样本数据依次 输入向量如载到 确定储备池大小 如载到输入输出 输入节点上 随机生成连接矩阵 空转一定时间 空转一定时间 缩放矩阵 使得谱半径<1 更新/记录储备池状 随机生成输入连接和 使用线性回归 从输出节点 输出反馈权值 确定输出连接权 取得结果 初始化 训练 使用 图2回声状态网络ESN的建立流程 Fig.2 Flow diagram of an echo state network北 京 科 技 大 学 学 报 第 34 卷 针对读出网络进行． 由于大大降低了训练的计算 量，又避免了大多数基于梯度下降的学习算法所难 回避的局部极小现象，并同时能够取得很好的建模 精度，所以近年来 ESN 引起了很多学者的关注，已 逐渐成为递归神经网络中的研究热点之一． 1 ESN 的基本原理 基本 ESN 的拓扑结构如图1 所示［3］． 图中左侧 为 K 个输入节点; 中间是储备池网络，由 N 个内部 节点以及稀疏的节点连接权值构成; 右侧是 L 个输 出节点． 图中实线表示了网络的必要连接，而虚线 则表示了不同情况下还可能存在的连接，但它们对 于构成 ESN 并不是必需的． 在 ESN 中，在训练阶段 会改变的只有输出连接权值． 图 2 回声状态网络 ESN 的建立流程 Fig． 2 Flow diagram of an echo state network 图 1 回声状态网络 ESN 的拓扑结构 Fig． 1 Framework of an echo state network 储备池状态依照下式进行更新: x( t + 1) = f( Winu( t + 1) + Wx( t) + Wback y( t) ) ． ( 1) 式中，x( t) 为第 t 步的储备池状态向量，u( t) 和 y( t) 则分别为第 t 步的输入和输出向量，f (·) 为储备池 结点的激励函数，Win、Wback和 W 分别为输入连接、 输出反馈连接和储备池内部连接的权值矩阵． 网络 的输出按下式计算: y( t + 1) = f( Wout ( u( t + 1) ，x( t + 1) ，y( t) ) ) ． ( 2) 式中，Wout为输出权值矩阵，f (·) 为输出节点的激励 函数． ESN 的基本思想，就是由储备池生成一个随输 入而不断变化着的复杂动态空间． 当这个状态空间 足够复杂时，就可以利用这些内部状态，线性地组合 出所需要的对应输出． 相对于调整内部连接矩阵权 值而言，ESN 的训练要简单得多，在网络初始化之 后，唯一会在训练中发生变化的只有输出连接的权 值． 对于输出权值的调整，主要是基于最小均方误 差的原则独立地调整每个输出节点． ESN 的一个典型建立流程如图 2 所示． ESN 的构造方法很简单，但在具体使用过程中， 必须对网络中的一些关键参数进行经验性选择和 调整． 首先是储备池的规模． 这点对于各类神经网络 均有类似的结论，即节点越多，能表现的系统越复 杂． 由于 ESN 仅仅通过调整输出权值来线性拟合输 出结果，所以一般情况下 ESN 需要远大于一般神经 网络的节点规模． ESN 训练算法的简单，使得训练 过程能快速完成． 其次是输入连接的权值大小以及内部连接矩阵 的谱半径． 这些关键参数会影响到网络短期记忆时 间的长短． 输入权值越小而内部矩阵的谱半径越接 近 1，网络短期记忆时间越长． 但是，增强记忆能力 的同时，这种操作也造成了网络对“快速变化”系统 的建模能力下降［3］． 在实际应用中，要通过分析被 建模系统的实际变化特征来选取相应的数值． ·218·