第2期 罗熊等：回声状态网络的研究进展 ·219· 另外，值得注意的还包括内部神经元激励函数2.2稳定性和泛化能力的研究 的选取.Jaeger最初论证回声状态时使用的是线性 ESN的稳定性和泛化能力研究对处理系统的反 神经元.一般地，对于线性神经元网络，可以在拥有 馈连接尤为重要图.通常，稳定性不佳以及泛化能 回声状态的同时，提供更强的短期记忆.但是，由于 力差的网络会使得输出权值中出现少数很大的数 大多数需要神经网络进行建模的系统都具有很强的 值.极大的输出权值使得系统体现出更多的混沌特 非线性，最后在实际应用中往往采取了更常见的S 性.对于这一现象，存在两种改进途径：第一种是采 形激励函数 用遗传算法来调整储备池权值，寻找到一个使得不 需要大输出权值即可拟合到样本的状态空间，但 2ESN的分析与改进 这往往会伴随有相当大的计算量；另一种就是对训 以往针对递归神经网络的研究工作，主要集中 练算法进行修改，由于线性回归方法找到的永远是 在对其中的误差梯度下降算法进行改进优化，使其 “最贴近样本序列”的读出方式，为了改善这种“过 适合调整递归网络的权值，但算法收敛慢以及计算 分精确”的状况，需要通过某种干预，来适当地降低 量大等问题一直没有得到很好解决.ESN中的储备 算法的精确度.一个较通用的改进方案是在训练时 池计算模式是一种全新的思想，它为上述问题的解 对节点添加白噪声： 决提供了一种新思路 x(t+1)=fW(t+1)+Wx(t)+ 2.1储备池的生成与分析 Wic(y(t)+v(t))). (3) ESN最显著的特点就是在原有的递归神经网络 式中，()为较小的随机噪声. 中，将输入和输出之外的部分作为储备池进行处理， 另外，还可用岭回归替代原来的线性回归 通过少数的输入信号，在储备池中激发出复杂状态 即将原来的线性▣归方法 空间，并最终线性组合反映到网络输出.在这个过 W=(XXXy (4) 程中，生成一个合适的储备池是ESN构造中最棘手 替换为 的工作.如何使用尽量少的神经元与尽量少的连接 W=(XX+AD-Xy. (5) 式中，X为状态向量构成的矩阵，y则为输出序列构 来构成储备池，使其尽可能产生更加复杂多样的状 态空间，这一直是ESN的一个研究重点 成的向量.正则项系数入在这里起到了类似噪声的 作用，由于这个参数可以通过贝叶斯后验概率最大 在这方面，有一个典型结论：具有相同特征值的 化方法或Bootstrap重采样方法来优化确定，使得改 连接矩阵的储备池，具有几乎相同的状态空间复杂 进效果要明显优于前面直接添加白噪声的方法 度（即在线性神经元的连接下，可以达到完全等 最后需要指出的是，上述两项改进都是针对离 同).由于随机生成的储备池拥有近似均匀分布 线批量训练方式进行设计的，无法有效地作用于在 于复平面的特征值，因此可使用均匀分布在复平面 线实时训练.寻找适用于在线训练的稳定算法依然 的数值来构成分块对角矩阵（此时，复数特征值对 是一个有待研究的问题 以二阶矩阵形式存在)，以此作为连接矩阵构造解 2.3算法内部结构的调整优化 耦合的储备池.此时，储备池中就只存在单个的 通过对核心算法结构的改进优化，追求更好的 或两个一组的小网络.这一结果在不减弱储备池空 效果.典型的尝试就是使用不同的神经元来替换内 间复杂度的前提下，最大程度地减少了连接权的 部节点.针对普通S形神经元在固件中难以实现的 数量. 问题，可使用随机比特序列神经元来构建网络] 增加储备池空间复杂度的研究，实际上是一个 也可将泄漏积分神经元(leaky integrator neurons)引 与实际训练样本相关联的问题，何种特征的样本适 入ESN中.另外，还尝试使用小波神经元，利用 合何种拓扑结构的储备池？其对应的状态空间复杂 这种“小波函数展开”的方式获得了更复杂的储 变化的特点与规律又是怎样？目前在理论上都没有 备池 很好解决.目前，代表性的工作主要包括仿照生 由于最初Jaeger的回声状态条件都是针对简单 物神经结构“生长”得到储备池的方法6，以及将储 的线性神经元提出的，所以使得采用不同的神经元 备池分块并通过水平阻隔(lateral inhibition)方式进 构建储备池时，需要重新考虑回声状态成立的条件. 行解耦合，从而使网络具备多重时间特性的建模 在替换神经元的各种方案中，回声状态条件的选择 方法) 和变更将是今后ESN研究中的一个重要方向.第 2 期 罗 熊等: 回声状态网络的研究进展 另外，值得注意的还包括内部神经元激励函数 的选取． Jaeger 最初论证回声状态时使用的是线性 神经元． 一般地，对于线性神经元网络，可以在拥有 回声状态的同时，提供更强的短期记忆． 但是，由于 大多数需要神经网络进行建模的系统都具有很强的 非线性，最后在实际应用中往往采取了更常见的 S 形激励函数． 2 ESN 的分析与改进 以往针对递归神经网络的研究工作，主要集中 在对其中的误差梯度下降算法进行改进优化，使其 适合调整递归网络的权值，但算法收敛慢以及计算 量大等问题一直没有得到很好解决． ESN 中的储备 池计算模式是一种全新的思想，它为上述问题的解 决提供了一种新思路． 2. 1 储备池的生成与分析 ESN 最显著的特点就是在原有的递归神经网络 中，将输入和输出之外的部分作为储备池进行处理， 通过少数的输入信号，在储备池中激发出复杂状态 空间，并最终线性组合反映到网络输出． 在这个过 程中，生成一个合适的储备池是 ESN 构造中最棘手 的工作． 如何使用尽量少的神经元与尽量少的连接 来构成储备池，使其尽可能产生更加复杂多样的状 态空间，这一直是 ESN 的一个研究重点． 在这方面，有一个典型结论: 具有相同特征值的 连接矩阵的储备池，具有几乎相同的状态空间复杂 度( 即在线性神经元的连接下，可以达到完全等 同) ［4］． 由于随机生成的储备池拥有近似均匀分布 于复平面的特征值，因此可使用均匀分布在复平面 的数值来构成分块对角矩阵( 此时，复数特征值对 以二阶矩阵形式存在) ，以此作为连接矩阵构造解 耦合的储备池［4］． 此时，储备池中就只存在单个的 或两个一组的小网络． 这一结果在不减弱储备池空 间复杂度的前提下，最大程度地减少了连接权的 数量． 增加储备池空间复杂度的研究，实际上是一个 与实际训练样本相关联的问题，何种特征的样本适 合何种拓扑结构的储备池? 其对应的状态空间复杂 变化的特点与规律又是怎样? 目前在理论上都没有 很好解决［5］． 目前，代表性的工作主要包括仿照生 物神经结构“生长”得到储备池的方法［6］，以及将储 备池分块并通过水平阻隔( lateral inhibition) 方式进 行解耦合，从而使网络具备多重时间特性的建模 方法［7］． 2. 2 稳定性和泛化能力的研究 ESN 的稳定性和泛化能力研究对处理系统的反 馈连接尤为重要［8］． 通常，稳定性不佳以及泛化能 力差的网络会使得输出权值中出现少数很大的数 值． 极大的输出权值使得系统体现出更多的混沌特 性． 对于这一现象，存在两种改进途径: 第一种是采 用遗传算法来调整储备池权值，寻找到一个使得不 需要大输出权值即可拟合到样本的状态空间［9］，但 这往往会伴随有相当大的计算量; 另一种就是对训 练算法进行修改，由于线性回归方法找到的永远是 “最贴近样本序列”的读出方式，为了改善这种“过 分精确”的状况，需要通过某种干预，来适当地降低 算法的精确度． 一个较通用的改进方案是在训练时 对节点添加白噪声［10］: x( t + 1) = f( Winu( t + 1) + Wx( t) + Wback ( y( t) + v( t) ) ) ． ( 3) 式中，v( t) 为较小的随机噪声． 另外，还可用岭回归替代原来的线性回归［11］， 即将原来的线性回归方法 W^ = ( XT X) － 1 XT y ( 4) 替换为 W^ = ( XT X + λI) － 1 XT y． ( 5) 式中，X 为状态向量构成的矩阵，y 则为输出序列构 成的向量． 正则项系数 λ 在这里起到了类似噪声的 作用，由于这个参数可以通过贝叶斯后验概率最大 化方法或 Bootstrap 重采样方法来优化确定，使得改 进效果要明显优于前面直接添加白噪声的方法． 最后需要指出的是，上述两项改进都是针对离 线批量训练方式进行设计的，无法有效地作用于在 线实时训练． 寻找适用于在线训练的稳定算法依然 是一个有待研究的问题． 2. 3 算法内部结构的调整优化 通过对核心算法结构的改进优化，追求更好的 效果． 典型的尝试就是使用不同的神经元来替换内 部节点． 针对普通 S 形神经元在固件中难以实现的 问题，可使用随机比特序列神经元来构建网络［12］． 也可将泄漏积分神经元( leaky integrator neurons) 引 入 ESN 中［13］． 另外，还尝试使用小波神经元，利用 这种“小波函数展开”的方式获得了更复杂的储 备池［14］． 由于最初 Jaeger 的回声状态条件都是针对简单 的线性神经元提出的，所以使得采用不同的神经元 构建储备池时，需要重新考虑回声状态成立的条件． 在替换神经元的各种方案中，回声状态条件的选择 和变更将是今后 ESN 研究中的一个重要方向． ·219·