·220· 北京科技大学学报 第34卷 2.4与其他技术的混杂应用和改进简化 了ESN作为一个通用的递归神经网络，在很多需要 可将ESN与已有一些技术相结合，混杂应用共 依据时序信息进行工作的系统中，展现出来的应用 同发挥双方的能力.例如，在ESN的读出部分采用 潜力. 多层前向神经网络进行设计，这种结合既利用了储 4ESN的研究热点 备池状态空间的多样性，又通过非线性的读出装置 提升了系统的非线性特性) 作为一个提出不久的新理论，ESN也有许多有 可将数个ESN组合起来构成一个多层结构，不 待进一步研究的特性以及进一步改进的细节. 同层次上的ESN分别识别处理系统不同时间规模 (I)储备池性能的优化.储备池是ESN的核心 的特征[6.在现实生活中，很多时序数据（如语言、 部分.在最原始的ESN中，储备池内部的连接权值 文本和手势)包含的信息特征往往存在于具有很大 是随机赋值的，而能够进行调整的宏观量只有结点 差距的时间尺度上，在对这些数据进行处理时，需要 个数以及连接矩阵的谱半径.研究发现，拥有相同 系统把握这些不同层次上的规律.层次化的ESN恰 结点数和谱半径的储备池也会因为具体内部结构的 好具备了将这些信息分别提取出来的能力.ESN还 不同而表现出巨大的差别，这表明还有未被认识到 可与决策树的建立方法相结合，采用ESN辅助完成 的因素在影响着储备池的性能.因此对于原始的储 关键的决策环节，通过构造合理的决策树，从最大程 备池生成方案而言，还有很大的优化空间.这种优 度上减少了每一次决策所需的信息量.该方法已应 化主要从两方面来进行，其一就是研究储备池某些 用于入侵检测实验，其识别率远远高出了同类 数量特征或拓扑结构和其所展现出的某些特性之间 技术) 的联系，如前面所述的改进工作).储备池是一个 在实际应用中，建立一个能适用于实际问题的 递归网络，进行理论分析往往并不容易，因此更多的 ESN依然是一项艰巨的工作.目前能够获得较好效 研究工作集中在另一个优化手段上·第二种方式依 果的网络，除了结合经验知识进行尝试之外，大多都 然采用随机方式来生成储备池，但之后通过某种自 是使用遗传算法对参数或拓扑结构进行了一定的优 适应的方式来从中评选出更优的储备池，这一研究 化.由于对储备池性能优劣的判断方式依然过于繁 方向的代表就是采用遗传算法来优化.由于实际应 琐，这使得对每一个样本的评估显得过于复杂，耗费 用时的ESN储备池的规模往往很大，相当耗时.这 了大量的时间和资源来进行适应度函数的计算.如 种情况下，将上面两种手段结合起来会更加有效，也 何能够找到衡量储备池特性的详细关联特征，从而 就是通过理论研究找到某些能够衡量储备池性能的 简化遗传算法参与计算的步骤，是能够使ESN展现 简便方法，之后以此为指导通过遗传算法来进行 其简单高效特点的关键研究方向所在. 搜索. (2)读出网络的优化.储备池的调整更倾向于 3ESN的应用 提高状态空间的复杂程度，以此来提升样本的贴合 作为一种新兴起的理论，近几年有关E$N的研 程度，而读出部分的调整则偏重于提升网络的泛化 究重点还集中在理论上的优化和改进，但也已经有 能力、稳定性以及抗噪能力.在大多数ESN的实施 了一些实践性的尝试.ESN最成熟的应用还是集中 方案中，读出网络部分都采用了单层线性结构.这 在时间序列(time series)的学习上2.8山 种选择使得网络的训练能够得到一个全局最优解， 此外，模式识别领域一直是神经网络所擅长的， 避免了可能陷入局部极小的问题，而且在储备池复 应用ESN来进行时序样本的识别也取得了很好的 杂度足够的情况下，仅仅只是线性组合就能足够贴 效果，如图像边缘检测8】和自然语言识别9 合实验样本.原始的ESN中采用了最简单的线性回 ESN在控制领域的应用也在兴起.这种网络便 归来训练读出网络，虽然得到最小的训练误差，但没 于训练，可以通过ESN进行相应的间接控制.对于 有考虑到网络的泛化能力，尤其样本较少时问题会 直接控制来说，由于无法进行监督式学习，在训练中 更加严重.因此研究线性回归的替换算法来训练读 要采用遗传算法来优化训练输出权，所以通常需要 出网络是优化的一个重要方向.例如，将看中泛化 较长时间的训练过程，但这依然是可以取得实用效 能力的支持向量机(SVM)的研究中成熟的线性理 果的一种尝试[20) 论应用到ESN的训练当中，就取得相当显著的 另外，还有一些特殊的应用.例如，在音频处理 成效2] 方面的应用2】.这些较为特殊的研究工作也体现 (3)神经元的调整.大多数ESN方案中一般都北 京 科 技 大 学 学 报 第 34 卷 2. 4 与其他技术的混杂应用和改进简化 可将 ESN 与已有一些技术相结合，混杂应用共 同发挥双方的能力． 例如，在 ESN 的读出部分采用 多层前向神经网络进行设计，这种结合既利用了储 备池状态空间的多样性，又通过非线性的读出装置 提升了系统的非线性特性［15］． 可将数个 ESN 组合起来构成一个多层结构，不 同层次上的 ESN 分别识别处理系统不同时间规模 的特征［16］． 在现实生活中，很多时序数据( 如语言、 文本和手势) 包含的信息特征往往存在于具有很大 差距的时间尺度上，在对这些数据进行处理时，需要 系统把握这些不同层次上的规律． 层次化的 ESN 恰 好具备了将这些信息分别提取出来的能力． ESN 还 可与决策树的建立方法相结合，采用 ESN 辅助完成 关键的决策环节，通过构造合理的决策树，从最大程 度上减少了每一次决策所需的信息量． 该方法已应 用于入侵检测实验，其识别率远远高出了同类 技术［17］． 在实际应用中，建立一个能适用于实际问题的 ESN 依然是一项艰巨的工作． 目前能够获得较好效 果的网络，除了结合经验知识进行尝试之外，大多都 是使用遗传算法对参数或拓扑结构进行了一定的优 化． 由于对储备池性能优劣的判断方式依然过于繁 琐，这使得对每一个样本的评估显得过于复杂，耗费 了大量的时间和资源来进行适应度函数的计算． 如 何能够找到衡量储备池特性的详细关联特征，从而 简化遗传算法参与计算的步骤，是能够使 ESN 展现 其简单高效特点的关键研究方向所在． 3 ESN 的应用 作为一种新兴起的理论，近几年有关 ESN 的研 究重点还集中在理论上的优化和改进，但也已经有 了一些实践性的尝试． ESN 最成熟的应用还是集中 在时间序列( time series) 的学习上［2，8，11］． 此外，模式识别领域一直是神经网络所擅长的， 应用 ESN 来进行时序样本的识别也取得了很好的 效果，如图像边缘检测［18］和自然语言识别［19］． ESN 在控制领域的应用也在兴起． 这种网络便 于训练，可以通过 ESN 进行相应的间接控制． 对于 直接控制来说，由于无法进行监督式学习，在训练中 要采用遗传算法来优化训练输出权，所以通常需要 较长时间的训练过程，但这依然是可以取得实用效 果的一种尝试［20］． 另外，还有一些特殊的应用． 例如，在音频处理 方面的应用［21］． 这些较为特殊的研究工作也体现 了 ESN 作为一个通用的递归神经网络，在很多需要 依据时序信息进行工作的系统中，展现出来的应用 潜力． 4 ESN 的研究热点 作为一个提出不久的新理论，ESN 也有许多有 待进一步研究的特性以及进一步改进的细节． ( 1) 储备池性能的优化． 储备池是 ESN 的核心 部分． 在最原始的 ESN 中，储备池内部的连接权值 是随机赋值的，而能够进行调整的宏观量只有结点 个数以及连接矩阵的谱半径． 研究发现，拥有相同 结点数和谱半径的储备池也会因为具体内部结构的 不同而表现出巨大的差别，这表明还有未被认识到 的因素在影响着储备池的性能． 因此对于原始的储 备池生成方案而言，还有很大的优化空间． 这种优 化主要从两方面来进行，其一就是研究储备池某些 数量特征或拓扑结构和其所展现出的某些特性之间 的联系，如前面所述的改进工作［7］． 储备池是一个 递归网络，进行理论分析往往并不容易，因此更多的 研究工作集中在另一个优化手段上． 第二种方式依 然采用随机方式来生成储备池，但之后通过某种自 适应的方式来从中评选出更优的储备池，这一研究 方向的代表就是采用遗传算法来优化． 由于实际应 用时的 ESN 储备池的规模往往很大，相当耗时． 这 种情况下，将上面两种手段结合起来会更加有效，也 就是通过理论研究找到某些能够衡量储备池性能的 简便方法，之后以此为指导通过遗传算法来进行 搜索． ( 2) 读出网络的优化． 储备池的调整更倾向于 提高状态空间的复杂程度，以此来提升样本的贴合 程度，而读出部分的调整则偏重于提升网络的泛化 能力、稳定性以及抗噪能力． 在大多数 ESN 的实施 方案中，读出网络部分都采用了单层线性结构． 这 种选择使得网络的训练能够得到一个全局最优解， 避免了可能陷入局部极小的问题，而且在储备池复 杂度足够的情况下，仅仅只是线性组合就能足够贴 合实验样本． 原始的 ESN 中采用了最简单的线性回 归来训练读出网络，虽然得到最小的训练误差，但没 有考虑到网络的泛化能力，尤其样本较少时问题会 更加严重． 因此研究线性回归的替换算法来训练读 出网络是优化的一个重要方向． 例如，将看中泛化 能力的支持向量机( SVM) 的研究中成熟的线性理 论应用到 ESN 的训练当中，就取得相当显著的 成效［22］． ( 3) 神经元的调整． 大多数 ESN 方案中一般都 ·220·