第8期 李艳晴等：基于卡尔曼滤波的迟滞神经网络风速序列预测 ·1109· 出复合特性的神经网络，通过充分利用这些非线性 f(s)=(1+exp（-cs)- (1) 性质以提高预测性能.另外，卡尔曼滤波方法能够 式中，s为神经元的输入值，f(s)为神经元的输出响 融合几种预测结果得到最优预测估计，从而可进一 应，参数c决定了函数的形状.该激励函数为单输 步改善单一预测方法的性能. 入单输出的单调上升的函数，缺少对历史信息的记 本文在传统神经网络的基础上，将迟滞特性与 忆能力.为此，在其基础上，引入两个迟滞参数α和 神经网络相结合，构造出具有迟滞特性的新型神经 b,a≤0，b≥0，构造出式(2)和式(3)所示具有迟滞 网络，并从风速序列及序列的变化率两个角度进行 特性的连续型激励函数. 预测分析，采用卡尔曼滤波方法对预测结果进行融 (1+e-6-)-1, s(t-8t)>0, 合，提高了风速预测的精度和有效性. f(s) (1+e-)1,i(u-）)<0,(2) 1 迟滞神经网络模型 f(s (t-at)),else. s(t-δt)=lim(s(t)-s(t-δt)/8t.(3) 1.1模型结构 该激励函数拥有上升和下降两个分支，可根据 目前用于风速序列预测分析的神经网络模型通 当前输入与历史输入的变化选择相应的分支进行响 常为以BP神经网络为代表的前向型神经网络模 应，实现输出响应在两个分支之间的自动切换，可有 型.该网络具有良好的全局逼近性能，因此在时间 效减少假饱和现象的发生.而且，神经元的输出响 序列预测分析中具有良好的应用效果：但该网络也 应不仅与当前输入有关，与历史输入和输入变化趋 具有神经元易于陷入假饱和状态、收敛速度慢、存在 势也有关，从而增加了神经元的记忆能力，减小了神 局部极小等问题，这些问题制约着网络的信息处理 经元状态的错误变化率；同时，迟滞特性的强弱可通 能力. 过调节迟滞参数a和b进行控制，当a=b=0时迟 自然生物神经网络中普遍存在着大量非线性特 滞特性消失，该激励函数蜕变为传统激励函数，使得 性，迟滞特性就是其中一种典型的存在于生物神经 神经元的结构更加灵活可控，有利于提高神经网络 网络中的非线性特性.设函数的自变量为s,图1给 的信息处理能力 出了离散型迟滞激励函数f(s)的响应曲线. 构造与BP网络相似的三层前向型迟滞网络， f 如图2所示，隐含层的激励函数改为式(2)的具有 迟滞特性的激励函数.其中，x:为输入层第i个神经 元的输入值，y为输出层第k个神经元的输出值，输 入层、隐含层和输出层神经元的数量分别为m、l和 n,输入层第i个神经元与隐含层第j个神经元之间 的权值为w,隐含层第j个神经元与输出层第k个 h 神经元之间的权值为0.· 图1离散型迟滞激励函数 Fig.I Discrete hysteretic activation function 如果将神经元的激励函数改为图1的迟滞激励 函数，则可将迟滞特性引入到神经元中，神经元的响 应将具有迟滞特性.当神经元的输出状态为0时， 只有当输入大于b,神经元的状态才能由0改变为 1:只有当输入小于a时，神经元的输出才能由1变 图2迟滞神经网络结构 为0：而当神经元的输入为a<s<b时，神经元的输 Fig.2 Structure of the hysteretic neural network 出保持原状态不变.由此可见，神经元的响应与历 史状态有关，体现了神经元对原状态的保持与记忆 1.2网络的训练算法 特性，这一特性可减少神经元状态的错误变化，提高 由于迟滞神经网络不但有连接权值需要训练， 神经元的记忆能力，增强网络对输入信息的利用率， 而且迟滞参数也需要训练，才能使得网络具有良好 从而改善网络的信息处理能力的 的泛化能力，为此本文采用梯度学习方法完成参数 传统BP神经网络经常使用下式所示的Sigmoid 的训练 激励函数： 网络权值的初始值在（-0.5,0.5)范围内随机第 8 期 李艳晴等: 基于卡尔曼滤波的迟滞神经网络风速序列预测 出复合特性的神经网络，通过充分利用这些非线性 性质以提高预测性能． 另外，卡尔曼滤波方法能够 融合几种预测结果得到最优预测估计，从而可进一 步改善单一预测方法的性能． 本文在传统神经网络的基础上，将迟滞特性与 神经网络相结合，构造出具有迟滞特性的新型神经 网络，并从风速序列及序列的变化率两个角度进行 预测分析，采用卡尔曼滤波方法对预测结果进行融 合，提高了风速预测的精度和有效性． 1 迟滞神经网络模型 1. 1 模型结构 目前用于风速序列预测分析的神经网络模型通 常为以 BP 神经网络为代表的前向型神经网络模 型． 该网络具有良好的全局逼近性能，因此在时间 序列预测分析中具有良好的应用效果; 但该网络也 具有神经元易于陷入假饱和状态、收敛速度慢、存在 局部极小等问题，这些问题制约着网络的信息处理 能力． 自然生物神经网络中普遍存在着大量非线性特 性，迟滞特性就是其中一种典型的存在于生物神经 网络中的非线性特性． 设函数的自变量为 s，图 1 给 出了离散型迟滞激励函数 f( s) 的响应曲线． 图 1 离散型迟滞激励函数 Fig． 1 Discrete hysteretic activation function 如果将神经元的激励函数改为图 1 的迟滞激励 函数，则可将迟滞特性引入到神经元中，神经元的响 应将具有迟滞特性． 当神经元的输出状态为 0 时， 只有当输入大于 b，神经元的状态才能由 0 改变为 1; 只有当输入小于 a 时，神经元的输出才能由 1 变 为 0; 而当神经元的输入为 a ＜ s ＜ b 时，神经元的输 出保持原状态不变． 由此可见，神经元的响应与历 史状态有关，体现了神经元对原状态的保持与记忆 特性，这一特性可减少神经元状态的错误变化，提高 神经元的记忆能力，增强网络对输入信息的利用率， 从而改善网络的信息处理能力［15］． 传统 BP 神经网络经常使用下式所示的 Sigmoid 激励函数: f( s) = ( 1 + exp ( － cs) ) － 1 ． ( 1) 式中，s 为神经元的输入值，f( s) 为神经元的输出响 应，参数 c 决定了函数的形状． 该激励函数为单输 入单输出的单调上升的函数，缺少对历史信息的记 忆能力． 为此，在其基础上，引入两个迟滞参数 a 和 b，a≤0，b≥0，构造出式( 2) 和式( 3) 所示具有迟滞 特性的连续型激励函数． f( s) = ( 1 + e － c1( s － b) ) － 1， s ·( t － δt) ＞ 0， ( 1 + e － c2( s － a) ) － 1， s ·( t － δt) ＜ 0， f( s( t － δt) ) ， else { ． ( 2) s ·( t － δt) = limδt→0 ( s( t) － s( t － δt) ) /δt． ( 3) 该激励函数拥有上升和下降两个分支，可根据 当前输入与历史输入的变化选择相应的分支进行响 应，实现输出响应在两个分支之间的自动切换，可有 效减少假饱和现象的发生． 而且，神经元的输出响 应不仅与当前输入有关，与历史输入和输入变化趋 势也有关，从而增加了神经元的记忆能力，减小了神 经元状态的错误变化率; 同时，迟滞特性的强弱可通 过调节迟滞参数 a 和 b 进行控制，当 a = b = 0 时迟 滞特性消失，该激励函数蜕变为传统激励函数，使得 神经元的结构更加灵活可控，有利于提高神经网络 的信息处理能力． 构造与 BP 网络相似的三层前向型迟滞网络， 如图 2 所示，隐含层的激励函数改为式( 2) 的具有 迟滞特性的激励函数． 其中，xi为输入层第 i 个神经 元的输入值，yk为输出层第 k 个神经元的输出值，输 入层、隐含层和输出层神经元的数量分别为 m、l 和 n，输入层第 i 个神经元与隐含层第 j 个神经元之间 的权值为 wij，隐含层第 j 个神经元与输出层第 k 个 神经元之间的权值为 wjk ． 图 2 迟滞神经网络结构 Fig． 2 Structure of the hysteretic neural network 1. 2 网络的训练算法 由于迟滞神经网络不但有连接权值需要训练， 而且迟滞参数也需要训练，才能使得网络具有良好 的泛化能力，为此本文采用梯度学习方法完成参数 的训练． 网络权值的初始值在( － 0. 5，0. 5) 范围内随机 · 9011 ·