·260 智能系统学报 第9卷 在基于RBF的散乱点曲面重构一文中，采用相关系 及宽度的一个微小扰动，故由c和G:产生的差值为 数的方法自动确定网络隐含层核函数中心的大小： △y=wh-wh= 也有学者采用随机选取中心法、自组织选取中心法、 有监督选取中心法和正交最小二乘法等)。而在 三，xp(-x29∥) 2 宽度的设计上，绝大多数学者都是将基宽取为一定 ，ep(- lx-e112 范围内的某一常值，或是采用线性变化值，如张占 (3) 台 2σ 南[8劉将宽度值定义为σ=d/√2m,d为两两中心的 式中：G:=0:+△0：，其是初始基宽在基宽扰动后产 最大值，m为中心个数。除此之外，很少学者对径 生的基宽值，在扰动下的连接权值为，=州，+ 向基基宽进行深入研究，因基宽同中心参数一样，均 4W。由于该径向基高斯函数的中心、基宽以及连 存在某种分布，故将基宽定义为某一常值或是其在 接权在微小扰动下对整个网络的输出均产生影响， 某一线性变化值，均不利于获得设计问题的高精度 由于文献[13]已分析过基中心以及连接权的扰动 的径向基网络代理模型。基于此，笔者采用基宽灵 对整个网络性能的影响，在此仅分析基宽以及连接 敏度分析的方法构建径向基神经网络代理模型，并 权的扰动对整个网络性能的影响。第i个隐层神经 采用经典的benchmark测试函数进行验证，从模型 元与第j个输出层神经元宽度以及连接权的扰动 获得时间、模型获得值同真实值的偏差等方面作比 Ao:和Aw,能被具有零均值和偏差σ。和σ的高 较，从比较结果中体现出该设计的代理模型具有更 斯分布所定义。 高的模型近似精度。 1 1径向基神经网络结构 ()wexp( (4) 标准的径向基神经网络模型有3层结构组成， wAw p(△w:)= 分别为输入层、隐层和输出层，输入层神经元的个数 （V2moep(- 22 同输入样本点维数相同，即输入层对应着N维输入 式中：N是输入样本x的维数，K是隐层神经元基宽 矢量x=[x1x2…xw],隐层由K个神经元组 数，也是隐层神经元个数。 成，其与输入层神经元全相连，其是通过隐层的激活 基于文献[14]提出的计算灵敏度方法，对于第 函数将线性输入空间映射到非线性隐层空间，每一 i个神经元在扰动△x下产生的偏差S:被定义为 个隐层神经元的激活函数有高斯型函数、多二次型 S;=E(If(x +Ax)w;)-f(xw;))(5) 函数、逆多二次型函数、薄板样条函数组成，常取高 故采用这种扰动递归计算方法，在第K次递归 斯型基函数[91]。 过程中，假设径向基隐层神经元的第K-1个基宽已 h exp(-c -）,i=1,2,…,K(1) 经被确定，即σ，将被确定，因此对于第j个输出神经 3 元的灵敏度被定义为E[(△y)2],即 式中：c:和σ：分别代表第i个隐单元的高斯基中心 和基宽。输出层同隐层节点通过连接权心：全相联， S=E[(4y)2]=p(Aw)p(4c)· 第j个输出神经元的输出表示为 Σ，ep(-L与-c4c.L f(x)=wh=,ep(-二 gEDm,R=1 20 (2) 2o1 1x-c.-4c.I2、 )dAcdaw -2p(Aw)p(Ac). 式中：h=[h,h2…hx]为隐层的输出矢量， 201 w,为隐层的第j个神经元与输出层的第i个神经元 ∑2，m--c-4c. 的连接权。 20 2变基宽灵敏度分析的RBF代理模型 I-。-Ac.)dcw+p(awp(ae)· 20 2.1变基宽的灵敏度分析 采用c,和G:表示第i个隐层神经元的中心以 2m15-e4c 20在基于 ＲＢＦ 的散乱点曲面重构一文中，采用相关系 数的方法自动确定网络隐含层核函数中心的大小； 也有学者采用随机选取中心法、自组织选取中心法、 有监督选取中心法和正交最小二乘法等［７］ 。 而在 宽度的设计上，绝大多数学者都是将基宽取为一定 范围内的某一常值，或是采用线性变化值，如张占 南［８］将宽度值定义为 σ ＝ ｄ ／ ２ｍ ， ｄ 为两两中心的 最大值， ｍ 为中心个数。 除此之外，很少学者对径 向基基宽进行深入研究，因基宽同中心参数一样，均 存在某种分布，故将基宽定义为某一常值或是其在 某一线性变化值，均不利于获得设计问题的高精度 的径向基网络代理模型。 基于此，笔者采用基宽灵 敏度分析的方法构建径向基神经网络代理模型，并 采用经典的 ｂｅｎｃｈｍａｒｋ 测试函数进行验证，从模型 获得时间、模型获得值同真实值的偏差等方面作比 较，从比较结果中体现出该设计的代理模型具有更 高的模型近似精度。 １ 径向基神经网络结构 标准的径向基神经网络模型有 ３ 层结构组成， 分别为输入层、隐层和输出层，输入层神经元的个数 同输入样本点维数相同，即输入层对应着 Ｎ 维输入 矢量 ｘ ＝ ［ｘ１ ｘ２ … ｘＮ］ ，隐层由 Ｋ 个神经元组 成，其与输入层神经元全相连，其是通过隐层的激活 函数将线性输入空间映射到非线性隐层空间，每一 个隐层神经元的激活函数有高斯型函数、多二次型 函数、逆多二次型函数、薄板样条函数组成，常取高 斯型基函数［９⁃１２］ 。 ｈｉ ＝ ｅｘｐ（ － ‖ｘ － ｃｉ‖２ ２σ ２ ｉ ），ｉ ＝ １，２，…，Ｋ （１） 式中： ｃｉ 和 σｉ 分别代表第 ｉ 个隐单元的高斯基中心 和基宽。 输出层同隐层节点通过连接权 ｗｉ 全相联， 第 ｊ 个输出神经元的输出表示为 ｆ ｊ（ｘ） ＝ ｗｊｈ ＝ ∑ Ｋ ｉ ＝ １ ｗｉｊ ｅｘｐ（ － ‖ｘ － ｃｉ‖２ ２σ ２ ｉ ） （２） 式中： ｈ ＝ ［ｈ１ ｈ２ … ｈＫ ］ 为隐层的输出矢量， ｗｉｊ 为隐层的第 ｊ 个神经元与输出层的第 ｉ 个神经元 的连接权。 ２ 变基宽灵敏度分析的 ＲＢＦ 代理模型 ２．１ 变基宽的灵敏度分析 采用 ｃ ＾ ｉ 和 σ ＾ ｉ 表示第 ｉ 个隐层神经元的中心以 及宽度的一个微小扰动，故由 ｃ ＾ ｉ 和 σ ＾ ｉ 产生的差值为 Δｙｊ ＝ ｗ ＾ ｊｈ ＾ － ｗｊｈ ＝ ∑ Ｋ ｉ ＝ １ ｗ ＾ ｉｊ ｅｘｐ（ － ‖ｘ － ｃ ＾ ｉ‖２ ２σ ＾ ２ ｉ ） － ∑ Ｋ ｉ ＝ １ ｗｉｊ ｅｘｐ（ － ‖ｘ － ｃｉ‖２ ２σ ２ ｉ ） （３） 式中： σ ＾ ｉ ＝ σｉ ＋ Δσｉ ，其是初始基宽在基宽扰动后产 生的基宽值， 在扰动下的连接权值为 ｗ ＾ ｊ ＝ ｗｊ ＋ Δ ｗｊ。 由于该径向基高斯函数的中心、基宽以及连 接权在微小扰动下对整个网络的输出均产生影响， 由于文献［１３］已分析过基中心以及连接权的扰动 对整个网络性能的影响，在此仅分析基宽以及连接 权的扰动对整个网络性能的影响。 第 ｉ 个隐层神经 元与第 ｊ 个输出层神经元宽度以及连接权的扰动 Δσｉ 和 Δ ｗｊ 能被具有零均值和偏差 σσｉ 和 σｗｊ 的高 斯分布所定义。 ｐ（Δσｉ） ＝ １ （ ２πσσｉ ） Ｎ ｅｘｐ（ － ｃ Ｔ ｉ ｃｉ ２Δσ ２ σｉ ） ｐ（Δ ｗｊ） ＝ １ （ ２πσｗｊ ） Ｋ ｅｘｐ（ － Δ ｗ Ｔ ｊ Δ ｗｊ ２σ ２ ｗｊ ） ì î í ï ï ï ï ï ï （４） 式中：Ｎ 是输入样本 ｘ 的维数， Ｋ 是隐层神经元基宽 数，也是隐层神经元个数。 基于文献［１４］提出的计算灵敏度方法，对于第 ｉ 个神经元在扰动 Δｘ 下产生的偏差 Ｓｉ 被定义为 Ｓｉ ＝ Ｅ（ ｆ（ｘ ＋ Δｘ）ｗｉ） － ｆ（ｘｗｉ） ） （５） 故采用这种扰动递归计算方法，在第 Ｋ 次递归 过程中，假设径向基隐层神经元的第 Ｋ－１ 个基宽已 经被确定，即 σｉ 将被确定，因此对于第 ｊ 个输出神经 元的灵敏度被定义为 Ｅ［（Δｙｊ） ２ ］ ，即 Ｓ （Ｋ） ｊ ＝ Ｅ［（Δ ｙｊ） ２ ］ ＝ ∬ｐ（Δｗ）ｐ（Δｃ）· ∑ｘｌ∈Ｄ∑ Ｋ ｍ，ｎ ＝ １ ｗ ＾ ｍｊｗ ＾ ｎｊ ｅｘｐ（ － ‖ ｘｌ － ｃｍ － Δ ｃｍ‖２ ２σ ２ ｍ － ‖ ｘｌ － ｃｎ － Δ ｃｎ‖２ ２σ ２ ｎ ）ｄΔｃｄΔｗ － ２∬ｐ（Δｗ）ｐ（Δｃ）· ∑ｘｌ∈Ｄ∑ Ｋ ｍ，ｎ ＝ １ ｗ ＾ ｍｊｗｎｊ ｅｘｐ（ － ‖ ｘｌ － ｃｍ － Δ ｃｍ‖２ ２σ ２ ｍ － ‖ ｘｌ － ｃｎ － Δ ｃｎ‖２ ２σ ２ ｎ ）ｄΔｃｄΔｗ ＋ ∬ｐ（Δｗ）ｐ（Δｃ）· ∑ｘｌ∈Ｄ∑ Ｋ ｍ，ｎ ＝ １ ｗｍｊｗｎｊ ｅｘｐ（ － ‖ ｘｌ － ｃｍ － Δ ｃｍ‖２ ２σ ２ ｍ － ·２６０· 智 能 系 统 学 报 第 ９ 卷