智能系统学报 第2卷 Lx(0=,db0和Lw,0=wb0, 式(11)说明式(10)右端的级数项绝对收敛，所以有 a}和{w},(i=1,…n;1=1,…L分别为输 ￡一0，当L:→o时.记m=max(e),则有 入信号和连接权函数的分解系数，记L=max(L). 定理2过程神经元模型可用一个以相同输入 R,(WRx,Wd≤，9≤，I2 信号向量[x1(d,x2(W,,xm()J在某一规范正交 由于n是有限值，所以有m0,当L:→时.这说 基上进行分解得到的分解系数序列 Iaf,dan nxu 明小，xd可用m,WLxd无 作为扩展输入向量的传统神经元进行逼近如图5) 限逼近 将式()中的x:()和w,()用前L=max(L) 项正交分解式Lx,()和Lw,(W替代得 f y-人z,ra24间n- 人，z.2 rd jaiobnd- 图5基于正交分解特征扩展的过程神经元逼近 (13) Fig.5 Approximating the process neuron based on the 利用函数规范正交基的性质式8)有 orthogonal decomposition feature expansion 14) 证明：分别记输入信号和连接权函数正交展开 式14正是图5中传统神经元的映射关系， 式的余项为 实际上，分解系数a”反映了信号x:()和基函 Rx:W△∑a”baW 数：()的相似程度，选择合适的正交函数系将使 R,(W△∑iw°bifW a迅速衰减，即取小的L值就能满足精度要求.若 由函数规范正交基的性质： 正交函数系选取三角函数系是傅里叶级数分解，分 解系数反映的是信号的幅度和相角特征7 [b(0 b(dt =1.1=k. 2.3多层感知器逼近过程神经元网络 8) b(b(dt=0,l≠k 过程神经元网络主要由过程神经元构成，结合 何院士提出的过程神经元网络.46和上面的讨论， 则有Lw,Rx,d和RwLx:d:积分项为零 自然有以下2个推论， 推论1数值输出型前向过程神经网络可用一 个由图5所示的神经元构成的多层感知器网络以任 9) 意精度逼近（如图6） 即 推论2函数输出型前向过程神经网络可用一 个由图5所示的神经元构成的多数值输出的多层感 知器网络以任意精度逼近（如图7）. (10 图6和图7的网络均为传统多层感知器网络 下面证明60，当L,→时 可用著名的BP算法或其改进算法进行训练.图7 积分w(w12dt和了xW12d有界，所以 中多层感知器网络的输出层节点数为L,对应图3 有 中过程神经网络第2隐层的节点数，也即是输出函 limw=0和lima4=0, 数y()关于规范正交基{b(),1=1,…L展开式 进而有 y()≈ ∑cbi() (15) L 中的项数L.网络的输出：就是对式(15)中展开系 数c的逼近，深入讨论可参考文献[61。 (11) 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.netLx i (t) = ∑ l i l =1 a (l) i bl (t) 和 Lwi (t) = ∑ L i l =1 w (l) i bl (t) , { a ( l) i }和{ w ( l) i } , ( i = 1 , …, n; l = 1 , …, L i) 分别为输 入信号和连接权函数的分解系数 ,记 L = max ( L i) . 定理 2 过程神经元模型可用一个以相同输入 信号向量[ x1 ( t) , x2 ( t) , …, x n ( t) ]在某一规范正交 基上进行分解得到的分解系数序列 [ a ( l) 1 , a ( l) 2 , …, a ( l) n ]1×nL 作为扩展输入向量的传统神经元进行逼近(如图 5) . 图 5 基于正交分解特征扩展的过程神经元逼近 Fig. 5 Approximating the process neuron based on the orthogonal decomposition feature expansion 证明 :分别记输入信号和连接权函数正交展开 式的余项为 Rx i ( t) Χ ∑ ∞ l = L i +1 a ( l) i bl ( t) , Rw i ( t) Χ ∑ ∞ l = L i +1 w ( l) i bl ( t) . 由函数规范正交基的性质 : ∫ T 0 bl ( t) bk ( t) dt = 1 , l = k , ∫ T 0 bl ( t) bk ( t) dt = 0 , l ≠k. (8) 则有∫ T 0 Lw i R x i dt 和∫ T 0 Rw iL x i dt 积分项为零 : ∫ T 0 wi ( t) xi ( t) dt =∫ T 0 Lw iL x i dt +∫ T 0 Rw i R x i dt. (9) 即 εi = ∫ T 0 Rw i ( t) Rx i ( t) dt = ∑ ∞ l = L i +1 w ( l) i a ( l) i . (10) 下面证明εi →0 ,当 L i →∞时 , 积分∫ T 0 | wi ( t) | 2 dt 和∫ T 0 | xi ( t) | 2 dt 有界 ,所以 有 limL i →∞ w ( L i ) i = 0 和 limL i →∞ a (L i ) i = 0 , 进而有 limL i →∞ ∑ ∞ l = L i +1 w ( l) i a ( l) i = limL i →∞ ∑ ∞ l = L i +1 ω( l) i ‖a ( l) i = 0. (11) 式(11) 说明式(10) 右端的级数项绝对收敛 ,所以有 εi →0 ,当 L i →∞时. 记εm = max (εi) ,则有 ∑ n i = 1∫ T 0 Rw i ( t) Rx i ( t) dt ≤ ∑ n i =1 εi ≤nεm . (12) 由于 n 是有限值 ,所以有 nεm →0 ,当 L i →∞时. 这说 明 ∑ n i = 1∫ T 0 wi ( t) xi ( t) dt 可用 ∑ n i =1∫ T 0 Lw i ( t) L x i ( t) dt 无 限逼近 . 将式(1) 中的 xi ( t) 和 wi ( t) 用前 L = max ( L i) 项正交分解式 L xi ( t) 和 L wi ( t) 替代得 y = f ∑ n i =1∫ T 0 ∑ L l = 1 w ( l) i bl ( t) ∑ L k = 1 a ( k) i bk ( t) dt - θ = f ∑ n i = 1 ∑ L l = 1 ∑ L k = 1 w ( l) i a ( k) i ∫ T 0 bl ( t) bk ( t) dt - θ . (13) 利用函数规范正交基的性质式(8) 有 y = f ∑ n i = 1 ∑ L l =1 w ( l) i a ( l) i - θ . (14) 式(14) 正是图 5 中传统神经元的映射关系. 实际上 ,分解系数 a ( l) i 反映了信号 x i ( t) 和基函 数 bl ( t) 的相似程度 ,选择合适的正交函数系将使 a ( l) i 迅速衰减 ,即取小的 L 值就能满足精度要求. 若 正交函数系选取三角函数系是傅里叶级数分解 ,分 解系数反映的是信号的幅度和相角特征[8 ] . 2. 3 多层感知器逼近过程神经元网络 过程神经元网络主要由过程神经元构成 ,结合 何院士提出的过程神经元网络[3 - 4 ,6 ]和上面的讨论 , 自然有以下 2 个推论. 推论 1 数值输出型前向过程神经网络可用一 个由图 5 所示的神经元构成的多层感知器网络以任 意精度逼近(如图 6) . 推论 2 函数输出型前向过程神经网络可用一 个由图 5 所示的神经元构成的多数值输出的多层感 知器网络以任意精度逼近(如图 7) . 图 6 和图 7 的网络均为传统多层感知器网络 , 可用著名的 BP 算法或其改进算法进行训练. 图 7 中多层感知器网络的输出层节点数为 L ,对应图 3 中过程神经网络第 2 隐层的节点数 ,也即是输出函 数 y ( t) 关于规范正交基{ bl ( t) , l = 1 , …, L}展开式 y ( t) ≈ ∑ L l =1 clbl ( t) (15) 中的项数 L . 网络的输出 ^cl 就是对式 (15) 中展开系 数 cl 的逼近 ,深入讨论可参考文献[6 ]. ·4 · 智 能 系 统 学 报 第 2 卷 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net