过程神经元与过程神经网络模型 1过程神经元的定义 过程神经元是由过程输入信号加权,时间、空间二维聚合和阈值激励输出等四部分运算 组成。与传统神经元MP模型不同之处在于过程神经元的输入和连接权都可以是时变函数 过程神经元增加了一个对于时间的聚合算子,从而其聚合运算既包含对输入信号的空间加权 聚集,亦有对时间过程效应的累积。过程神经元模型的结构如图3.1所示 图3.1过程神经元一般模型 图3.1中,x(,x2(1),…,x(1)为过程神经元的时变输入函数;w1(D),w2(D)2…,n(D)为相 应的连接权函数;K()为过程神经元的聚合核函数:f(为激励函数,可取线性函数、 Sigmoid 函数、 Gauss型函数等等。 按照空间聚合与时间聚合顺序的不同,过程神经元可分为两类基本数学描述模型,其输 入与输出之间的关系分别为 模型I: y=f②∫(kw(,X()-=0) (3.1) 其中,X(m)为输入函数向量,W(t)为相应的连接权函数向量,y为输出,日为激活阈限 “∑”表示某种空间聚合运算(例如,加权和),“∫”表示某种时间聚合运算(例如,对t 积分)。 式(3.1)表示的过程神经元对外部时变输入信号先进行时间加权聚合,即先分别考虑 各个时变输入信号对系统输出的加权时间累积效应,然后再考虑这些时间累积效应的空间聚 合作用,最后通过激励函数的计算输出结果。其结构如图3.2所示。 ()~w1() ∑,K x,(r w(0) 图3.2过程神经元模型I 模型Ⅱ
1 过程神经元与过程神经网络模型 1 过程神经元的定义 过程神经元是由过程输入信号加权，时间、空间二维聚合和阈值激励输出等四部分运算 组成。与传统神经元 M-P 模型不同之处在于过程神经元的输入和连接权都可以是时变函数， 过程神经元增加了一个对于时间的聚合算子，从而其聚合运算既包含对输入信号的空间加权 聚集，亦有对时间过程效应的累积。过程神经元模型的结构如图 3.1 所示。 图 3.1 过程神经元一般模型 图 3.1 中， ( ), ( ),..., ( ) 1 2 x t x t x t n 为过程神经元的时变输入函数； ( ), ( ),..., ( ) 1 2 w t w t w t n 为相 应的连接权函数； K() 为过程神经元的聚合核函数；f (·)为激励函数，可取线性函数、Sigmoid 函数、Gauss 型函数等等。 按照空间聚合与时间聚合顺序的不同，过程神经元可分为两类基本数学描述模型，其输 入与输出之间的关系分别为： 模型Ⅰ： = (( ( ( ( ), ( )))) −) y f K W t X t （3.1） 其中， X (t) 为输入函数向量， W (t) 为相应的连接权函数向量， y 为输出， 为激活阈限， “∑”表示某种空间聚合运算（例如，加权和），“∫”表示某种时间聚合运算（例如，对 t 积分）。 式（3.1）表示的过程神经元对外部时变输入信号先进行时间加权聚合，即先分别考虑 各个时变输入信号对系统输出的加权时间累积效应，然后再考虑这些时间累积效应的空间聚 合作用，最后通过激励函数的计算输出结果。其结构如图 3.2 所示。 图 3.2 过程神经元模型Ⅰ 模型Ⅱ： y ( ) 1 x t ( ) 2 x t x (t) n K (·) f (·) ( ) 1 w t ( ) 2 w t w (t) n y ( ) 1 x t ( ) 2 x t x (t) n ∫,∑,K f (·) ( ) 1 w t ( ) 2 w t w (t) n
y=f(∑(K(,xX()-0) (3.2) 式(3.2)表示的过程神经元先进行空间加权聚集,即先考虑在同一时间点上多输入时 变因素的空间聚合作用,然后再考虑空间聚合结果的时间累积效应。其结构如图3.3所示。 这类过程神经元在实际中更为常用。 ()~W1() 图3.3过程神经元模型Ⅱ 值得注意:八、K、∑和∫可选各种算子,而且不一定可交换。因此,模型Ⅰ和模型Ⅱ 并不等价。 例如:设∑=加权和,∫=积分,f=sign,K(,v)=u*v,则式(3.1)为 y=sgm∑w()*X(o)m)-) (3.3) 式(3.2)为 y=sign(((w(o)*X(O)dt-0) (3.4) 进一步,可将过程神经元推广为输入输出都是时变过程函数的情况,例如: y()=/∑∫(k(H(OxX()-) (3.5) 或 )=/∑K(o)x()-0 (3.6) 其中[是一个依赖于r的时间聚合算子,例如,在时间区间.或r一k之间的积分 这种过程神经元可用来建立具有多隐层的复杂过程神经元网络 为表示问题方便,下面将式(31)和(32)中的空间聚合算子用“⊕”表示,时间(过 程)聚合算子用“∞”表示,则图3.2表示的过程神经元输入输出之间的关系可描述为 y=f(W(1)④X(t)⑧K()-0) (3.7) 图3.3表示的过程神经元输入输出之间的关系为 y=f(W(1)⑧X(1)⊕K()-0) 例如, W()X(t)=∑v()x() A(1)②K()=[A(r)K()dr (3.10) 2
2 = ( ( ( ( ( ), ( )))) −) y f K W t X t （3.2） 式（3.2）表示的过程神经元先进行空间加权聚集，即先考虑在同一时间点上多输入时 变因素的空间聚合作用，然后再考虑空间聚合结果的时间累积效应。其结构如图 3.3 所示。 这类过程神经元在实际中更为常用。 图 3.3 过程神经元模型Ⅱ 值得注意：f、 K 、∑和∫可选各种算子，而且不一定可交换。因此，模型Ⅰ和模型Ⅱ 并不等价。 例如：设 ∑= 加权和，∫＝积分， f =sign， K(u,v) = u v ，则式（3.1）为 = (( ( ( ) ( )) ) − )) y sign W t X t dt （3.3） 式（3.2）为 y = sign( ((W (t) X (t))dt −) （3.4） 进一步，可将过程神经元推广为输入输出都是时变过程函数的情况，例如： = − y( ) f ( ( (K(W(t), X(t))) ) （3.5） 或 = − y( ) f ( ( K(W(t), X(t))) ) （3.6） 其中 是一个依赖于 的时间聚合算子，例如，在时间区间 [0, ] 或 [ − k, ] 之间的积分。 这种过程神经元可用来建立具有多隐层的复杂过程神经元网络。 为表示问题方便，下面将式（3.1）和（3.2）中的空间聚合算子用“ ”表示，时间(过 程)聚合算子用“ ”表示，则图 3.2 表示的过程神经元输入输出之间的关系可描述为 y = f ((W (t) X (t)) K() −) (3.7) 图 3.3 表示的过程神经元输入输出之间的关系为 y = f ((W (t) X (t)) K() −) (3.8) 例如， = = n i i i W t X t w t x t 1 ( ) ( ) ( ) ( ) (3.9) = T A t K A t K t t 0 ( ) ( ) ( ) ( )d (3.10) y ( ) 1 x t ( ) 2 x t x (t) n ∑,∫, K f (·) ( ) 1 w t ( ) 2 w t w (t) n
其中,[0,门]为时变信号输入过程区间,K()为[0,7上的一个可积函数,或更一般地设K() 为一个一元泛函,定义 A(1)②K()=K(4(1) (3.11) 一般假设权函数W()=(w1(D),w2(),W()和时间聚合核函数(泛函)K()均为 连续的,实际系统大多如此。由式(3.7~3.11)描述的过程神经元,其内部运算由加权乘 积分、累加和以及激励函数组成,称之为狭义过程神经元 其实,加权聚合算子“⊕”和“⑧”还可以取其它一些形式的运算,例如用max和 min,或T算子和S-算子来构成“⊕”;“⑧”可取褶积、含变参积分等,激励函数∫也可 以是任何形式的有界函数。由式(3.7,3.8,3.11)描述的过程神经元称为广义过程神经元 过程神经元对不同实际问题的适应性和信息处理能力主要取决于时、空聚合算子的形 式。过程神经元通过对训练集中样本的学习,可以对输入的时变信号特征产生过程性记忆, 过程模式特征的提取和记忆以及对时变系统输入输出之间的映射关系反映在过程神经元的 连接权函数上,因此它具有对时变模式的直接分类能力和类似于复合函数的函数映射能力。 多聚合过程神经元 其实,过程神经元的输入和输出函数并不一定仅仅依赖于时间,还可以依赖于其它多种 因素,例如,某一实际系统的输入与空间位置(x,y,z)和时间t有关,其输出是这些因素累 积共同作用的结果,如泥石流的形成,土地砂化程度等,这时系统的输入函数形式应为 u(x,y,=,1)(i=12,…,n),即多因素过程函数。如果用神经元网络对该系统进行仿真建 模,则神经元在对输入信息进行加工时,要对各变量和变量中的各种因素进行空间聚合和过 程聚合,因此可将过程神经元扩展为多聚合过程神经元。 多聚合过程神经元的输入其一般形式为x(1,12x…,p),i=1,2,…,n,lp∈O,T] (P=12,,P),其中T可以为0:输入通道的权函数为多元函数w(1,12x…p)。聚合算 子可为一般的线性或非线性泛函算子,例如空间聚合算子可以取多因素空间加权和运算,多 元过程聚合算子可以取例如多元多重积分、或其它多元代数运算等形式。作为特殊情况,多 聚合过程神经元可以仅有过程聚合或仅有空间聚合。多聚合过程神经元的一般模型如图34 所示。 (1,,)~(t,,4) x2(12,lp) , n(12,lp)
3 其中， [0,T] 为时变信号输入过程区间， K() 为 [0,T] 上的一个可积函数，或更一般地设 K() 为一个一元泛函，定义 A(t) K() = K(A(t)) (3.11) 一般假设权函数 W (t) ( ( ), ( ),..., ( )) 1 2 w t w t w t = n 和时间聚合核函数（泛函） K() 均为 连续的，实际系统大多如此。由式（3.7~3.11）描述的过程神经元，其内部运算由加权乘、 积分、累加和以及激励函数组成，称之为狭义过程神经元。 其实，加权聚合算子“ ”和“ ”还可以取其它一些形式的运算，例如用 max 和 min，或 T–算子和 S–算子来构成“ ”；“ ”可取褶积、含变参积分等，激励函数 f 也可 以是任何形式的有界函数。由式（3.7, 3.8, 3.11）描述的过程神经元称为广义过程神经元。 过程神经元对不同实际问题的适应性和信息处理能力主要取决于时、空聚合算子的形 式。过程神经元通过对训练集中样本的学习，可以对输入的时变信号特征产生过程性记忆， 过程模式特征的提取和记忆以及对时变系统输入输出之间的映射关系反映在过程神经元的 连接权函数上，因此它具有对时变模式的直接分类能力和类似于复合函数的函数映射能力。 多聚合过程神经元 其实，过程神经元的输入和输出函数并不一定仅仅依赖于时间，还可以依赖于其它多种 因素，例如，某一实际系统的输入与空间位置 (x, y,z) 和时间 t 有关，其输出是这些因素累 积共同作用的结果，如泥石流的形成，土地砂化程度等，这时系统的输入函数形式应为 u (x, y,z,t) i （ i = 1,2,...,n ），即多因素过程函数。如果用神经元网络对该系统进行仿真建 模，则神经元在对输入信息进行加工时，要对各变量和变量中的各种因素进行空间聚合和过 程聚合，因此可将过程神经元扩展为多聚合过程神经元。 多聚合过程神经元的输入其一般形式为 ( , ,..., ) i 1 2 P x t t t ，i = 1,2,...,n ， [0, ] p T p t ( p = 1,2,...,P) ，其中 T p 可以为 0；输入通道的权函数为多元函数 ( , ,..., ) i 1 2 P w t t t 。聚合算 子可为一般的线性或非线性泛函算子，例如空间聚合算子可以取多因素空间加权和运算，多 元过程聚合算子可以取例如多元多重积分、或其它多元代数运算等形式。作为特殊情况，多 聚合过程神经元可以仅有过程聚合或仅有空间聚合。多聚合过程神经元的一般模型如图 3.4 所示。 ( ) 1 x t y x1(t1,..,tp) x2(t1,..,tp) xn(t1,..,tp) w1(t1,..,tp) wn(t1,…,tp) ⊕, ,K f (·)
图3.4多聚合过程神经元一般模型 其中,“⊕”为n个多元过程输入函数的空间聚合算子,“⑧”为多元过程聚合算子,K()为 聚合核函数。 图34表示的多聚合过程神经元输入输出之间的映射关系为: y=f(W(t1t2…,tp)④X(t1,12x…,tp))⑧K()-6) (3.15) 如果“”取为空间加权和,“⑧”为多元多重积分,核函数K()=1,则多聚合过程 神经元输入输出之间的映射关系为 2-2x(44x-2厘m1(12nmd2a-0) (3.16) 35模糊过程神经元 在实际中,经常遇到带有过程性模糊信息的处理问题。若将过程神经元的信息处理方式 与模糊推理规则相结合,定义一种模糊过程神经元,将提高人工神经元的信息处理能力。可 釆用两种方法构建模糊过程神经元。一种是对过程神经元直接模糊化,将过程神经元对时变 信号的信息处理机制与学习能力与模糊逻辑系统的推理机制相结合,构成一种新的模糊计算 模型:另一种是由带过程性信息的模糊推理规则描述的模糊过程神经元,即每一个模糊过程 神经元表示了一条模糊推理规则,多个模糊过程神经元按照一定结构组成的模糊过程神经元 网络可构成一个模糊逻辑推理系统。本节的讨论均针对于带有过程性模糊信息的论域(模糊 时变问题)进行 351过程神经元的模糊化 设A,A2,…,Ak为论域U上的模糊集,接受域上的隶属度函数分别为()42( ,4x()。模糊过程神经元是由模糊过程信号加权输入、模糊聚合运算及模糊激励输出组 成,其结构如图3.5所示。 2( x(tr w(o 图3.5模糊过程神经元 图3.5中,x(1)=(x(1)x2(),xn(1),t∈[0,7]为神经元输入,可以是时变函数或过程 性模糊信息:模糊过程神经元的连接权w(口)=(谛(D),(D),…,W,()可以是隶属度函数或
4 图 3.4 多聚合过程神经元一般模型 其中，“ ”为 n 个多元过程输入函数的空间聚合算子，“ ”为多元过程聚合算子， K() 为 聚合核函数。 图 3.4 表示的多聚合过程神经元输入输出之间的映射关系为： (( ( , ,..., ) ( , ,..., )) () ) y = f W t 1 t 2 tP X t 1 t 2 tP K − （3.15） 如果“ ”取为空间加权和，“ ”为多元多重积分，核函数 K() =1 ，则多聚合过程 神经元输入输出之间的映射关系为 ( ... ( , ,..., ) ( , ,..., ) ... ) 1 2 1 2 1 2 0 0 0 1 1 2 = − = p i p p T T T n i y f xi t t t w t t t dt dt dt p （3.16） 3.5 模糊过程神经元 在实际中，经常遇到带有过程性模糊信息的处理问题。若将过程神经元的信息处理方式 与模糊推理规则相结合，定义一种模糊过程神经元，将提高人工神经元的信息处理能力。可 采用两种方法构建模糊过程神经元。一种是对过程神经元直接模糊化，将过程神经元对时变 信号的信息处理机制与学习能力与模糊逻辑系统的推理机制相结合，构成一种新的模糊计算 模型；另一种是由带过程性信息的模糊推理规则描述的模糊过程神经元，即每一个模糊过程 神经元表示了一条模糊推理规则，多个模糊过程神经元按照一定结构组成的模糊过程神经元 网络可构成一个模糊逻辑推理系统。本节的讨论均针对于带有过程性模糊信息的论域（模糊 时变问题）进行。 3.5.1 过程神经元的模糊化 设 A A AK ~ , , ~ , ~ 1 2 为论域 U 上的模糊集，接受域上的隶属度函数分别为 ( ), ( ), 2 ~ 1 ~ A A , ~ () AK 。模糊过程神经元是由模糊过程信号加权输入、模糊聚合运算及模糊激励输出组 成，其结构如图 3.5 所示。 图 3.5 模糊过程神经元 图 3.5 中， ( ) ( ( ), ( ),..., ( )) 1 2 x t x t x t x t = n ，t [0,T ] 为神经元输入，可以是时变函数或过程 性模糊信息；模糊过程神经元的连接权 ( )) ~ ( ),..., ~ ( ), ~ ( ) ( ~ 1 2 w t w t w t w t = n 可以是隶属度函数或 y ( ) ~ 1 w t ( ) ~ w t n ( ) ~ 2 w t ＆,⊕,f x ( ) 1 t x ( ) 2 t x ( ) n t
信度函数,“&”和“⊕”分别为相对于空间和时间的两个模糊对偶聚合算子,例如,maX和 min,S-算子和T-算子;∫为模糊激励函数,y为模糊过程神经元的输出。 由图3.5,这种模糊过程神经元输入输出之间的关系为 y=f((x(1)&w(1)-b()) (3.17) 式(3.17)中,θ(1)为模糊过程神经元的模糊阈值,也可为过程模糊函数。 由于过程神经元的输入、连接权、阈值、聚合运算和非线性激励函数等都被模糊化, 分别可以是各种模糊集、模糊运算和模糊函数,因此,其输岀既可以是数值型的也以是 模糊的。 与非模糊的过程神经元信息处理机制相类似,这种模糊过程神经元的所有输入函数(模 糊的或清晰的)经加权操作后进行某种聚合运算,最后根据阈值和激励函数计算出神经元的 输出结果 3.5.2由模糊加权推理规则构造模糊过程神经元 将过程神经元在语义上表示为一个加权模糊逻辑的规则,其中前提和结论是包含过程性 信息的模糊集作为变元的模糊谓词。在这类模糊过程神经元中,具有过程性模糊信息的输入 /输岀是通过一个加权模糊逻辑规则相联系的。论域的知识和经验存储在模糊连接权中,其 输出谓词是由当前的输入谓词和已有的经验权重按一定规则组合而成,即一个模糊过程神经 元对应于一个带过程性信息的加权模糊逻辑规则,其结构如图3.6所示 PI(t &, 图3.6模糊推理过程神经元 由图3.6,一个包含过程性信息的模糊推理规则可表示为 W1&P1(1)W2&P2(D)…Wn&P(1)→>Q(D),Cf,r (3.18) 其中,P(1),Q(t)为模糊逻辑谓词,取真值于[O,1],其中t∈[0,];模糊连接权w,≥0且 W1=1:f为推理规则的信度(0<cf≤1),为可应用阈限(0<r≤1),即当前提的 真度1:t=∑帝*T(P()大于等于r时,则该规则就可被应用。这里T(P()为P()的 真度
5 信度函数，“&”和“⊕”分别为相对于空间和时间的两个模糊对偶聚合算子，例如， max 和 min ，S -算子和 T -算子； f 为模糊激励函数， y 为模糊过程神经元的输出。 由图 3.5，这种模糊过程神经元输入输出之间的关系为 ( )) ~ ( )) & ~ y = f ((x(t) w t − t （3.17） 式（3.17）中， ( ) ~ t 为模糊过程神经元的模糊阈值，也可为过程模糊函数。 由于过程神经元的输入、连接权、阈值、聚合运算和非线性激励函数等都被模糊化， 分别可以是各种模糊集、模糊运算和模糊函数，因此，其输出既可以是数值型的也以是 模糊的。 与非模糊的过程神经元信息处理机制相类似，这种模糊过程神经元的所有输入函数（模 糊的或清晰的）经加权操作后进行某种聚合运算，最后根据阈值和激励函数计算出神经元的 输出结果。 3.5.2 由模糊加权推理规则构造模糊过程神经元 将过程神经元在语义上表示为一个加权模糊逻辑的规则，其中前提和结论是包含过程性 信息的模糊集作为变元的模糊谓词。在这类模糊过程神经元中，具有过程性模糊信息的输入 /输出是通过一个加权模糊逻辑规则相联系的。论域的知识和经验存储在模糊连接权中，其 输出谓词是由当前的输入谓词和已有的经验权重按一定规则组合而成，即一个模糊过程神经 元对应于一个带过程性信息的加权模糊逻辑规则，其结构如图 3.6 所示。 图 3.6 模糊推理过程神经元 由图 3.6，一个包含过程性信息的模糊推理规则可表示为: & ( ) ( ), , ~ & ( ) ~ & ( ) ~ 1 1 2 2 w P t w P t w P t Q t cf n n → （3.18） 其中， P (t) i ,Q(t) 为模糊逻辑谓词，取真值于 [0,1] ，其中 t [0,T ] ；模糊连接权 0 ~ wi 且 1 ~ 1 = = n i wi ； cf 为推理规则的信度 (0 cf 1) ， 为可应用阈限 (0 1) ，即当前提的 真度 t ： ( ( )) ~ 1 t w T P t i n i = i = 大于等于 时，则该规则就可被应用。这里 T(P (t)) i 为 P (t) i 的 真度， i = 1,2,...,n 。 … C f ,τ … 1 ~ w 2 ~ w wn ~ P ( ) 1 t P ( ) 2 t P ( ) n t Q(t) &,⊕
前馈过程神经元网络 前馈过程神经元网络是过程神经元网络的一种基本模型,是由若干过程神经元和一般非 时变神经元按照一定拓扑形式组成的一种前向网络模型。前馈过程神经元网络的输入输出、 神经元节点之间的连接权都可以是时变函数。网络经过训练,能够由通过向环境学习而确定 的网络结构参数和性质参数(或函数)对系统过程式模式特征及变换机制产生记忆,具有较 强的对时变信息的处理能力和对时变系统输入输出之间关系的非线性映射能力,对于过程信 号的模式识别、时变系统仿真、函数逼近等实际问题的建模、求解具有广泛的适用性。本章 主要介绍前馈过程神经元网络的一般模型和权函数基展开的过程神经元网络模型,并对网络 的连续性、泛函数逼近能力、计算能力等性质进行研究。首先讨论下述简单模型。 4.1前馈过程神经元网络的一种简单模型 为使问题讨论起来方便,先考虑仅含一个过程神经元隐层的多输入单输出网络模型, 其实,很容易推广到多输入多输出情况。设过程神经元网络的输入层有n个节点,中间层(过 程神经元隐层)有m个节点,输出节点为一个一般非时变神经元。网络输入为X()=(x1(t) x2(t),…xn(1),拓扑结构如图41所示。 x2() ∑ 图41含一个隐层的过程神经元网络 图41中,N是由式(32)定义的过程神经元,w,()为输入层节点到过程神经元隐层节 点j的连接权函数,v为隐层节点j到输出节点的连接权值,g为输出层神经元的激励函 数,y为系统输出 如果过程神经元对于空间的聚合运算取为加权和,对于时间(过程)的聚合运算取为积 分,且一元泛函K()=1,则(狭义)过程神经元网络可表示成图42的形式。 x() ∑,∫ x2() xn(1) ∑,∫f 图42狭义过程神经元网络 由图42,网络输入输出之间的映射关系为:
6 前馈过程神经元网络 前馈过程神经元网络是过程神经元网络的一种基本模型，是由若干过程神经元和一般非 时变神经元按照一定拓扑形式组成的一种前向网络模型。前馈过程神经元网络的输入/输出、 神经元节点之间的连接权都可以是时变函数。网络经过训练，能够由通过向环境学习而确定 的网络结构参数和性质参数（或函数）对系统过程式模式特征及变换机制产生记忆，具有较 强的对时变信息的处理能力和对时变系统输入输出之间关系的非线性映射能力，对于过程信 号的模式识别、时变系统仿真、函数逼近等实际问题的建模、求解具有广泛的适用性。本章 主要介绍前馈过程神经元网络的一般模型和权函数基展开的过程神经元网络模型，并对网络 的连续性、泛函数逼近能力、计算能力等性质进行研究。首先讨论下述简单模型。 4.1 前馈过程神经元网络的一种简单模型 为使问题讨论起来方便，先考虑仅含一个过程神经元隐层的多输入单输出网络模型， 其实，很容易推广到多输入多输出情况。设过程神经元网络的输入层有 n 个节点，中间层（过 程神经元隐层）有 m 个节点，输出节点为一个一般非时变神经元。网络输入为 X (t) = ( ( ), 1 x t ( ), 2 x t ..., x (t)) n ，拓扑结构如图 4.1 所示。 图 4.1 含一个隐层的过程神经元网络 图 4.1 中，PN 是由式（3.2）定义的过程神经元， w (t) ij 为输入层节点 i 到过程神经元隐层节 点 j 的连接权函数， j v 为隐层节点 j 到输出节点的连接权值， g 为输出层神经元的激励函 数， y 为系统输出。 如果过程神经元对于空间的聚合运算取为加权和，对于时间(过程)的聚合运算取为积 分，且一元泛函 K() =1，则（狭义）过程神经元网络可表示成图 4.2 的形式。 图 4.2 狭义过程神经元网络 由图 4.2，网络输入输出之间的映射关系为： ∑,∫,f ( ) 1 x t ( ) 2 x t x (t) n ∑,∫,f ∑,∫,f w (t) ij . . . . . . y j v … ∑,g x1 (t) PN ( ) 2 x t x (t) n PN PN w (t) ij . . . . . . j v … ∑ y ,g
y=g(∑f(C(△Ox)-2")-0 式(41)中,为隐层节点j的激励阙值,[0,]为输入过程区间,∫为过程神经元激励 函数,g为输出神经元激励函数,θ为输出神经元阈值。其中∫和g都是非线性函数。可 见,这种过程神经元网络模型表达了一种很复杂的非线性变换机制 4.2前馈过程神经元网络的一般模型 下面考虑具有多个隐层的多输入多输出情况下前馈过程神经元网络的一般模型。在这 个模型中,网络可以包含多个不同类型的过程神经元(具有不同的时、空聚合算子,阈值类 型,激励函数)隐层,其中也可包含若干非时变神经元隐层(由于非时变神经元是过程神经 元的一个特例)。具有L个隐层多输入多输出的网络结构如图43所示。 x, uIR 图4.3过程神经元网络的一般模型 其中,PN为第i隐层的过程神经元,其空间聚合算子可以取为例如多输入信号的加权和、 加权值取大或取小等运算;时间聚合算子可以取为含变参数积分、褶积、T一算子或S一算 子等;阈值可为时变函数、数值等,激励函数可以取 Sigmoid函数、阶跃函数等。对于非时 变神经元(Σgk),其空间聚合算子Σ、激励函数gk等也可以取不同的形式。因此,可以根 据实际问题的具体需求,建立各种形式的前馈过程神经元网络模型。 在多隐层多输入输出前馈过程神经元网络一般模型中,各过程神经元隐层之间的信息传 递要满足网络模型中各过程神经元输入输出信号类型的定义。如果模型中同时包含过程神经 元和非时变神经元,按照过程神经元和非时变神经元输入、输出信号类型要求及前馈多层神 经元网络模型信息流传输由前向后的特点,在构建多神经元类型的前馈过程神经元网络时, 一般各过程神经元隐层应在非时变神经元隐层之前。 4.3基于权函数基展开的过程神经元网络模型 由于过程神经元网络的输入和连接权都可以是时变函数,过程神经元增加了一个对于时 间的聚合算子(对于连续系统,一般可取积分运算),这使得过程神经元网络的映射机制和 计算过程与一般非时变神经元网络有着很大的不同,计算复杂度大大增加。同时由于网络连 接权函数形式的任意性,如果不对函数类型进行一定的限制,权函数很难通过训练样本集的 学习来确定 为解决此问题,考虑一种网络权函数可以被一组已知基函数展开的过程神经元网络模
7 ( ( ( ( ) ( )) ) ) (1) 0 1 1 = − − = = i j T n i i j m j y g v j f w t x t dt (4.1) 式（4.1）中， (1) j 为隐层节点 j 的激励阈值， [0,T ] 为输入过程区间， f 为过程神经元激励 函数， g 为输出神经元激励函数， 为输出神经元阈值。其中 f 和 g 都是非线性函数。可 见，这种过程神经元网络模型表达了一种很复杂的非线性变换机制。 4.2 前馈过程神经元网络的一般模型 下面考虑具有多个隐层的多输入多输出情况下前馈过程神经元网络的一般模型。在这 个模型中，网络可以包含多个不同类型的过程神经元（具有不同的时、空聚合算子，阈值类 型，激励函数）隐层，其中也可包含若干非时变神经元隐层（由于非时变神经元是过程神经 元的一个特例）。具有 L 个隐层多输入多输出的网络结构如图 4.3 所示。 图 4.3 过程神经元网络的一般模型 其中， PNi 为第 i 隐层的过程神经元，其空间聚合算子可以取为例如多输入信号的加权和、 加权值取大或取小等运算；时间聚合算子可以取为含变参数积分、褶积、T—算子或 S—算 子等；阈值可为时变函数、数值等，激励函数可以取 Sigmoid 函数、阶跃函数等。对于非时 变神经元（∑,gk），其空间聚合算子∑、激励函数 gk 等也可以取不同的形式。因此，可以根 据实际问题的具体需求，建立各种形式的前馈过程神经元网络模型。 在多隐层多输入输出前馈过程神经元网络一般模型中，各过程神经元隐层之间的信息传 递要满足网络模型中各过程神经元输入输出信号类型的定义。如果模型中同时包含过程神经 元和非时变神经元，按照过程神经元和非时变神经元输入、输出信号类型要求及前馈多层神 经元网络模型信息流传输由前向后的特点，在构建多神经元类型的前馈过程神经元网络时， 一般各过程神经元隐层应在非时变神经元隐层之前。 4.3 基于权函数基展开的过程神经元网络模型 由于过程神经元网络的输入和连接权都可以是时变函数，过程神经元增加了一个对于时 间的聚合算子（对于连续系统，一般可取积分运算），这使得过程神经元网络的映射机制和 计算过程与一般非时变神经元网络有着很大的不同，计算复杂度大大增加。同时由于网络连 接权函数形式的任意性，如果不对函数类型进行一定的限制，权函数很难通过训练样本集的 学习来确定。 为解决此问题，考虑一种网络权函数可以被一组已知基函数展开的过程神经元网络模 PN1 ( ) 1 x t ( ) 2 x t x (t) n w (t) ij . . . . . . . . . y1 y2 ym . . . vjk(t) . . . … … … ulp(t) PN1 PN1 PN2 . . . PN2 PN2 PNL . . . PNL PNL
型。不仿设网络连接权为连续函数,即w()∈CI0,7]。在C[0,门空间中可选择的基函数 有多种形式,将权函数在满足展开精度要求的前提下,表示为基函数的有限项展开形式也已 有成熟的方法,因此,不妨构造一种权函数用基展开的过程神经元网络模型,从而能够借助 于现有的学习算法训练过程神经元网络 设U是泛函空间S={(x)x=x()∈R,t∈R,f(x)∈VcRm}上的一个紧致集 记C(U,V;n,m)为U到V上的连续映射泛函的集合。为讨论简单起见,取m=1,即多输入 单输出系统(不难将结果推广到m>1的情况)。假设过程神经元网络的权函数可被U中的 组基函数B(1)展开,即将权函数的形式限制在一类较为简单的函数类中来考虑问题。基 函数B(1)既可以是有限基或可数基,也可以是正交基或非正交基。在有限基的情况下,这 种过程神经元网络的结构如图44所示。 x1( 式XE入 x2() 图44权函数基展开的过程神经元网络 在图44中,首先把权函数按基展开,中间各子层的运算如下: n()=∑vb() (4.2) A)=∑w()x(1) (4.3) y=f(A()k()dr-0) (4.4) 或一般地有 y=f(k(A(t)-6) 其中,b1()b()…,b2()为U中的一组有限基函数,L为基函数的个数:w为,()相 对于b()的展开式系数,O为过程神经元的阈值,∫为过程神经元的激励函数。函数(泛函) K()可根据实际问题的需要来确定
8 型。不仿设网络连接权为连续函数，即 w (t) ij C[0,T] 。在 C[0,T] 空间中可选择的基函数 有多种形式，将权函数在满足展开精度要求的前提下，表示为基函数的有限项展开形式也已 有成熟的方法，因此，不妨构造一种权函数用基展开的过程神经元网络模型，从而能够借助 于现有的学习算法训练过程神经元网络。 设 U 是泛函空间 { ( ) | ( ) , , ( ) } n m S = f x x = x t R t R f x V R 上的一个紧致集， 记 C(U,V;n,m) 为 U 到 V 上的连续映射泛函的集合。为讨论简单起见，取 m =1，即多输入 单输出系统（不难将结果推广到 m >1 的情况）。假设过程神经元网络的权函数可被 U 中的 一组基函数 B(t) 展开，即将权函数的形式限制在一类较为简单的函数类中来考虑问题。基 函数 B(t) 既可以是有限基或可数基，也可以是正交基或非正交基。在有限基的情况下，这 种过程神经元网络的结构如图 4.4 所示。 图 4.4 权函数基展开的过程神经元网络 在图 4.4 中，首先把权函数按基展开，中间各子层的运算如下： = = L l l l i i w t w b t 1 ( ) ( ) ( ) (4.2) = = n i i i A t w t x t 1 ( ) ( ) ( ) (4.3) ( ( ) ( )d ) 0 = − T y f A t K t t (4.4) 或一般地有 y = f (K(A(t)) − ) (4.5) 其中， ( ), ( ),..., ( ) 1 2 b t b t b t L 为 U 中的一组有限基函数， L 为基函数的个数； (l) wi 为 w (t) i 相 对于 b (t) l 的展开式系数， 为过程神经元的阈值，f 为过程神经元的激励函数。函数（泛函） K() 可根据实际问题的需要来确定。 f ( ) 1 x t( ) 2 x t x (t) n w11 w1L w21wnL w2L wn1 b1 y bL b1 bL ∑ ∑ b1 bL ∑ ∫
式(44)或(45)表示的网络实际上是一个权函数基展开的过程神经元模型,下面讨 论一种含一个隐层的权函数基展开过程神经元网络。仍考虑多输入单输出的情况,网络的拓 扑结构同图41,中间隐层的各节点单元分别为图44中所示的过程神经元,网络输出节点 仍是一个非时变神经元。各隐层单元的激励函数可以相同,也可以不同。具有相同激励函数 的网络称为正规过程神经元网络,具有不同激励函数的网络称为混合型过程神经元网络。则 基于权函数基展开的单隐层过程神经元网络输入与输出之间的关系为 y=g∑/∑〔②wb)xO0-")-0) 式(46)中,为vn()相对于基函数b()的展开式系数。 若在输出层中,g(u)=l,b=0,并令 v2()=∑v0b() (4.7) l,(X()=∑w()x()dt-0 则具有线性输出的过程神经元网络为 y=∑vf(u(X(t)) 由式(49)可见,过程神经元网络为一类泛函数 在式(46)中,wn()被表示为一组有限基的展开形式。其实,基函数B(1)也可取为 一般情况,即B()可以取有限基/可数基、正交基/非正交基、连续/离散等形式。因此,权 函数基展开的过程神经元网络输入输出之间的关系一般可描述为 W(1)=∑*b(1) (410) o=W()*X(=∑W+」X(0)+b(d (4.11) O=8(∑V*f(0-0)-0) (412) 上式中,b(1)为基函数,w为基函数的展开系数,O为过程神经元输入信号的时、空聚合 运算结果,O为网络输出 分式前馈过程神经元网络 在实际信号处理中,常有许多带有奇异值的时变过程信号,例如电子仪器和电子元器件 产生的各种脉冲信号,健康检查中的心电图信号等。具有奇异值时变函数的学习和泛化问题
9 式（4.4）或（4.5）表示的网络实际上是一个权函数基展开的过程神经元模型，下面讨 论一种含一个隐层的权函数基展开过程神经元网络。仍考虑多输入单输出的情况，网络的拓 扑结构同图 4.1，中间隐层的各节点单元分别为图 4.4 中所示的过程神经元，网络输出节点 仍是一个非时变神经元。各隐层单元的激励函数可以相同，也可以不同。具有相同激励函数 的网络称为正规过程神经元网络，具有不同激励函数的网络称为混合型过程神经元网络。则 基于权函数基展开的单隐层过程神经元网络输入与输出之间的关系为 ( ( ( ( )) ( )d ) ) 1 (1) 1 0 1 ( ) = − − = = = m j j n i i T L l l l j ij y g v f w b t x t t (4.6) 式（4.6）中， (l) wij 为 w (t) ij 相对于基函数 b (t) l 的展开式系数。 若在输出层中， g(u) = u ， = 0 ，并令 = = L l l l ij ij w t w b t 1 ( ) ( ) ( ) (4.7) (1) 0 1 ( ( )) ( ) i ( )d j T n i j i j u X t = w t x t t − = (4.8) 则具有线性输出的过程神经元网络为 = = m j j j y v f u X t 1 ( ( ( ))) (4.9) 由式（4.9）可见，过程神经元网络为一类泛函数。 在式（4.6）中， w (t) ij 被表示为一组有限基的展开形式。其实，基函数 B(t) 也可取为 一般情况，即 B(t) 可以取有限基/可数基、正交基/非正交基、连续/离散等形式。因此，权 函数基展开的过程神经元网络输入输出之间的关系一般可描述为： W(t) = wb(t) （4.10） o = W (t) X (t)dt = W X (t) b(t)dt （4.11） = ( ( − ) − ) (1) O g V f o （4.12） 上式中， b(t) 为基函数， w 为基函数的展开系数， o 为过程神经元输入信号的时、空聚合 运算结果， O 为网络输出。 分式前馈过程神经元网络 在实际信号处理中，常有许多带有奇异值的时变过程信号，例如电子仪器和电子元器件 产生的各种脉冲信号，健康检查中的心电图信号等。具有奇异值时变函数的学习和泛化问题
直是人工神经网络中较难解决的问题,要满足系统输岀误差控制精度要求一般要通过増加 网络隐层数和隐层神经元节点数来实现,学习时间长,网络冗余大,且稳定性和泛化能力较 差。针对这一问题,可构造一种分式过程神经元网络模型。分式过程神经元网络的思想来源 于函数逼近论中的有理式函数逼近和过程神经元网络对时变函数的非线性变换性质。在函数 逼近过程中,分式的函数逼近性质和拟合能力要远远大于线性函数:同样,分式过程神经元 网络对具有奇异值过程函数的柔韧逼近性质和在奇异值点附近反应的灵敏性也优于一般过 程神经元网络,可增强对具有奇异值时变函数样本的学习性质和泛化能力。分式过程神经元 网络是过程神经元网络在模型结构上的一种推广形式。 451分式过程神经元 分式过程神经元可用由两个过程神经元组成的一个有序对偶来表示,其结构如图45所 l2(D) x2( 输入节点 对偶节点分式整合节点 图45分式过程神经元 图45中,过程神经元PN表示分式过程神经元的分子部分,过程神经元PN4表示分 式过程神经元的分母部分:Wn(m)为各输入节点到对偶层分子过程神经元节点的连接权函 数,vd()为各输入节点到对偶层分母过程神经元节点的连接权函数;分式整合节点将PN 的输出做分子,将PN的输出做分母整合成分式形式,y为分式过程神经元的输出 4.52分式过程神经元网络 仅含一个分式过程神经元隐层的多输入单输出分式过程神经元网络为4层结构,由输入 层、过程神经元对偶层、分式整合层和输出层构成,它可以看作是对过程神经元网络模型的 种改进和推广。网络结构如图46所示
10 一直是人工神经网络中较难解决的问题，要满足系统输出误差控制精度要求一般要通过增加 网络隐层数和隐层神经元节点数来实现，学习时间长，网络冗余大，且稳定性和泛化能力较 差。针对这一问题，可构造一种分式过程神经元网络模型。分式过程神经元网络的思想来源 于函数逼近论中的有理式函数逼近和过程神经元网络对时变函数的非线性变换性质。在函数 逼近过程中，分式的函数逼近性质和拟合能力要远远大于线性函数；同样，分式过程神经元 网络对具有奇异值过程函数的柔韧逼近性质和在奇异值点附近反应的灵敏性也优于一般过 程神经元网络，可增强对具有奇异值时变函数样本的学习性质和泛化能力。分式过程神经元 网络是过程神经元网络在模型结构上的一种推广形式。 4.5.1 分式过程神经元 分式过程神经元可用由两个过程神经元组成的一个有序对偶来表示，其结构如图 4.5 所 示。 图 4.5 分式过程神经元 图 4.5 中，过程神经元 PNu 表示分式过程神经元的分子部分，过程神经元 PNd 表示分 式过程神经元的分母部分； w (t) iu 为各输入节点到对偶层分子过程神经元节点的连接权函 数， v (t) id 为各输入节点到对偶层分母过程神经元节点的连接权函数；分式整合节点将 PNu 的输出做分子，将 PNd 的输出做分母整合成分式形式， y 为分式过程神经元的输出。 4.5.2 分式过程神经元网络 仅含一个分式过程神经元隐层的多输入单输出分式过程神经元网络为 4 层结构，由输入 层、过程神经元对偶层、分式整合层和输出层构成，它可以看作是对过程神经元网络模型的 一种改进和推广。网络结构如图 4.6 所示。 ( ) 1 x t PNu PNd ( ) 2 x t x (t) n y 输入节点 对偶节点 分式整合节点 w (t) iuv (t) id