·2 智能系统学报 第2卷 重影响预测精度.人类大脑通常是“思前想后”才做 构组成的网络称为过程神经元网络.过程神经元网 出决策（预测），因此多步预测更符合人脑的运作机 络可按输出空间的类型进行分类，分为离散数值标 制.现实世界中，很多系统就是以这种随时间变化的 签输出空间（分类）、连续数值输出空间（回归，单输 信号作为输入，区别于同步瞬时输入，称为过程式输 出通常为欧氏空间R的子空间)、赋范实函数空间 入.时间信号离散化后为多步时间系列.针对过程式 (泛函逼近).常用输出空间有：用于分类问题的 输入，中国工程院何新贵院士于2000年提出了过程 {-1,1}4-1,0,1:用于回归问题的、标准正态分 神经元模型及其网络，并证明相关的几个基本定 布N0,1);用于泛函逼近的平方可积函数空间L 理).进而，他们提出了一种基于函数正交基展开的 (a,b.分类离散数值空间的无限细分将逼近连续数 学习算法，并将其应用于旋转机械故障诊断问题和 值空间，在此意义上，分类问题可看作回归问题的特 油藏开发过程模拟.丁刚等将过程神经网络应用 例，可将二者归为数值输出一类.下面分别给出数值 于航天器热平衡温度预测]，文中还提出外推预测 输出和函数输出的过程神经元网络，6) 的概念.在文献[6]中，何新贵等又提出了一种输入 1.2.1数值输出过程神经元网络 输出均为时变函数的过程神经网络及其算法.过程 数值输出的3层前向过程神经网络PNN(n- 神经网络有着广阔的应用领域，适用于各种具有过 m-1)的拓扑图如图2所示，单独的隐层由过程神 程式输入的问题，如工业过程中难测变量的软测量、 经元组成.输入和输入层至隐层的连接权均为函数 中药学中的中药指纹图谱识别，甚至是各种博弈游 空间L20,)上的函数，0，T1为采样区间.隐节点 戏输赢的预测问题」 的激励函数f()为log sigmoid或tamsigmoid函 数，根据输出数据不同的标准化区间确定：输出神经 1过程神经元网络 元的激励函数g()为线性函数 本节首先介绍何院士提出的过程神经元模型， 在此基础上给出了输出分别为数值型和函数型的多 层前向过程神经网络.为阐述简单起见，本文只讨论 x/) 多输入单输出网络 1.1过程神经元 过程神经元模型在拓扑上和传统神经元模型相 似，也具有加权、聚合和激励等操作.二者主要区 图2数值输出型过程神经元网络 别在于：)过程神经元的输入空间和权值空间是定 Fig.2 Real-valued output process neural network 义在某一时间区间[a,b]上的二阶赋范实函数空间 其输入输出关系为 L2(a,上的：2)过程神经元不仅具有空间加权聚合 -nd |x.(0dt- 运算，还具有时间累积聚合运算.设信号采样区间为 0,T1,若时间聚合运算取采样区间0，T]上的积 (2) 分，过程神经元模型的拓扑图见图1.图中f(),符 1.2.2函数输出过程神经元网络 号为过程神经元的激励函数 函数输出过程神经元网络为一种4层前向网络 x1(0(0 PNN(n-m-L-1),其拓扑图如图3所示.第1隐 层为过程神经元隐层，过程神经元激励函数∫(·) 5(05(0 可取sigmoid函数；第2隐层为传统神经元隐层，神 经元激励函数g()取线性函数.输入输出和输入 xn(t)) 层至第1隐层的连接权均为函数空间L20,)上的 图1过程神经元模型 函数，第2隐层至输出层的连接权为函数空间 Fig.I Process neuron model L20,)上的一组正交基函数无限维)的前L个基 其输入输出关系为 函数，其泛函映射关系比较复杂1 虽然，过程神经元模型和传统MP神经元模型 y=f∫P,0xwd.g 1) 在输入空间连接权和聚合运算中有着本质区别，但 1.2过程神经元网络 是，它们之间及其由它们组成的神经网络之间却有 由若干过程神经元和传统神经元按一定拓扑结 着紧密的联系 1994-2008 China Academic Journal Electronic Publishing House.All rights reserved.http://www.cnki.net重影响预测精度. 人类大脑通常是“思前想后”才做 出决策(预测) ,因此多步预测更符合人脑的运作机 制. 现实世界中 ,很多系统就是以这种随时间变化的 信号作为输入 ,区别于同步瞬时输入 ,称为过程式输 入. 时间信号离散化后为多步时间系列. 针对过程式 输入 ,中国工程院何新贵院士于 2000 年提出了过程 神经元模型及其网络 ,并证明相关的几个基本定 理[3 ] . 进而 ,他们提出了一种基于函数正交基展开的 学习算法 ,并将其应用于旋转机械故障诊断问题和 油藏开发过程模拟[4 ] . 丁刚等将过程神经网络应用 于航天器热平衡温度预测[5 ] ,文中还提出外推预测 的概念. 在文献[6 ]中 ,何新贵等又提出了一种输入 输出均为时变函数的过程神经网络及其算法. 过程 神经网络有着广阔的应用领域 ,适用于各种具有过 程式输入的问题 ,如工业过程中难测变量的软测量、 中药学中的中药指纹图谱识别 ,甚至是各种博弈游 戏输赢的预测问题. 1 过程神经元网络 本节首先介绍何院士提出的过程神经元模型 , 在此基础上给出了输出分别为数值型和函数型的多 层前向过程神经网络. 为阐述简单起见 ,本文只讨论 多输入单输出网络. 1. 1 过程神经元 过程神经元模型在拓扑上和传统神经元模型相 似 ,也具有加权、聚合和激励等操作[3 ] . 二者主要区 别在于 :1) 过程神经元的输入空间和权值空间是定 义在某一时间区间[ a , b]上的二阶赋范实函数空间 L 2 ( a , b) 上的;2) 过程神经元不仅具有空间加权聚合 运算 ,还具有时间累积聚合运算. 设信号采样区间为 [0 , T ] ,若时间聚合运算取采样区间[0 , T ]上的积 分 ,过程神经元模型的拓扑图见图 1. 图中 f ( ·) ,符 号为过程神经元的激励函数. 图 1 过程神经元模型 Fig. 1 Process neuron model 其输入输出关系为 y = f (∫ T 0 ∑ n i =1 wi ( t) xi ( t) dt - θ) . (1) 1. 2 过程神经元网络 由若干过程神经元和传统神经元按一定拓扑结 构组成的网络称为过程神经元网络. 过程神经元网 络可按输出空间的类型进行分类 ,分为离散数值标 签输出空间(分类) 、连续数值输出空间 (回归 ,单输 出通常为欧氏空间 R 的子空间) 、赋范实函数空间 (泛函逼近) . 常用输出空间有 :用于分类问题的 { - 1 ,1} 、{ - 1 ,0 ,1} ;用于回归问题的、标准正态分 布N (0 ,1) ;用于泛函逼近的平方可积函数空间 L 2 ( a , b) . 分类离散数值空间的无限细分将逼近连续数 值空间 ,在此意义上 ,分类问题可看作回归问题的特 例 ,可将二者归为数值输出一类. 下面分别给出数值 输出和函数输出的过程神经元网络[3 ,6 ] . 1. 2. 1 数值输出过程神经元网络 数值输出的 3 层前向过程神经网络 PNN ( n - m - 1) 的拓扑图如图 2 所示 ,单独的隐层由过程神 经元组成. 输入和输入层至隐层的连接权均为函数 空间 L 2 (0 , T) 上的函数 , [0 , T ]为采样区间. 隐节点 的激励函数 f ( ·) 为 log2sigmoid 或 tan2sigmoid 函 数 ,根据输出数据不同的标准化区间确定 ;输出神经 元的激励函数 g ( ·) 为线性函数. 图 2 数值输出型过程神经元网络 Fig. 2 Real2valued output process neural network 其输入输出关系为 y = ∑ m j =1 vj f ∫ T 0 ∑ n i = 1 wij ( t) xi ( t) dt - θj - θ. (2) 1. 2. 2 函数输出过程神经元网络 函数输出过程神经元网络为一种 4 层前向网络 PNN ( n - m - L - 1) ,其拓扑图如图 3 所示. 第 1 隐 层为过程神经元隐层 ,过程神经元激励函数 f ( ·) 可取 sigmoid 函数 ;第 2 隐层为传统神经元隐层 ,神 经元激励函数 g ( ·) 取线性函数. 输入、输出和输入 层至第 1 隐层的连接权均为函数空间 L 2 (0 , T) 上的 函数 ,第 2 隐层至输出层的连接权为函数空间 L 2 (0 , T) 上的一组正交基函数(无限维) 的前 L 个基 函数 ,其泛函映射关系比较复杂[6 ] . 虽然 ,过程神经元模型和传统 MP 神经元模型 在输入空间、连接权和聚合运算中有着本质区别. 但 是 ,它们之间及其由它们组成的神经网络之间却有 着紧密的联系. ·2 · 智 能 系 统 学 报 第 2 卷 © 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net