因此,它并不需要知道数据来自的对象的机理.这是它的长处.当然,在规律较为明显的情 形,它也就会显出不足.总体看来,可以说神经网络方法是有别于经典统计的一种另类统计 方法 人工神经网络可分为决定性的和随机的两大类.它们又各自包括各种不同类型的神经 网络.这种不同的神经网络的构造,是根据要求它完成某种制定的特殊功能而设计的.而随 机因素的引入,是为了使计算更稳定,减少往错误的方向进行的可能性 决定性的人工神经网络,如前传神经网络与随机过程并没有关系.但是它是人工神经网 络的基础,它有广泛的应用.再则,通过它不仅可以了解人工神经网络的原理与功能,并 且也可以更好地理解随机的神经网络.所以本书也采纳了决定性的人工神经网络.以下我 们先介绍决定性的前传人工神经网络,而把更为一般的决定性的递归神经网络放在随机神 经网络中一并处理 3.2.1决定性的前传人工神经网络 前传网络的概念 最常见的人工神经网络是多层前传网络.这种网络可分为多层,其中每层有一些单元组 成.一般分为3种层次,依次为:输入层(由接受输入数据的神经元组成,它们不受其他神 经元的相互作用),隐层和输出层.作为中间层的隐层,又可分为若干个子层(由 Kolmogorov 的理论结果,它等价于只有一个隐层的某个系统.然而在实际计算中,往往以采用多层更为 方便,灵活).所谓前传网络,就是信息只能由前向后传,只有前一层的单元对其后一层的 单元可能有相互作用.每一个隐层或输出层都由许多感受子( perceptron)组成.每一个感 受子就是一个受到网络相互作用的神经元.在前传网络中,这种相互作用只允许来自上一层 的神经元 最典型的是具有3层的全连接前传网络,其隐层元,例如,可以取6个至8个神经元.网 络的效果相当于分片线性近似.它是一种进行自适应学习的非线性处理器.其典型的模式是 如下的受门限限制的线性作用:设输入层为m个输入神经元x=(x1…,xn),隐层有l个 神经单元(体现为分量)h=(h…,h1),而输出层为n个单元y=(1…,yn).用权重 2,23)分别表示输入元给隐元k的作用(强度),和隐元k给输出元j的作用.通常取 门限函数g为在0点的单位阶跃函数 (15.9) 0(x<0) 或S形阈值函数,例如 eX g(x)=-arctan( ax),(a>0) (15.10) 于是输入层到隐层间的转递为 h=g∑k2x-0) (15.11) 而隐层到输出层的转移为 g(∑3h4-0") 其中6,0,是为了方便而预先设置的门限常数,称为阈值.在g为在0点的单位阶跃函数 425425 因此, 它并不需要知道数据来自的对象的机理. 这是它的长处. 当然, 在规律较为明显的情 形, 它也就会显出不足. 总体看来, 可以说神经网络方法是有别于经典统计的一种另类统计 方法. 人工神经网络可分为决定性的和随机的两大类. 它们又各自包括各种不同类型的神经 网络. 这种不同的神经网络的构造, 是根据要求它完成某种制定的特殊功能而设计的. 而随 机因素的引入, 是为了使计算更稳定, 减少往错误的方向进行的可能性. 决定性的人工神经网络,如前传神经网络与随机过程并没有关系. 但是它是人工神经网 络的基础, 它有广泛的应用. 再则, 通过它不仅可以了解人工神经网络的原理与功能, 并 且也可以更好地理解随机的神经网络. 所以本书也采纳了决定性的人工神经网络. 以下我 们先介绍决定性的前传人工神经网络, 而把更为一般的决定性的递归神经网络放在随机神 经网络中一并处理. 3.2.1 决定性的前传人工神经网络 1. 前传网络的概念 最常见的人工神经网络是多层前传网络. 这种网络可分为多层, 其中每层有一些单元组 成. 一般分为 3 种层次, 依次为: 输入层(由接受输入数据的神经元组成, 它们不受其他神 经元的相互作用), 隐层和输出层. 作为中间层的隐层, 又可分为若干个子层(由 Kolmogorov 的理论结果, 它等价于只有一个隐层的某个系统. 然而在实际计算中, 往往以采用多层更为 方便, 灵活). 所谓前传网络, 就是信息只能由前向后传, 只有前一层的单元对其后一层的 单元可能有相互作用. 每一个隐层或输出层都由许多感受子(perceptron) 组成. 每一个感 受子就是一个受到网络相互作用的神经元. 在前传网络中, 这种相互作用只允许来自上一层 的神经元. 最典型的是具有3层的全连接前传网络, 其隐层元, 例如, 可以取 6个至8个神经元. 网 络的效果相当于分片线性近似. 它是一种进行自适应学习的非线性处理器. 其典型的模式是 如下的受门限限制的线性作用: 设输入层为 m 个输入神经元 ( , , ) 1 m x = x L x , 隐层有 l 个 神经单元(体现为分量) ( , , ) h = h1 L hl , 而输出层为 n 个单元 ( , , ) 1 n y = y L y . 用权重 (1,2 ) (2,3) , wik wkl 分别表示输入元i 给隐元k 的作用(强度)，和隐元k 给输出元 j 的作用. 通常取 门限函数 g 为在 0 点的单位阶跃函数 ç ç è æ < ³ = 0 ( 0) 1 ( 0) ( ) x x g x , (15. 9) 或 S 形阈值函数, 例如, , 1 1 ( ) ax e g x - + = 或 arctan( ), 2 g(x) ax p = (a > 0) . (15. 10) 于是输入层到隐层间的转递为 ( ) (1,2) i k i k ik h = g åw x -q , (15. 11) 而隐层到输出层的转移为 ( ') (2,3) k j k y j = g åwkj h -q , (15. 12) 其中 , ' qk q j 是为了方便而预先设置的门限常数, 称为阈值.．在g 为在 0 点的单位阶跃函数