第十九章神经网络模型 §1神经网络简介 人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及 功能的一种抽象数学模型。自1943年美国心理学家W. McCulloch和数学家W.Pts提 出形式神经元的抽象数学模型一MP模型以来,人工神经网络理论技术经过了50多年 曲折的发展。特别是20世纪80年代,人工神经网络的研究取得了重大进展,有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科 它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及 专家系统等领域得到广泛的应用,提出了40多种神经网络模型,其中比较著名的有感 知机, Hopfield网络, boltzman机,自适应共振理论及反向传播网络(BP)等。在这 里我们仅讨论最基本的网络模型及其学习算法。 1.1人工神经元模型 下图表示出了作为人工神经网络( artificial neural network,以下简称NN)的基本 单元的神经元模型,它有三个基本要素 激活函数 输x2 输出 和 阈值 连接权 (i)一组连接(对应于生物神经元的突触),连接强度由各连接上的权值表示,权 值为正表示激活,为负表示抑制。 (ⅱi)一个求和单元,用于求取各输入信号的加权和(线性组合) (ⅲ)一个非线性激活函数,起非线性映射作用并将神经元输出幅度限制在一定范 围内(一般限制在(0,1)或(-1,1)之间) 此外还有一个阈值4(或偏置b=-64)。 以上作用可分别以数学式表达出来: l4=2∑4x,"k=4-6,y=() 式中x1,x2…,x为输入信号,Wk,Wk2,…,W为神经元k之权值,4为线性组合结 果,为阈值,p()为激活函数,yk为神经元k的输出。 若把输入的维数增加一维,则可把阈值4包括进去。例如 D=P(ug) 此处增加了一个新的连接,其输入为x0=-1(或+1),权值为wo=6(或b2),如 下图所示 230-230- 第十九章 神经网络模型 §1 神经网络简介 人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了 50 多年 曲折的发展。特别是 20 世纪 80 年代，人工神经网络的研究取得了重大进展，有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及 专家系统等领域得到广泛的应用，提出了 40 多种神经网络模型，其中比较著名的有感 知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这 里我们仅讨论最基本的网络模型及其学习算法。 1.1 人工神经元模型 下图表示出了作为人工神经网络（artificial neural network，以下简称 NN）的基本 单元的神经元模型，它有三个基本要素： （i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权 值为正表示激活，为负表示抑制。 （ii）一个求和单元，用于求取各输入信号的加权和（线性组合）。 （iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范 围内（一般限制在(0,1) 或(−1,1) 之间）。 此外还有一个阈值θ k （或偏置bk = −θ k ）。 以上作用可分别以数学式表达出来： ∑= = p j k kj j u w x 1 ， k uk k v = −θ ， ( ) k k y = ϕ v 式中 p x , x , , x 1 2 L 为输入信号， wk wk wkp , , , 1 2 L 为神经元 k 之权值，uk 为线性组合结 果，θ k 为阈值，ϕ(⋅) 为激活函数， k y 为神经元k 的输出。 若把输入的维数增加一维，则可把阈值θ k 包括进去。例如 ∑= = p j k kj j v w x 0 ， ( ) k uk y = ϕ 此处增加了一个新的连接，其输入为 x0 = −1（或 +1），权值为 wk 0 = θ k （或bk ），如 下图所示