第二章人工神经网络的基本模型 ■人工神经元的基本模型 口几种典型的激活函数 口人工神经网络的学习算法概述 口人工神经网络的基本拓扑结构 2006-5-9 北京科技大学自动化系 2
2006-5-9 北京科技大学自动化系 2 第二章 人工神经网络的基本模型 人工神经元的基本模型 几种典型的激活函数 人工神经网络的学习算法概述 人工神经网络的基本拓扑结构
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 生物神经元结构 (1)细胞体：细胞核、细胞质和细胞膜。（2)树突： 胞体短而多分枝的突起。相当于神经元的输入端。 （3)轴突：胞体上最长枝的突起，也称神经纤维。 端部有很多神经末稍传出神经冲动。(4)突触：神 经元间的连接接口，每个神经元约有1万10万个突 触。神经元通过其轴突的神经末稍，经突触与另一 神经元的树突联接，实现信息的传递。由于突触的 信息传递特性是可变的，形成了神经元间联接的柔 性，称为结构的可塑性。（5)细胞膜电位：神经细 胞在受到电的、化学的、机械的刺激后，能 产生兴奋与抑制。 2006-5-9 北京科技大学自动化系 3
2006-5-9 北京科技大学自动化系 3 生物神经元结构 （1）细胞体: 细胞核、细胞质和细胞膜。（2）树突： 胞体短而多分枝的突起。相当于神经元的输入端。 （3）轴突：胞体上最长枝的突起，也称神经纤维。 端部有很多神经末稍传出神经冲动。（4）突触：神 经元间的连接接口，每个神经元约有1万～10万个突 触。神经元通过其轴突的神经末稍，经突触与另一 神经元的树突联接，实现信息的传递。由于突触的 信息传递特性是可变的，形成了神经元间联接的柔 性，称为结构的可塑性。（5）细胞膜电位：神经细 胞 在 受 到 电 的 、 化学的 、 机 械 的 刺 激 后 ， 能 产生兴奋与抑制。 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 生物神经元结构 树突 细胞质 细胞核 细胞膜 轴突 ě触 神经末梢 2006-5-9 北京科技大学自动化系 4
2006-5-9 北京科技大学自动化系 4 生物神经元结构 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 @生物神经元功能 (1)兴奋与抑制： 当传入神经元冲动，经整和使细胞 膜电位升高，超过动作电位的阈值时，为兴奋状 态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电 位降低，低于阈值时，为抑制状态，不产生神经 冲动 。 (2)学习与遗忘：由于神经元结构的可塑性，突触的 传递作用可增强与减弱，因此，神经元具有学习 与遗忘的功能。 2006-5-9 北京科技大学自动化系 5
2006-5-9 北京科技大学自动化系 5 生物神经元功能 （1）兴奋与抑制：当传入神经元冲动，经整和使细胞 膜电位升高，超过动作电位的阈值时，为兴奋状 态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电 位降低，低于阈值时，为抑制状态，不产生神经 冲动。 （2）学习与遗忘：由于神经元结构的可塑性，突触的 传递作用可增强与减弱，因此，神经元具有学习 与遗忘的功能。 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 @人工神经元的六个基本特征： 1)神经元及其联接； 2)神经元之间的联接强度决定信号传递的强弱； 3)神经元之间的联接强度是可以随训练改变的； 4)信号可以是起刺激作用，也可以是起抑制作用； 5)一个神经元接受的信号的累积效果决定该神经元 的状态； 6)每个神经元可以有一个“闵值”。 神经元是构成神经网络的最基本单元（构件)。 人工神经元模型应具有生物神经元的六个基本特性。 2006-5-9 北京科技大学自动化系 6
2006-5-9 北京科技大学自动化系 6 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 人工神经元的六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用，也可以是起抑制作用； 5）一个神经元接受的信号的累积效果决定该神经元 的状态； 6) 每个神经元可以有一个“阈值” 。 神经元是构成神经网络的最基本单元（构件）。 人工神经元模型应具有生物神经元的六个基本特性
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 @基本MP模型 f(x) 神经元的输入y,输出y:描述： y=f(∑wy,-0),i≠j (a) 设X,=∑w,y,-日 f(x j=1 则乃=f(x) 每一神经元的输出，或0或1 0表示抑制，1表示兴奋 1x,≥0 (b)作用函数 片=九)0<0 图2.1MP神经元模型 2006-5-9 北京科技大学自动化系
2006-5-9 北京科技大学自动化系 7 0 f (x) 1 x (b) 作用函数 图2.1 MP神经元模型 ( ) i i f x （a） 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 神经元i的输入yj 输出yi 描述: 设 则 每一神经元的输出，或‘0’或‘1’ ， ‘0’表示’抑制’ ， ‘1’表示‘兴奋’： 1 ( ), n i ij j j j y f w y i j = = − 1 n i ij j j j x w y = = − ( ) i i y f x = 1 0 ( ) 0 0 i i i i x y f x x = = 基本MP模型
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 ):作用（激发)函数一是一种阶跃函数。 从神经元的结构示意图上可见：当输入y的加权和∑”，y,大于 域值日，时，神经元的输出y:=1,即神经元处于“兴奋状态”； 反之，当输入y的加权和∑wy,大于域值0，时，神经元的输 出y:=0,即神经元处于“抑制状态” W,在基本MP模型中取整数。 2006-5-9 北京科技大学自动化系 8
2006-5-9 北京科技大学自动化系 8 f(x)：作用（激发）函数——是一种阶跃函数。 从神经元的结构示意图上可见：当输入yj的加权和 大于 域值 时，神经元的输出yi =1，即神经元处于“兴奋状态”； 反之，当输入yj的加权和 大于域值 时，神经元的输 出yi =0，即神经元处于“抑制状态” 在基本MP模型中取整数。 j j 1 n ij j j w y = 1 n ij j j w y = 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 wij
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 @MP模型的另一种形式 y1 W1 令w0=8,y0=1,则MP y2 W2 神经元模型可以表示为： net;=WY ∑ y=f(∑wy,),i≠j yn Wa i=0 人工神经元模拟生物神经元的一阶特性。 - 输入：Y=（yo?y1y2,yn) -】 联接权：W=(w,w1w2,,wn)T 网络输入：net∑wy: -向量形式： net;=WY 2006-5-9 北京科技大学自动化系 9
2006-5-9 北京科技大学自动化系 9 人工神经元模拟生物神经元的一阶特性。 – 输入：Y=（ y0， y1，y2，…，yn） – 联接权：W=（ w0， w1，w2，…，wn）T – 网络输入： netj=∑wji yi – 向量形式： netj=WY yn wn ∑ y1 w1 y2 w2 neti=WY … MP模型的另一种形式 令 ，则MP 神经元模型可以表示为： 0 ( ), n i ij j j y f w y i j = = wj j 0 = 0 1 j y 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 M-P模型从哪些方面刻画了自然神经元？ 前面已介绍过生物（自然)神经元具有如下特点： 两态工作：即工作于兴奋或抑制两种状态 阈值作用：即超过某一阈值则神经元兴奋 华 多输入单输出特性； 空间、 时间叠加性； 4 可塑性联接：即突触部分的联接强度可以调节。 虽然M-P模型无法实现生物神经元的空间、时间 的交叉叠加性，但其它生物神经元功能都具备。 2006-5-9 北京科技大学自动化系 10
2006-5-9 北京科技大学自动化系 10 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型 M-P模型从哪些方面刻画了自然神经元？ 前面已介绍过生物（自然）神经元具有如下特点： 两态工作：即工作于兴奋或抑制两种状态； 阈值作用：即超过某一阈值则神经元兴奋； 多输入单输出特性； 空间、时间叠加性； 可塑性联接：即突触部分的联接强度可以调节。 虽然M-P模型无法实现生物神经元的空间、时间 的交叉叠加性，但其它生物神经元功能都具备
第二章人工神经网络的基本模型 2.1人工神经元的基本模型 M-P模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立 起来的，它在多个方面都显示出生物神经元所具有 的基本特性。 其次，目前其它形式的人工神经元已有很多，但 大多数都是在M-P模型的基础上经过不同的修正， 改进变换而发展起来。因此M-P人工神经元是整个 人工神经网的基础。 2006-5-9 北京科技大学自动化系 11
2006-5-9 北京科技大学自动化系 11 M-P模型在人工神经网络中的地位 首先M-P模型是所有人工神经元中第一个被建立 起来的，它在多个方面都显示出生物神经元所具有 的基本特性。 其次，目前其它形式的人工神经元已有很多，但 大多数都是在M-P模型的基础上经过不同的修正， 改进变换而发展起来。因此M-P人工神经元是整个 人工神经网的基础。 2.1 人工神经元的基本模型 第二章 人工神经网络的基本模型