第三讲神经元与网络结构 3.1生物神经元及生物神经网络 3.1.1生物神经元 人脑大约由102个神经元组成,而其中的每个神经元又与约102~104个其他 神经元相连接,如此构成一个庞大而复杂的神经元网络 神经元是大脑处理信息的基本单元,它的结构如图3-1所示。它是以细胞 体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像 一棵枯树的枝干。它主要由细胞体、树突、轴突和突触( Synapse,又称神经键) 组成 来自其他神经元轴突神经末梢 b突触 突触 细胞体 轴突 细胞核 神经末梢 入 树突 图3-1生物神经元示意图 细胞体由细胞核、细胞质和细胞膜组成。细胞体是神经元新陈代谢的中心, 还是接受与处理信息的部件。树突是细胞体向外延伸树枝状的纤维体,它是神经 元的输入通道,接受来自其他神经元的信息。轴突是细胞体向处延伸的最长、最 粗的一条树枝纤维体,即神经纤维,其长度从几个微米到1m左右。它是神经元 的输出通道。轴突末端也有许多向外延伸的树枝状纤维体,称为神经末梢,它是 神经元信息的输出端,用于输出神经元的动作脉冲。轴突有两种结构形式:髓鞘 纤维和无髓鞘纤维,两者传递信息的速度不同,前者约为后者的10倍。一个神
1 第三讲 神经元与网络结构 3．1 生物神经元及生物神经网络 3．1．1 生物神经元 人脑大约由 1012 个神经元组成，而其中的每个神经元又与约 102～104 个其他 神经元相连接，如此构成一个庞大而复杂的神经元网络。 神经元是大脑处理信息的基本单元，它的结构如图 3—1 所示。它是以细胞 体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像 一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键) 组成。 图 3－1 生物神经元示意图 细胞体由细胞核、细胞质和细胞膜组成。细胞体是神经元新陈代谢的中心， 还是接受与处理信息的部件。树突是细胞体向外延伸树枝状的纤维体，它是神经 元的输入通道，接受来自其他神经元的信息。轴突是细胞体向处延伸的最长、最 粗的一条树枝纤维体，即神经纤维，其长度从几个微米到 1m 左右。它是神经元 的输出通道。轴突末端也有许多向外延伸的树枝状纤维体，称为神经末梢，它是 神经元信息的输出端，用于输出神经元的动作脉冲。轴突有两种结构形式：髓鞘 纤维和无髓鞘纤维，两者传递信息的速度不同，前者约为后者的 10 倍。一个神
经元的神经末梢与另一神经元树突或细胞体的接触处称为突触,它是神经元之问 传递信息的输入输出接口。每个神经元约有103~104个突触 从神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值 电位后,突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种 化学物质的扩散,使位于突触后膜的离子通道( Ion channel)开放,产生离子流, 从而在突触后膜产生正的或负的电位,称为突触后电位。突触有两种:兴奋性突 触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。一个神经元 的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的 变化,将对该神经元产生综合作用,即当这些突触后电位的总和超过某一阎值时, 该神经元便被激活,并产生脉冲,而且产生的脉冲数与该电位总和值的大小有关。 脉冲沿轴突向其他神经元传送,从而实现了神经元之间信息的传递。突触传递信 息有一定的延迟时间,对于温血动物一般为0.3-1ms 当一个神经元突触前传来一串脉冲时,突触后电位的变化是其中诸单脉冲冲 动效应的累加,即时间上的累加。而该神经元与其他很多神经元相连接的突触前 同时传来的脉冲也能引起该突触后电位的变化,即空间上的累加。时间累加和空 间累加都会对突触后电位产生影响 最后,将突触传递信息的功能和特点归纳为: (1)信息传递有时延,一般为03~lms。 (2)信息的综合有时间累加和空间累加 (3)突触有兴奋性和抑制性两种类型。 (4)具有脉冲/电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约 60-100mV)、恒宽、编码的离散信号,而细胞膜电位的变化为连续 的模拟量。由此可见突触有数/模转换功能。这种转换是通过神经介 质以量子化学的方式实现的。 (5)神经纤维传导的速度,即脉冲沿神经纤维传递的速度,在1-150m /s之间,它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维, 其传递速度在100m/s以上;无髓朗的纫纤维,其传递速度可低至 每秒数米
2 经元的神经末梢与另一神经元树突或细胞体的接触处称为突触，它是神经元之问 传递信息的输入输出接口。每个神经元约有 103～104 个突触。 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值 电位后，突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种 化学物质的扩散，使位于突触后膜的离子通道(Ion Channel)开放，产生离子流， 从而在突触后膜产生正的或负的电位，称为突触后电位。突触有两种：兴奋性突 触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。一个神经元 的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的 变化，将对该神经元产生综合作用，即当这些突触后电位的总和超过某一阎值时， 该神经元便被激活，并产生脉冲，而且产生的脉冲数与该电位总和值的大小有关。 脉冲沿轴突向其他神经元传送，从而实现了神经元之间信息的传递。突触传递信 息有一定的延迟时间，对于温血动物一般为 0．3—1ms。 当一个神经元突触前传来一串脉冲时，突触后电位的变化是其中诸单脉冲冲 动效应的累加，即时间上的累加。而该神经元与其他很多神经元相连接的突触前 同时传来的脉冲也能引起该突触后电位的变化，即空间上的累加。时间累加和空 间累加都会对突触后电位产生影响。 最后，将突触传递信息的功能和特点归纳为： (1) 信息传递有时延，一般为 0.3～lms。 (2) 信息的综合有时间累加和空间累加。 (3) 突触有兴奋性和抑制性两种类型。 (4) 具有脉冲／电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约 60—100mV)、恒宽、编码的离散信号，而细胞膜电位的变化为连续 的模拟量。由此可见突触有数／模转换功能。这种转换是通过神经介 质以量子化学的方式实现的。 (5) 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1—150m ／s 之间，它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维， 其传递速度在 100m／s 以上；无髓朗的纫纤维，其传递速度可低至 每秒数米
(6)存在不应期。在两个相邻脉冲之间,神经元的阈值电位突然升高,阻 止下一个脉冲的通过,这段时间称为不应期,约3-5ms。在此期间, 对激励不响应,不能传递脉冲。 (7)不可逆性,脉冲只从突触前传到突触后,不逆向传递。 (8)可塑性,突触传递信息的强度是可变的,即具有学习功能。可塑性是 学习和记忆的基础。 (9)存在遗忘或疲劳效应。 3.1.2人脑神经网络系统 生物神经网络是由很多神经元相互连接的,神经网络系统是一个极为庞大则 错综复杂的系统。每个神经元虽然都十分简单,但是,如此大量神经元之间非常 复杂的连接却可以演化出丰富多彩的行为方式。同时,如此大量神经元与外部感 受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。总之,连接方式 的多样化导致了行为方式的多样化。 脑神经系统的主要组成部分如图3-2所示。人脑具有阶层结构,其中最复 杂的部分是处于大脑最外层的大脑皮层。在大脑皮层中密布着由大量神经元构成 的神经网络,这就使它具有高度的分析相综合能力。它是人脑思维活动的物质基 础,是脑神经系统的核心部分。 //木(大脑皮层 大脑基核 小脑 间脑 中枢神经系统 趣天中脑 脑桥 脑神经系统 延髓 脊髓 体性神经系统/感觉神经 运动神经 末梢神经系统 自律神经系鸵/交感神经 副交感神经
3 (6) 存在不应期。在两个相邻脉冲之间，神经元的阈值电位突然升高，阻 止下一个脉冲的通过，这段时间称为不应期，约 3—5ms。在此期间， 对激励不响应，不能传递脉冲。 (7) 不可逆性，脉冲只从突触前传到突触后，不逆向传递。 (8) 可塑性，突触传递信息的强度是可变的，即具有学习功能。可塑性是 学习和记忆的基础。 (9) 存在遗忘或疲劳效应。 3．1．2 人脑神经网络系统 生物神经网络是由很多神经元相互连接的，神经网络系统是一个极为庞大则 错综复杂的系统。每个神经元虽然都十分简单，但是，如此大量神经元之间非常 复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量神经元与外部感 受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。总之，连接方式 的多样化导致了行为方式的多样化。 脑神经系统的主要组成部分如图 3—2 所示。人脑具有阶层结构，其中最复 杂的部分是处于大脑最外层的大脑皮层。在大脑皮层中密布着由大量神经元构成 的神经网络，这就使它具有高度的分析相综合能力。它是人脑思维活动的物质基 础，是脑神经系统的核心部分
图3-2脑神经系统的主要组成部分 人们通过长期的研究,进一步探明了大脑皮层是由许多不同的功能区构成 的。例如,有的区专门负责运动控制,有的区专门负责听觉,有的区专门负责视 觉等。在每个功能区中,又包含许多负责某一具体功能的神经元群。例如,在视 觉神经区,存在着只对光线方向性产生反应的神经元。更进一步细分,某一层神 经元仅对水平光线产生响应,而另一层神经元只对垂直光线产生反应。需要特别 指出的是,大脑皮层的这种区域性结构,虽然是由人的遗传特性所决定的,是先 天性的,但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得 来的。神经元的这种特性称为自组织(Self- Organization)特性。所谓自组织,即 神经元的学习过程,完全是一种自我学习的过程,不存在外部教师的示教。还应 指出,神经元的这种自组织特性来自于神经网络结构的可塑性,即神经元之间相 互连接的突触随着动作电位脉冲激励方式与强度的变化,其传递电位的作用可增 加或减弱,神经元之间的突触连接是柔性的、可塑的。 还应指出,功能的分区定位并不是机械的一对一关系。许多功能,特别是高 级思维功能,通常都可以分为若干子功能块,这些子功能块存在并行关系。对于 个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如 此,某一部位的损伤才不至于导致整个功能的丧失 3.1.3人脑神经网络信息处理的特点 人的大脑是一个神秘而复杂的世界,人们通过长期的研究与探索,已能从神 经细胞结构及神经网络组成的水平上初步探明大脑的组织特征,并通过生理实验 证明了许多大脑的认知机理。但是,到目前为止,人们还不能完全解释大脑的思 维、意识和精神活动 大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息 处理的主体。这种信息处理过程是十分复杂而多样化的,很难给出精确的描述。 不过,基于对大脑组织特征的认识及一些生理实验,可以归纳出如下一些大脑神 经网络处理信息的特点 1.分布存储与冗余性信息在神经网络中的存储是分布于大量的神经元之 中,即一个事物的信息不只是对应于一个神经元的状态进行记忆,而是分散到很
4 图 3—2 脑神经系统的主要组成部分 人们通过长期的研究，进一步探明了大脑皮层是由许多不同的功能区构成 的。例如，有的区专门负责运动控制，有的区专门负责听觉，有的区专门负责视 觉等。在每个功能区中，又包含许多负责某一具体功能的神经元群。例如，在视 觉神经区，存在着只对光线方向性产生反应的神经元。更进一步细分，某一层神 经元仅对水平光线产生响应，而另一层神经元只对垂直光线产生反应。需要特别 指出的是，大脑皮层的这种区域性结构，虽然是由人的遗传特性所决定的，是先 天性的，但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得 来的。神经元的这种特性称为自组织(Self—Organization)特性。所谓自组织，即 神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。还应 指出，神经元的这种自组织特性来自于神经网络结构的可塑性，即神经元之间相 互连接的突触随着动作电位脉冲激励方式与强度的变化，其传递电位的作用可增 加或减弱，神经元之间的突触连接是柔性的、可塑的。 还应指出，功能的分区定位并不是机械的一对一关系。许多功能，特别是高 级思维功能，通常都可以分为若干子功能块，这些子功能块存在并行关系。对于 一个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如 此，某一部位的损伤才不至于导致整个功能的丧失。 3．1．3 人脑神经网络信息处理的特点 人的大脑是一个神秘而复杂的世界，人们通过长期的研究与探索，已能从神 经细胞结构及神经网络组成的水平上初步探明大脑的组织特征，并通过生理实验 证明了许多大脑的认知机理。但是，到目前为止，人们还不能完全解释大脑的思 维、意识和精神活动。 大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息 处理的主体。这种信息处理过程是十分复杂而多样化的，很难给出精确的描述。 不过，基于对大脑组织特征的认识及一些生理实验，可以归纳出如下一些大脑神 经网络处理信息的特点： 1．分布存储与冗余性 信息在神经网络中的存储是分布于大量的神经元之 中，即一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到很
多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。 在分布存储的内容中,有许多是完成同一功能的,即网络具有冗余性。网络的冗 余性导致网络的存储具有容错性,即其中某些神经元受到损伤或死亡时,仍不致 于丢失其记忆的信息。信息在神经网络中的记忆,主要反映在神经元之间的突触 连接强度上。 2.并行处理神经元响应的速度为毫秒级,比一般电子开关器件要慢几个 数量级,而且每个神经元的处理功能也很有限。然而,大脑神经网络系统对于处 理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速 相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然,前者速度快是 由成亿个神经元协同工作并行处理的结果。 神经网络并行处理的含义不同于目前的并行处理机,它不是简单地“以空间 的复杂性为代价来求得时间上的快速性”,而是反映了根本不同的操作机理。神 经网络既是处理器,又是存储器 3.信息处理与存储合一人们从未发现大脑皮层中记忆和处理分别属于不 同区域的情况,这是因为每个神经元都兼有信息处理和存储的功能。神经元之间 突触连接强度的变化既反映了神经元对激励的响应,即信息处理过程,同时其响 应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信 息过程,这对于提高网络信息处理的速度和智能是至关重要的。与此不同,目前 股计算机的存储和处理是分别属于两个独立的部件,存储器的作用只不过是 个知识库,这就是说,任一时刻都只有极少量的知识被取来参与处理,大部分知 识却处于休闲无用状态。 4.可塑性与自组织性在大脑中,神经元之间的突触连接,虽然其基本部 分是先天就有的,即由遗传所决定的,但是大脑皮层的大部分突触连接是后天由 环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经 元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间 形成新的突触连接,或者使原来就有的突触连接加强而形成的。还有,由于环境 的刺激,形成和调整神经元之间的突触连接,并逐渐构成神经网络的现象,称为 神经系统的自组织性。由此可见,可塑性是学习和记忆的基础 5.鲁棒性网络的髙连接度意味着一定的误差和噪声不会使网络的性能恶
5 多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。 在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗 余性导致网络的存储具有容错性，即其中某些神经元受到损伤或死亡时，仍不致 于丢失其记忆的信息。信息在神经网络中的记忆，主要反映在神经元之间的突触 连接强度上。 2．并行处理 神经元响应的速度为毫秒级，比一般电子开关器件要慢几个 数量级，而且每个神经元的处理功能也很有限。然而，大脑神经网络系统对于处 理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速。 相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然，前者速度快是 由成亿个神经元协同工作并行处理的结果。 神经网络并行处理的含义不同于目前的并行处理机，它不是简单地“以空间 的复杂性为代价来求得时间上的快速性”，而是反映了根本不同的操作机理。神 经网络既是处理器，又是存储器。 3．信息处理与存储合一 人们从未发现大脑皮层中记忆和处理分别属于不 同区域的情况，这是因为每个神经元都兼有信息处理和存储的功能。神经元之间 突触连接强度的变化既反映了神经元对激励的响应，即信息处理过程，同时其响 应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信 息过程，这对于提高网络信息处理的速度和智能是至关重要的。与此不同，目前 一股计算机的存储和处理是分别属于两个独立的部件，存储器的作用只不过是一 个知识库，这就是说，任一时刻都只有极少量的知识被取来参与处理，大部分知 识却处于休闲无用状态。 4．可塑性与自组织性 在大脑中，神经元之间的突触连接，虽然其基本部 分是先天就有的，即由遗传所决定的，但是大脑皮层的大部分突触连接是后天由 环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经 元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间 形成新的突触连接，或者使原来就有的突触连接加强而形成的。还有，由于环境 的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为 神经系统的自组织性。由此可见，可塑性是学习和记忆的基础。 5．鲁棒性 网络的高连接度意味着一定的误差和噪声不会使网络的性能恶
化,即网络具有鲁棒性。大脑神经网络的鲁律性对于智能的演化可能是一个十分 重要的因素 3.2生物神经网络的模型化——人工神经网络 前一节对生物神经元及生物神经网络的结构和功能做了简要介绍。人类研究 自身大脑的目的主要有两点:一是揭示大脑神经系统的生理特征和思维活动的机 能造福于人类;二是通过对大脑神经网络系统的结构、功能及信息处理机理的探 索,构造出与大脑智能相近的人工神经网络,并反过来用于工程或其他领域。然 而要达到后一个目的,最有效的途径是首先建立生物神经元和神经网络的数学模 型。本节主要讨论这个问题。应该指出,这里所指数学模型及其所构造的人工神 经网络,并不是人脑神经系统的真实描写,而只是对其结构和功能进行了大大简 化之后保留其主要特性的某种抽象与模拟。 ●神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构,它 般由许多个神经元组成,每个神经元只有一个输出,它可以连接到很多其他的神 经元,每个神经元输入有多个连接通道,每个连接通道对应于一个连接权系数。 3.2.1人工神经元模型 为了建立人工神经元模型,这里归纳一下生物神经元传递信息的过程。生物 神经元是一个多输入(即它的多个树突和细胞体与其他多个神经元铀突末梢突触 连接)、单输出单元(每个神经元只有一个轴突作为输出通道)。沿神经元轴突传递 的信号是脉冲,当脉冲到达轴突末梢突触前膜时,突触前膜即向突触间隙释放神 经传递化学物质,其结果是在突触后(在接受其信息的神经元的树突或细胞体上) 产生突触后电位。突触后电位的大小与轴突传递脉冲的密度有关(此处脉冲密度 的含义是单位时间内传递脉冲的平均数),对于兴奋性突触,密度愈大,则电位 愈高,它就是突触后电位的时间总和效应。各输入通道均通过突触后电位对细胞 体产生的影响,这就是突触后电位的空间总和效应。细胞体的激励电位是输,入 端时间、空间总和效应综合作用的结果。当此电位超过细胞的阈值电位时,在轴 突的初段发放脉冲,脉冲即沿轴突输出。从输入、输出关系看,对于兴奋性突触, 当输入脉冲的密度增加时,输出脉冲的密度也增加。相反,对于抑制性突触,当
6 化，即网络具有鲁棒性。大脑神经网络的鲁律性对于智能的演化可能是一个十分 重要的因素。 3．2 生物神经网络的模型化——人工神经网络 前一节对生物神经元及生物神经网络的结构和功能做了简要介绍。人类研究 自身大脑的目的主要有两点：一是揭示大脑神经系统的生理特征和思维活动的机 能造福于人类；二是通过对大脑神经网络系统的结构、功能及信息处理机理的探 索，构造出与大脑智能相近的人工神经网络，并反过来用于工程或其他领域。然 而要达到后一个目的，最有效的途径是首先建立生物神经元和神经网络的数学模 型。本节主要讨论这个问题。应该指出，这里所指数学模型及其所构造的人工神 经网络，并不是人脑神经系统的真实描写，而只是对其结构和功能进行了大大简 化之后保留其主要特性的某种抽象与模拟。 ⚫ 神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一 般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神 经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。 3．2．1 人工神经元模型 为了建立人工神经元模型，这里归纳一下生物神经元传递信息的过程。生物 神经元是一个多输入(即它的多个树突和细胞体与其他多个神经元铀突末梢突触 连接)、单输出单元(每个神经元只有一个轴突作为输出通道)。沿神经元轴突传递 的信号是脉冲，当脉冲到达轴突末梢突触前膜时，突触前膜即向突触间隙释放神 经传递化学物质，其结果是在突触后(在接受其信息的神经元的树突或细胞体上) 产生突触后电位。突触后电位的大小与轴突传递脉冲的密度有关(此处脉冲密度 的含义是单位时间内传递脉冲的平均数)，对于兴奋性突触，密度愈大，则电位 愈高，它就是突触后电位的时间总和效应。各输入通道均通过突触后电位对细胞 体产生的影响，这就是突触后电位的空间总和效应。细胞体的激励电位是输，入 端时间、空间总和效应综合作用的结果。当此电位超过细胞的阈值电位时，在轴 突的初段发放脉冲，脉冲即沿轴突输出。从输入、输出关系看，对于兴奋性突触， 当输入脉冲的密度增加时，输出脉冲的密度也增加。相反，对于抑制性突触，当
输入脉冲的密度增加时,输出脉冲的密度就会减小。为了达到不同的硏究目的, 常用的人工神经元模型可用图3-3模拟。 2 2 2(8 图3-3人工神经元模型 图3-3中,x(i=1,2,…,n)为加于输入端(突触)上的输入信号;ω;为相 应的突触连接权系数,它是模拟突触传递强度的一个比例系数,∑表示突触后信 号的空间累加;θ表示神经元的阈值,σ表示神经元的响应函数。该模型的数学 表达式为 9 y=0() (3-2) 响应函数的基本作用: 1、控制输入对输出的激活作用 2、对输入、输出进行函数转换; 3、将可能无限域的输入变换成指定的有限范围内的输出。根据响应函数的 不同,人工神经元有以下几种类型
7 输入脉冲的密度增加时，输出脉冲的密度就会减小。为了达到不同的研究目的， 常用的人工神经元模型可用图 3－3 模拟。 图 3－3 人工神经元模型 图 3—3 中，xi(i＝1，2，…，n)为加于输入端(突触)上的输入信号；ωi 为相 应的突触连接权系数，它是模拟突触传递强度的—个比例系数, ∑表示突触后信 号的空间累加；θ表示神经元的阈值，σ表示神经元的响应函数。该模型的数学 表达式为： （3－1） （3－2） 响应函数的基本作用： 1、控制输入对输出的激活作用； 2、对输入、输出进行函数转换； 3、将可能无限域的输入变换成指定的有限范围内的输出。 根据响应函数的 不同，人工神经元有以下几种类型：
1>2>B3 图3-4人工神经元的响应函数 阈值单元其响应函数如图3-4a所示 d(5)= <0 线性单元其响应函数如图3-4b所示 0(s) 3.非线性单元常用响应函数为S型( Sigmoid函数,如图3-4c、d所示 1 (s)=tanh(Bs (3-6 上述模型能反映生物神经元的基本特性,但还有如下不同之点: (1)生物神经元传递的信息是脉冲,而上述模型传递的信息是模拟电压。 (2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度, 所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的 模拟电压之中)。 (3)上述模型未考虑时延、不应期和疲劳等
8 图 3—4 人工神经元的响应函数 1．阈值单元 其响应函数如图 3—4a 所示： （3－3） 2．线性单元 其响应函数如图 3—4b 所示 (3－4) 3．非线性单元 常用响应函数为 S 型(Sigmoid)函数，如图 3－4c、d 所示。 （3－5） （3－6） 上述模型能反映生物神经元的基本特性，但还有如下不同之点： (1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。 (2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度， 所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的 模拟电压之中)。 (3)上述模型未考虑时延、不应期和疲劳等
现代电子技术可以建立更为精确的模型,但一般的神经网络研究无此必要 3.2.2人工神经网络的构成 大脑神经网络系统之所以具有思维认识等高级功能,是由于它是由无数个神 经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是 一样,单个神经元的功能是很有限的,只有用许多神经元按一定规则连接构成的 神经网络才具有强大的功能。 神经元的模型确定之后,一个神经网络的特性及能力主要取决于网络的拓扑 结构及学习方法。下面介绍人工神经网络连接的几种基本形式: 1.前向网络网络的结构如图3-5a所示。网络中的神经元是分层排列的, 每个神经元只与前一层的神经元相连接。最上一层为输出层,隐含层的层数可以 是一层或多层。前向网络在神经网络中应用很广泛,例如,感知器就属于这种类 2.从输出到输入有反馈的前向网络网络的结构如图3--5b所示。网络的 本身是前向型的,与前一种不同的是从输出到输入有反馈回路。例如, Fukushima 网络就属于这种类型 3.层内互连前向网络网络的结构如图3-5c所示。通过层内神经元之间 的相互连接,可以实现同一层神经元之间横向抑制或兴奋的机制,从而限制层内 能同时动作的神经数,或者把层内神经元分为若干组,让每组作为一个整体来动 作。一些自组织竞争型神经网络就属于这种类型
9 现代电子技术可以建立更为精确的模型，但一般的神经网络研究无此必要。 3．2．2 人工神经网络的构成 大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神 经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是 一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的 神经网络才具有强大的功能。 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑 结构及学习方法。下面介绍人工神经网络连接的几种基本形式： 1．前向网络 网络的结构如图 3—5a 所示。网络中的神经元是分层排列的， 每个神经元只与前一层的神经元相连接。最上一层为输出层，隐含层的层数可以 是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类 型。 2．从输出到输入有反馈的前向网络 网络的结构如图 3—5b 所示。网络的 本身是前向型的，与前一种不同的是从输出到输入有反馈回路。例如，Fukushima 网络就属于这种类型。 3．层内互连前向网络 网络的结构如图 3—5c 所示。通过层内神经元之间 的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内 能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动 作。一些自组织竞争型神经网络就属于这种类型
图3-5神经网络的典型结构 4.互连网络网络的结构如图3-5d所示。互连网络有局部互连和全互连 两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是 局部的,有些神经元之间没有连接关系。 Hopfield网络和 boltzmann i机属于互连 网络的类型。 3.2.3人工神经网络的学习 个神经网络的拓扑结构确定之后,为了使它具有某种智能特性,还必须有 相应的学习方法与之配合。可以这样说,学习方法是人工神经网络研究中的核心 问题。 对于大脑神经而言,不同的功能区域均有各自的学习规则。这些完整和巧妙 的学习规则是大脑在进化过程中通过学习得到的。对于人工神经网络而言,学习 方法归根结底就是网络连接权的调整方法。人工神经网络连接权的确定通常有两 种方法:一种是根据具体要求:直接计算出来,如 Hopfield网络作优化计算时就 属于这种情况;另一种是通过学习得到的,大多数人工神经网络都用这种方法 随着网络结构和功能的不同,学习方法是多种多样的,这些内容将在后续作 详细介绍。这里仅介绍人工神经网络中一些基本的、通用的学习规则,这些规则 主要有: 1.Hebb学习规则它是 Donall hebb根据生理学中条件反射机理,于1949 年提出的神经元连接强度变化的规则。其内容为
10 图 3—5 神经网络的典型结构 4．互连网络 网络的结构如图 3—5d 所示。互连网络有局部互连和全互连 两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是 局部的，有些神经元之间没有连接关系。Hopfield 网络和 Boltzmann 机属于互连 网络的类型。 3．2．3 人工神经网络的学习 一个神经网络的拓扑结构确定之后，为了使它具有某种智能特性，还必须有 相应的学习方法与之配合。可以这样说，学习方法是人工神经网络研究中的核心 问题。 对于大脑神经而言，不同的功能区域均有各自的学习规则。这些完整和巧妙 的学习规则是大脑在进化过程中通过学习得到的。对于人工神经网络而言，学习 方法归根结底就是网络连接权的调整方法。人工神经网络连接权的确定通常有两 种方法：一种是根据具体要求：直接计算出来，如 Hopfield 网络作优化计算时就 属于这种情况；另一种是通过学习得到的，大多数人工神经网络都用这种方法。 随着网络结构和功能的不同，学习方法是多种多样的，这些内容将在后续作 详细介绍。这里仅介绍人工神经网络中一些基本的、通用的学习规则，这些规则 主要有： 1．Hebb 学习规则 它是 Donall Hebb 根据生理学中条件反射机理，于 1949 年提出的神经元连接强度变化的规则。其内容为
