华中科技大学：《人工神经网络及其应用》课程教学资源（教案讲义）第三讲神经元与网络结构.doc_大学文库

经元的神经末梢与另一神经元树突或细胞体的接触处称为突触,它是神经元之问传递信息的输入输出接口。每个神经元约有103~104个突触从神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种化学物质的扩散,使位于突触后膜的离子通道( Ion channel)开放,产生离子流, 从而在突触后膜产生正的或负的电位,称为突触后电位。突触有两种:兴奋性突触和抑制性突触。前者产生正突触后电位,后者产生负突触后电位。一个神经元的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的变化,将对该神经元产生综合作用,即当这些突触后电位的总和超过某一阎值时, 该神经元便被激活,并产生脉冲,而且产生的脉冲数与该电位总和值的大小有关。脉冲沿轴突向其他神经元传送,从而实现了神经元之间信息的传递。突触传递信息有一定的延迟时间,对于温血动物一般为0.3-1ms 当一个神经元突触前传来一串脉冲时,突触后电位的变化是其中诸单脉冲冲动效应的累加,即时间上的累加。而该神经元与其他很多神经元相连接的突触前同时传来的脉冲也能引起该突触后电位的变化,即空间上的累加。时间累加和空间累加都会对突触后电位产生影响最后,将突触传递信息的功能和特点归纳为: (1)信息传递有时延,一般为03~lms。 (2)信息的综合有时间累加和空间累加 (3)突触有兴奋性和抑制性两种类型。 (4)具有脉冲/电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约 60-100mV)、恒宽、编码的离散信号,而细胞膜电位的变化为连续的模拟量。由此可见突触有数/模转换功能。这种转换是通过神经介质以量子化学的方式实现的。 (5)神经纤维传导的速度,即脉冲沿神经纤维传递的速度,在1-150m /s之间,它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维, 其传递速度在100m/s以上;无髓朗的纫纤维,其传递速度可低至每秒数米

2 经元的神经末梢与另一神经元树突或细胞体的接触处称为突触，它是神经元之问传递信息的输入输出接口。每个神经元约有 103～104 个突触。从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种化学物质的扩散，使位于突触后膜的离子通道(Ion Channel)开放，产生离子流，从而在突触后膜产生正的或负的电位，称为突触后电位。突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。一个神经元的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的变化，将对该神经元产生综合作用，即当这些突触后电位的总和超过某一阎值时，该神经元便被激活，并产生脉冲，而且产生的脉冲数与该电位总和值的大小有关。脉冲沿轴突向其他神经元传送，从而实现了神经元之间信息的传递。突触传递信息有一定的延迟时间，对于温血动物一般为 0．3—1ms。当一个神经元突触前传来一串脉冲时，突触后电位的变化是其中诸单脉冲冲动效应的累加，即时间上的累加。而该神经元与其他很多神经元相连接的突触前同时传来的脉冲也能引起该突触后电位的变化，即空间上的累加。时间累加和空间累加都会对突触后电位产生影响。最后，将突触传递信息的功能和特点归纳为： (1) 信息传递有时延，一般为 0.3～lms。 (2) 信息的综合有时间累加和空间累加。 (3) 突触有兴奋性和抑制性两种类型。 (4) 具有脉冲／电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约 60—100mV)、恒宽、编码的离散信号，而细胞膜电位的变化为连续的模拟量。由此可见突触有数／模转换功能。这种转换是通过神经介质以量子化学的方式实现的。 (5) 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1—150m ／s 之间，它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维，其传递速度在 100m／s 以上；无髓朗的纫纤维，其传递速度可低至每秒数米

图3-2脑神经系统的主要组成部分人们通过长期的研究,进一步探明了大脑皮层是由许多不同的功能区构成的。例如,有的区专门负责运动控制,有的区专门负责听觉,有的区专门负责视觉等。在每个功能区中,又包含许多负责某一具体功能的神经元群。例如,在视觉神经区,存在着只对光线方向性产生反应的神经元。更进一步细分,某一层神经元仅对水平光线产生响应,而另一层神经元只对垂直光线产生反应。需要特别指出的是,大脑皮层的这种区域性结构,虽然是由人的遗传特性所决定的,是先天性的,但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得来的。神经元的这种特性称为自组织(Self- Organization)特性。所谓自组织,即神经元的学习过程,完全是一种自我学习的过程,不存在外部教师的示教。还应指出,神经元的这种自组织特性来自于神经网络结构的可塑性,即神经元之间相互连接的突触随着动作电位脉冲激励方式与强度的变化,其传递电位的作用可增加或减弱,神经元之间的突触连接是柔性的、可塑的。还应指出,功能的分区定位并不是机械的一对一关系。许多功能,特别是高级思维功能,通常都可以分为若干子功能块,这些子功能块存在并行关系。对于个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如此,某一部位的损伤才不至于导致整个功能的丧失 3.1.3人脑神经网络信息处理的特点人的大脑是一个神秘而复杂的世界,人们通过长期的研究与探索,已能从神经细胞结构及神经网络组成的水平上初步探明大脑的组织特征,并通过生理实验证明了许多大脑的认知机理。但是,到目前为止,人们还不能完全解释大脑的思维、意识和精神活动大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息处理的主体。这种信息处理过程是十分复杂而多样化的,很难给出精确的描述。不过,基于对大脑组织特征的认识及一些生理实验,可以归纳出如下一些大脑神经网络处理信息的特点 1.分布存储与冗余性信息在神经网络中的存储是分布于大量的神经元之中,即一个事物的信息不只是对应于一个神经元的状态进行记忆,而是分散到很

4 图 3—2 脑神经系统的主要组成部分人们通过长期的研究，进一步探明了大脑皮层是由许多不同的功能区构成的。例如，有的区专门负责运动控制，有的区专门负责听觉，有的区专门负责视觉等。在每个功能区中，又包含许多负责某一具体功能的神经元群。例如，在视觉神经区，存在着只对光线方向性产生反应的神经元。更进一步细分，某一层神经元仅对水平光线产生响应，而另一层神经元只对垂直光线产生反应。需要特别指出的是，大脑皮层的这种区域性结构，虽然是由人的遗传特性所决定的，是先天性的，但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得来的。神经元的这种特性称为自组织(Self—Organization)特性。所谓自组织，即神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。还应指出，神经元的这种自组织特性来自于神经网络结构的可塑性，即神经元之间相互连接的突触随着动作电位脉冲激励方式与强度的变化，其传递电位的作用可增加或减弱，神经元之间的突触连接是柔性的、可塑的。还应指出，功能的分区定位并不是机械的一对一关系。许多功能，特别是高级思维功能，通常都可以分为若干子功能块，这些子功能块存在并行关系。对于一个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如此，某一部位的损伤才不至于导致整个功能的丧失。 3．1．3 人脑神经网络信息处理的特点人的大脑是一个神秘而复杂的世界，人们通过长期的研究与探索，已能从神经细胞结构及神经网络组成的水平上初步探明大脑的组织特征，并通过生理实验证明了许多大脑的认知机理。但是，到目前为止，人们还不能完全解释大脑的思维、意识和精神活动。大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息处理的主体。这种信息处理过程是十分复杂而多样化的，很难给出精确的描述。不过，基于对大脑组织特征的认识及一些生理实验，可以归纳出如下一些大脑神经网络处理信息的特点： 1．分布存储与冗余性信息在神经网络中的存储是分布于大量的神经元之中，即一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到很

多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中,有许多是完成同一功能的,即网络具有冗余性。网络的冗余性导致网络的存储具有容错性,即其中某些神经元受到损伤或死亡时,仍不致于丢失其记忆的信息。信息在神经网络中的记忆,主要反映在神经元之间的突触连接强度上。 2.并行处理神经元响应的速度为毫秒级,比一般电子开关器件要慢几个数量级,而且每个神经元的处理功能也很有限。然而,大脑神经网络系统对于处理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然,前者速度快是由成亿个神经元协同工作并行处理的结果。神经网络并行处理的含义不同于目前的并行处理机,它不是简单地“以空间的复杂性为代价来求得时间上的快速性”,而是反映了根本不同的操作机理。神经网络既是处理器,又是存储器 3.信息处理与存储合一人们从未发现大脑皮层中记忆和处理分别属于不同区域的情况,这是因为每个神经元都兼有信息处理和存储的功能。神经元之间突触连接强度的变化既反映了神经元对激励的响应,即信息处理过程,同时其响应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信息过程,这对于提高网络信息处理的速度和智能是至关重要的。与此不同,目前股计算机的存储和处理是分别属于两个独立的部件,存储器的作用只不过是个知识库,这就是说,任一时刻都只有极少量的知识被取来参与处理,大部分知识却处于休闲无用状态。 4.可塑性与自组织性在大脑中,神经元之间的突触连接,虽然其基本部分是先天就有的,即由遗传所决定的,但是大脑皮层的大部分突触连接是后天由环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间形成新的突触连接,或者使原来就有的突触连接加强而形成的。还有,由于环境的刺激,形成和调整神经元之间的突触连接,并逐渐构成神经网络的现象,称为神经系统的自组织性。由此可见,可塑性是学习和记忆的基础 5.鲁棒性网络的髙连接度意味着一定的误差和噪声不会使网络的性能恶

5 多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗余性导致网络的存储具有容错性，即其中某些神经元受到损伤或死亡时，仍不致于丢失其记忆的信息。信息在神经网络中的记忆，主要反映在神经元之间的突触连接强度上。 2．并行处理神经元响应的速度为毫秒级，比一般电子开关器件要慢几个数量级，而且每个神经元的处理功能也很有限。然而，大脑神经网络系统对于处理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速。相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然，前者速度快是由成亿个神经元协同工作并行处理的结果。神经网络并行处理的含义不同于目前的并行处理机，它不是简单地“以空间的复杂性为代价来求得时间上的快速性”，而是反映了根本不同的操作机理。神经网络既是处理器，又是存储器。 3．信息处理与存储合一人们从未发现大脑皮层中记忆和处理分别属于不同区域的情况，这是因为每个神经元都兼有信息处理和存储的功能。神经元之间突触连接强度的变化既反映了神经元对激励的响应，即信息处理过程，同时其响应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信息过程，这对于提高网络信息处理的速度和智能是至关重要的。与此不同，目前一股计算机的存储和处理是分别属于两个独立的部件，存储器的作用只不过是一个知识库，这就是说，任一时刻都只有极少量的知识被取来参与处理，大部分知识却处于休闲无用状态。 4．可塑性与自组织性在大脑中，神经元之间的突触连接，虽然其基本部分是先天就有的，即由遗传所决定的，但是大脑皮层的大部分突触连接是后天由环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间形成新的突触连接，或者使原来就有的突触连接加强而形成的。还有，由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经系统的自组织性。由此可见，可塑性是学习和记忆的基础。 5．鲁棒性网络的高连接度意味着一定的误差和噪声不会使网络的性能恶

化,即网络具有鲁棒性。大脑神经网络的鲁律性对于智能的演化可能是一个十分重要的因素 3.2生物神经网络的模型化——人工神经网络前一节对生物神经元及生物神经网络的结构和功能做了简要介绍。人类研究自身大脑的目的主要有两点:一是揭示大脑神经系统的生理特征和思维活动的机能造福于人类;二是通过对大脑神经网络系统的结构、功能及信息处理机理的探索,构造出与大脑智能相近的人工神经网络,并反过来用于工程或其他领域。然而要达到后一个目的,最有效的途径是首先建立生物神经元和神经网络的数学模型。本节主要讨论这个问题。应该指出,这里所指数学模型及其所构造的人工神经网络,并不是人脑神经系统的真实描写,而只是对其结构和功能进行了大大简化之后保留其主要特性的某种抽象与模拟。 ●神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构,它般由许多个神经元组成,每个神经元只有一个输出,它可以连接到很多其他的神经元,每个神经元输入有多个连接通道,每个连接通道对应于一个连接权系数。 3.2.1人工神经元模型为了建立人工神经元模型,这里归纳一下生物神经元传递信息的过程。生物神经元是一个多输入(即它的多个树突和细胞体与其他多个神经元铀突末梢突触连接)、单输出单元(每个神经元只有一个轴突作为输出通道)。沿神经元轴突传递的信号是脉冲,当脉冲到达轴突末梢突触前膜时,突触前膜即向突触间隙释放神经传递化学物质,其结果是在突触后(在接受其信息的神经元的树突或细胞体上) 产生突触后电位。突触后电位的大小与轴突传递脉冲的密度有关(此处脉冲密度的含义是单位时间内传递脉冲的平均数),对于兴奋性突触,密度愈大,则电位愈高,它就是突触后电位的时间总和效应。各输入通道均通过突触后电位对细胞体产生的影响,这就是突触后电位的空间总和效应。细胞体的激励电位是输,入端时间、空间总和效应综合作用的结果。当此电位超过细胞的阈值电位时,在轴突的初段发放脉冲,脉冲即沿轴突输出。从输入、输出关系看,对于兴奋性突触, 当输入脉冲的密度增加时,输出脉冲的密度也增加。相反,对于抑制性突触,当

6 化，即网络具有鲁棒性。大脑神经网络的鲁律性对于智能的演化可能是一个十分重要的因素。 3．2 生物神经网络的模型化——人工神经网络前一节对生物神经元及生物神经网络的结构和功能做了简要介绍。人类研究自身大脑的目的主要有两点：一是揭示大脑神经系统的生理特征和思维活动的机能造福于人类；二是通过对大脑神经网络系统的结构、功能及信息处理机理的探索，构造出与大脑智能相近的人工神经网络，并反过来用于工程或其他领域。然而要达到后一个目的，最有效的途径是首先建立生物神经元和神经网络的数学模型。本节主要讨论这个问题。应该指出，这里所指数学模型及其所构造的人工神经网络，并不是人脑神经系统的真实描写，而只是对其结构和功能进行了大大简化之后保留其主要特性的某种抽象与模拟。 ⚫ 神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。 3．2．1 人工神经元模型为了建立人工神经元模型，这里归纳一下生物神经元传递信息的过程。生物神经元是一个多输入(即它的多个树突和细胞体与其他多个神经元铀突末梢突触连接)、单输出单元(每个神经元只有一个轴突作为输出通道)。沿神经元轴突传递的信号是脉冲，当脉冲到达轴突末梢突触前膜时，突触前膜即向突触间隙释放神经传递化学物质，其结果是在突触后(在接受其信息的神经元的树突或细胞体上) 产生突触后电位。突触后电位的大小与轴突传递脉冲的密度有关(此处脉冲密度的含义是单位时间内传递脉冲的平均数)，对于兴奋性突触，密度愈大，则电位愈高，它就是突触后电位的时间总和效应。各输入通道均通过突触后电位对细胞体产生的影响，这就是突触后电位的空间总和效应。细胞体的激励电位是输，入端时间、空间总和效应综合作用的结果。当此电位超过细胞的阈值电位时，在轴突的初段发放脉冲，脉冲即沿轴突输出。从输入、输出关系看，对于兴奋性突触，当输入脉冲的密度增加时，输出脉冲的密度也增加。相反，对于抑制性突触，当

华中科技大学：《人工神经网络及其应用》课程教学资源（教案讲义）第三讲 神经元与网络结构

华中科技大学：《人工神经网络及其应用》课程教学资源（教案讲义）第三讲神经元与网络结构