华中科技大学：《人工神经网络及其应用》课程教学资源（教案讲义）第一讲绪论.doc_大学文库

第一讲绪论以冯·诺依曼型计算机为中心的信息处理技术的高速发展,使得计算机在当今的信息化社会中起着十分重要的作用。但是,当用它来解决某些人工智能问题时却遇到了很大的困难。例如,一个人可以很容易地识别他人的脸孔,但计算机则很难做到这一点。这是因为脸孔的识别不能用一个精确的数学模型加以描述,而计算机工作则必须有对模型进行各种运算的指令才行,得不到精确的模型,程序也就无法编制。而大脑是由生物神经元构成的巨型网络,它在本质上不同于计算机,是一种大规模的并行处理系统,它具有学习、联想记忆、综合等能力,并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统,用它可以模拟大脑的许多基本功能和简单的思维方式。尽管它还不是大脑的完美元缺的模型,但它可以通过学习来获取外部的知识并存贮在网络内,可以解决计算机不易处理的难题,特别是语音和图像的识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题因此,神经网络技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题 1.1神经网络的研究发展史 1.1.1第一次神经网络研究高潮对大脑神经元的研究表明,当其处于兴奋状态时,输出侧的轴突就会发出脉冲信号,每个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为 Synapse,即突触) 接收由轴突传来的信号。如果一神经元所接收到的信号的总和超过了它本身的“阈值”,则该神经元就会处于兴奋状态,并向它后续连接的神经元发出脉冲信号 1943年,W.S. Mcculloch和w.Pits根据上述研究发表了他们的神经元模型,通常称为MP模型。在该模型中,当神经元处于兴奋状态时,其输出为1:处于非兴奋状态时输出为0。 1949年,D. O. Hebb提出了神经元的学习法则,即Hebb法则。当神经元兴奋时,输入侧的突触结合强度由于受到刺激而得到增强,这就给神经网络带来了所谓的“可塑性”,并被认为是用神经网络进行模式识别和记忆的基础。到现在为止,大部分神经网络型机器的学习法则仍采用Hebb法则或它的改进形式 50年代末,F. Rosenblatt基于上述原理提出了一种模式识别机,即感知机( Perceptron) 模型。它是由光接收单元组成的输入层,MP神经元构成的联合层和输出层构成。输入层和联合层之间的结合可以不是全连接,而联合层与输出层神经元之间一般是全连接,用教师信号可以对感知机进行训练在Heb的学习法则中,只有加强突触结合强度这一功能,但在感知机中,除此之外还加入了当神经元发生错误的兴奋时,能接受教师信号的指导去减弱突触的结合强度这一功感知机是现代神经计算的出发点。Blok于1962年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在,才使得感知机的理论具有实际的意义,并引发了60年代以感知机为代表的第一次神经网络研究发展的高潮。然而,遗憾的是感知机只能对线性可分离的模式进行正确的分类。当输入模式是线性不可分离时,则无论怎样调节突触的结合强度和阂值的大小也不可能对输入进行正确的分类。以后, Rosenblatt又提出了4层式感知机即在它的两个联合层之间,通过提取相继输入的各模式之间的相关性来获得模式之间的依存性信息,这样做可使无教师学习成为可能。M,. Minsky和 S Papert进一步发展了感知机的理论,他们把感知机定义为一种逻辑函数的学习机,即若联合层的特征检出神经元具有某种任意的预先给定的逻辑函数,则通过对特征检出神经元功能的研究就可以识别输入模式的

第一讲绪论以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。这是因为脸孔的识别不能用一个精确的数学模型加以描述，而计算机工作则必须有对模型进行各种运算的指令才行，得不到精确的模型，程序也就无法编制。而大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。尽管它还不是大脑的完美元缺的模型，但它可以通过学习来获取外部的知识并存贮在网络内，可以解决计算机不易处理的难题，特别是语音和图像的识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题。因此，神经网络技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题之一。 1．1 神经网络的研究发展史 1．1．1 第一次神经网络研究高潮对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为 Synapse，即突触) 接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。 1943 年，W．S．McCulloch 和 W．Pitts 根据上述研究发表了他们的神经元模型，通常称为 MP 模型。在该模型中，当神经元处于兴奋状态时，其输出为 1；处于非兴奋状态时，输出为 0。 1949 年，D.O.Hebb 提出了神经元的学习法则，即 Hebb 法则。当神经元兴奋时，输入侧的突触结合强度由于受到刺激而得到增强，这就给神经网络带来了所谓的“可塑性”，并被认为是用神经网络进行模式识别和记忆的基础。到现在为止，大部分神经网络型机器的学习法则仍采用 Hebb 法则或它的改进形式。 50 年代末，F．Rosenblatt 基于上述原理提出了一种模式识别机，即感知机(Perceptron) 模型。它是由光接收单元组成的输入层，MP 神经元构成的联合层和输出层构成。输入层和联合层之间的结合可以不是全连接，而联合层与输出层神经元之间一般是全连接，用教师信号可以对感知机进行训练。在 Hebb 的学习法则中，只有加强突触结合强度这一功能，但在感知机中，除此之外还加入了当神经元发生错误的兴奋时，能接受教师信号的指导去减弱突触的结合强度这一功能。感知机是现代神经计算的出发点。Block 于 1962 年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了 60 年代以感知机为代表的第一次神经网络研究发展的高潮。然而，遗憾的是感知机只能对线性可分离的模式进行正确的分类。当输入模式是线性不可分离时，则无论怎样调节突触的结合强度和阂值的大小也不可能对输入进行正确的分类。以后，Rosenblatt 又提出了 4 层式感知机，即在它的两个联合层之间，通过提取相继输入的各模式之间的相关性来获得模式之间的依存性信息，这样做可使无教师学习成为可能。M．Minsky 和 S.Papert 进一步发展了感知机的理论，他们把感知机定义为一种逻辑函数的学习机，即若联合层的特征检出神经元具有某一种任意的预先给定的逻辑函数，则通过对特征检出神经元功能的研究就可以识别输入模式的

几何学性质。此外,他们还把感知机看作并行计算理论中的一个例子,即联合层的每个神经元只对输人的提示模式的某些限定部分加以计算,然后由输出神经元加以综合并输出最终结果。联合层各神经元的观察范围越窄,并行计算的效果就越好。 Minsky等人首先把联合层的各神经元对输入层的观察范围看作一个直径为有限大的圆,这与高等动物的大脑中的视觉检出神经元在视网膜上只具有一个有限的视觉范围原理极为相似。但是,由于在如何规定直径的大小上没有明确的理论指导,所以只能作出联合层的神经元对输人层上的观察点的个数取一个有限值这样的规定。为了研究感知机的本质,特别是神经计算的本质究竟是什么,还对决定论中的一些代表性方法,如向量法、最短距离法、统计论中的最优法、 Bayes定理、登山法、最急下降法等进行了比较研究,并以此来寻求它们的类同点和不同点。研究的结果表明,有时即使是采用多层构造,也可能对识别的效果毫无帮助。对某些识别对象,即使能分类识别,但却需要极大量的中间层神经元,以致失去了实际意义。当采用最急下降法时若对象的“地形”很差,则有可能无法得到最佳值,即使能得到最佳值,也可能因为所需的学习时间太长或权系数的取值范围太宽而毫无实用价值。一般认为,由于 Minsky的地位和他的这一研究断定了关于感知机的研究不会再有什么大的成果,而使第一次神经网络的研究热潮逐渐地被冷却了下来。 B. Widraw在稍后于感知机一些时候提出了 Adline分类学习机。它在结构上与感知机相似,但在学习法则上采用了最小二乘平均误差法。以后,他又把这一方法用于自适应实时处理滤波器,并得到了进一步的发展 1961年,E.R. Caianiello提出了能实现记忆和识别的神经网络模型,它由学习方程式和记忆方程式两部分组成。尽管这一研究没有超出以前的成果,也没有实际的应用例子,但由于它在神经网络的可塑性理论方面给出了一些重要的结论而得到了高度的评价。与上述神经网络研究相平行的是在这一段时期内,脑的生理学方面的研究也在不断地发展。D.H. Huble和T.W. Wiesel从50年代后半期开始对大脑视觉领域的神经元的功能进行了一系列的研究。研究结果表明:视觉神经元在视网膜上具有称作为“接收域( receptive field)”的接收范围这一事实。例如某些神经元只对特定角度的倾斜直线呈现兴奋状态, 旦直线的倾斜角度发生变化,兴奋也就停止,代之以别的神经元处于兴奋状态。此外,还存在对黑白交界的轮廓线能作出反应的神经元;对以某种速度移动的直线发生兴奋的神经元和对双眼在一特定位置受到光刺激时才能发生兴奋的神经元等。这一系列脑功能研究领域中的开创性工作使他们在1981年获得了诺贝尔奖。此后的研究者又把研究范围扩大到侧头叶和头顶叶的神经元。当用猴子和猩猩作实验时,又发现了对扩大、旋转、特定的动作、手或脸等起反应的神经元。此外,在脑的局部功能学说中还认为幼儿具有认识自己祖母的所谓“祖母细胞( grandmother cell)”,尽管这一点还没有得到最后的证实,但从脑细胞分工相当细这点来看还是有可能的。D.Mar在1969年提出了一个小脑功能及其学习法则的小脑感知机模型,这被认为是一个神经网络与神经生理学的事实相一致的著名例证, 在 Minsky关于感知机的悲观研究结果发表后,特别是在美国,神经网络信息处理的研究被蒙上了阴影,大多数人都转向符号推理人工智能技术的研究,但仍有不少研究者在坚持不懈地对神经网络进行认真、深入的研究,并逐渐积累和取得了许多有关的基本性质和知识。日本的研究者中野,于1969年提出了一种称为 Association的联想记忆模型。在这种模型中,事物的记忆用神经网络中的神经元兴奋状态来表示,并对比比的学习法则加以修正, 使其具有强化的学习功能并可用于记亿。该模型在记忆了多个兴奋模式以后,就具有了输入某个兴奋模式的一部分而重现该兴奋模式全体的功能。如果一个兴奋模式是由几个记忆事项联合构成时,它就成为一个能通过寻求各事项之间的关联而实现想起的联想记忆装置。在这种记忆模型中,可把记忆事项看作数学中的向量,用自相关行列式来说明记忆的原理东京大学的甘利教授从1970年起,就对神经网络的性质及其局限性作了许多理论研究

几何学性质。此外，他们还把感知机看作并行计算理论中的一个例子，即联合层的每个神经元只对输人的提示模式的某些限定部分加以计算，然后由输出神经元加以综合并输出最终结果。联合层各神经元的观察范围越窄，并行计算的效果就越好。Minskey 等人首先把联合层的各神经元对输入层的观察范围看作一个直径为有限大的圆，这与高等动物的大脑中的视觉检出神经元在视网膜上只具有一个有限的视觉范围原理极为相似。但是，由于在如何规定直径的大小上没有明确的理论指导，所以只能作出联合层的神经元对输人层上的观察点的个数取一个有限值这样的规定。为了研究感知机的本质，特别是神经计算的本质究竟是什么，还对决定论中的一些代表性方法，如向量法、最短距离法、统计论中的最优法、Bayes 定理、登山法、最急下降法等进行了比较研究，并以此来寻求它们的类同点和不同点。研究的结果表明，有时即使是采用多层构造，也可能对识别的效果毫无帮助。对某些识别对象，即使能分类识别，但却需要极大量的中间层神经元，以致失去了实际意义。当采用最急下降法时，若对象的“地形”很差，则有可能无法得到最佳值，即使能得到最佳值，也可能因为所需的学习时间太长或权系数的取值范围太宽而毫无实用价值。一般认为，由于 Minskey 的地位和他的这一研究断定了关于感知机的研究不会再有什么大的成果，而使第一次神经网络的研究热潮逐渐地被冷却了下来。 B．Widraw 在稍后于感知机一些时候提出了 Adline 分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。以后，他又把这一方法用于自适应实时处理滤波器，并得到了进一步的发展。 1961 年，E．R．Caianiello 提出了能实现记忆和识别的神经网络模型，它由学习方程式和记忆方程式两部分组成。尽管这一研究没有超出以前的成果，也没有实际的应用例子，但由于它在神经网络的可塑性理论方面给出了一些重要的结论而得到了高度的评价。与上述神经网络研究相平行的是在这一段时期内，脑的生理学方面的研究也在不断地发展。D．H．Huble 和 T．W．Wiesel 从 50 年代后半期开始对大脑视觉领域的神经元的功能进行了一系列的研究。研究结果表明：视觉神经元在视网膜上具有称作为“接收域(receptive field)”的接收范围这一事实。例如某些神经元只对特定角度的倾斜直线呈现兴奋状态，一旦直线的倾斜角度发生变化，兴奋也就停止，代之以别的神经元处于兴奋状态。此外，还存在对黑白交界的轮廓线能作出反应的神经元；对以某种速度移动的直线发生兴奋的神经元和对双眼在一特定位置受到光刺激时才能发生兴奋的神经元等。这一系列脑功能研究领域中的开创性工作使他们在 1981 年获得了诺贝尔奖。此后的研究者又把研究范围扩大到侧头叶和头顶叶的神经元。当用猴子和猩猩作实验时，又发现了对扩大、旋转、特定的动作、手或脸等起反应的神经元。此外，在脑的局部功能学说中还认为幼儿具有认识自己祖母的所谓“祖母细胞(grandmother cell)”，尽管这一点还没有得到最后的证实，但从脑细胞分工相当细这一点来看还是有可能的。D．Marr 在 1969 年提出了一个小脑功能及其学习法则的小脑感知机模型，这被认为是一个神经网络与神经生理学的事实相一致的著名例证。在 Minskey 关于感知机的悲观研究结果发表后，特别是在美国，神经网络信息处理的研究被蒙上了阴影，大多数人都转向符号推理人工智能技术的研究，但仍有不少研究者在坚持不懈地对神经网络进行认真、深入的研究，并逐渐积累和取得了许多有关的基本性质和知识。日本的研究者中野，于 1969 年提出了一种称为 Associatron 的联想记忆模型。在这种模型中，事物的记忆用神经网络中的神经元兴奋状态来表示，并对比比的学习法则加以修正，使其具有强化的学习功能并可用于记亿。该模型在记忆了多个兴奋模式以后，就具有了输入某个兴奋模式的一部分而重现该兴奋模式全体的功能。如果一个兴奋模式是由几个记忆事项联合构成时，它就成为一个能通过寻求各事项之间的关联而实现想起的联想记忆装置。在这种记忆模型中，可把记忆事项看作数学中的向量，用自相关行列式来说明记忆的原理。东京大学的甘利教授从 1970 年起，就对神经网络的性质及其局限性作了许多理论研究

并取得了相当好的成果。他的研究成果已发表在1978年出版的“神经网络的数学原理” 书中。 1972年,芬兰的T. Kohonen发表了一个与感知机等神经网络不同的线性神经网络模型比较非线性模型而言,它的分析要容易得多。 1975年,福岛提出了一个称为Co如咖的自组织识别神经网络模型。这是一个多层构造的神经网络,后层的神经元与被叫作接收域的前层神经元群体相连接,并具有与Hebb法则相似的学习法则和侧抑制机能。当在该系统的第一层反复提示几个输入模式后,就会在输出层产生对各种不同模式呈现兴奋状态的神经元。 C.V. Malsburg与D.J. Willshaw在1976年发表了“地形图”的自形成模型。简单地说,所谓地形图是指含有信息的神经网络的连接形式。例如视网膜上的视觉细胞的排列与受它激发而兴奋的大脑视觉域的神经元的排列是一致的,这样的构造在脑的任何部位均可见到,由此可以证明生物体具有学习环境的构造并保持这种构造的功能。甘利对这种功能作出了数学上的解释,并给出了形成这种排列构造所需的条件。此外, Kohonen还从信息工学的角度解释了这种神经网络的功能,并提出了能保存抽象信息的拓扑模型 1.1.2第二次神经网络研究高潮 1982年,美国物理学家 Hopfield对神经网络的动态特性进行了研究,提出了所谓 Hopfield神经网络模型。以 Rumelhart为首的PDP( Parallel Distributed Processing)并行分布处理研究集团对联结机制( connectionist)进行了研究。此外,T.J. Sejnowski等人还研究了神经网络语音信息处理装置。这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用 Hopfield模型的动作原理是,只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定,那么该状态就会一直变化下去直到预先定义的一个必定减小的能量函数达到极小值时,状态才达到稳定而不再变化。如果把这个极小值所对应的模式作为记忆模式,那么在以后,当给这个系统一个适当的刺激模式时,它就能成为一个已经记忆了模式的一种联想记忆装置。 985年, Hopfield和D.W.Tank用上述模型求解了古典的旅行推销商问题 (Traveling Salesman problem),简称TSP问题。该问题就是在某个城市集合中找出一个最短的且经过每个城市各一次并回到出发城市的旅行推销路径。当考虑用 Hopfield神经网络来求解时,首先需要构造一个包括距离变量在内的能量函数,并求其极小值。即在神经网络上输入适当的初始兴奋模式,求神经网络的结合强度。当能量变化并收束到最小值时,该神经网络的状态就是所希望的解,求解的结果通常是比较满意的。 1983年,S.E. Farman和 Hiton提出了波尔兹曼机BM( Boltzmann machine),该神经网络模型中使用了概率动作的神经元,把神经元的输出函数与统计力学中的波尔兹曼分布联系起来。例如当神经网络中某个与温度对应的参数发生变化时,神经网络的兴奋模式也会象热运动那样发生变化。当温度逐渐下降时,由决定函数判断神经元是否处于兴奋状态。在从高温到低温的退火( annealing)中,能量并不会停留在局部极小值上,而以最大的概率到达全局最小值 1985年,W.O. Hillis发表了称为联结机( connection的超级并行计算机。他把65536 个bit的微处理机排列成起立方体的互连形式,每个微处理机还带有4kbit的存贮器。这种联结机虽然与神经计算不同,但从高度并行这一点来看却是相似的,均突破了冯,诺依曼计算机的格局。PDP有时也被叫作联结机制,实际上这种机制最适合于用来模拟神经网络。误差反向传播神经网络BP( Error Back Propagation Neural Network)是1986年由 Rumelhart和 Hinton提出的,它是一种能向着满足给定的输入输出关系方向进行自组织的神

并取得了相当好的成果。他的研究成果已发表在 1978 年出版的“神经网络的数学原理”一书中。 1972 年，芬兰的 T．Kohonen 发表了一个与感知机等神经网络不同的线性神经网络模型。比较非线性模型而言，它的分析要容易得多。 1975 年，福岛提出了一个称为 Co 如咖的自组织识别神经网络模型。这是一个多层构造的神经网络，后层的神经元与被叫作接收域的前层神经元群体相连接，并具有与 Hebb 法则相似的学习法则和侧抑制机能。当在该系统的第一层反复提示几个输入模式后，就会在输出层产生对各种不同模式呈现兴奋状态的神经元。 C．V．Malsburg 与 D．J．Willshaw 在 1976 年发表了“地形图”的自形成模型。简单地说，所谓地形图是指含有信息的神经网络的连接形式。例如视网膜上的视觉细胞的排列与受它激发而兴奋的大脑视觉域的神经元的排列是一致的，这样的构造在脑的任何部位均可见到，由此可以证明生物体具有学习环境的构造并保持这种构造的功能。甘利对这种功能作出了数学上的解释，并给出了形成这种排列构造所需的条件。此外，Kohonen 还从信息工学的角度解释了这种神经网络的功能，并提出了能保存抽象信息的拓扑模型。 1．1．2 第二次神经网络研究高潮 1982 年，美国物理学家 Hopfield 对神经网络的动态特性进行了研究，提出了所谓 Hopfield 神经网络模型。以 Rumelhart 为首的 PDP(Parallel Distributed Processing)并行分布处理研究集团对联结机制(connectionist)进行了研究。此外，T．J．Sejnowski 等人还研究了神经网络语音信息处理装置。这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。 Hopfield 模型的动作原理是，只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。如果把这个极小值所对应的模式作为记忆模式，那么在以后，当给这个系统一个适当的刺激模式时，它就能成为一个已经记忆了模式的一种联想记忆装置。 1985 年，Hopfield 和 D．W．Tank 用上述模型求解了古典的旅行推销商问题(Traveling Salesman Problem)，简称 TSP 问题。该问题就是在某个城市集合中找出一个最短的且经过每个城市各一次并回到出发城市的旅行推销路径。当考虑用 Hopfield 神经网络来求解时，首先需要构造一个包括距离变量在内的能量函数，并求其极小值。即在神经网络上输入适当的初始兴奋模式，求神经网络的结合强度。当能量变化并收束到最小值时，该神经网络的状态就是所希望的解，求解的结果通常是比较满意的。 1983 年，S．E．Farmann 和 Hiton 提出了波尔兹曼机 BM(Boltzmann Machine)，该神经网络模型中使用了概率动作的神经元，把神经元的输出函数与统计力学中的波尔兹曼分布联系起来。例如当神经网络中某个与温度对应的参数发生变化时，神经网络的兴奋模式也会象热运动那样发生变化。当温度逐渐下降时，由决定函数判断神经元是否处于兴奋状态。在从高温到低温的退火(annealing)中，能量并不会停留在局部极小值上，而以最大的概率到达全局最小值。 1985 年，W．O．Hillis 发表了称为联结机(connection)的超级并行计算机。他把 65536 个 lbit 的微处理机排列成起立方体的互连形式，每个微处理机还带有 4kbit 的存贮器。这种联结机虽然与神经计算不同，但从高度并行这一点来看却是相似的，均突破了冯，诺依曼计算机的格局。PDP 有时也被叫作联结机制，实际上这种机制最适合于用来模拟神经网络。误差反向传播神经网络 BP(Error Back Propagation Neural Network) 是 1986 年由 Rumelhart 和 Hinton 提出的，它是一种能向着满足给定的输入输出关系方向进行自组织的神

经网络。当输出层上的实际输出与给定的教师输入不一致时,用最速下降法修正各层之间的结合强度,直到最终满足给定的输出输入关系为止。由于误差传播的方向与信号传播的方向正好相反而称为误差反向传播神经网络。与感知机相比,这就意味着可对联合层的特征检测神经元进行必要的训练,这正好克服了感知机在这一方面的缺点。 T.J. Sejnowski和C.R. Rosenberg用BP神经网络作了一个英语课文阅读学习机的实验。在这个名为 Nettalk的系统中,由203个神经元组成的输入层把字母发音的时间序列巧妙地变换成空间序列模式,它的中间层(隐藏层)有80个神经元,输出层的26个神经元分别对应于不同的需要学习的发音记号,并输出连接到由发音记号构成的语音合成装置,构成了一台英语阅读机。实验结果是相当成功的,有力地证明了BP神经网络具备很强的学习功能 1.3存在的问题 BP神经网络的理论认为:只要不断地给出输入和输出之间的关系,则在神经网络的学习过程中,其内部就一定会形成表示这种关系的内部构造,并且只要使关系形成的速度达到实用值,那么BP的应用就不存在任何困难,但实际上问题并非如此简单。如前所述,神经网络识别机的原型是感知机,而BP只是学习方法改进了的感知机,所以把它当作识别机械时,可能存在着中间层神经元的个数会很庞大、学习时间太长、结合系数的范围太宽等严重缺点。这是因为它使用了固定的离散型的视网膜原理,即为了把作平行移动、旋转、相似变换而本身并不发生变化的对象看清楚,就要求视网膜的所有部分都具有精密的解析功能而引起的,所以特征神经元的数目就将变得十分庞大。而人在观察物体时,身体可以移动,头部和眼睛也可以转动,观察位置可以近一点或远一点看,此时不管视网膜上的映像有多大,人对物体的实际大小的感觉是不变的。尽管现在我们对大脑的这种功能在原理上还不十分清楚,但要作出高性能的识别系统,就必须模仿大脑的这种功能当把 Hopfield神经网络模型和波尔兹曼机用作最优解的求解机时,还需要弄淸楚该模型对具体的对象是否适用。当把神经网络用于运动控制装置时,另一个重要的问题是如何获得自组织的运动模式。总之在研究神经网络时,应该尽量模仿脑的观测、识别、记忆、思考、行动和精神作用等功能,需要在其等效的工程学实现方法上下功夫,朝着把脑的全部功能用人工神经网络来实现的方向努力综上所述,神经网络的研究虽然时有起伏,出现了研究的高潮与低潮,但总的方向无疑还是正确的。但是,需要注意的是目前在实用化问题上还不宜操之过急,不要想一下子就能对各种对象开发出相应的实用化系统,还需要不断地总结和积累经验。 1.2并行分布处理理论并行分布处理(PDP)理论是神经网络、神经计算和神经计算机研究中一个十分重要的基础概念,其中还包括了神经计算机的硬件结构—一并行分布式连接及其软件编制和运行的基本原则。1986年, Rumelhart和 Mcclelland发表了《并行分布处理一—认知微结构探索》书。全书共2卷26章,由不同学科的16名研究者共同撰写。书中系统地总结了PDP的概念、理论、数学方法、产生的背景和发展前景。著名的BP神经网络学习法则就是在本书中由 Rumelhart提出的。1988年他们又编写了并行分布处理手册,书中系统地介绍了各种神经网络模型的理论背景和仿真程序的使用方法等。这套仿真程序被称为PDP神经网络软件 1.2.1PDP的基本概念 PDP是一种联结理论,与心理学、神经生理等学科有密切的联系。在心理学中,联结

经网络。当输出层上的实际输出与给定的教师输入不一致时，用最速下降法修正各层之间的结合强度，直到最终满足给定的输出输入关系为止。由于误差传播的方向与信号传播的方向正好相反而称为误差反向传播神经网络。与感知机相比，这就意味着可对联合层的特征检测神经元进行必要的训练，这正好克服了感知机在这一方面的缺点。 T．J．Sejnowski 和 C．R．Rcsenberg 用 BP 神经网络作了一个英语课文阅读学习机的实验。在这个名为 NetTalk 的系统中，由 203 个神经元组成的输入层把字母发音的时间序列巧妙地变换成空间序列模式，它的中间层(隐藏层)有 80 个神经元，输出层的 26 个神经元分别对应于不同的需要学习的发音记号，并输出连接到由发音记号构成的语音合成装置，构成了一台英语阅读机。实验结果是相当成功的，有力地证明了 BP 神经网络具备很强的学习功能。 1．1．3 存在的问题 BP 神经网络的理论认为：只要不断地给出输入和输出之间的关系，则在神经网络的学习过程中，其内部就一定会形成表示这种关系的内部构造，并且只要使关系形成的速度达到实用值，那么 BP 的应用就不存在任何困难，但实际上问题并非如此简单。如前所述，神经网络识别机的原型是感知机，而 BP 只是学习方法改进了的感知机，所以把它当作识别机械时，可能存在着中间层神经元的个数会很庞大、学习时间太长、结合系数的范围太宽等严重缺点。这是因为它使用了固定的离散型的视网膜原理，即为了把作平行移动、旋转、相似变换而本身并不发生变化的对象看清楚，就要求视网膜的所有部分都具有精密的解析功能而引起的，所以特征神经元的数目就将变得十分庞大。而人在观察物体时，身体可以移动，头部和眼睛也可以转动，观察位置可以近一点或远一点看，此时不管视网膜上的映像有多大，人对物体的实际大小的感觉是不变的。尽管现在我们对大脑的这种功能在原理上还不十分清楚，但要作出高性能的识别系统，就必须模仿大脑的这种功能。当把 Hopfield 神经网络模型和波尔兹曼机用作最优解的求解机时，还需要弄清楚该模型对具体的对象是否适用。当把神经网络用于运动控制装置时，另一个重要的问题是如何获得自组织的运动模式。总之在研究神经网络时，应该尽量模仿脑的观测、识别、记忆、思考、行动和精神作用等功能，需要在其等效的工程学实现方法上下功夫，朝着把脑的全部功能用人工神经网络来实现的方向努力。综上所述，神经网络的研究虽然时有起伏，出现了研究的高潮与低潮，但总的方向无疑还是正确的。但是，需要注意的是目前在实用化问题上还不宜操之过急，不要想一下子就能对各种对象开发出相应的实用化系统，还需要不断地总结和积累经验。 1．2 并行分布处理理论并行分布处理(PDP)理论是神经网络、神经计算和神经计算机研究中一个十分重要的基础概念，其中还包括了神经计算机的硬件结构——并行分布式连接及其软件编制和运行的基本原则。1986 年，Rumelhart 和 McClelland 发表了《并行分布处理——认知微结构探索》一书。全书共 2 卷 26 章，由不同学科的 16 名研究者共同撰写。书中系统地总结了 PDP 的概念、理论、数学方法、产生的背景和发展前景。著名的 BP 神经网络学习法则就是在本书中由 Rumelhart 提出的。1988 年他们又编写了并行分布处理手册，书中系统地介绍了各种神经网络模型的理论背景和仿真程序的使用方法等。这套仿真程序被称为 PDP 神经网络软件。 1. 2．1PDP 的基本概念 PDP 是一种联结理论，与心理学、神经生理等学科有密切的联系。在心理学中，联结

理论起源于18世纪的联想主义理论。所谓联想是指不同的概念在人们头脑中相互作用的现象。在现代心理学中还包括联想记忆、联想思维等概念。在行为主义心理学中,还把行为看作刺激与反应之间的联结,明确了刺激和反应之间的关系,就能阐明人类行为的基本规律。在经典的神经生理学中,脑反射论也将行为的基础看成刺激与反应之间的联结,其生理基础是由刺激在脑内引起的兴奋灶与支配反应的中枢兴奋灶之间存在的联结,而学习行为正是在刺激与反应的先天性通路基础上形成的暂时联系。例如:当铃声与食物两种刺激不断重复出现时,在大脑内会同时形成听觉兴奋灶和食物中枢兴奋灶,此时两者可以形成暂时的联系,即使以后单独出现铃声而不伴有食物,也会引起取食反应,这是因为脑内已经建立了铃声与食物之间的暂时性联系,这也就是著名的巴甫格夫条件反射学说。 70年代,神经生理学的研究进一步证明了暂时联系是神经系统的普遍特性,神经生理学的研究还表明,暂时性联系的生理学基础是“异源性突触异化”。任何一个神经元可以连接数以干计的神经末梢,形成大量突触,不同来源的神经末稍聚集在某一个神经元上,形成许多异源性突触,它们的兴奋总和,不管是同时性兴奋、还是间隔性兴奋,都可以引起这个神经元的兴奋。此外,不同来源的突触兴奋可以彼此异化,这就是异源性突触异化现象。在人工神经网络的联结理论中,神经元之间结合强度的变化就是在神经生理学概念的启发下产生的随着信息处理和人工智能学的迅速发展,人们发现复杂模式的识别,不确定、不完善知识的处理,机器人控制和组合优化计算等问题用现有的单台计算机是很难完善解决的,必须靠许多台计算机联合工作才行,并且只有用并行的联结,即神经网络的工作方式才能较好地解决问题,这也是80年代PDP概念形成的基础 1.2.2联结性和并行分布性 Rumelhart和 McClelland在他们的PDP专著中认为:联结是一种微推理过程,网络中的每个单元均可以看作是某项目的一种微特征,联结强度(即结合强度)就是微特征间的微推理程度,调节联结强度可使该项目的各种微特征共存并存贮在联结中。而这种微推理过程既可以加强联结强度,也可以削弱联结强度。从数学上来说,微推理过程就是对输入和联结强度 (权重进行统计学上的相关运算。点积( dot product是一种典型的相关运算,在神经网络的研究中被广泛采用 PDP模型的信息处理是并行的,而信息的表达则是分布的,知识被各单元之间的连接所编码,所以PDP具有分布式的编码方式,这与数字计算机不同。计算机中采用的是局域性编码或地址编码,而分布式编码则是一种内容编码。分布式编码具有许多优点:一是可以节省大量单元(它并不要求每个特征对应一个单元),二是信息的存取是多个单元并行动作所以速度快,最突出的优点是它具有较强的容错性和鲁棒性 1.2.3非符号性和连续性传统的人工智能研究方法基本上是属于“符号处理”的范畴,而计算机则是实行“符号处理”的机器之一。因此,用二进制的计算机来实现人工智能问题,本质上就是离散符号的数字处理原则。而神经网络的研究者们已逐步认识到把大脑仅仅看作是“符号处理的机器显然是不合适的。认知科学认为大脑的思考方式一般应含有论理的思考和直观的思考两种方式。前者把信息概念化,并用符号或语言来表示,接着以论理为主体,在符号操作的基础上进行推理,这种方式的思考是在人的意识或经验支配下实行的,计算机专家系统选择这种方式可以说是理所当然的。而后一种思考方式则是人们把各种事件作为信息置于脑中,常常在无意识中综合全部信息,并由此突然得出一个“好主意”或问题的解决办法,这种形式的思考方式归根结底是通过神经元之间同时、并行地相互作用的动态过程而实现的。大脑的思考

理论起源于 18 世纪的联想主义理论。所谓联想是指不同的概念在人们头脑中相互作用的现象。在现代心理学中还包括联想记忆、联想思维等概念。在行为主义心理学中，还把行为看作刺激与反应之间的联结，明确了刺激和反应之间的关系，就能阐明人类行为的基本规律。在经典的神经生理学中，脑反射论也将行为的基础看成刺激与反应之间的联结，其生理基础是由刺激在脑内引起的兴奋灶与支配反应的中枢兴奋灶之间存在的联结，而学习行为正是在刺激与反应的先天性通路基础上形成的暂时联系。例如：当铃声与食物两种刺激不断重复出现时，在大脑内会同时形成听觉兴奋灶和食物中枢兴奋灶，此时两者可以形成暂时的联系，即使以后单独出现铃声而不伴有食物，也会引起取食反应，这是因为脑内已经建立了铃声与食物之间的暂时性联系，这也就是著名的巴甫格夫条件反射学说。 70 年代，神经生理学的研究进一步证明了暂时联系是神经系统的普遍特性，神经生理学的研究还表明，暂时性联系的生理学基础是“异源性突触异化”。任何一个神经元可以连接数以干计的神经末梢，形成大量突触，不同来源的神经末稍聚集在某一个神经元上，形成许多异源性突触，它们的兴奋总和，不管是同时性兴奋、还是间隔性兴奋，都可以引起这个神经元的兴奋。此外，不同来源的突触兴奋可以彼此异化，这就是异源性突触异化现象。在人工神经网络的联结理论中，神经元之间结合强度的变化就是在神经生理学概念的启发下产生的。随着信息处理和人工智能学的迅速发展，人们发现复杂模式的识别，不确定、不完善知识的处理，机器人控制和组合优化计算等问题用现有的单台计算机是很难完善解决的，必须靠许多台计算机联合工作才行，并且只有用并行的联结，即神经网络的工作方式才能较好地解决问题，这也是 80 年代 PDP 概念形成的基础。 1．2．2 联结性和并行分布性 Rumelhart 和 McClelland 在他们的 PDP 专著中认为：联结是一种微推理过程，网络中的每个单元均可以看作是某项目的一种微特征，联结强度(即结合强度)就是微特征间的微推理程度，调节联结强度可使该项目的各种微特征共存并存贮在联结中。而这种微推理过程既可以加强联结强度，也可以削弱联结强度。从数学上来说，微推理过程就是对输入和联结强度 (权重)进行统计学上的相关运算。点积(dot product)是一种典型的相关运算，在神经网络的研究中被广泛采用。 PDP 模型的信息处理是并行的，而信息的表达则是分布的，知识被各单元之间的连接所编码，所以 PDP 具有分布式的编码方式，这与数字计算机不同。计算机中采用的是局域性编码或地址编码，而分布式编码则是一种内容编码。分布式编码具有许多优点：一是可以节省大量单元(它并不要求每个特征对应一个单元)，二是信息的存取是多个单元并行动作，所以速度快，最突出的优点是它具有较强的容错性和鲁棒性。 1．2．3 非符号性和连续性传统的人工智能研究方法基本上是属于“符号处理”的范畴，而计算机则是实行“符号处理”的机器之一。因此，用二进制的计算机来实现人工智能问题，本质上就是离散符号的数字处理原则。而神经网络的研究者们已逐步认识到把大脑仅仅看作是“符号处理的机器” 显然是不合适的。认知科学认为大脑的思考方式一般应含有论理的思考和直观的思考两种方式。前者把信息概念化，并用符号或语言来表示，接着以论理为主体，在符号操作的基础上进行推理，这种方式的思考是在人的意识或经验支配下实行的，计算机专家系统选择这种方式可以说是理所当然的。而后一种思考方式则是人们把各种事件作为信息置于脑中，常常在无意识中综合全部信息，并由此突然得出一个“好主意”或问题的解决办法，这种形式的思考方式归根结底是通过神经元之间同时、并行地相互作用的动态过程而实现的。大脑的思考

应当是这两种形式的思考方式的结合。因而在人工神经网络中,特别强调信息表征的非符号性、信息的连续性及其模拟运算 3神经网络的研究概况神经网络的研究主要可分为以下三个方面 1.大脑和神经系统的信息处理原理。 2.构造能实现信息处理的神经网络模型 3.能实现信息处理基本原理的技术研究一一神经计算机以上三个内容本身还具有相当广泛的研究内容。此外神经网络是一门新兴的交叉学科其硏究涉及到神经科学、认知科学、物理学、数学、计算机科学、人工智能、信息科学、微电子学和光学等众多的学科生物体的大脑和神经系统是自然界中客观存在的东西,因此,真正搞清楚生物体的信息处理的基本原理是神经网络研究中必不可少的基础人类看到鸟类在空中飞行而制造出了飞机,是一个伟大的发明。但更重要的是懂得了在空中飞行是可能的这一道理,即得到了开发目标是存在的这一证明。同样,通过对大脑和神经系统的研究,知道了与现在计算机完全不同的,并行分散信息处理系统是客观存在的。因此,充分证明了神经计算机也是可以制造出来的,尽管还有许多困难。至于是什么样的神经计算机,进而它的应用领域的开拓等、则完全要靠我们充分发挥想象力了。然而,大脑信息处理机制的研究,神经网络模型的研究和神经计算机的开发并不是一件容易的事。如上所述,因为它是一门交叉的学科,所以需要各学科的大力协作。国际上以美国和日本为首,无论是大学、研究所和企业都对神经网络和神经计算机的研究开发给予高度的重视与支持。特别是美国军方,认为神经网络技术是比原子弹工程更重要的技术。美国国防部① DARPA)曾宣布执行一项总投资为4亿美元的八年计划,其主要研究目标为:连续语音信号识别、声纳信号识别、目标识别及跟踪等。日本通产省早在1988年也提出了所谓人类尖端科学计划( Human Frontier Science Program),即所谓的第六代计算机计划,研制能模拟人类智能行为的计算机系统。表1.I 列举了美国、日本一一些大学和研究所的神经网络研究状况表11神经网络主要研究者及研究内容主要研究者研究内容 Mearl 加利福尼亚理工大学神经计算,神经系统的哲学理论 Juletz, Bower, Fox

应当是这两种形式的思考方式的结合。因而在人工神经网络中，特别强调信息表征的非符号性、信息的连续性及其模拟运算。 1．3 神经网络的研究概况神经网络的研究主要可分为以下三个方面： 1．大脑和神经系统的信息处理原理。 2．构造能实现信息处理的神经网络模型。 3．能实现信息处理基本原理的技术研究一—神经计算机。以上三个内容本身还具有相当广泛的研究内容。此外神经网络是一门新兴的交叉学科，其研究涉及到神经科学、认知科学、物理学、数学、计算机科学、人工智能、信息科学、微电子学和光学等众多的学科。生物体的大脑和神经系统是自然界中客观存在的东西，因此，真正搞清楚生物体的信息处理的基本原理是神经网络研究中必不可少的基础。人类看到鸟类在空中飞行而制造出了飞机，是一个伟大的发明。但更重要的是懂得了在空中飞行是可能的这一道理，即得到了开发目标是存在的这一证明。同样，通过对大脑和神经系统的研究，知道了与现在计算机完全不同的，并行分散信息处理系统是客观存在的。因此，充分证明了神经计算机也是可以制造出来的，尽管还有许多困难。至于是什么样的神经计算机，进而它的应用领域的开拓等、则完全要靠我们充分发挥想象力了。然而，大脑信息处理机制的研究，神经网络模型的研究和神经计算机的开发并不是一件容易的事。如上所述，因为它是一门交叉的学科，所以需要各学科的大力协作。国际上以美国和日本为首，无论是大学、研究所和企业都对神经网络和神经计算机的研究开发给予高度的重视与支持。特别是美国军方，认为神经网络技术是比原子弹工程更重要的技术。美国国防部(DARPA)曾宣布执行一项总投资为 4 亿美元的八年计划，其主要研究目标为：连续语音信号识别、声纳信号识别、目标识别及跟踪等。日本通产省早在 1988 年也提出了所谓人类尖端科学计划(Human Frontier Science Program)，即所谓的第六代计算机计划，研制能模拟人类智能行为的计算机系统。表 1．1 列举了美国、日本—一些大学和研究所的神经网络研究状况

华中科技大学：《人工神经网络及其应用》课程教学资源（教案讲义）第一讲 绪论

华中科技大学：《人工神经网络及其应用》课程教学资源（教案讲义）第一讲绪论