第01讲绪论 电信系邹江
第01讲 绪论 电信系 邹 江
以冯·诺依曼型计算机为中心的信息处理技 术的高速发展,使得计算机在当今的信息化社 会中起着十分重要的作用。但是,当用它来解 决某些人工智能问题时却遇到了很大的困难 大脑是由生物神经元构成的巨型网络,它在 本质上不同于计算机,是一种大规模的并行处 理系统,它具有学习、联想记忆、综合等能力, 并有巧妙的信息处理方法。 人工神经网络(简称神经网络)是由大量的、 功能比较简单的形式神经元互相连接而构成的 复杂网络系统,用它可以模拟大脑的许多基本 功能和简单的思维方式
以冯·诺依曼型计算机为中心的信息处理技 术的高速发展，使得计算机在当今的信息化社 会中起着十分重要的作用。但是，当用它来解 决某些人工智能问题时却遇到了很大的困难。 大脑是由生物神经元构成的巨型网络，它在 本质上不同于计算机，是一种大规模的并行处 理系统，它具有学习、联想记忆、综合等能力， 并有巧妙的信息处理方法。 人工神经网络(简称神经网络)也是由大量的、 功能比较简单的形式神经元互相连接而构成的 复杂网络系统，用它可以模拟大脑的许多基本 功能和简单的思维方式
1.1神经网络的研究发展史 1.1.1第一次神经网络研究高潮 对大脑神经元的研究表明,当其处于兴奋状态时, 输出侧的轴突就会发出脉冲信号,每个神经元的树状 突起与来自其它神经元轴突的互相结合部(此结合部称 为 Synapse,即突触)接收由轴突传来的信号。如果—神 经元所接收到的信号的总和超过了它本身的“阈值”, 则该神经元就会处于兴奋状态,并向它后续连接的神 经元发出脉冲信号
1．1 神经网络的研究发展史 1．1．1 第一次神经网络研究高潮 对大脑神经元的研究表明，当其处于兴奋状态时， 输出侧的轴突就会发出脉冲信号，每个神经元的树状 突起与来自其它神经元轴突的互相结合部(此结合部称 为Synapse，即突触)接收由轴突传来的信号。如果—神 经元所接收到的信号的总和超过了它本身的“阈值” ， 则该神经元就会处于兴奋状态，并向它后续连接的神 经元发出脉冲信号
1943年,W.S. McCulloch和W.Pitt根据上述 研究发表了他们的神经元模型,通常称为MP 模型。 1949年,D.0.Hebb提出了神经元的学习法则,即 Hebb法则。 50年代末,F. Rosenblat于上述原理提出了 种模式识别机,即感知机( Perceptron)模型 感知机是现代神经计算的出发点。 Block于 1962年用解析法证明了感知机的学习收敛定理 正是由于这一定理的存在,才使得感知机的理 论具有实际的意义,并引发了60年代以感知机 为代表的第一次神经网络研究发展的高潮
1943年，W．S．McCulloch和W．Pitts根据上述 研究发表了他们的神经元模型，通常称为MP 模型。 1949年，D.O.Hebb提出了神经元的学习法则，即 Hebb法则。 50年代末，F．Rosenblatt基于上述原理提出了一 种模式识别机，即感知机(Perceptron)模型。 感知机是现代神经计算的出发点。Block于 1962年用解析法证明了感知机的学习收敛定理。 正是由于这一定理的存在，才使得感知机的理 论具有实际的意义，并引发了60年代以感知机 为代表的第一次神经网络研究发展的高潮
M. Minsky和 S Papert进一步发展了感知机的理论,他们 把感知机定义为一种逻辑函数的学习机。 B. Widraw在稍后于感知机一些时候提出了 Adline分类学 习机。它在结构上与感知机相似,但在学习法则上采 用了最小二乘平均误差法。 1961年,E.R. Caianiello提出了能实现记忆和识别的神 经网络模型,它由学习方程式和记忆方程式两部分组 成 遗憾的是感知机只能对线性可分离的模式进行正确的分 类。当输入模式是线性不可分离时,则无论怎样调节 突触的结合强度和阂值的大小也不可能对输入进行正 确的分类
M．Minsky和S.Papert进一步发展了感知机的理论，他们 把感知机定义为一种逻辑函数的学习机。 B．Widraw在稍后于感知机一些时候提出了Adline分类学 习机。它在结构上与感知机相似，但在学习法则上采 用了最小二乘平均误差法。 1961年，E．R．Caianiello提出了能实现记忆和识别的神 经网络模型，它由学习方程式和记忆方程式两部分组 成。 遗憾的是感知机只能对线性可分离的模式进行正确的分 类。当输入模式是线性不可分离时，则无论怎样调节 突触的结合强度和阂值的大小也不可能对输入进行正 确的分类
1.1.2第二次神经网络研究高潮 1982年,美国物理学家 Hopfield对神经网络 的动态特性进行了研究,提出了所谓 Hopfield 神经网络模型 以 Rumelhart为首的PDP( Parallel distributed Processing)并行分布处理研究集团对联结机制 ( connectionist进行了研究 T.J. Sejnowsk等人还研究了神经网络语 音信息处理装置 这些成功的研究对第二次神经网络研究高 潮的形成起了决定性的作用
1．1．2 第二次神经网络研究高潮 1982年，美国物理学家Hopfield对神经网络 的动态特性进行了研究，提出了所谓Hopfield 神经网络模型。 以Rumelhart为首的PDP(Parallel Distributed Processing)并行分布处理研究集团对联结机制 (connectionist)进行了研究。 T．J．Sejnowski等人还研究了神经网络语 音信息处理装置。 这些成功的研究对第二次神经网络研究高 潮的形成起了决定性的作用
Hopfield模型的动作原理是: 只要由神经元兴奋的算法和神经元之 间的结合强度所决定的神经网络的状态 在适当给定的兴奋模式下尚未达到稳定, 那么该状态就会一直变化下去,直到预 先定义的一个必定减小的能量函数达到 极小值时,状态才达到稳定而不再变化 1985年, Hopfield和D.W.Tank用 上述模型求解了古典的旅行推销商问题 ( Traveling Salesman Problem),简称 TSP问题
Hopfield模型的动作原理是： 只要由神经元兴奋的算法和神经元之 间的结合强度所决定的神经网络的状态 在适当给定的兴奋模式下尚未达到稳定， 那么该状态就会一直变化下去，直到预 先定义的一个必定减小的能量函数达到 极小值时，状态才达到稳定而不再变化。 1985年，Hopfield和D．W．Tank用 上述模型求解了古典的旅行推销商问题 ( Traveling Salesman Problem)，简称 TSP问题
1983年,S.E. Farman和Hton提出了波尔兹曼 机BM( Boltzmann machine),该神经网络模型中 使用了概率动作的神经元,把神经元的输出函 数与统计力学中的波尔兹曼分布联系起来 1985年,W.O.Hli发表了称为联结机 ( connection)的超级并行计算机。他把65536个 lbit的微处理机排列成起立方体的互连形式,每 个微处理机还带有4kbt的存贮器 误差反向传播神经网络BP( Error Back Propagation Neural network)是1986年由 Rumelhart和 Hinton 提出的
1983年，S．E．Farmann和Hiton提出了波尔兹曼 机BM(Boltzmann Machine)，该神经网络模型中 使用了概率动作的神经元，把神经元的输出函 数与统计力学中的波尔兹曼分布联系起来。 1985年，W．O．Hillis发表了称为联结机 (connection)的超级并行计算机。他把65536个 lbit的微处理机排列成起立方体的互连形式，每 个微处理机还带有4kbit的存贮器。 误差反向传播神经网络BP(Error Back Propagation Neural Network)是1986年由Rumelhart和Hinton 提出的
1.1.3存在的问题 神经网络识别机的原型是感知机,而BP只是学习方法改 进了的感知机,所以把它当作识别机械时,可能存在 着中间层神经元的个数会很庞大、学习时间太长、结 合系数的范围太宽等严重缺点。 当把 Hopfield神经网络模型和波尔兹曼机用作最优解的求 解机时,还需要弄清楚该模型对具体的对象是否适用 当把神经网络用于运动控制装置时,另一个重要的问 题是如何获得自组织的运动模式。 综上所述,神经网络的研究虽然时有起伏,出现了研究 的高潮与低潮,但总的方向无疑还是正确的
1．1．3存在的问题 神经网络识别机的原型是感知机，而BP只是学习方法改 进了的感知机，所以把它当作识别机械时，可能存在 着中间层神经元的个数会很庞大、学习时间太长、结 合系数的范围太宽等严重缺点。 当把Hopfield神经网络模型和波尔兹曼机用作最优解的求 解机时，还需要弄清楚该模型对具体的对象是否适用。 当把神经网络用于运动控制装置时，另一个重要的问 题是如何获得自组织的运动模式。 综上所述，神经网络的研究虽然时有起伏，出现了研究 的高潮与低潮，但总的方向无疑还是正确的
1.2并行分布处理理论 1986年, Rumelhart和 McClelland发表了 《并行分布处理—认知微结构探索》 书。 书中系统地总结了PDP的概念、理论、数 学方法、产生的背景和发展前景。著名 的BP神经网络学习法则就是在本书中由 Rumelhart提出的
1．2 并行分布处理理论 1986年，Rumelhart和McClelland发表了 《并行分布处理——认知微结构探索》 一书。 书中系统地总结了PDP的概念、理论、数 学方法、产生的背景和发展前景。著名 的BP神经网络学习法则就是在本书中由 Rumelhart提出的