人工神经网络 Artificial Neural Networks 北京科技大学信息工程学院 付冬梅 fdm2003@163.com 62334967
人工神经网络 Artificial Neural Networks 北京科技大学 信息工程学院 付冬梅 fdm2003@163.com 62334967
课程安排与要求 第一章：概论 ■人工神经网络的发展历史 ■人工神经网络的定义、特点和应用 ·从生物神经元到人工神经元 第二章人工神经网络的基本模型 人工神经元的基本模型 ■几种典型的激活函数 ■人工神经网络的学习算法概述 ·人工神经网络的基本拓扑结构 2006-4-28 北京科技大学信息学院付冬梅 2
2006-4-28 北京科技大学 信息学院 付冬梅 2 课程安排与要求 第一章：概论 人工神经网络的发展历史 人工神经网络的定义、特点和应用 从生物神经元到人工神经元 第二章 人工神经网络的基本模型 人工神经元的基本模型 几种典型的激活函数 人工神经网络的学习算法概述 人工神经网络的基本拓扑结构
课程安排与要求 课程以讲解为主，希望学生课下也能够 做一些仿真验证性的工作。 希望能够保证听课率，做好课堂笔记。 2006-4-28 北京科技大学信息学院付冬梅 13
2006-4-28 北京科技大学 信息学院 付冬梅 13 课程安排与要求 课程以讲解为主，希望学生课下也能够 做一些仿真验证性的工作。 希望能够保证听课率，做好课堂笔记
第一章：概论 ◆人工神经网络(Artificial Neural Networks,简 记作ANN), 人工神经网络是对人类大脑系统的一阶特性 的一种描述。简单地讲，它是一个数学模型，可 以用电子线路来实现，也可以用计算机程序来模 拟，是人工智能研究的一种方法。 2006-4-28 北京科技大学信息学院付冬梅 14
2006-4-28 北京科技大学 信息学院 付冬梅 14 第一章：概论 人工神经网络(Artificial Neural Networks， 简 记作ANN）， 人工神经网络是对人类大脑系统的一阶特性 的一种描述。简单地讲，它是一个数学模型，可 以用电子线路来实现，也可以用计算机程序来模 拟，是人工智能研究的一种方法
第一章：概论 1.1人工神经网络的发展历史 萌芽期(20世纪40年代) 人工神经网络的研究最早可以追溯到人类开始研究自 己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Ptts建立起 了著名的阈值加权和模型，简称为M-P模型。发表于 数学生物物理学会刊《Bulletin of Methematical Biophysics》 ■1949年，心理学家D.O.Hebb提出神经元之间突触 联系是可变的假说一Hebb学习律。 2006-4-28 北京科技大学信息学院付冬梅 15
2006-4-28 北京科技大学 信息学院 付冬梅 15 1.1 人工神经网络的发展历史 第一章：概论 萌芽期（20世纪40年代） ◼ 人工神经网络的研究最早可以追溯到人类开始研究自 己的智能的时期，到1949年止。 ◼ 1943年，心理学家McCulloch和数学家Pitts建立起 了著名的阈值加权和模型，简称为M-P模型。发表于 数学生物物理学会刊《Bulletin of Methematical Biophysics》 ◼ 1949年，心理学家D. O. Hebb提出神经元之间突触 联系是可变的假说——Hebb学习律
第一章：概论 1.1人工神经网络的发展历史 第一高潮期(1950~1968) Marvin Minsky,Frank Rosenblatt,Bernard Vidrow等为代表人物，代表作是单级感知器 (Perceptron) ·可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部 门都开始大批地投入此项研究，希望尽快占领制高点。 2006-4-28 北京科技大学信息学院付冬梅 16
2006-4-28 北京科技大学 信息学院 付冬梅 16 第一章：概论 第一高潮期（1950~1968） ◼ 以Marvin Minsky， Frank Rosenblatt， Bernard Widrow 等 为 代 表 人 物 ， 代 表 作 是 单 级 感 知 器 （Perceptron）。 ◼ 可用电子线路模拟。 ◼ 人们乐观地认为几乎已经找到了智能的关键。许多部 门都开始大批地投入此项研究，希望尽快占领制高点。 1.1 人工神经网络的发展历史
第一章：概论 1.1人工神经网络的发展历史 反思期(1969~1982) M.L.Minsky和S.Papert,《Perceptron》, MIT Press,1969年 ·异或”运算不可表示 ·二十世纪70年代和80年代早期的研究结果 ■认识规律：认识一实践一再认识 2006-4-28 北京科技大学信息学院付冬梅 17
2006-4-28 北京科技大学 信息学院 付冬梅 17 反思期（1969~1982） M. L. Minsky和S. Papert，《Perceptron》， MIT Press，1969年 ◼ 异或”运算不可表示 ◼ 二十世纪70年代和80年代早期的研究结果 ◼ 认识规律：认识——实践——再认识 第一章：概论 1.1 人工神经网络的发展历史
第一章：概论 1.1人工神经网络的发展历史 第二高潮期(1983~1990) ■1982年，J.Hopfield提出循环网络 用Lyapunovi函数作为网络性能判定的能量函数， 建立ANN稳定性的判别依据 阐明了AN与动力学的关系 口用非线性动力学的方法来研究ANN的特性 口指出信息被存放在网络中神经元的联接上 r=,22,s(xs(x,）s(0)B0,)d0-∑ w i=1i= i=1 i=1i-1 2006-4-28 北京科技大学信息学院付冬梅 18
2006-4-28 北京科技大学 信息学院 付冬梅 18 第一章：概论 第二高潮期（1983~1990） ◼ 1982年，J. Hopfield提出循环网络 ❑ 用Lyapunov函数作为网络性能判定的能量函数， 建立ANN稳定性的判别依据 ❑ 阐明了ANN与动力学的关系 ❑ 用非线性动力学的方法来研究ANN的特性 ❑ 指出信息被存放在网络中神经元的联接上 = = = = − = − − n i n j i j n i x i i i i i n i n j V wi js xi s xj s d w i 1 1 1 0 1 1 ( ) ( ) ( ) ( ) 2 1 1.1 人工神经网络的发展历史
第一章：概论 1.1人工神经网络的发展历史 ■2)1984年，J.Hopfield设计研制了后来被人 们称为Hopfield网的电路。较好地解决了著名 的TSP问题，找到了最佳解的近似解，引起了 较大的轰动。 3)1985年，UcSD的Hinton、Sejnowsky、 Rumelhart等人所在的并行分布处理（PDP) 小组的研究者在Hopfield网络中引入了随机机 制，提出所谓的Boltzmann机。 2006-4-28 北京科技大学信息学院付冬梅 19
2006-4-28 北京科技大学 信息学院 付冬梅 19 ◼ 2）1984年， J. Hopfield设计研制了后来被人 们称为Hopfield网的电路。较好地解决了著名 的TSP问题，找到了最佳解的近似解，引起了 较大的轰动。 ◼ 3）1985年，UCSD的Hinton、Sejnowsky、 Rumelhart等人所在的并行分布处理（PDP） 小组的研究者在Hopfield网络中引入了随机机 制，提出所谓的Boltzmann机。 第一章：概论 1.1 人工神经网络的发展历史
第一章：概论 1.1人工神经网络的发展历史 4)1986年，并行分布处理小组的Rumelhart 等研究者重新独立地提出多层网络的学习算 法一BP算法，较好地解决了多层网络的学 习问题。(Paker1982和Nerbos1974年) 国内首届神经网络大会是1990年12月在北京 举行的。 2006-4-28 北京科技大学信息学院付冬梅 20
2006-4-28 北京科技大学 信息学院 付冬梅 20 第一章：概论 ◼ 4）1986年，并行分布处理小组的Rumelhart 等研究者重新独立地提出多层网络的学习算 法——BP算法，较好地解决了多层网络的学 习问题。（Paker1982和Werbos1974年） ◼ 国内首届神经网络大会是1990年12月在北京 举行的。 1.1 人工神经网络的发展历史