目录 1.神经网络概述 ■人工神经列络的定义 先进控制技术 第一节神经网络概述 ■Hecht-一Nielsen(1988年) 人工神经网略是一个并行、分布处理结的，它由处理单元 第二节人工神经网络的基本概念 及其称为联接的无向讯号通道互连而成，这些处理单完 神经网络控制 第三节感知器 出可以根据需要被分枝成希望个数的许多井行联接。日这 些并行联接都输出相同的信号， 即相应处理单元的信号， 第四节BP神经网络 得失等 必须是完全同都的。也就是说，它必须仅仅依赖于经过输 第五节神经网络控制 入联接到达处理单元的所有输入信号的当的值和存储在处 理单元局部内存中的值， 1.神经网络概述 1.神经网络概述 1.神经网络概述 ■人工样经网路的定义 ■人工神经网络的定义 ■5 impson(1987年) ■神经网络的基本属性 ■强调点 金器器欧 (1)非线性：人脑智慧的非线性 ■并行、分布处理结构： ■一个处理单元的输出可以被任意分枝， ■美国国防高级研究计划局 (2)非局域性：神经元相互作用 且大小不变： ■输出信号可以是任意的数学模型： 人工神经网悠是一个由许多荷单的并行工作的处斑单元短成的系统 (3)非定常性：自适应、自组织 ■处理单元完全的局部操作， 凤功能数于网的构、连度及各完处方式 (4凸性：系统演变多样性 ■简单描述 人工神经网咯是一种石在横防人脑结构吸其功能方息处理系统， 1
1 先进控制技术 神经网络控制 第一节 神经网络概述 第二节 人工神经网络的基本概念 第三节 感知器 第五节 神经网络控制 目录 第四节 BP神经网络 1.神经网络概述 人工神经网络的定义 Hecht—Nielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元 及其称为联接的无向讯号通道互连而成。这些处理单元 （PE—Processing Element）具有局部内存，并可以完成 局部操作。每个处理单元有一个单一的输出联接，这个输 出可以根据需要被分枝成希望个数的许多并行联接，且这 些并行联接都输出相同的信号，即相应处理单元的信号， 信号的大小不因分支的多少而变化。处理单元的输出信号 可以是任何需要的数学模型，每个处理单元中进行的操作 必须是完全局部的。也就是说，它必须仅仅依赖于经过输 入联接到达处理单元的所有输入信号的当前值和存储在处 理单元局部内存中的值。 1.神经网络概述 人工神经网络的定义 强调点 并行、分布处理结构； 一个处理单元的输出可以被任意分枝， 且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作。 1.神经网络概述 人工神经网络的定义 Simpson（1987年） 美国国防高级研究计划局 简单描述 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小 来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统， 其功能取决于网络的结构、连接强度以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 1.神经网络概述 神经网络的基本属性 (1) 非线性：人脑智慧的非线性 (2) 非局域性：神经元相互作用 (3) 非定常性：自适应、自组织 (4) 非凸性：系统演变多样性
1.神经网络概述 1神经网络概述 1.神经网络概述 ■神经网络与计算机相比的特点 ■人工神经网络的特征 ■人工神经网络的特征 结构特征一并行处理、分布式存储、容错性】 能力特征-自学习、自组织、自适应 (1)以大规摸模拟并行处理为主 神经网络是由大量简单处理元件连接组成的亮度并行的非 (2)具有较强的鲁棒性和容错性 线任系统，具有大规模并行处理特征。虽然海个处理单元 自适应性包含自学习与自组织两层含义：自学习 的功能士分简单，但大量简单处理单元的并行话动性蜗馅 是指当外界环境发生变化时，经过一段时间的调 (3)具有较强的自学习能力 呈现出丰富的功能。结构上的并行性使神经网络的信息行 练或感知，神经过自动调整网络参数，使得对 密瓷尚隆不 于给定输入能产生期望的输出。自组织是指神经 《④是一个大规模自适应非线性动力学系统，具有集 系统能在外郎刺激下按一定规贝调整神经元之间 网络表现出良好的客错性，当都分神经元织坏和阳时不对系统 的突触连接，逐渐建立起神经网络。 体运算的能力 整体住能成形响。当缩出预、花或变形附，神短 络通过联想恢复完整的记忆。 1.神经网络概述 1.神经网络概述 1.神经网络概述 ■人工神经网络的功能 ■人工神经网络的功能 ■人工神经列络的功能 联想记忆 非线性映射 分类与识别 由于神经网络具有分布存储信息和并行处理信息的特 对输入样本的分类是在样本空可找出符合分类要求 点，因此它具有对外界刺激信息和输入横式进行联想 设计合理的神经网路通过对系统输入输出样本对进 的分割区域，每个区域内的样本属于一类， 记忆的能力。这种能力通过神经元之间的协同结构以 行自动学习，能筝以任意精度通近任意复杂的非线 及信息处理的集体行为而实现。 性映射。 @✉>圖 神臣网路 前出肤 屋>✉>盟 自对视真 嫩线射频列 巴→图 Ay 2
2 1.神经网络概述 神经网络与计算机相比的特点 (1) 以大规模模拟并行处理为主 (2) 具有较强的鲁棒性和容错性 (3) 具有较强的自学习能力 (4) 是一个大规模自适应非线性动力学系统，具有集 体运算的能力 1.神经网络概述 人工神经网络的特征 结构特征-------并行处理、分布式存储、容错性。 神经网络是由大量简单处理元件连接组成的高度并行的非 线性系统，具有大规模并行处理特征。虽然每个处理单元 的功能十分简单，但大量简单处理单元的并行活动使网络 呈现出丰富的功能。结构上的并行性使神经网络的信息存 储必然采取分布式方式，即信息不是存储在网络的某个局 部，而是分布在网络所有的连接权中。这两个特点使神经 网络表现出良好的容错性。当部分神经元损坏时不对系统 整体性能造成影响。当输出模糊、残缺或变形时，神经网 络通过联想恢复完整的记忆。 1.神经网络概述 人工神经网络的特征 能力特征-------自学习、自组织、自适应 自适应性包含自学习与自组织两层含义：自学习 是指当外界环境发生变化时，经过一段时间的训 练或感知，神经能过自动调整网络参数，使得对 于给定输入能产生期望的输出。 自组织是指神经 系统能在外部刺激下按一定规则调整神经元之间 的突触连接，逐渐建立起神经网络。 1.神经网络概述 人工神经网络的功能 联想记忆 由于神经网络具有分布存储信息和并行处理信息的特 点，因此它具有对外界刺激信息和输入模式进行联想 记忆的能力。这种能力通过神经元之间的协同结构以 及信息处理的集体行为而实现。 1.神经网络概述 人工神经网络的功能 非线性映射 设计合理的神经网络通过对系统输入输出样本对进 行自动学习，能够以任意精度逼近任意复杂的非线 性映射。 输入样本 神经网络 输出样本 自动提取 非线性映射规则 1.神经网络概述 人工神经网络的功能 分类与识别 对输入样本的分类是在样本空间找出符合分类要求 的分割区域，每个区域内的样本属于一类。 传统分类能力 ANN 分类能力
1.神经网络概述 1.神经网络概述 1.神经网络概述 ■人工神经同络的功能 ■人工神经网络的功能 ■人工神经网络的功能 优化计算 知识处理 优化计算 优化计算是指在已知的约束条件下，找一组参数组合， 神经网路从对的入出信 优化计算是指在已知的的束条件下，找一组参数组合 使由该组合确定的目标通数达到最小，可以把待求解问 息中抽取规而碳得关于对像 使由该组合确定的目标函数达到最小，可以把待求螺问 题的可变参数设计为网路的状态，将目标通数设计为网 的知识。井将知识分布在网路 题的可变参数设计为网络的状态，将目标递数设计为网 络的能量通数，从而稳定状态就是问题的最优解。 的连接中予以行储，神经网路 平行：通 络的能量话数，从而稳定状态就是问题的最优解。 的知识抽取能力使其够在 有任何先验知识的情况下自动 从入数据中提取特征，发现 现律， 并过自组织过程将自 身构建成适合于达所发现的 规律， 1.神经网络概述 1.神经网络概述 1.神经网络概述 神经网络在控制系统中的作用 神经网络在控制系统中的作用 神经网络在控制系统中的作用 (1)在基于横型的各种控制结构中充当对象的模型 神经网络通近非线性函数的能力为自控制理论 (1)在基于横型的各种控制结构中充当对橡的横型 (②☑用作控制器 发展提供了生机 (2)用作控制岳 ()在控制系统中起优化计算的作用 。从控制角度。对神经网络的要求更注重其实时学 (3)在控制系统中起优化计算的作用 习训训练能力和网铭结构的简单性 3
3 1.神经网络概述 人工神经网络的功能 优化计算 优化计算是指在已知的约束条件下，寻找一组参数组合， 使由该组合确定的目标函数达到最小。可以把待求解问 题的可变参数设计为网络的状态，将目标函数设计为网 络的能量函数，从而稳定状态就是问题的最优解。 1.神经网络概述 人工神经网络的功能 知识处理 神经网络从对象的输入输出信 息中抽取规律而获得关于对象 的知识，并将知识分布在网络 的连接中予以存储。神经网络 的知识抽取能力使其能够在没 有任何先验知识的情况下自动 从输入数据中提取特征，发现 规律，并通过自组织过程将自 身构建成适合于表达所发现的 规律。 问题解答 知识分布式表示 由一 知识获取、知识库 神经网 平行推理 络实现 输入数据 变量变换 求解的问题 神经网络专家系统的构成 1.神经网络概述 人工神经网络的功能 优化计算 优化计算是指在已知的约束条件下，寻找一组参数组合， 使由该组合确定的目标函数达到最小。可以把待求解问 题的可变参数设计为网络的状态，将目标函数设计为网 络的能量函数，从而稳定状态就是问题的最优解。 1.神经网络概述 神经网络在控制系统中的作用 (1) 在基于模型的各种控制结构中充当对象的模型 (2) 用作控制器 (3) 在控制系统中起优化计算的作用 1.神经网络概述 神经网络在控制系统中的作用 神经网络逼近非线性函数的能力为自动控制理论 发展提供了生机 从控制角度，对神经网络的要求更注重其实时学 习训练能力和网络结构的简单性 1.神经网络概述 神经网络在控制系统中的作用 (1) 在基于模型的各种控制结构中充当对象的模型 (2) 用作控制器 (3) 在控制系统中起优化计算的作用
2人工神经网络的基本概念一生物神经元 2.人工神经网络的基本概念一生物神经元 2人工神经网络的基本概念一生物神经元 ■生物神经元结构 ■细胞体：由经泡核、细跑质和细跑膜等组成 ■突触的信息处理 ■人脑大均由1012个神经元组成，神经元互相连接成裤经 ■树突：跑体上短而多分枝的突起。相当于神经元的输入 ■生物神经元传递信息的过程为多输入。单编出： 网路 端，接收传入的裤经冲动. ■神经元各组成部分的功能来看，信息的处理与传进主要 ■神经元以细跑体为主体，由许多向同围廷件的不规则树 枝状纤性构成的神经细，其形状很像一棵枯树的技干 ■轴突：跑体上最长枝的突起，也称神经纤组，端有很 发生在实鞋附近： ■主要由细胞体.树突.轴突和突触组成 多神经末稍5士轻冲动。相当于神经元的 ■突触有两种类型。兴奋性突触和抑制性突些 ■突能：神经元问的连接接口，每个神经元约1万-10 ■当特轻元脉冲信号在抽的末就触及突触前硬时。突触 万个突鞋。经元通过业其轴突的牌好末和，经交触与另 一神经元的树联接，实现信的传送，由于交触的 前便将向突触问程放神经传进的化学物质递质]， 息传递特性是可变的，形成了神经元问联接的柔性，称 经突触问购的液体扩散。在突触后膜与受体相结合。烟 为结构的可塑性， 此改变后硬的商子通透性，从而使后膜电位发生变化 ■细胞烫电位：神竖细跑在受到电的、化学的、机械的 例如。当前霞释放的兴奋性递质使实触后硬的电位超过 数后，能产生兴奋。时，空硬内外有电位差，称硬 了某个国值，后一个神经元有裤经脉冲输出，从而将前 电位。电位硬内为正，膜外为负。 个神经元的信息传进始了后一个神经元. 2,人工神经网络的基本概念一生物神经元 2人工神经网络的基本概念一生物神经元 2.人工神经网络的基本概念一人工神经元模型 ■信息传递功能与特点 ■信息传送功能与特点 ■神经元及其突触是神经网路的基本器件。因此， ■具有时空型合能力 ■神经纤维传导的速度一脉冲沿经纤维转递的 横拟生物神经网路应首先德财拟生物神经元→ ■同一时刻产生的激所起的要电位变化，大 速度，在1一150m/s之间 人工神经元（节点） 政等于各单独利激引起的硬电位变化的代数和. ■信息传送8时挺和不应期一一设为03-ms ■各输入脉冲品达神经元的时间先后不一样.总 ■可塑性—突蛙传送信息的强镜是可变的，即只 。从三个方面进行便拟： 的突触后腰电位为一极时问内的累积， 有学习功能 ■节点本身的信息处理能力（数学模型】 ■不可逆性—脉冲只从突触前传到突触后，不逆 快定人工种 ■存在学习、透忘或盘劳（饱和）效应—对应突 ■节点与节点之问连接（拓扑结构】 向传递 的三大要套 触传送作用地强.减的和饱和 ■相互连接的强度（适过学习来调整） 4
4 2.人工神经网络的基本概念—生物神经元 生物神经元结构 人脑大约由1012个神经元组成，神经元互相连接成神经 网络 神经元以细胞体为主体，由许多向周围延伸的不规则树 枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触组成 突触 神经末梢 树突 细胞核 细胞膜 轴突 细胞质 2.人工神经网络的基本概念—生物神经元 细胞体：由细胞核、细胞质和细胞膜等组成。 树突：胞体上短而多分枝的突起。相当于神经元的输入 端，接收传入的神经冲动。 轴突：胞体上最长枝的突起，也称神经纤维。端部有很 多神经末稍传出神经冲动。相当于神经元的输出端。 突触：神经元间的连接接口，每个神经元约有1万～10 万个突触。神经元通过其轴突的神经末稍，经突触与另 一神经元的树突联接，实现信息的传递。由于突触的信 息传递特性是可变的，形成了神经元间联接的柔性，称 为结构的可塑性。 细胞膜电位：神经细胞在受到电的、化学的、机械的刺 激后，能产生兴奋，此时，细胞膜内外有电位差，称膜 电位。电位膜内为正，膜外为负。 2.人工神经网络的基本概念—生物神经元 突触的信息处理 生物神经元传递信息的过程为多输入、单输出； 神经元各组成部分的功能来看，信息的处理与传递主要 发生在突触附近； 突触有两种类型，兴奋性突触和抑制性突触; 当神经元脉冲信号在轴突的末端触及突触前膜时，突触 前膜将向突触间隙释放神经传递的化学物质（递质）， 经突触间隙的液体扩散 ，在突触后膜与受体相结合。据 此改变后膜的离子通透性，从而使后膜电位发生变化。 例如，当前膜释放的兴奋性递质使突触后膜的电位超过 了某个阈值，后一个神经元有神经脉冲输出，从而将前 一个神经元的信息传递给了后一个神经元。 2.人工神经网络的基本概念—生物神经元 信息传递功能与特点 具有时空整合能力 同一时刻产生的刺激所引起的膜电位变化，大 致等于各单独刺激引起的膜电位变化的代数和。 各输入脉冲抵达神经元的时间先后不一样。总 的突触后膜电位为一段时间内的累积。 不可逆性——脉冲只从突触前传到突触后，不逆 向传递 2.人工神经网络的基本概念—生物神经元 信息传递功能与特点 神经纤维传导的速度——脉冲沿神经纤维传递的 速度，在1—150m／s之间 信息传递时延和不应期——一般为0.3～lms 可塑性——突触传递信息的强度是可变的，即具 有学习功能 存在学习、遗忘或疲劳（饱和）效应——对应突 触传递作用增强、减弱和饱和 2.人工神经网络的基本概念—人工神经元模型 神经元及其突触是神经网络的基本器件。因此， 模拟生物神经网络应首先模拟生物神经元 人工神经元（节点） 从三个方面进行模拟: 节点本身的信息处理能力（数学模型） 节点与节点之间连接（拓扑结构） 相互连接的强度（通过学习来调整） 决定人工神经 网络整体性能 的三大要素
2.人工神经网络的基本概念一人工神经元模型 2,人工神经网络的基本概念一人工神经元模型 2,人工神经网络的基本概念一人工神经元模型 ■人工神经元的建模 ■M-P梗型图解 ■M-P模型图解 1943年心硬学家cCulloch数学家M.Pitts在分析芯结神经 元基本特性的基础上提出M-P便型，经过不斯改进形成广泛 应用的神经元颅型。 ○ ■便型的六点假设 ■每个神经元是一个多输入单输出的信息处理单 钟基得入的编司 量人知根 ,元入分兴音性输入和性输入两种关型 )家输入单维出 ■神经元具有空问整合特性和司值特性： ■神经元输入与出固定的时沸： 正如生物神经元有许多新罐入一样。人工神经元他应该有 ■忽路时间整合作用和不应期： i 许多的罐入信号，图中每个输入的大小用确定数值x表示， ■神经元本身非时变，即其突触时延和突胎温度均 它们同时输入神经元，神经元的单罐出用0表示， 为常数。 问增入年根来和 街装人楼新图新 2.人工神经网络的基本概念、一人工神经元模型 2.人工神经网络的基本概念一人工排经元模型 2.人工神经网络的基本概念一人工神经元模型 ■M-P模型图解 ■M-P横型图解 ■M-P模型图解 Xi WU 用可 0 四缩人g根 的检人农求和 生物神经元具有不同的茫性质和院佐温瘦，其对输入的响是硬 )家推入单输出 有输入在经元产生球冲输出过程中在的作用比月外 出入 对神经元的每一个输入布 正如生物神经元有许多葡销入一样，人工神经元他应该有 许多的端入信号，区中每个输入的大小用确定数的表示， 应于生物料超元的膜电位。神经元活与否取决于某一便值电平。 只有当其馆入总和超过调时.神延元才活而泼的球冲，香则 它们同时输入持经元，神经元的单输出用0表示， 神经元不会产生出信号 5
5 2.人工神经网络的基本概念—人工神经元模型 人工神经元的建模 模型的六点假设 每个神经元都是一个多输入单输出的信息处理单 元； 神经元输入分兴奋性输入和抑制性输入两种类型； 神经元具有空间整合特性和阈值特性； 神经元输入与输出间有固定的时滞； 忽略时间整合作用和不应期； 神经元本身非时变，即其突触时延和突触强度均 为常数。 1943年心理学家McCulloch数学家W. Pitts在分析总结神经 元基本特性的基础上提出M-P模型，经过不断改进形成广泛 应用的神经元模型。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 正如生物神经元有许多激励输入一样，人工神经元也应该有 许多的输入信号，图中每个输入的大小用确定数值xi表示， 它们同时输入神经元j，神经元的单输出用oj表示。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使 有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入 更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称 为权值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则 代表了突触的不同连接强度。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 正如生物神经元有许多激励输入一样，人工神经元也应该有 许多的输入信号，图中每个输入的大小用确定数值xi表示， 它们同时输入神经元j，神经元的单输出用oj表示。 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定 各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相 应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平， 即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则 神经元不会产生输出信号
2.人工神经网络的基本叔念一人工神经元模型 2,人工神经网络的基本概念一人工神经元模型 2,人工神经网络的基本概念一人工神经元模型 ■M-P模图解 ■人工神是元败学模通 ■人工神经元散学模豆 XIW ” 。=它x- 20-g 神经元的话值： 设w。=-1无=0 ,经元到j的突触连接系数或权重值： 四 神经元激活通数（活化函数、转移陋）， 与w 人工神经元的增出也同生物芹经元一样取有一个，如用©表示 0,-f6,)-fwx) 神经元输出，则输出与输入之问间的对应关系可用图(d中的某 种非线性函数来枣示。这种函数一般都是非线性的。 四 2.人工神经网络的基本概念、一人工神经元模型 2.人工神经网络的基本概念一人工排经元模型 2.人工神经网络的基本概念一人工神经元模型 ■人工神经元数学模型 ■人工神经元数学模型 ■人工持经元数学模型 ■激活函数 ■泼活涵数 ■就活函数 神经元的各种不同陵型的主蒙区在于采用了不的话利 ■饱和线性函数 ■闭值函数 数，从而使种经元其有不同店息处理特在，话数反碳 ix21/k 了神经元给出与活状态之间的关系。 if x5-1/k V量<水 ■线性函敬 1= 6
6 2.人工神经网络的基本概念—人工神经元模型 M-P模型图解 人工神经元的输出也同生物神经元一样仅有一个，如用oj表示 神经元输出，则输出与输入之间的对应关系可用图(d)中的某 种非线性函数来表示，这种函数一般都是非线性的。 2.人工神经网络的基本概念—人工神经元模型 人工神经元数学模型 n i j ij i j o f w x t 1 ( ) θj —— 神经元j的阈值； wij—— 神经元i到 j 的突触连接系数或权重值； f ( )——神经元激活函数（活化函数、转移函数）。 M ( )i j f s 2.人工神经网络的基本概念—人工神经元模型 人工神经元数学模型 n i j ij i j s w x t 1 ( ) ( ) (W X) T j j j o f s f 设 wi0 1 j x0 X W W X T j j T n i j ij i s w x 0 M j f (si) 2.人工神经网络的基本概念—人工神经元模型 人工神经元数学模型 激活函数 线性函数 神经元的各种不同模型的主要区别在于采用了不同的激活函 数，从而使神经元具有不同的信息处理特性。激活函数反映 了神经元输出与其激活状态之间的关系。 2.人工神经网络的基本概念—人工神经元模型 人工神经元数学模型 激活函数 饱和线性函数 1 if x≥1/k f (x) = k*x if |x|<1/k -1 if x≤-1/k 2.人工神经网络的基本概念—人工神经元模型 人工神经元数学模型 激活函数 阈值函数
2.人工神经网络的基本叔念一人工神经元模型 2,人工神经网络的基本概念一人工神经元模型 2人工神经网络的基本概念一人工神经网络分类 ■人工神经元数学横型 ■人工持经元数学横型 ■按性能 ■融活函数 ■意活函数 ■连续型、离散型 ■S形函数 ■Matlab中的嫩活函数 ■确定型、随机型（不是基于某种定性算法调整权值，而 f 是按某种概率分布进行修改：不是按某种确定性的网路方 #经元的士个着活语数及导数 程进行状态演变，而是按某种概分布决定其状态的转移) ■静态（网路的输出只依数于当前的输入）、动态（网路的 输出不仅依赖于当前的维入，同时依赖于前面的端入缩出) 2,人工神经网络的基本概念一人工神经网络分类 2,人工神经网络的基本标念一人工神经网络分类 2,人工神经网络的基本概念一神经网络学习方法 ●按酒近特性 ■按连接方式：前烦（前向）型、反馈型.自组织 ■神经网络学习 ■全通近—是在整个输入空问上逼近，如BP网路 神经网路部适过对样本的学习测陈，不断改交网路的 连接权值以及拓扑结构。以使网路的罐出不断地接近期 ■局部画近一是在输入空问中某条状态轨迹附近的通近， 望的罐出。这一过程称为神经网格的学习或慈，其本 例如CMAC、B样条、RBF 质是可变权值的动态整 ■学习方式 ■按学习方式 ■有导师学习 ■有导师学习（监督学习） ■无寻师学习 ■无号师学习（无监督学习） ■再团学习 ■再励学习（程化学习） 7
7 2.人工神经网络的基本概念—人工神经元模型 人工神经元数学模型 激活函数 S形函数 2.人工神经网络的基本概念—人工神经元模型 人工神经元数学模型 激活函数 Matlab中的激活函数 神经元的十个激活函数及导数 2.人工神经网络的基本概念—人工神经网络分类 按性能 连续型、离散型 确定型、随机型（不是基于某种确定性算法调整权值，而 是按某种概率分布进行修改；不是按某种确定性的网络方 程进行状态演变，而是按某种概率分布决定其状态的转移） 静态（网络的输出只依赖于当前的输入）、动态（网络的 输出不仅依赖于当前的输入，同时依赖于前面的输入输出） 2.人工神经网络的基本概念—人工神经网络分类 按逼近特性 全局逼近 ——是在整个输入空间上逼近，如BP网络 局部逼近——是在输入空间中某条状态轨迹附近的逼近， 例如CMAC、B样条、RBF 2.人工神经网络的基本概念—人工神经网络分类 按连接方式：前馈（前向）型、反馈型、自组织 按学习方式 有导师学习（监督学习） 无导师学习（无监督学习） 再励学习（强化学习） M M M u y 输出节点 输入 0 x 1x 2 x 2.人工神经网络的基本概念—神经网络学习方法 神经网络学习 学习方式 有导师学习 无导师学习 再励学习 神经网络能够通过对样本的学习训练，不断改变网络的 连接权值以及拓扑结构，以使网络的输出不断地接近期 望的输出。这一过程称为神经网络的学习或训练，其本 质是可变权值的动态调整
2,人工神经网络的基本概念一神经网络学习方法 2.人工神经网络的基本概念一神经网络学习方法 2人工神经网络的基本概念一神经网络学习方法 ■学习方式 ■学习方式 ■学习方式 ■有导师学习（监督学习）】 ■无导师学习（监督学习） ■再品学习程化学习) 在学习过程中，网 无导师信号提供 把学习石为试探评价过 据中输出与 网路。网络能报廷 程，学习机选择 动作 期里输出的比 其特有的结构和学 周 作用于环境，环境的状 进行联接权系的 N 习规则进行联接 态改变，并产生再励信 环境 仅系数的调整 称导师信号是 入 实诉输出 评价学习的标准 学习机 学习机 价准含于其内 当前的状态，再选轻下 学习机 动作作用于环境， 状态 择的原测是使受到奖励 的可能性增大， 2,人工神经网络的基本概念一神经罚络学习方法 2.人工神经网络的基本餐念一神经网络学习方法 2.人工神经网络的基本概念一神经网络学习方法 学习方法 ■学习方法 ■学习方法 ■Hebb学习规则 ■5学习规则 ■概率式学习 ■两个神经元可时处于兴奋状态或同时处于抑制状杏时」 6学习规实现了误差则函数E中的样度下降，因此使保 从统针力学、分子热力学和瓶丰论中关于系统隐态整量的标准出发 差数达到最小值，BP网路的学习法称为BP法，是在 进行神经同路学习的方式称草率式学习。种经码处于某一状态的 它们之间的连接强度将得到功加温。当一个神经元兴奋 规则础上发展起来的，可在多层网路上有效地学习. 登率主费取决于在此状态下的能量。能量越低，图率越大，司时， 而另一个抑制时，它们之问的连接程度就应该减现. 误差准则数E=片d,-o,护=d,-fwxr 这一论述的数学描述被称为Hebb学习规测 情形征相反，概中式学习的典型代表是Boltzmann机学习规则. ■Hebb学习规则只根据神经元连接问的激活水平改变 误差E是权向量W的函数，欲使误差最小，W应与误差 AW.=mP,-P) 的负梯成成证比 P阿支示网馅受到学习样本的约束且系构达到平衡状态时第个和第 权值，因此这种方法又称为相关学习或并联学习， AW,=-nvE=nd,-o,)f(W'X)X 8
8 2.人工神经网络的基本概念—神经网络学习方法 学习方式 有导师学习（监督学习） 在学习过程中，网 络根据实际输出与 期望输出的比较， 进行联接权系数的 调整，将期望输出 称导师信号 是 评价学习的标准。 期望输出 实际输出 学习机 输入 NN 比较 2.人工神经网络的基本概念—神经网络学习方法 学习方式 无导师学习（监督学习） 无导师信号提供给 网络，网络能根据 其特有的结构和学 习规则，进行联接 权系数的调整，此 时，网络的学习评 价标准隐含于其内 部。 实际输出 学习机 输入 NN 自 我 比 较 2.人工神经网络的基本概念—神经网络学习方法 学习方式 再励学习（强化学习） 把学习看为试探评价过 程，学习机选择一动作 作用于环境，环境的状 态改变，并产生再励信 号反馈至学习机，学习 机依据再励信号与环境 当前的状态，再选择下 一动作作用于环境，选 择的原则是使受到奖励 的可能性增大。 状态 输入 NN1 NN2 学习机 输出---动作 环境 2.人工神经网络的基本概念—神经网络学习方法 学习方法 Hebb学习规则 两个神经元同时处于兴奋状态或同时处于抑制状态时， 它们之间的连接强度将得到加强，当一个神经元兴奋 而另一个抑制时，它们之间的连接强度就应该减弱。 这一论述的数学描述被称为Hebb学习规则 Hebb学习规则只根据神经元连接间的激活水平改变 权值，因此这种方法又称为相关学习或并联学习。 2.人工神经网络的基本概念—神经网络学习方法 学习方法 δ学习规则 δ学习规则实现了误差准则函数E中的梯度下降，因此使误 差函数达到最小值。BP网络的学习算法称为BP算法，是在 δ规则基础上发展起来的，可在多层网络上有效地学习。 误差准则函数 2 2 ( ( )) 2 1 ( ) 2 1 W X T j j j j E d o d f 误差E是权向量Wj的函数，欲使误差E最小，Wj 应与误差 的负梯度成正比 W ( ) (W X)X T j j j j E d o f 2.人工神经网络的基本概念—神经网络学习方法 学习方法 概率式学习 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发， 进行神经网络学习的方式称概率式学习。神经网络处于某一状态的 概率主要取决于在此状态下的能量，能量越低，概率越大。同时， 此概率还取决于温度参数T。T越大，不同状态出现概率的差异便越 小，较容易跳出能量的局部极小点而到全局的极小点；T越小时， 情形正相反。概率式学习的典型代表是Boltzmann机学习规则。 Pij表示网络受到学习样本的约束且系统达到平衡状态时第i个和第j 个神经元同时为1的概率；pij’表示系统为自由运转状态且达到平 衡状态时第i个和第j个神经元同时为1的概率。 ( ) ij pij pij W
3.感知器 3.感知器 3.感知器 ■人的视觉是重要的感觉远官，人通过视觉接受的信恩占全 ■单层感知器 ■单层感知器 部信息量的80-85%， 单层感知堡是指只有一层处理单元的感知器，如果包括输入 ■单神经元感知器 ■感知器是模拟人的视觉。接受环境信息，并由梓经冲动进 层.应为2层 单神元感如深是具有单个处理单元的神经网络，实质上 行信吧传递的裤经网路. 是一个M-P裤经元模型。激活函数)是单极性无值函数 或者衍号函数。 ■感知器分单层与多层，是具有学习能力的裤经网路。 感如器的端出为：-立--A) w。=14=-0 0-4-,了Y-h-W,-w一- -24，=w四 酒分 @ 3.感知器 3.感知器 3.感知器 ■单层感知器 ■单层感知器 ■单层感知器 ■单裤经元感知器功能分析 ■单神经元感知器功能分析 ■单神经元感知器功能分析 (1)设输入向量U=(u1u)开，则输 (2)设输入向量U=仙1,2u,则输出为 (3)设输入向量U=(仙，u-山，，则输出力 出为 154+w西+53,4-0，>0 【1 ,= ,马+，十+…+w。-0,>0 y,= 马+5码-8>0 -1(0),4+2%+,%-8,<0 y,={-10"品+w品++g,L-0<0 1064+4-8<0 则由方程w,+w2++w儿-号=0确定了n雄空 则由方程w1心1+w2+WU日■0 间上的一个分界超平面 则由方程W1山1+w2-8=0确定了二维平面上的一 条分界线. 确定了三维空间上的一个分界平面 一个额简单的单裤经元感知器只有分类功能。其原理是 将分类知识行储于感加熙的权向量（包含阀值）中，由 权向量确定的分类判决界面粥模式分为两类， 9
9 3. 感知器 人的视觉是重要的感觉器官，人通过视觉接受的信息占全 部信息量的80~85%。 感知器是模拟人的视觉，接受环境信息，并由神经冲动进 行信息传递的神经网络。 感知器分单层与多层，是具有学习能力的神经网络。 3. 感知器 单层感知器 单层感知器是指只有一层处理单元的感知器，如果包括输入 层，应为2层 y1 … yj … y m W 1 ○ W j ○ W m○ ○ ○ ○ ○ u1 u2 … ui … un T i n (u ,u ,...u ,...,u ) U 1 2 T i m ( y ,y ,...y ,...,y ) Y 1 2 T j j j ij nj (w ,w ,...w ,...,w ) W 1 2 n i j ij i x w u 1 (W U) T j j y f 3. 感知器 单层感知器 单神经元感知器 单神经元感知器是具有单个处理单元的神经网络，实质上 是一个M-P神经元模型，激活函数f(x)是单极性阈值函数 或者符号函数。 感知器的输出为： ( ) ( ) 1 0 n i i i n i y f wiui f w u w0 1 u0 n j u u u1 M M y x wn w1 f (x) M M f (x) 3. 感知器 单层感知器 单神经元感知器功能分析 1(0) 0 1 0 1 1 2 2 1 1 2 2 j j j j j j j w u w u w u w u y （1）设输入向量 U=(u1 ,u2 )T，则输 出为 则由方程 w1ju1+w2ju2 -θj =0 确定了二维平面上的一 条分界线。 u1 * * * * O * * O * * O O * O u2 * * O O O O 3. 感知器 单层感知器 单神经元感知器功能分析 1(0) 0 1 0 1 1 2 2 3 3 1 1 2 2 3 3 j j j j j j j j j w u w u w u w u w u w u y （2）设输入向量 U=(u1 , u2 , u3 )T，则输出为 则由方程 w1ju1+w2ju2+w3j u3 –θj = 0 确定了三维空间上的一个分界平面 3. 感知器 单层感知器 单神经元感知器功能分析 1(0) 0 1 0 1 1 2 2 1 1 2 2 j j nj n j j j nj n j j w u w u w u w u w u w u y （3）设输入向量 U=(u1 , u2 , …un )T，则输出为 则由方程 w1ju1+w2ju2+…+wnjun –θj = 0 确定了n维空 间上的一个分界超平面 一个最简单的单神经元感知器具有分类功能，其原理是 将分类知识存储于感知器的权向量（包含阈值）中，由 权向量确定的分类判决界面将模式分为两类
3.感知器 3.感知器 3.感知器 ■单的学习算波 ■单神经元感知器 ■线性可分集合 ■用于两类模式分类时相当于在高雄样本空同中，用一个超 ()二输平面上的两典模式，见表， 00 2☑输入样本对UPd,其中UP=-1,uRuP,一4，，d为则的 平面将两类样本分开. 用因所示二轴入苹轴出单是墙加悬， 0 轮出问量（导信号），上标印代表样本对的棱式京号，设样集 轴入着出超述： 0 中样本总数为L则p=1,2L ■已证明若罐入的两类模式是线性可分集合（指存在一个超 )计算各节点的实东给出 平面能将其分开)，则法一定收数 y-f八0的+w:妇--f八) ∫1,20 11 10,c0 9等3 ■局限性：若输入梗式为线姓不可分集合。感知腰的学习算 法不收，不能进行正确分类 练的稳定姓，太小则使链的收敛速度变樱。一般取03地空间上的 将地入黑式沿为两典 的零面上内安顿大#养国 分为两洗，由n输入/单编 6地 甲面上两天铜公好我 出的单知器实现 10
10 3. 感知器 单层感知器的学习算法 构建感知器与感知器学习算法 (1) 对各权值w0j(0),w1j(0),┄,wnj(0)，j=1, 2,┄,m （m为计算层的 节点数）赋予较小的非零随机数； (2) 输入样本对{Up,dp}，其中Up=(-1, u1p, u2p,┄,unp)，dp为期望的 输出向量（导师信号），上标p代表样本对的模式序号，设样本集 中的样本总数为L，则 p=1, 2,┄,L； (3) 计算各节点的实际输出 (4) 调整各节点对应的权值，Wj(t+1)= Wj(t )+η[djp-yjp(t )]Up, j=1, 2,┄,m, 其中η为学习率，用于控制调整速度，太大会影响训 练的稳定性，太小则使训练的收敛速度变慢，一般取0＜η≤1； (5) 返回到步骤(2)输入下一对样本，周而复始直到对所有样本， 感知器的实际输出与期望输出相等。 3. 感知器 单神经元感知器 用于两类模式分类时相当于在高维样本空间中，用一个超 平面将两类样本分开。 已证明若输入的两类模式是线性可分集合（指存在一个超 平面能将其分开），则算法一定收敛。 局限性：若输入模式为线性不可分集合，感知器的学习算 法不收敛，不能进行正确分类 3. 感知器 线性可分集合 （1） 二维平面上的两类模式，见表。 用图所示二输入/单输出单层感知器， 输入输出描述： 0 , 0 1 , 0 ( ) ( ) 1 1 2 2 y f w u w u f 即 1 1 2 2 1 1 2 2 0 , 1 , w u w u w u w u y 可见：输入输出为线性可分集合，一定可 找到一条直线，将输入模式分为两类 u u 1 2 y 0 0 0 1 0 0 0 1 0 1 1 1 3. 感知器 线性可分集合 此直线方程： y w u w u 1 1 2 2 0 则 u w w w 2 u 2 1 2 1 见图，此直线与权值及阈值有关。 u u 1 2 y 0 0 0 1 0 0 0 1 0 1 1 1 (a) 分类器结构 w2 w1 w0 y u0 1 2 1 u u u1 u2 (b) 平面上两类模式分界线 图 2-3-2 平面上两类模式分类 3. 感知器 线性可分集合 （2） 三维空间上的两类模式，见表。 用图所示三输入/单输出的单层感知器，输入输出： 0 , 0 1 , 0 ( ) ( ) 1 1 2 2 3 3 y f w u w u w u f 即 1 1 2 2 3 3 1 1 2 2 3 3 0 , 1 , w u w u w u w u w u w u y 可见，输入输出为线性可分集合，一定可找到一个平面， 将输入模式分为两类 u1 u2 u3 y 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1 1 3. 感知器 线性可分集合 平面方程： y w1u1 w2u2 w3u3 0 则 2 3 2 1 3 1 3 3 u w w u w w w u 此平面与权值及阈值有关，见图。 （2） 三维空间上的两类模式，见表。 可引伸到n>3维空间上的 线性可分集合，一定可找 到一超平面，将输入模式 分为两类。由n输入/单输 出的单层感知器实现。 1 2 3 u u u y 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1 1 w0 1 u0 y w1 w3 w2 3 2 1 u u u 2 u 1 u