NEURAL NETWORK FUZZY SYSTEM CHAPTER FOUR SYNAPTIC DYNAMICS 1: UNSUPERVISED LEARNING Wang Jun 2004.10 2023/7/9 1
2023/7/9 1 CHAPTER FOUR SYNAPTIC DYNAMICS 1: UNSUPERVISED LEARNING ❖NEURAL NETWORK & FUZZY SYSTEM Wang Jun 2004.10
什么是学习？ 学习就是对信息进行编码 ◆ 其目的就是通过向有限个例子（训练样 本)的学习来找到隐藏在例子背后（即 产生这些例子)的规律（如函数形式）。 三种学习方式： 自我比较 比较✉ 期望输出 输入 W 输出 动作 环境 输出 输入 ·实际输出 ◆实际输出 学习机 学习机 有导师学习 无导师学习 再励学习 2023/7/9 2
2023/7/9 2 什么是学习？ 学习就是对信息进行编码 其目的就是通过向有限个例子（训练样 本）的学习来找到隐藏在例子背后（即 产生这些例子）的规律（如函数形式）。 三种学习方式：
什么是学习？ 比较 期望输出 ◆三种学习方式： 输入 NNe ·实际输出 K/ 有导师学习 输入 喻出 动作 环境 检中 自我比较 0 山 K/ 学习机+ 输入 NNe ·实际输出 学习机 再动学习 无导师学习 2023/7/9 3
2023/7/9 3 什么是学习？ 三种学习方式：
编码是学习？激励一响应？映射？ ◆使用行为(behavioristic)编码准则，如 果输入激励为飞，，而响应为少：，则该 系统对激励一响应(x,y)进行了学习。 ◆ 输入输出对(x,y) 表示函数f:R”→R 的一个样本，函数f将n维矢量X映射到p 维矢量Y 2023/7/9 4
2023/7/9 4 编码是学习？激励－响应 ？映射？ 使用行为（behavioristic）编码准则，如 果输入激励为 ，而响应为 ，则该 系统对激励－响应 进行了学习。 输入输出对 表示函数 的一个样本，函数f将n维矢量X映射到p 维矢量Y。 xi yi ( , ) i i x y ( , ) i i x y : n p f R R →
怎么理解学习过程？ ◆ 如果对所有的输入X都有响应Y=∫(X), 系统对函数进行了学习 ◆若输入X≈X 系统就会得到响应Y≈Y=f(X), 则表明系统近似或部分学习， 即系统把相似的输入映射为相似的输出 2023/7/9 5
2023/7/9 5 怎么理解学习过程？ 如果对所有的输入 都有响应 ， 系统对函数进行了学习 若输入 系统就会得到响应 ， 则表明系统近似或部分学习， 即系统把相似的输入映射为相似的输出 / X X ( ) / Y Y f X = X Y f X = ( )
学习就会发生改变？ ◆改变1：样本数据改变系统参数， 系统进行自适应或自组织的学习 ◆改变2：神经网络中突触（权值） 改变，有时神经元改变。 ◆改变的效果：当激励改变了记忆 介质并使改变维持相当长 一段时间 后，我们就说系统学会了 2023/7/9 6
2023/7/9 6 学习就会发生改变？ 改变1：样本数据改变系统参数， 系统进行自适应或自组织的学习。 改变2：神经网络中突触（权值） 改变，有时神经元改变。 改变的效果：当激励改变了记忆 介质并使改变维持相当长一段时间 后，我们就说系统学会了
学习时量化必要性 ◆系统只能对无穷的样本模式 环境中一小部分样本进行学 习。 系统的存储量是有限的，系 统要有新的样本模式替换旧 的样本模式。 2023/7/9
2023/7/9 7 学习时量化必要性 系统只能对无穷的样本模式 环境中一小部分样本进行学 习。 系统的存储量是有限的，系 统要有新的样本模式替换旧 的样本模式
量化定义规则侧 把样本模式空间分成k个区域， 某个突触点在其中移动时 系统进行学习。 原型可以扩展以使矢量量子 化均方误差最小或规则最优。 可以估计样本模式的未知的 概率分布（统计代表样本）。 2023/7/9 8
2023/7/9 8 量化定义 规则 把样本模式空间分成k个区域， 某个突触点在其中移动时， 系统进行学习。 原型可以扩展以使矢量量子 化均方误差最小或规则最优。 可以估计样本模式的未知的 概率分布（统计代表样本）
无监督和有监督学习区别？ ◆描述样本模式在样本空间的 分布概率密度函数未知，通 过学习来估计。 ◆无监督学习对分布不作任何 假设，可利用信息最少 其学习规则可用一阶差分或一阶 微分方程来定义 2023/7/9 9
2023/7/9 9 无监督和有监督学习 区别？ 描述样本模式在样本空间的 分布概率密度函数未知，通 过学习来估计。 无监督学习对分布不作任何 假设，可利用信息最少。 其学习规则可用一阶差分或一阶 微分方程来定义
有监督学习特点？ ◆假设样本模式分组结构或p(x)性能 ◆还依赖于每个学习样本的分组隶 属度信息，即分成： D,D2,…,Dk,而XeD并且XED(i≠j） ◆可以检查出“错误”信息。 ◆优点：精确度较高 2023/7/9 10
2023/7/9 10 有监督学习特点？ 假设样本模式分组结构或 性能 还依赖于每个学习样本的分组隶 属度信息，即分成： 可以检查出“错误”信息。 优点：精确度较高。 p x( ) ( ) 1 2 j i , ,..., , i j D D D X D X D K 而 并且