无监督学习神经元网络 ●克争学习和 Kohonen自组织网络 竞争学习根据输入模式来更新权值,输入单元与所有输 出单元用w连接。输入的数目即为输入的维数,输出的 数目即为输入数据要聚类的数目 三维数据分成四类 3k 34 输入单元 输出单元
无监督学习神经元网络 ●竞争学习和Kohonen自组织网络 竞争学习根据输入模式来更新权值，输入单元i与所有输 出单元j 用wij 连接。输入的数目即为输入的维数，输出的 数目即为输入数据要聚类的数目
输入向量x=1x23输出单元;权向量y=23 输出单元j的激励值a;为:a wir 具有最大激励单元k(获胜单元)更新权值,其它不变。 nk(t)+(x()-k() wK(t+1) wko+nx(-WkOI 权值作归一化处理,更新后的权值具有单位长度。当输入X提供给 网络时,最接近于x的权向量绕它转动,权向量向输入向量出现 最多的区域移动 举例: i=12.3.4.5
( ) ( ( ) ( )) ( ) ( ( ) ( )) ( 1) w t x t w t w t x t w t w t k k k k k + − + − + = 具有最大激励单元k（获胜单元） 更新权值，其它不变。 举例：
训练模式gx2x 0.80.17360.707Y0.3420.6 06人-0.98480.707人-0.9390.8 化成极坐标形式: Fixi xixi 1∠368714-801∠4514-701∠5313 归一化的初始权值为:w1(0) w2(O)= 设为0.5输入x后权值变化为:m() 0.948 2(1) 0.316 0 第一个神经元为胜者,w1(0)更接近于x1按此方式迭代直到平衡
1 3 6.8 7 1 -8 0 1 4 5 1 7 0 1 5 3.1 3 5 1 4 1 3 1 2 1 1 x1 x x x x = − − − = 0.8 0.6 0.939 0.342 0.707 0.707 0.9848 0.1736 0.6 0.8 5 1 4 1 3 1 2 1 1 1 x x x x x − = = 0 1 w (0) 0 1 (0) w1 2 − = = 0 1 w (1) 0.316 0.948 (1) w1 2 训练模式: 化成极坐标形式： 归一化的初始权值为： 设为0.5,输入x 1后,权值变化为: 第一个神经元为胜者,w1 (0) 更接近于x 1 ,按此方式迭代,直到平衡
22) 输入向量聚类#1 18.46 30.77 37.11 20 1085 7 13022 8 W2O)初始向量 W,(0) 10001 1043.78 11 40.33 输入向量聚类# 12 13 42.67 最终向量 80.02 16 4239 —w1(0) 8001 -75.01 4842
最终向量
Hopfield网络 是单层反馈网络有二种形式连续和离散 特点:1)自联想回归(或全连接),所有神经元与其它单元相连, 但无自连接; 2)按内容编址存贮器方式进行操作,新提供的输入式 可自动找到已存贮的合适模式 y1
● Hopfield网络 是单层反馈网络.有二种形式:连续和离散 特点: 1)自联想.回归(或全连接),所有神经元与其它单元相连, 但,无自连接; 2)按内容编址存贮器方式进行操作,新提供的输入模式 可自动找到已存贮的合适模式
工作原理 把基本存贮器内容与映射到一个动态的固定(稳定)的点S 图中￡,i=1,2是扰动或噪声, Hopfield网络可以从受扰动或 噪声的信息(或信号)中,恢复原始信息(或信号) 基本存贮空间 已存贮向量空间 (样本空间)
工作原理
Hopfield网络可以看成是一个动态系统其相空间包含代表系统 基本存贮内容的固定(稳定)点的集合. Hopfield网络可以检索信息以一定的误差恢复信息 Hopfield 网络的基本单元 Hopfield的基本单元 +1 >0 v=∑WS+6={保持以前状态=0 <0
Hopfield网络可以看成是一个动态系统,其相空间包含代表系统 基本存贮内容的固定(稳定)点的集合. Hopfield网络可以检索信息,以一定的误差恢复信息. i N j i ji j v = w s + =1 0 0 0 1 1 = − + = i i i i v v v s 保持以前状态
对于具有N个神经元的网络,其状态可以用向量S来确定: S S是N位二进制信息,满足以下条件: 1)时间趋近无限,允许回归网络达到稳态; 2)在非线性函数的原点,斜率无穷大,具有硬限幅器特性。 工作过程 1)存贮阶段。确定权值矩阵。设要存贮的向量为 (nl=12,p} 则按外积规则,神经元到神经元j的连接权定义为: N 式中5是5第i个分量 写成向量形式:W=85E7 =
| =1，2，....p = = p ji N j i w 1 1 p p T I N p N W = − =1 1 对于具有N个神经元的网络，其状态可以用向量S来确定： T n S s ,s ,...,s = 1 2 S是N位二进制信息，满足以下条件： 1）时间t趋近无限，允许回归网络达到稳态； 2）在非线性函数的原点，斜率无穷大，具有硬限幅器特性。 工作过程 1）存贮阶段。确定权值矩阵。设要存贮的向量为： 则按外积规则，神经元i到神经元j的连接权定义为： 写成向量形式： 10
W表示NxN的连接权矩阵,W;是它的元素。 这进一步说明: 1)网络中每一元素的输出反馈到其它元素; 2)网络中每一元素无自反馈; 3)网络权矩阵对称,即W=H 2)第二阶段信息检索 输入信息,进行随机的、异步的迭代,直到网络达到稳定,这时单元的输出 为 y=Sgm(∑vny-日 写成向量形式: gn(WY-0) Y= Sgn(WY),0=0 稳定条件也称匹配条件。状态向量满足匹配条件的称系统相 空间的稳定点或固定点,检索完成, Hopfield收敛到稳态
i i ） N j yi = Sgn wji y − =1 ( 2）第二阶段 信息检索 输入信息，进行随机的、异步的迭代，直到网络达到稳定，这时单元的输出 为： 稳定条件也称匹配条件。状态向量满足匹配条件的称系统相 空间的稳定点或固定点，检索完成，Hopfield收敛到稳态
举例: 由3个神经元组成的 Hopfield网络,有2个基本存贮器,存贮个 向量[1,-1,1和-1,1,-1],设计权连接矩阵 100 按公式 W 00 0 22 20-2 2-20 相应的连接图形如右: 2/3
− − − − = − − − − − − + = − 2 2 0 2 0 2 0 2 2 3 1 0 0 1 0 1 1 0 0 3 2 1 1 1 1 1 1 3 1 1 1 1 1 1 1 3 1 W 举例： 由3个神经元组成的Hopfield网络，有2个基本存贮器，存贮2个 向量[1，-1，1]和[-1，1，-1]，设计权连接矩阵。 按公式： 2 3 1 +2/3 +2/3 -2/3 -2/3 -2/3 -2/3 相应的连接图形如右： 8
