《智能控制理论与方法》教学资源（PPT讲义课件）无监和Hopfield网络

无监督学习神经元网络 竞争学习和 Kohonen自组织网络 竞争学习根据输入模式来更新权值,输入单元与所有输 出单元用w连接。输入的数目即为输入的维数,输出的 数目即为输入数据要聚类的数目。 三维数据分成四类 34 输入单元 输出单元

无监督学习神经元网络 ●竞争学习和Kohonen自组织网络 竞争学习根据输入模式来更新权值，输入单元i与所有输 出单元j 用wij 连接。输入的数目即为输入的维数，输出的 数目即为输入数据要聚类的数目

输入向量x=nx2x3}输出单元j权向量Wj=bnjw2W3 输出单元j的激励值a为:41=形W=xwy=x 具有最大激励单元k(获胜单元)更新权值,其它不变。 k(t+1) "k(t)+0(x()-k() l()+mx0=0( 权值作归一化处理,更新后的权值具有单位长度。当输入x提供给 网络时,最接近于x的权向量绕它转动,权向量向输入向量出现 最多的区域移动 举例: 1=1.23.4.5

( ) ( ( ) ( )) ( ) ( ( ) ( )) ( 1) w t x t w t w t x t w t w t k k k k k + − + − + =   具有最大激励单元k（获胜单元） 更新权值，其它不变。 举例：

0.80.173607070.34206 训练模式xxx106-098077-099308 化成极坐标形式: Fixixix1 4x5={1236871∠-80°1∠4514-701∠5313 归一化的初始权值为:n(0)=s (0) 设为05输入后权值变化为0-( 第一个神经元为胜者w1(0)更接近于×按此方式迭代直到平衡

         1 3 6.8 7 1 -8 0 1 4 5 1 7 0 1 5 3.1 3 5 1 4 1 3 1 2 1 1 x1 x x x x =    −                            −                 −         = 0.8 0.6 0.939 0.342 0.707 0.707 0.9848 0.1736 0.6 0.8 5 1 4 1 3 1 2 1 1 1 x x x x x        − =         = 0 1 w (0) 0 1 (0) w1 2        − =         = 0 1 w (1) 0.316 0.948 (1) w1 2 训练模式: 化成极坐标形式： 归一化的初始权值为： 设为0.5,输入x 1后,权值变化为: 第一个神经元为胜者,w1 (0) 更接近于x 1 ,按此方式迭代,直到平衡

1)∠ 180.00 输入向量聚类#1 18.46 0.77 234567 711 -3145 10.85 -130.22 3443 W2O)初始向量 100.01 104378 40.33 输入向量聚类 12 最终向量 134267 14 8002 15 164239 184369 7501 4842

最终向量

● Hopfield网络 是单层反馈网络有二种形式连续和离散 特点:1)自联想回归(或全连接),所有神经元与其它单元相连 但无自连接; 2)按内容编址存贮器方式进行操作,新提供的输入植r 可自动找到已存贮的合适模式

● Hopfield网络 是单层反馈网络.有二种形式:连续和离散 特点: 1)自联想.回归(或全连接),所有神经元与其它单元相连, 但,无自连接; 2)按内容编址存贮器方式进行操作,新提供的输入模式 可自动找到已存贮的合适模式

工作原理 把基本存贮器内容映射到一个动态的固定(稳定)的点S 图中1i=1,2是扰动或噪声, Hopfield网络可以从受扰动或 噪声的信息(或信号)中,恢复原始信息(或信号) 基本存贮空间 已存贮向量空间 (样本空间) <>S

工作原理

Hopfield网络可以看成是一个动态系统其相空间包含代表系统 基本存贮内容的固定(稳定)点的集合 Hopfield网络可以检索信息以一定的误差恢复信息 Hopfield 网络的基本单元 Hopfield的基本单元 +1 >0 =∑Ws+6=保持以前状态=0 <0

Hopfield网络可以看成是一个动态系统,其相空间包含代表系统 基本存贮内容的固定(稳定)点的集合. Hopfield网络可以检索信息,以一定的误差恢复信息. i N j i ji j v = w s + =1 0 0 0 1 1  =       − + = i i i i v v v s 保持以前状态

对于具有N个神经元的网络,其状态可以用向量S来确定 S S是N位二进制信息,满足以下条件 1)时间趋近无限,允许回归网络达到稳态; 2)在非线性函数的原点,斜率无穷大,具有硬限幅器特性。 工作过程 1)存贮阶段。确定权值矩阵。设要存贮的向量为: (5l4=12.p 则按外积规则,神经元到神经元的连接权定义为 N 式中 5,是5第i个分量 写成向量形式:W=∑ T p 10

   |  =1，2，....p  = = p ji N j i w 1 1      p p T I N p N W =  − =1 1      对于具有N个神经元的网络，其状态可以用向量S来确定：   T n S s ,s ,...,s = 1 2 S是N位二进制信息，满足以下条件： 1）时间t趋近无限，允许回归网络达到稳态； 2）在非线性函数的原点，斜率无穷大，具有硬限幅器特性。 工作过程 1）存贮阶段。确定权值矩阵。设要存贮的向量为： 则按外积规则，神经元i到神经元j的连接权定义为： 写成向量形式： 10

W表示NxN的连接权矩阵,W是它的元素。 这进一步说明: 1)网络中每一元素的输出反馈到其它元素; 2)网络中每一元素无自反馈; 3)网絡权矩阵对称,即W=W7 2)第二阶段信息检索 输入信息,进行随机的、异步的迭代,直到网络达到稳定,这时单元的输出 为 y;=Sgn(∑vny2- 写成向量形式: Y=Sgn(WY-0) Y= Sgn(WY),0=0 稳定条件也称匹配条件。状态向量满足匹配条件的称系统相 空间的稳定点或固定点,检索完成, Hopfield收敛到稳态

i i ） N j yi = Sgn wji y − =1 ( 2）第二阶段 信息检索 输入信息，进行随机的、异步的迭代，直到网络达到稳定，这时单元的输出 为： 稳定条件也称匹配条件。状态向量满足匹配条件的称系统相 空间的稳定点或固定点，检索完成，Hopfield收敛到稳态

举例: 由3个神经元组成的 Hopfield网络,有2个基本存贮器,存贮2个 向量[1,-1,1]和[-1,1,-1],设计权连接矩阵。 100 按公式: 01 0 22 20 2 2 2/3 相应的连接图形如右: 2/3

              − − − − =           − − −           − − − +           = − 2 2 0 2 0 2 0 2 2 3 1 0 0 1 0 1 1 0 0 3 2 1 1 1 1 1 1 3 1 1 1 1 1 1 1 3 1 W 举例： 由3个神经元组成的Hopfield网络，有2个基本存贮器，存贮2个 向量[1，-1，1]和[-1，1，-1]，设计权连接矩阵。 按公式： 2 3 1 +2/3 +2/3 -2/3 -2/3 -2/3 -2/3 相应的连接图形如右： 8