第08讲自组织竞争人工神 经网络 zoujiang(@public.wh.hb.cn 邹江
第08讲 自组织竞争人工神 经网络 zoujiang@public.wh.hb.cn 邹江
在实际的神经网络中,比如人的视网膜中,存在 着一种“侧抑制”现象,即一个神经细胞兴奋 后,通过它的分支会对周围其他神经细胞产生 抑制。 自组织竞争人工神经网络正是基于上述生物结构 和现象形成的。它能够对输入模式进行自组织 训练和判断,并将其最终分为不同的类型。 与BP网络相比,这种自组织自适应的学习能力进 步拓宽了人工神经网络在模式识别、分类方 面的应用,另一方面,竞争学习网络的核心 竞争层,又是许多种其他神经网络模型的重 要组成部分
在实际的神经网络中，比如人的视网膜中，存在 着一种“侧抑制”现象，即一个神经细胞兴奋 后，通过它的分支会对周围其他神经细胞产生 抑制。 自组织竞争人工神经网络正是基于上述生物结构 和现象形成的。它能够对输入模式进行自组织 训练和判断，并将其最终分为不同的类型。 与BP网络相比，这种自组织自适应的学习能力进 一步拓宽了人工神经网络在模式识别、分类方 面的应用，另一方面，竞争学习网络的核心— —竞争层，又是许多种其他神经网络模型的重 要组成部分
Q8.1几种联想学习规则 格劳斯贝格(S. Grossberg)提出了两种类型的神经 元模型:内星与外星,用以来解释人类及动物 的学习现象 内星可以被训练来识别矢量; 外星可以被训练来产生矢量
8．1几种联想学习规则 格劳斯贝格(S．Grossberg)提出了两种类型的神经 元模型：内星与外星，用以来解释人类及动物 的学习现象。 内星可以被训练来识别矢量； 外星可以被训练来产生矢量
2 Pr r 图8.1格劳斯贝格内星模型图 内星是通过联接权矢量W接受一组输入信号P
图8.1 格劳斯贝格内星模型图 内星是通过联接权矢量W接受一组输入信号P
P 图8.2格劳斯贝格外星模型图 外星则是通过联接权矢量向外输出一组信号A。 它们之所以被称为内星和外星,主要是因为其网络的 结构像星形,且内星的信号流向星的内部;而外星的 信号流向星的外部
图8．2 格劳斯贝格外星模型图 外星则是通过联接权矢量向外输出一组信号A。 它们之所以被称为内星和外星，主要是因为其网络的 结构像星形，且内星的信号流向星的内部；而外星的 信号流向星的外部
1内星学习规则 实现内星输入/输出转换的激活函数是硬限制函数。 可以通过内星及其学习规则来训练某一神经元节点只响 应特定的输入矢量P,它是借助于调节网络权矢量W近 似于输入矢量P来实现的。 单内星中对权值修正的格劳斯贝格内星学习规则为: A1=·(pjw)·a,j=l,2,…,r (8.1) 由(8.1)式可见,内星神经元联接强度的变化△w1是与 输出成正比的。如果内星输出a被某一外部方式而维护 高值时,那么通过不断反复地学习,权值将能够逐渐趋 近于输入矢量p的值,并趋使Δw1逐渐减少,直至最终 达到M1=p,从而使内星权矢量学习了输入矢量P,达 到了用内星来识别一个矢量的目的。另一方面,如果内 星输出保持为低值时,网络权矢量被学习的可能性较小, 甚至不能被学习
8．1．1内星学习规则 实现内星输入／输出转换的激活函数是硬限制函数。 可以通过内星及其学习规则来训练某一神经元节点只响 应特定的输入矢量P，它是借助于调节网络权矢量W近 似于输入矢量P来实现的。 单内星中对权值修正的格劳斯贝格内星学习规则为： (8．1) 由(8．1)式可见，内星神经元联接强度的变化Δw1j是与 输出成正比的。如果内星输出a被某一外部方式而维护 高值时，那么通过不断反复地学习，权值将能够逐渐趋 近于输入矢量pj的值，并趋使Δw1j逐渐减少，直至最终 达到w1j ＝pj，从而使内星权矢量学习了输入矢量P，达 到了用内星来识别一个矢量的目的。另一方面，如果内 星输出保持为低值时，网络权矢量被学习的可能性较小， 甚至不能被学习
现在来考虑当不同的输入矢量p和p2分别出现在同一内星 时的情况 首先,为了训练的需要,必须将每一输入矢量都进行单位 归一化处理 当第一个矢量p输入给内星后,网络经过训练,最终达到 此后,给内星输入另一个输入矢量p2,此时 内星的加权输入和为新矢量p2与已学习过矢量p的点积, 即 N=W·P2=(P)y·P2= PlIP4lcos12=cos61 因为输入矢量的模已被单位化为1,所以内星的加权输 入和等于输入矢量pl和p2之间夹角的余弦
现在来考虑当不同的输入矢量p 1和p 2分别出现在同一内星 时的情况。 首先，为了训练的需要，必须将每一输入矢量都进行单位 归一化处理。 当第一个矢量p 1输入给内星后，网络经过训练，最终达到 W＝(p1 ) T 。此后，给内星输入另一个输入矢量p 2 ，此时 内星的加权输入和为新矢量p 2与已学习过矢量p 1的点积， 即： 因为输入矢量的模已被单位化为1，所以内星的加权输 入和等于输入矢量p 1和p 2之间夹角的余弦
根据不同的情况,内星的加权输入和可分为如下几种情 况: )p2等于p,即有012=0,此时,内星加权输入和为1; 2)p2不等于p,内星加权输入和为0; 3)当p2=p,即012=180°时,内星加权输入和达到最 小值-1 由此可见,对于一个已训练过的内星网络,当输入端再 次出现该学习过的输入矢量时,内星产生1的加权输入 和;而与学习过的矢量不相同的输入出现时,所产生 的加权输入和总是小于1 当多个相似输入矢量输入内星,最终的训练结果是使网 络的权矢量趋向于相似输入矢量的平均值
根据不同的情况，内星的加权输入和可分为如下几种情 况： 1) p 2等于p 1 ，即有θ12 ＝0，此时，内星加权输入和为1； 2) p 2不等于p 1 ，内星加权输入和为0； 3)当p 2＝-p 1 ，即θ12 ＝180°时，内星加权输入和达到最 小值-1。 由此可见，对于一个已训练过的内星网络，当输入端再 次出现该学习过的输入矢量时，内星产生1的加权输入 和；而与学习过的矢量不相同的输入出现时，所产生 的加权输入和总是小于1。 当多个相似输入矢量输入内星，最终的训练结果是使网 络的权矢量趋向于相似输入矢量的平均值
内星网络中的相似度是由偏差b来控制,由设计 者在训练前选定,典型的相似度值为b=-0.95, 这意味着输入矢量与权矢量之间的夹角小于 18°48。若选b=0.9时,则其夹角扩大为 25°48 层具有s个神经元的内星,可以用相似的方式进行训 练,权值修正公式为: △wg=lr·(pj-wy) MATLAB神经网络工具箱中内星学习规则的执行是用函 数 learnis. m来完成上述权矢量的修正过程: dW=learnis(W, P,A,Ir); W=W十dW
内星网络中的相似度是由偏差b来控制，由设计 者在训练前选定，典型的相似度值为b＝-0.95， 这意味着输入矢量与权矢量之间的夹角小于 18°48’。若选b＝-0.9时，则其夹角扩大为 25°48’。 一层具有s个神经元的内星，可以用相似的方式进行训 练，权值修正公式为： MATLAB神经网络工具箱中内星学习规则的执行是用函 数learnis.m来完成上述权矢量的修正过程： dW＝1earnis(W，P，A，lr)； W=W十dW；
[例81设计内星网络进行以下矢量的分类辨识: P=[0.18260.6325; 0.36510.3162: 0.547703162 0.73030.6325]; T=[101 我们首先对网络进行初始化处理:so81m R,Q=size(P) IS, Q=size(T); W=zeros(s,R) B=-0.95*ones(S,1); max-epocl lr=0.7;
[例8.1] 设计内星网络进行以下矢量的分类辨识： 我们首先对网络进行初始化处理： [R，Q]＝size(P)； [S，Q]＝size(T)； W＝zeros(S，R)； B＝-0.95* ones(S，1)； max-epoch＝10； lr＝0.7； so81.m