人工神经网络及其应用 第6讲自组织网络 何建华 电信系,华中科技大 2003年3月7日
人工神经网络及其应用 第6讲 自组织网络 何建华 电信系，华中科技大学 2003年3月7日
在实际的神经网络中,比如人的视网膜中,存在 着一种“侧抑制”现象,即一个神经细胞兴奋 后,通过它的分支会对周围其他神经细胞产生 抑制。 自组织竞争人工神经网络正是基于上述生物结构 和现象形成的。它能够对输入模式进行自组织 训练和判断,并将其最终分为不同的类型。 与BP网络相比,这种自组织自适应的学习能力进 步拓宽了人工神经网络在模式识别、分类方 面的应用,另一方面,竞争学习网络的核心 竞争层,又是许多种其他神经网络模型的重 要组成部分
在实际的神经网络中，比如人的视网膜中，存在 着一种“侧抑制”现象，即一个神经细胞兴奋 后，通过它的分支会对周围其他神经细胞产生 抑制。 自组织竞争人工神经网络正是基于上述生物结构 和现象形成的。它能够对输入模式进行自组织 训练和判断，并将其最终分为不同的类型。 与BP网络相比，这种自组织自适应的学习能力进 一步拓宽了人工神经网络在模式识别、分类方 面的应用，另一方面，竞争学习网络的核心— —竞争层，又是许多种其他神经网络模型的重 要组成部分
Q8.1几种联想学习规则 格劳斯贝格(S. Grossberg)提出了两种类型的神经 元模型:内星与外星,用以来解释人类及动物 的学习现象 内星可以被训练来识别矢量; 外星可以被训练来产生矢量
8．1几种联想学习规则 格劳斯贝格(S．Grossberg)提出了两种类型的神经 元模型：内星与外星，用以来解释人类及动物 的学习现象。 内星可以被训练来识别矢量； 外星可以被训练来产生矢量
2 Pr r 图8.1格劳斯贝格内星模型图 内星是通过联接权矢量W接受一组输入信号P
图8.1 格劳斯贝格内星模型图 内星是通过联接权矢量W接受一组输入信号P
P 图8.2格劳斯贝格外星模型图 外星则是通过联接权矢量向外输出一组信号A。 它们之所以被称为内星和外星,主要是因为其网络的 结构像星形,且内星的信号流向星的内部;而外星的 信号流向星的外部
图8．2 格劳斯贝格外星模型图 外星则是通过联接权矢量向外输出一组信号A。 它们之所以被称为内星和外星，主要是因为其网络的 结构像星形，且内星的信号流向星的内部；而外星的 信号流向星的外部
1内星学习规则 实现内星输入/输出转换的激活函数是硬限制函数。 可以通过内星及其学习规则来训练某一神经元节点只响 应特定的输入矢量P,它是借助于调节网络权矢量W近 似于输入矢量P来实现的。 单内星中对权值修正的格劳斯贝格内星学习规则为: A1=·(pjw)·a,j=l,2,…,r (8.1) 由(8.1)式可见,内星神经元联接强度的变化△w1是与 输出成正比的。如果内星输出a被某一外部方式而维护 高值时,那么通过不断反复地学习,权值将能够逐渐趋 近于输入矢量p的值,并趋使Δw1逐渐减少,直至最终 达到M1=p,从而使内星权矢量学习了输入矢量P,达 到了用内星来识别一个矢量的目的。另一方面,如果内 星输出保持为低值时,网络权矢量被学习的可能性较小, 甚至不能被学习
8．1．1内星学习规则 实现内星输入／输出转换的激活函数是硬限制函数。 可以通过内星及其学习规则来训练某一神经元节点只响 应特定的输入矢量P，它是借助于调节网络权矢量W近 似于输入矢量P来实现的。 单内星中对权值修正的格劳斯贝格内星学习规则为： (8．1) 由(8．1)式可见，内星神经元联接强度的变化Δw1j是与 输出成正比的。如果内星输出a被某一外部方式而维护 高值时，那么通过不断反复地学习，权值将能够逐渐趋 近于输入矢量pj的值，并趋使Δw1j逐渐减少，直至最终 达到w1j ＝pj，从而使内星权矢量学习了输入矢量P，达 到了用内星来识别一个矢量的目的。另一方面，如果内 星输出保持为低值时，网络权矢量被学习的可能性较小， 甚至不能被学习
现在来考虑当不同的输入矢量p和p2分别出现在同一内星 时的情况 首先,为了训练的需要,必须将每一输入矢量都进行单位 归一化处理 当第一个矢量p输入给内星后,网络经过训练,最终达到 此后,给内星输入另一个输入矢量p2,此时 内星的加权输入和为新矢量p2与已学习过矢量p的点积, 即 N=W·P2=(P)y·P2= PlIP4lcos12=cos61 因为输入矢量的模已被单位化为1,所以内星的加权输 入和等于输入矢量pl和p2之间夹角的余弦
现在来考虑当不同的输入矢量p 1和p 2分别出现在同一内星 时的情况。 首先，为了训练的需要，必须将每一输入矢量都进行单位 归一化处理。 当第一个矢量p 1输入给内星后，网络经过训练，最终达到 W＝(p1 ) T 。此后，给内星输入另一个输入矢量p 2 ，此时 内星的加权输入和为新矢量p 2与已学习过矢量p 1的点积， 即： 因为输入矢量的模已被单位化为1，所以内星的加权输 入和等于输入矢量p 1和p 2之间夹角的余弦
根据不同的情况,内星的加权输入和可分为如下几种情 况: )p2等于p,即有012=0,此时,内星加权输入和为1; 2)p2不等于p,内星加权输入和为0; 3)当p2=p,即012=180°时,内星加权输入和达到最 小值-1 由此可见,对于一个已训练过的内星网络,当输入端再 次出现该学习过的输入矢量时,内星产生1的加权输入 和;而与学习过的矢量不相同的输入出现时,所产生 的加权输入和总是小于1 当多个相似输入矢量输入内星,最终的训练结果是使网 络的权矢量趋向于相似输入矢量的平均值
根据不同的情况，内星的加权输入和可分为如下几种情 况： 1) p 2等于p 1 ，即有θ12 ＝0，此时，内星加权输入和为1； 2) p 2不等于p 1 ，内星加权输入和为0； 3)当p 2＝-p 1 ，即θ12 ＝180°时，内星加权输入和达到最 小值-1。 由此可见，对于一个已训练过的内星网络，当输入端再 次出现该学习过的输入矢量时，内星产生1的加权输入 和；而与学习过的矢量不相同的输入出现时，所产生 的加权输入和总是小于1。 当多个相似输入矢量输入内星，最终的训练结果是使网 络的权矢量趋向于相似输入矢量的平均值
内星网络中的相似度是由偏差b来控制,由设计 者在训练前选定,典型的相似度值为b=-0.95, 这意味着输入矢量与权矢量之间的夹角小于 18°48。若选b=0.9时,则其夹角扩大为 25°48 层具有s个神经元的内星,可以用相似的方式进行训 练,权值修正公式为: △wg=lr·(pj-wy) MATLAB神经网络工具箱中内星学习规则的执行是用函 数 learnis. m来完成上述权矢量的修正过程: dW=learnis(W, P,A,Ir); W=WIdW;
内星网络中的相似度是由偏差b来控制，由设计 者在训练前选定，典型的相似度值为b＝-0.95， 这意味着输入矢量与权矢量之间的夹角小于 18°48’。若选b＝-0.9时，则其夹角扩大为 25°48’。 一层具有s个神经元的内星，可以用相似的方式进行训 练，权值修正公式为： MATLAB神经网络工具箱中内星学习规则的执行是用函 数learnis.m来完成上述权矢量的修正过程： dW＝1earnis(W，P，A，lr)； W=W十dW；
[例81设计内星网络进行以下矢量的分类辨识: P=[0.18260.6325; 0.36510.3162: 0.547703162 0.73030.6325]; T=[101 我们首先对网络进行初始化处理:so81m R,Q=size(P) IS, Q=size(T); W=zeros(s,R) B=-0.95*ones(S,1); max-epocl lr=0.7;
[例8.1] 设计内星网络进行以下矢量的分类辨识： 我们首先对网络进行初始化处理： [R，Q]＝size(P)； [S，Q]＝size(T)； W＝zeros(S，R)； B＝-0.95* ones(S，1)； max-epoch＝10； lr＝0.7； so81.m