人工神经网络及其应用 第6讲自组织网络 何建华 电信系,华中科技大 2003年3月11日
人工神经网络及其应用 第6讲 自组织网络 何建华 电信系，华中科技大学 2003年3月11日
Q内容安排 自组织神经网络 二、自组织竞争网络 科荷伦网络 四、自适应共振网络 五、内容小结 六、考试事宜 2021/2/20
2021/2/20 2 一、自组织神经网络 二、自组织竞争网络 三、科荷伦网络 四、自适应共振网络 五、内容小结 六、考试事宜 内容安排
Q一、自组织神经网络 米 1.1自组织网络特点 1.2网络类型 1.3网络学习规则 2021/2/20
2021/2/20 3 1.1 自组织网络特点 1.2 网络类型 1.3 网络学习规则 一、自组织神经网络
Q1.1自组织网络特点 米 特点 自组织神经网络可以自动向环境学习,不需要教师 指导;而前面所讲到的前向网络、反馈网络均需要 教师指导学习 与BP网络相比,这种自组织自适应的学习能力进一 步拓宽了人工神经网络在模式识别、分类方面的应 用 ◆思想基础 生物的神经网络中,如人的视网膜中,存在着一种 侧抑制”现象,即一个神经细胞兴奋后,通过它 的分支会对周围其他神经细胞产生抑制 借鉴上述思想,自组织网络能够对输入模式进行自 2021/2/20 组织训练和判断,并将输入模式分为不同的类型
2021/2/20 4 1.1 自组织网络特点 特点 – 自组织神经网络可以自动向环境学习，不需要教师 指导；而前面所讲到的前向网络、反馈网络均需要 教师指导学习 – 与BP网络相比，这种自组织自适应的学习能力进一 步拓宽了人工神经网络在模式识别、分类方面的应 用 思想基础 – 生物的神经网络中，如人的视网膜中，存在着一种 “侧抑制”现象，即一个神经细胞兴奋后，通过它 的分支会对周围其他神经细胞产生抑制 – 借鉴上述思想，自组织网络能够对输入模式进行自 组织训练和判断，并将输入模式分为不同的类型
12网络类型 米 ◆需要训练 自组织竞争网络 适用与具有典型聚类特性的大量数据的辨识 Kohonen网络 ·训练学习后使网络权值分布与输入样本概率密度分布相似 ·可以作为样本特征检测仪,在样本排序、样本分类及样本 检测方面有广泛应用 对传网络( Counter Propagation Network) 在功能上用作统计最优化和概率密度函数分析 ·可用于图像处理和统计分析 神经认知机等 5◆不需要训练 2021/2/20 自适应共振理论(ART) 分类的类型数目可自适应增加
2021/2/20 5 1.2 网络类型 需要训练 – 自组织竞争网络 • 适用与具有典型聚类特性的大量数据的辨识 – Kohunen网络 • 训练学习后使网络权值分布与输入样本概率密度分布相似 • 可以作为样本特征检测仪，在样本排序、样本分类及样本 检测方面有广泛应用 – 对传网络（Counter Propagation Network） • 在功能上用作统计最优化和概率密度函数分析 • 可用于图像处理和统计分析 – 神经认知机等 不需要训练 – 自适应共振理论（ART） • 分类的类型数目可自适应增加
1.3网络学习规则 米 ◆格劳斯贝格(S. Grossberg提出了两种类型的 神经元模型:内星与外星,用以来解释人类及 动物的学习现象 内星可以被训练来识别矢量 外星可以被训练来产生矢量 基本学习规则 内星学习规则 外星学习规则 科荷伦学习规则 2021/2/20
2021/2/20 6 1.3 网络学习规则 格劳斯贝格(S．Grossberg)提出了两种类型的 神经元模型：内星与外星，用以来解释人类及 动物的学习现象 – 内星可以被训练来识别矢量 – 外星可以被训练来产生矢量 基本学习规则 – 内星学习规则 – 外星学习规则 – 科荷伦学习规则
1.31内星与外星 米 P2 P3 PI P pr o 内星通过联接权矢量W接受一组输入信号P P 2021/2/20 外星通过联接权矢量向外输出一组信号A
2021/2/20 7 1.3.1 内星与外星 外星通过联接权矢量向外输出一组信号A 内星通过联接权矢量W接受一组输入信号P
1.32内星学习规则 米 ◆可以通过内星及其学习规则可训练某一神经元 节点只响应特定的输入矢量P,它借助于调节 网络权矢量W近似于输入矢量P来实现的 ◆单内星中对权值修正的格劳斯贝格内星学习规则为 △w1;=l·(pj-wlj)·a,j=l,2,…,r ◆内星神经元联接强度的变化△w1与输出成正比的。 如果内星输出a被某一外部方式而维护高值时,通过不断反复 地学习,趋使ΔW1逐渐减少,直至最终达到W=P,从而使 内星权矢量学习了输入矢量P,达到了用内星来识别一个矢量 的目的 2021/2/20 另一方面,如果内星输岀保持为低值时,网络权矢量被学习 的可能性较小,甚至不能被学习
2021/2/20 8 1.3.2 内星学习规则 可以通过内星及其学习规则可训练某一神经元 节点只响应特定的输入矢量P，它借助于调节 网络权矢量W近似于输入矢量P来实现的 单内星中对权值修正的格劳斯贝格内星学习规则为 内星神经元联接强度的变化Δw1j与输出成正比的。 – 如果内星输出a被某一外部方式而维护高值时，通过不断反复 地学习，趋使Δw1j逐渐减少，直至最终达到w1j＝pj，从而使 内星权矢量学习了输入矢量P，达到了用内星来识别一个矢量 的目的 – 另一方面，如果内星输出保持为低值时，网络权矢量被学习 的可能性较小，甚至不能被学习
1.33外星学习规则 米 ◆外星网络的激活函数是线性函数。它被用来学习回忆 个矢量,其网络输入P也可以是另一个神经元模型的 输出 ◆外星被训练来在一层s个线性神经元的输出端产生一个 特别的矢量A ◆对于一个外星,其学习规则为 △wa1=lr:(ai-wi)·p ◆与内星不同,外星联接强度的变化△w是与输入矢量P成正比的 当输入矢量被保持高值,比如接近1时,每个权值w将趋于输出a值, 若p;=1,则外星使权值产生输出矢量 当输入矢量p为0时,网络权值得不到任何学习与修正 2021/2/20
2021/2/20 9 1.3.3 外星学习规则 外星网络的激活函数是线性函数。它被用来学习回忆 一个矢量，其网络输入P也可以是另一个神经元模型的 输出 外星被训练来在一层s个线性神经元的输出端产生一个 特别的矢量A 对于一个外星，其学习规则为 与内星不同，外星联接强度的变化Δw是与输入矢量P成正比的 – 当输入矢量被保持高值，比如接近1时，每个权值wij将趋于输出ai值， 若pj＝1，则外星使权值产生输出矢量 – 当输入矢量pj为0时，网络权值得不到任何学习与修正
1.33外星学习规则 米 ◆当有个外星相并联,每个外星与s个线 性神经元相连组成一层外星时,其权值 修正方式为 △W=l·(A-W)·P W=s×权值列矢量 Ir=学习速率 A=S×q外星输出 P=r×q外星输入 2021/2/20
2021/2/20 10 1.3.3 外星学习规则 当有r个外星相并联，每个外星与s个线 性神经元相连组成一层外星时，其权值 修正方式为 – W＝s×r权值列矢量 – lr＝学习速率 – A＝s×q外星输出 – P＝r×q外星输入