第十章SOFM神经网络 口自组织竞争神经网络类型 √自适应共振理论(Adaptive Resonance Theory,ART)网络 √自组织特征映射(self-Organizing Map, SO)网络 对传(Counter Propagation,CP)网络 √ 协同神经网络(Synergetic Neural Network.SNN) 2006-12-27 北京科技大学自动化系付冬梅 2
2006-12-27 北京科技大学 自动化系 付冬梅 2 自组织竞争神经网络类型 ✓ 自适应共振理论(Adaptive Resonance Theory，ART)网络 ✓ 自组织特征映射(self-Organizing Map， SOM)网络 ✓ 对传(Counter Propagation，CP)网络 ✓ 协同神经网络(Synergetic Neural Network．SNN) 第十章 SOFM神经网络
第十章SOFM神经网络 ▣由芬兰学者Teuvo Kohonen于1981年提出。 I'm Teuvo Kohonen 口基本上为输入层和映射层的双层结构，映射层的 神经元互相连接，每个输出神经元连接至所有 输入神经元。 2006-12-27 北京科技大学自动化系付冬梅 3
2006-12-27 北京科技大学 自动化系 付冬梅 3 第十章 SOFM神经网络 由芬兰学者Teuvo Kohonen于1981年提出。 基本上为输入层和映射层的双层结构,映射层的 神经元互相连接，每个输出神经元连接至所有 输入神经元 。 I’m Teuvo Kohonen
第十章SOFM神经网络 神经网络系镜中的一个主要特点是它具言学司功能。通过 学习它可以提取一组数据中的重要特征或找出其同在规律和本 质属性（品分布特征，或按某种特征聚美），不断调整库身的 学司过程，通常把网格的这种功能称为自学司或自组织功能。 这种无放师盟督，能自动的向环境学习，异根锯学习所得到的 重要特征来记忆知识的网格镜称为自组织神经网辂。 自组钨特在映射(SOFM,Self-Organizing Feature Map) 是号兰学者Kohonen提出的一种神疫网辂模型，它模松了省乳 动物大脑皮质神经的侧柳制、自组织等特性，1984年K0 honen 将善兰语音精确地组织为因素图，1986年又将运动指令组积成 适动控制图，由于这些成功应用使SOFM引起世人的高意重视， 形成一美很有特色的无师训练神疫网洛模型。 2006-12-27 北京科技大学自动化系付冬梅
2006-12-27 北京科技大学 自动化系 付冬梅 4 神经网络系统中的一个主要特点是它具有学习功能。通过 学习它可以提取一组数据中的重要特征或找出其内在规律和本 质属性（如分布特征，或按某种特征聚类），不断调整本身的 学习过程，通常把网络的这种功能称为自学习或自组织功能。 这种无教师监督，能自动的向环境学习，并根据学习所得到的 重要特征来记忆知识的网络统称为自组织神经网络。 自组织特征映射（SOFM, Self-Organizing Feature Map） 是芬兰学者Kohonen提出的一种神经网络模型，它模拟了哺乳 动物大脑皮质神经的侧抑制、自组织等特性，1984年Kohonen 将芬兰语音精确地组织为因素图，1986年又将运动指令组织成 运动控制图，由于这些成功应用使SOFM引起世人的高度重视， 形成一类很有特色的无师训练神经网络模型。 第十章 SOFM神经网络
第十章SOFM神经网络 口SOFM网络的思想来源 口SOFM网络的结构模型 ■SOFM神经元的基本功能函数 口SOFM的基本学习算法 口仿真实例 口几点注意事项 2006-12-27 北京科技大学自动化系付冬梅 5
2006-12-27 北京科技大学 自动化系 付冬梅 5 SOFM网络的思想来源 SOFM网络的结构模型 SOFM神经元的基本功能函数 SOFM的基本学习算法 仿真实例 几点注意事项 第十章 SOFM神经网络
第十章SOFM神经网络 10.1SOFM网格的思想来源 自组积特征映射的思想来源有两个方面 之人脑的自组织性 人脑的头量量化 ■人脑的自组积性 尽管目前人们对脑细隐何组钨朱协调处理复来信息的过 程和机理还不十分情楚，但已有队下儿点共积： ()原皓信息此一句话、一个因形是多雅信号，阁形可看成一 个二雅点阵加上三原色额色等分量。脑皮层尽管有许多沟 回，但本质上是一个二雅年面的拓扑变形，脑皮层的每个 细胞可视作二雅平面上一个点。多雅信号传递到脑皮层的 过程可视作高雅空间信号到二雅空问信号的降雅映射，降 雅过程去禅了原：信号的次要特征，保留了其童要特征。 2006-12-27 北京科技大学自动化系付冬梅 6
2006-12-27 北京科技大学 自动化系 付冬梅 6 第十章 SOFM神经网络 10.1 SOFM网络的思想来源 自组织特征映射的思想来源有两个方面 人脑的自组织性 人脑的矢量量化 尽管目前人们对脑细胞如何组织来协调处理复杂信息的过 程和机理还不十分清楚，但已有以下几点共识： ◼人脑的自组织性 (1)原始信息如一句话、一个图形是多维信号，图形可看成一 个二维点阵加上三原色颜色等分量。脑皮层尽管有许多沟 回，但本质上是一个二维平面的拓扑变形，脑皮层的每个 细胞可视作二维平面上一个点。多维信号传递到脑皮层的 过程可视作高维空间信号到二维空问信号的降维映射，降 维过程去掉了原始信号的次要特征,保留了其主要特征
第十章SOFM神经网络 (2)信号空间”中具言相近特征的信号被映射到脑皮层中相近 区域时，大致保留了信号在R”中的橇库分市特征及拓扑结 构特征，即大脑言自动怕美能力，将信号物以类聚。 (3)以响应最猴的一个神疫元为中心，形成一个区域，大数 来说，中心强度大，离中心越运越弱。 (4)神疫细胞之间有侧抑制，存在竟事。这种竞事是通过反情 实规的，对自己拾予最大正友债，对邻居给予一定正反债， 对远处的细隐则给予负反情即抑制。 2006-12-27 北京科技大学自动化系付冬梅
2006-12-27 北京科技大学 自动化系 付冬梅 7 第十章 SOFM神经网络 (2)信号空间 中具有相近特征的信号被映射到脑皮层中相近 区域时，大致保留了信号在 中的概率分布特征及拓扑结 构特征，即大脑有自动归类能力，将信号物以类聚。 (3) 以响应最强的一个神经元为中心，形成一个区域，大致 来说，中心强度大，离中心越远越弱。 (4)神经细胞之间有侧抑制，存在竞争。这种竞争是通过反馈 实现的，对自己给予最大正反馈，对邻居给予一定正反馈， 对远处的细胞则给予负反馈即抑制。 n R n R
第十章SOFM神经网络 图10.1是反馈强度的示意阁，年面上细脆按离中心神经元的 距离分成三个区域：⑦近距离的侧激励区，②褙远一些有一个柳 制作用的环形区域：⑤环外是一个弱激励区，在初步分析时可忽 略。图102用黑点大小表示侧激励区各神经细脆兴奋的强弱。 反馈强度 ① 与)的朗向距离 图10.1侧柳制作用示意圈 图10.2气泡示意图 2006-12-27 北京科技大学自动化系付冬梅 8
2006-12-27 北京科技大学 自动化系 付冬梅 8 图10.1是反馈强度的示意图，平面上细胞按离中心神经元j的 距离分成三个区域：①近距离的侧激励区；②稍远一些有一个抑 制作用的环形区域；③环外是一个弱激励区，在初步分析时可忽 略。图10.2用黑点大小表示侧激励区各神经细胞兴奋的强弱。 第十章 SOFM神经网络 图10.1 侧抑制作用示意圈 图10.2 气泡示意图
第十章SOFM神经网络 ■人脑的头量量化 头量量化是20世纪80年代提出的一种数裾在缩方佐， 广花用于语音及因德数锯的传输，其基本思想是将输入空 间划分成多个不相受的超多面体，每个超多面体可称为一 个区域，每个区域中运一个代表点，称为码本向量，这样 凡同一区域的点怕用码本向量来表示，数据可大大压缩。 何根据信号的特点来划分区域，此何由代表点重构信号 (语青、图象)而不数与原信号失真等问题，本裸堂不计划 祥述，感兴趣的同学可以参考有关文献。 2006-12-27 北京科技大学自动化系付冬梅
2006-12-27 北京科技大学 自动化系 付冬梅 9 第十章 SOFM神经网络 矢量量化是20世纪80年代提出的一种数据压缩方法， 广泛用于语音及图像数据的传输，其基本思想是将输入空 间划分成多个不相交的超多面体，每个超多面体可称为一 个区域，每个区域中选一个代表点，称为码本向量，这样 凡同一区域的点均用码本向量来表示，数据可大大压缩。 如何根据信号的特点来划分区域，如何由代表点重构信号 (语音、图象)而不致与原信号失真等问题，本课堂不计划 详述，感兴趣的同学可以参考有关文献。 ◼人脑的矢量量化
第十章SOFM神经网络 10.2SOFM网辂的猪构模型 最初的自组积特征映射是一个单层网辂（见图10.3）。 各神经元处在一个平面上，一般用矩形或六边形等排列 方式。输入端处于平面之外的下侧，每个输入端口与所 有神经元均有连接，称为前向权，它们可以迭代调整。在 神经元平面上侧，实际上每个神经元还有一个输出端，不 再画出，平面上各单元采用全连接，称为侧向权，以构成 抑制引起竞争。为了图形的清晰，图3未画出侧向权。侧 向柳制机制是通过邻域和学习因子实现的，具体表现见 后面的学习算法。 2006-12-27 北京科技大学自动化系付冬梅 10
2006-12-27 北京科技大学 自动化系 付冬梅 10 第十章 SOFM神经网络 10.2 SOFM网络的结构模型 最初的自组织特征映射是一个单层网络(见图10.3)。 各神经元处在一个平面上，一般用矩形或六边形等排列 方式。输入端处于平面之外的下侧，每个输入端口与所 有神经元均有连接,称为前向权,它们可以迭代调整。在 神经元平面上侧，实际上每个神经元还有一个输出端,不 再画出,平面上各单元采用全连接，称为侧向权，以构成 抑制引起竞争。为了图形的清晰,图3未画出侧向权。侧 向抑制机制是通过邻域和学习因子实现的，具体表现见 后面的学习算法
第十章SOFM神经网络 10.2SOFM网格的结构模型 竞争层 输入层 SOFM神经网络结构 2006-12-27 北京科技大学自动化系付冬梅 11
2006-12-27 北京科技大学 自动化系 付冬梅 11 竞争层 输入层 SOFM神经网络结构 第十章 SOFM神经网络 10.2 SOFM网络的结构模型