考虑一个仅由输入层与输出层组成的网络系统,输入单元数目与每一样品的测量值 数目相等,输出单元数目适当选取。每一个输入单元与所有输出单元联接,第j个输入 元到第i个输出元的权记为ν,同层单元间无横向联接。无妨假设所有输入数值均已 规化到[-1,1之间,又因为是有竞争的学习,输出单元只取0或1两个值,且对应每一 输入,只有一个输出元取1。 取1的输出元记为r,称之为优胜者.对于任何一组输入s,规定优胜者是有最大 净输入的输出元,即对输入Ⅰ=(l12…,J)而言, ∑vg 取最大值的单元,其中W是输出元i所有权系数组成的向量,也就是说 W∴I≥W·I,(vi) 如果权向量是按照∑v2=1的方式标准化的,(16)式等价于 形·-W-|,(vi 即优胜者是其标准化权向量最靠近输入向量的输出元。令O.=1,其余的输出 O=0。这样的输出规定了输入向量的类别,但为了使这种分类方式有意义,问题化 为如何将学习样本中的所有样品,自然地划分为聚类,并对每一聚类找出适当的权向量。 为此,采用如下的算法:随机取定一组不大的初始权向量,注意不使它们有任何对称性。 然后,将已知样品按照随机顺序输入网络。对输入样品s,按上文所述确定优胜者i 对所有与有关的权作如下修正 △,;=()-,) (18) 所有其它输出单元的权保持不变。注意到O,=1,O1=0(≠),所有权的修正公式 可统一表示为 O.( 这一形式也可视为Hebb律的一种表现。(18)式的几何意义是清楚的,每次修正将优 胜者的权向量向输入向量移近一小段距离,这使得同一样品再次输入时,有更大的 获胜可能。可以合理地预期,反复重复以上步骤,使得每个输出单元对应了输入向量的 一个聚类,相应的权向量落在了该聚类样品的重心附近。当然,这只是一个极不严密的 说明。 特别应当指出,上述算法,对于事先按照∑l=1标准化了的输入数据更为适用, 整个过程不难由计算机模拟实现。 为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。 首先,如果初始权选择不当,那么可能出现这样的输出单元,它的权远离任何输入 向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之 为死单元。为避免出现死单元,可以有多种方法。一种办法是初始权从学习样本中抽样 选取,这就保证了它们都落在正确范围内:另一种办法是修正上述的学习算法,使得每 步不仅调整优胜者的权,同时也以一个小得多的刀值,修正所有其它的权。这样,对 此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的季 于总是失败的单元,其权逐渐地朝着平均输入方向运动,最终也会在某一次竞争中取胜。-237- 考虑一个仅由输入层与输出层组成的网络系统，输入单元数目与每一样品的测量值 数目相等，输出单元数目适当选取。每一个输入单元与所有输出单元联接，第 j 个输入 元到第i 个输出元的权记为 wij ，同层单元间无横向联接。无妨假设所有输入数值均已 规化到[−1,1]之间，又因为是有竞争的学习，输出单元只取 0 或 1 两个值，且对应每一 组输入，只有一个输出元取 1。 取 1 的输出元记为 * i ，称之为优胜者．对于任何一组输入 s ，规定优胜者是有最大 净输入的输出元，即对输入 ( , , ) 1 n I = I L I 而言， = ∑ ≡ ⋅ j i ij j i h w I W I (15) 取最大值的单元，其中Wi 是输出元i 所有权系数组成的向量，也就是说 W I W I i i * ⋅ ≥ ⋅ ， (∀i) （16） 如果权向量是按照 ∑ = j wij 1 2 的方式标准化的，（16）式等价于 | | | | W * I W I i i − ≤ − ， (∀i) （17） 即优胜者是其标准化权向量最靠近输入向量的输出元。令 * = 1 i O ，其余的输出 Oi = 0 。这样的输出规定了输入向量的类别，但为了使这种分类方式有意义，问题化 为如何将学习样本中的所有样品，自然地划分为聚类，并对每一聚类找出适当的权向量。 为此，采用如下的算法：随机取定一组不大的初始权向量，注意不使它们有任何对称性。 然后，将已知样品按照随机顺序输入网络。对输入样品 s ，按上文所述确定优胜者 * i ， 对所有与 * i 有关的权作如下修正 * ( * ) i j s j i j Δw =η I − w （18） 所有其它输出单元的权保持不变。注意到 * = 1 i O ， 0( ) * O i i i = ≠ ，所有权的修正公式 可统一表示为 * ( * ) i j s i j i j Δw =ηO I − w 这一形式也可视为 Hebb 律的一种表现。（18）式的几何意义是清楚的，每次修正将优 胜者的权向量向输入向量移近一小段距离，这使得同一样品再次输入时， * i 有更大的 获胜可能。可以合理地预期，反复重复以上步骤，使得每个输出单元对应了输入向量的 一个聚类，相应的权向量落在了该聚类样品的重心附近。当然，这只是一个极不严密的 说明。 特别应当指出，上述算法，对于事先按照 ∑ =1 j I 标准化了的输入数据更为适用， 整个过程不难由计算机模拟实现。 为了更有效地使用如上算法，下面对实际计算时可能产生的问题，作一些简要说明。 首先，如果初始权选择不当，那么可能出现这样的输出单元，它的权远离任何输入 向量，因此，永远不会成为优胜者，相应的权也就永远不会得到修正，这样的单元称之 为死单元。为避免出现死单元，可以有多种方法。一种办法是初始权从学习样本中抽样 选取，这就保证了它们都落在正确范围内；另一种办法是修正上述的学习算法，使得每 一步不仅调整优胜者的权，同时也以一个小得多的η 值，修正所有其它的权。这样，对 于总是失败的单元，其权逐渐地朝着平均输入方向运动，最终也会在某一次竞争中取胜。 此外，还存在有多种处理死单元的方法，感兴趣的读者可从文献中找到更多的方法