第2期 张瑞成，等：基于小世界网络的Hopfield联想记忆模型 ·215. 引入到联想记忆网络中确实可以解决复杂度过高的 很小范围内，增加的连接边数也很少，对网络整体复 问题，但同时“断键重连”也会造成重要信息的丢 杂度影响不大。而合理地添加捷径，使信息更加完 失，使网络性能变差。 整地进行传递，模型的性能更加完善。在NW小世 针对WS小世界网络的这一问题，Newman和 界网络模型中，用少量连接代价换取了性能上的显 Wats提出了Newman-Wats小世界网络模型)，用 著提高。 “随机加边”代替了“断键重连”，从而有效地保护了 2 基于NW型小世界网络Hopfield 连接权上的信息，同时还可以避免产生孤立节 联想记忆模型 点[)。鉴于以上分析，提出了一种基于NW小世界 2.1模型的生成 网络的联想记忆模型(NWAM),借鉴现有小世界联 联想记忆模型具有良好的联想记忆功能，但是 想记忆模型的思想给出该模型的生成方法和相应的 网络结构复杂，且复杂度较高。将NW小世界网络 理论算法，并设计实验对比NWAM与WSAM的联 引入联想记忆模型中可以在保证网络性能的前提 想和记忆性能以及抗干扰能力。 下，降低网络的复杂度，化简网络结构，而且与WS 小世界模型相比，性能更完善、更稳定。 1 NW小世界网络模型 基于NW小世界网络的联想记忆模型的构造流 程如下： Newman和Watts在WS小世界的基础上提出 1)按照第1节中介绍的方法从一个平均度为K NW小世界模型，用“随机加边”来代替WS模型中 的规则网络开始，按照概率？随机地选择新的节点 的“断键重连”，从而保证了网络的整体连通性。其 进行连接，构建出一个NW小世界网络模型。 实质是在规则网络的基础上以概率p随机化加边， 2)定义连接矩阵C表示NW小世界网络的连 从而形成稀疏的长程连接和稠密的短程连接。 接情况，若神经元i,j存在连接，则cm=1;若不存在 NW小世界模型的构造算法[如下： 连接，则c=0。 1)从一个包含N个节点的规则网络出发，网络 3)根据传统Hopfield网络构建方法构建一个与 围成环形且每个节点只与它相邻的K个节点相连； NW网络神经元个数相同的全互联结构联想记忆网 2)从某一节点出发，按照概率p随机地选择新 络，并使用传统联想记忆网络学习规则得到其连接 的节点进行连接，节点自身和已连接节点除外： 权值矩阵W={w:}。 3)重复2)，直到遍历所有节点，最终形成NW 4)将W与C做点乘得到W·,通过NW网络的 小世界模型。 连接矩阵C对Hopfield网络连接权值矩阵W进行 NW模型是在规则网络中增加了“长程”连接， 优化，W·为基于NW小世界网络的联想记忆模型 通过变化概率P,可以得到从规则网络(p=0)到随 的连接权矩阵。 机网络(p=1)的一个变化过程，如图1。 5)根据W·为连接权值矩阵，建立基于NW小 世界网络的联想记忆模型。 该模型保留了联想记忆的功能，又具有小世界 特性，在保证网络性能的前提下，运用小世界思想将 全连接结构很大程度上地进行了稀疏化，从而大大 地减小了模型的复杂度，由于神经元之间的平均连 (a)p=0 (b)p=1 (c)0<p1 接规模被有效降低，更有利于网络的硬件实现，在运 图1NW网络体系结构演化 算速度上也更快。 Fig.1 The diagram of regular networks,NW small 2.2模型的算法 world network and random network 模型的工作过程与传统联想记忆相似，也分为记 在模型中每个节点将其输出反馈给它的K=cN 忆阶段和联想阶段。记忆阶段就是根据网络结构，设 个最近的相邻节点，c=K/N表示网络的全局连接 计或学习网络的连接权值，使模型具有若干个稳定状 度。与WS模型相比，NW小世界模型的构造更加 态：联想阶段就是根据给定输入模式，通过动力学演化 方便，而且不会破坏原网络的连接，从而保证了网络 到稳定状态，回想起已存储模式的过程0。 的连通性。虽然NW模型中的连接边有少量的增 2.2.1记忆阶段 加，但是由于小世界网络的特殊性质，概率p保持在 记忆阶段就是一个对权值学习和确定的过程，引入到联想记忆网络中确实可以解决复杂度过高的 问题，但同时“断键重连” 也会造成重要信息的丢 失，使网络性能变差。 针对 ＷＳ 小世界网络的这一问题，Ｎｅｗｍａｎ 和 Ｗａｔｔｓ 提出了 Ｎｅｗｍａｎ⁃Ｗａｔｔｓ 小世界网络模型［７］ ，用 “随机加边”代替了“断键重连”，从而有效地保护了 连接权 上 的 信 息， 同 时 还 可 以 避 免 产 生 孤 立 节 点［７］ 。 鉴于以上分析，提出了一种基于 ＮＷ 小世界 网络的联想记忆模型（ＮＷＡＭ），借鉴现有小世界联 想记忆模型的思想给出该模型的生成方法和相应的 理论算法，并设计实验对比 ＮＷＡＭ 与 ＷＳＡＭ 的联 想和记忆性能以及抗干扰能力。 １ ＮＷ 小世界网络模型 Ｎｅｗｍａｎ 和 Ｗａｔｔｓ 在 ＷＳ 小世界的基础上提出 ＮＷ 小世界模型，用“随机加边”来代替 ＷＳ 模型中 的“断键重连”，从而保证了网络的整体连通性。 其 实质是在规则网络的基础上以概率 ｐ 随机化加边， 从而形成稀疏的长程连接和稠密的短程连接。 ＮＷ 小世界模型的构造算法［８⁃９］如下： １）从一个包含 Ｎ 个节点的规则网络出发，网络 围成环形且每个节点只与它相邻的 Ｋ 个节点相连； ２）从某一节点出发，按照概率 ｐ 随机地选择新 的节点进行连接，节点自身和已连接节点除外； ３）重复 ２），直到遍历所有节点，最终形成 ＮＷ 小世界模型。 ＮＷ 模型是在规则网络中增加了“长程”连接， 通过变化概率 ｐ，可以得到从规则网络（ ｐ ＝ ０）到随 机网络（ｐ ＝ １）的一个变化过程，如图 １。 图 １ ＮＷ 网络体系结构演化 Ｆｉｇ．１ Ｔｈｅ ｄｉａｇｒａｍ ｏｆ ｒｅｇｕｌａｒ ｎｅｔｗｏｒｋｓ， ＮＷ ｓｍａｌｌ ｗｏｒｌｄ ｎｅｔｗｏｒｋ ａｎｄ ｒａｎｄｏｍ ｎｅｔｗｏｒｋ 在模型中每个节点将其输出反馈给它的 Ｋ ＝ ｃＮ 个最近的相邻节点，ｃ ＝ Ｋ ／ Ｎ 表示网络的全局连接 度。 与 ＷＳ 模型相比，ＮＷ 小世界模型的构造更加 方便，而且不会破坏原网络的连接，从而保证了网络 的连通性。 虽然 ＮＷ 模型中的连接边有少量的增 加，但是由于小世界网络的特殊性质，概率 ｐ 保持在 很小范围内，增加的连接边数也很少，对网络整体复 杂度影响不大。 而合理地添加捷径，使信息更加完 整地进行传递，模型的性能更加完善。 在 ＮＷ 小世 界网络模型中，用少量连接代价换取了性能上的显 著提高。 ２ 基于 ＮＷ 型小世界网络 Ｈｏｐｆｉｅｌｄ 联想记忆模型 ２．１ 模型的生成 联想记忆模型具有良好的联想记忆功能，但是 网络结构复杂，且复杂度较高。 将 ＮＷ 小世界网络 引入联想记忆模型中可以在保证网络性能的前提 下，降低网络的复杂度，化简网络结构，而且与 ＷＳ 小世界模型相比，性能更完善、更稳定。 基于 ＮＷ 小世界网络的联想记忆模型的构造流 程如下： １）按照第 １ 节中介绍的方法从一个平均度为 Ｋ 的规则网络开始，按照概率 ｐ 随机地选择新的节点 进行连接，构建出一个 ＮＷ 小世界网络模型。 ２）定义连接矩阵 Ｃ 表示 ＮＷ 小世界网络的连 接情况，若神经元 ｉ， ｊ 存在连接，则 ｃｉｊ ＝ １；若不存在 连接，则 ｃｉｊ ＝ ０。 ３）根据传统 Ｈｏｐｆｉｅｌｄ 网络构建方法构建一个与 ＮＷ 网络神经元个数相同的全互联结构联想记忆网 络，并使用传统联想记忆网络学习规则得到其连接 权值矩阵 Ｗ＝ ｗｉｊ { } 。 ４）将 Ｗ 与 Ｃ 做点乘得到 Ｗ ∗ ，通过 ＮＷ 网络的 连接矩阵 Ｃ 对 Ｈｏｐｆｉｅｌｄ 网络连接权值矩阵 Ｗ 进行 优化，Ｗ ∗ 为基于 ＮＷ 小世界网络的联想记忆模型 的连接权矩阵。 ５）根据 Ｗ ∗为连接权值矩阵，建立基于 ＮＷ 小 世界网络的联想记忆模型。 该模型保留了联想记忆的功能，又具有小世界 特性，在保证网络性能的前提下，运用小世界思想将 全连接结构很大程度上地进行了稀疏化，从而大大 地减小了模型的复杂度，由于神经元之间的平均连 接规模被有效降低，更有利于网络的硬件实现，在运 算速度上也更快。 ２．２ 模型的算法 模型的工作过程与传统联想记忆相似，也分为记 忆阶段和联想阶段。 记忆阶段就是根据网络结构，设 计或学习网络的连接权值，使模型具有若干个稳定状 态；联想阶段就是根据给定输入模式，通过动力学演化 到稳定状态，回想起已存储模式的过程［１０］ 。 ２．２．１ 记忆阶段 记忆阶段就是一个对权值学习和确定的过程， 第 ２ 期 张瑞成，等：基于小世界网络的 Ｈｏｐｆｉｅｌｄ 联想记忆模型 ·２１５·