机器学习：基于小世界网络的Hopfield联想记忆模型

第9卷第2期 智能系统学报 Vol.9 No.2 2014年4月 CAAI Transactions on Intelligent Systems Apr.2014 D0I:10.3969/j.issn.1673-4785.201211050 网络出版地址：http:/www.cnki.net/kcms/detail/23.1538.TP.20131012.1813.001.html 基于小世界网络的Hopfield联想记忆模型 张瑞成，胡绪磊 (河北联合大学电气工程学院，河北唐山063009) 摘要：针对基于Wats-Strogatz小世界网络的联想记忆(WSAM)模型中存在的信息丢失和产生孤立节点的问题，引 入Newman-Watts小世界网络，提出了基于NW小世界网络的联想记忆(NWAM)模型，并给出生成方法以及相应的理 论算法。与WSAM相比，该模型节点连接数有少量增加，而网络性能却得到极大的改善。对比实验结果表明，在重 连概率和全局连接度相同的情况下，NWAM对加噪模式回想的能力要高于WSAM:在噪音干扰不断增加的情况下， NWAM抗噪联想性能始终优于WSAM。最终，利用NWAM模型对加入噪音的交通图像进行识别时，获得了比 WSAM更好的识别效果，表现出良好的容错性和对含噪信息的鲁棒处理能力。 关键词：NW小世界网络：联想记忆：神经网络：图像识别：容错性 中图分类号：TP183文献标志码：A文章编号：1673-4785(2014)02-0214-05 中文引用格式：张瑞成，胡绪磊.基于小世界网络的Hopfield联想记忆模型[J].智能系统学报，2014,9(2)：214-218. 英文引用格式：ZHANG Ruicheng,HU Xulei..Research on the Hopfield associative memory model based on the small--world network [J].CAAI Transactions on Intelligent Systems,2014,9(2):214-218. Research on the hopfield associative memory model based on the small-world network ZHANG Ruicheng,HU Xulei (College of Electrical Engineering,Hebei United University,Tangshan 063009,China) Abstract:In view of the various problems associated with information loss and isolated points in the WSAM (associ- ative memory network based on the Watts-Strogatz small-world neural network),the Newman-Watts small-world network has been introduced,and a model of the NW AM associative memory based on the Newman-Watts small- world neural network)is presented in this paper.This paper analyzes the NWAM and details the generation meth- ods and algorithm.The network performance has been greatly improved by increasing the number of node connec- tions.The experimental results show that under the same probability and connection degree,the NWAM delivers better performance than the WSAM.With the increase of noise interference,the noise immunity performance of the NWAM is always better than the WSAM.Finally,The NWAM is used in the traffic image recognition and the re- sults show that it is more robust and has high fault tolerance ability when compared with the WSAM. Keywords:NW small-world networks;associative memory;neural network;image recognition;fault tolerance abil- ity 联想记忆神经网络是人工神经网络的一个重要网络模型为联想记忆网络的研究提供了一种新的途 组成部分，但网络复杂度过高，硬件难以实现等问题径2。J.W.Bohland等率先将Wats-Strogatz小世界 严重地制约着联想记忆网络的研究和发展山。近 网络引入传统全互联Hopfield模型中，提出了一种 年来，在生物学背景下提出的Wats-Strogatz小世界 基于WS小世界网络的联想记忆模型(WSAM)[)。 随后，在此基础上进行了相关研究46]，然而从研究 收稿日期：2012-11-29.网络出版日期：2013-10-12. 基金项目：国家自然科学基金资助项目(61040012). 结果分析发现，WS小世界网络在构造过程中进行 通信作者：张瑞成.E-mail:rchzhang@(126.com. “断键重连”，可以降低网络的连接数量，因此将其

第 ９ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．２ ２０１４ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１２１１０５０ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１３１０１２．１８１３．００１．ｈｔｍｌ 基于小世界网络的 Ｈｏｐｆｉｅｌｄ 联想记忆模型 张瑞成，胡绪磊 （河北联合大学 电气工程学院，河北 唐山 ０６３００９） 摘 要：针对基于 Ｗａｔｔｓ⁃Ｓｔｒｏｇａｔｚ 小世界网络的联想记忆（ＷＳＡＭ）模型中存在的信息丢失和产生孤立节点的问题，引 入 Ｎｅｗｍａｎ⁃Ｗａｔｔｓ 小世界网络，提出了基于 ＮＷ 小世界网络的联想记忆（ＮＷＡＭ）模型，并给出生成方法以及相应的理 论算法。 与 ＷＳＡＭ 相比，该模型节点连接数有少量增加，而网络性能却得到极大的改善。 对比实验结果表明，在重 连概率和全局连接度相同的情况下，ＮＷＡＭ 对加噪模式回想的能力要高于 ＷＳＡＭ；在噪音干扰不断增加的情况下， ＮＷＡＭ 抗噪联想性能始终优于 ＷＳＡＭ。 最终，利用 ＮＷＡＭ 模型对加入噪音的交通图像进行识别时，获得了比 ＷＳＡＭ 更好的识别效果，表现出良好的容错性和对含噪信息的鲁棒处理能力。 关键词：ＮＷ 小世界网络；联想记忆；神经网络；图像识别；容错性 中图分类号： ＴＰ１８３ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０２⁃０２１４⁃０５ 中文引用格式：张瑞成，胡绪磊． 基于小世界网络的 Ｈｏｐｆｉｅｌｄ 联想记忆模型［Ｊ］． 智能系统学报，２０１４， ９（２）： ２１４⁃２１８． 英文引用格式：ＺＨＡＮＧ Ｒｕｉｃｈｅｎｇ，ＨＵ Ｘｕｌｅｉ． Ｒｅｓｅａｒｃｈ ｏｎ ｔｈｅ Ｈｏｐｆｉｅｌｄ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｔｗｏｒｋ ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（２）： ２１４⁃２１８． Ｒｅｓｅａｒｃｈ ｏｎ ｔｈｅ ｈｏｐｆｉｅｌｄ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｔｈｅ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｔｗｏｒｋ ＺＨＡＮＧ Ｒｕｉｃｈｅｎｇ， ＨＵ Ｘｕｌｅｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｈｅｂｅｉ Ｕｎｉｔｅｄ Ｕｎｉｖｅｒｓｉｔｙ， Ｔａｎｇｓｈａｎ ０６３００９， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｖｉｅｗ ｏｆ ｔｈｅ ｖａｒｉｏｕｓ ｐｒｏｂｌｅｍｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｉｎｆｏｒｍａｔｉｏｎ ｌｏｓｓ ａｎｄ ｉｓｏｌａｔｅｄ ｐｏｉｎｔｓ ｉｎ ｔｈｅ ＷＳＡＭ （ａｓｓｏｃｉ⁃ ａｔｉｖｅ ｍｅｍｏｒｙ ｎｅｔｗｏｒｋ ｂａｓｅｄ ｏｎ ｔｈｅ Ｗａｔｔｓ⁃Ｓｔｒｏｇａｔｚ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）， ｔｈｅ Ｎｅｗｍａｎ⁃Ｗａｔｔｓ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｔｗｏｒｋ ｈａｓ ｂｅｅｎ ｉｎｔｒｏｄｕｃｅｄ， ａｎｄ ａ ｍｏｄｅｌ ｏｆ ｔｈｅ ＮＷ ＡＭ （ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｂａｓｅｄ ｏｎ ｔｈｅ Ｎｅｗｍａｎ⁃Ｗａｔｔｓ ｓｍａｌｌ⁃ ｗｏｒｌｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ） ｉｓ ｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｔｈｉｓ ｐａｐｅｒ ａｎａｌｙｚｅｓ ｔｈｅ ＮＷＡＭ ａｎｄ ｄｅｔａｉｌｓ ｔｈｅ ｇｅｎｅｒａｔｉｏｎ ｍｅｔｈ⁃ ｏｄｓ ａｎｄ ａｌｇｏｒｉｔｈｍ． Ｔｈｅ ｎｅｔｗｏｒｋ ｐｅｒｆｏｒｍａｎｃｅ ｈａｓ ｂｅｅｎ ｇｒｅａｔｌｙ ｉｍｐｒｏｖｅｄ ｂｙ ｉｎｃｒｅａｓｉｎｇ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｎｏｄｅ ｃｏｎｎｅｃ⁃ ｔｉｏｎｓ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｕｎｄｅｒ ｔｈｅ ｓａｍｅ ｐｒｏｂａｂｉｌｉｔｙ ａｎｄ ｃｏｎｎｅｃｔｉｏｎ ｄｅｇｒｅｅ， ｔｈｅ ＮＷＡＭ ｄｅｌｉｖｅｒｓ ｂｅｔｔｅｒ ｐｅｒｆｏｒｍａｎｃｅ ｔｈａｎ ｔｈｅ ＷＳＡＭ． Ｗｉｔｈ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ｎｏｉｓｅ ｉｎｔｅｒｆｅｒｅｎｃｅ， ｔｈｅ ｎｏｉｓｅ ｉｍｍｕｎｉｔｙ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ＮＷＡＭ ｉｓ ａｌｗａｙｓ ｂｅｔｔｅｒ ｔｈａｎ ｔｈｅ ＷＳＡＭ． Ｆｉｎａｌｌｙ， Ｔｈｅ ＮＷＡＭ ｉｓ ｕｓｅｄ ｉｎ ｔｈｅ ｔｒａｆｆｉｃ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｔｈｅ ｒｅ⁃ ｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｉｔ ｉｓ ｍｏｒｅ ｒｏｂｕｓｔ ａｎｄ ｈａｓ ｈｉｇｈ ｆａｕｌｔ ｔｏｌｅｒａｎｃｅ ａｂｉｌｉｔｙ ｗｈｅｎ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ＷＳＡＭ． Ｋｅｙｗｏｒｄｓ：ＮＷ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｔｗｏｒｋｓ； ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ； ｎｅｕｒａｌ ｎｅｔｗｏｒｋ； ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ； ｆａｕｌｔ ｔｏｌｅｒａｎｃｅ ａｂｉｌ⁃ ｉｔｙ 收稿日期：２０１２⁃１１⁃２９． 网络出版日期：２０１３⁃１０⁃１２． 基金项目：国家自然科学基金资助项目（６１０４００１２）． 通信作者：张瑞成． Ｅ⁃ｍａｉｌ：ｒｃｈｚｈａｎｇ＠ １２６．ｃｏｍ． 联想记忆神经网络是人工神经网络的一个重要 组成部分，但网络复杂度过高，硬件难以实现等问题 严重地制约着联想记忆网络的研究和发展［１］ 。 近 年来，在生物学背景下提出的 Ｗａｔｔｓ⁃Ｓｔｒｏｇａｔｚ 小世界 网络模型为联想记忆网络的研究提供了一种新的途 径［２］ 。 Ｊ．Ｗ．Ｂｏｈｌａｎｄ 等率先将 Ｗａｔｔｓ⁃Ｓｔｒｏｇａｔｚ 小世界 网络引入传统全互联 Ｈｏｐｆｉｅｌｄ 模型中，提出了一种 基于 ＷＳ 小世界网络的联想记忆模型（ＷＳＡＭ） ［３］ 。 随后，在此基础上进行了相关研究［４⁃ ６ ］ ，然而从研究 结果分析发现，ＷＳ 小世界网络在构造过程中进行 “断键重连”，可以降低网络的连接数量，因此将其

第2期 张瑞成，等：基于小世界网络的Hopfield联想记忆模型 ·215. 引入到联想记忆网络中确实可以解决复杂度过高的 很小范围内，增加的连接边数也很少，对网络整体复 问题，但同时“断键重连”也会造成重要信息的丢 杂度影响不大。而合理地添加捷径，使信息更加完 失，使网络性能变差。 整地进行传递，模型的性能更加完善。在NW小世 针对WS小世界网络的这一问题，Newman和 界网络模型中，用少量连接代价换取了性能上的显 Wats提出了Newman-Wats小世界网络模型)，用 著提高。 “随机加边”代替了“断键重连”，从而有效地保护了 2 基于NW型小世界网络Hopfield 连接权上的信息，同时还可以避免产生孤立节 联想记忆模型 点[)。鉴于以上分析，提出了一种基于NW小世界 2.1模型的生成 网络的联想记忆模型(NWAM),借鉴现有小世界联 联想记忆模型具有良好的联想记忆功能，但是 想记忆模型的思想给出该模型的生成方法和相应的 网络结构复杂，且复杂度较高。将NW小世界网络 理论算法，并设计实验对比NWAM与WSAM的联 引入联想记忆模型中可以在保证网络性能的前提 想和记忆性能以及抗干扰能力。 下，降低网络的复杂度，化简网络结构，而且与WS 小世界模型相比，性能更完善、更稳定。 1 NW小世界网络模型 基于NW小世界网络的联想记忆模型的构造流 程如下： Newman和Watts在WS小世界的基础上提出 1)按照第1节中介绍的方法从一个平均度为K NW小世界模型，用“随机加边”来代替WS模型中 的规则网络开始，按照概率？随机地选择新的节点 的“断键重连”，从而保证了网络的整体连通性。其 进行连接，构建出一个NW小世界网络模型。 实质是在规则网络的基础上以概率p随机化加边， 2)定义连接矩阵C表示NW小世界网络的连 从而形成稀疏的长程连接和稠密的短程连接。 接情况，若神经元i,j存在连接，则cm=1;若不存在 NW小世界模型的构造算法[如下： 连接，则c=0。 1)从一个包含N个节点的规则网络出发，网络 3)根据传统Hopfield网络构建方法构建一个与 围成环形且每个节点只与它相邻的K个节点相连； NW网络神经元个数相同的全互联结构联想记忆网 2)从某一节点出发，按照概率p随机地选择新 络，并使用传统联想记忆网络学习规则得到其连接 的节点进行连接，节点自身和已连接节点除外： 权值矩阵W={w:}。 3)重复2)，直到遍历所有节点，最终形成NW 4)将W与C做点乘得到W·,通过NW网络的 小世界模型。 连接矩阵C对Hopfield网络连接权值矩阵W进行 NW模型是在规则网络中增加了“长程”连接， 优化，W·为基于NW小世界网络的联想记忆模型 通过变化概率P,可以得到从规则网络(p=0)到随 的连接权矩阵。 机网络(p=1)的一个变化过程，如图1。 5)根据W·为连接权值矩阵，建立基于NW小 世界网络的联想记忆模型。 该模型保留了联想记忆的功能，又具有小世界 特性，在保证网络性能的前提下，运用小世界思想将 全连接结构很大程度上地进行了稀疏化，从而大大 地减小了模型的复杂度，由于神经元之间的平均连 (a)p=0 (b)p=1 (c)0<p1 接规模被有效降低，更有利于网络的硬件实现，在运 图1NW网络体系结构演化 算速度上也更快。 Fig.1 The diagram of regular networks,NW small 2.2模型的算法 world network and random network 模型的工作过程与传统联想记忆相似，也分为记 在模型中每个节点将其输出反馈给它的K=cN 忆阶段和联想阶段。记忆阶段就是根据网络结构，设 个最近的相邻节点，c=K/N表示网络的全局连接 计或学习网络的连接权值，使模型具有若干个稳定状 度。与WS模型相比，NW小世界模型的构造更加 态：联想阶段就是根据给定输入模式，通过动力学演化 方便，而且不会破坏原网络的连接，从而保证了网络 到稳定状态，回想起已存储模式的过程0。 的连通性。虽然NW模型中的连接边有少量的增 2.2.1记忆阶段 加，但是由于小世界网络的特殊性质，概率p保持在 记忆阶段就是一个对权值学习和确定的过程

引入到联想记忆网络中确实可以解决复杂度过高的 问题，但同时“断键重连” 也会造成重要信息的丢 失，使网络性能变差。 针对 ＷＳ 小世界网络的这一问题，Ｎｅｗｍａｎ 和 Ｗａｔｔｓ 提出了 Ｎｅｗｍａｎ⁃Ｗａｔｔｓ 小世界网络模型［７］ ，用 “随机加边”代替了“断键重连”，从而有效地保护了 连接权 上 的 信 息， 同 时 还 可 以 避 免 产 生 孤 立 节 点［７］ 。 鉴于以上分析，提出了一种基于 ＮＷ 小世界 网络的联想记忆模型（ＮＷＡＭ），借鉴现有小世界联 想记忆模型的思想给出该模型的生成方法和相应的 理论算法，并设计实验对比 ＮＷＡＭ 与 ＷＳＡＭ 的联 想和记忆性能以及抗干扰能力。 １ ＮＷ 小世界网络模型 Ｎｅｗｍａｎ 和 Ｗａｔｔｓ 在 ＷＳ 小世界的基础上提出 ＮＷ 小世界模型，用“随机加边”来代替 ＷＳ 模型中 的“断键重连”，从而保证了网络的整体连通性。 其 实质是在规则网络的基础上以概率 ｐ 随机化加边， 从而形成稀疏的长程连接和稠密的短程连接。 ＮＷ 小世界模型的构造算法［８⁃９］如下： １）从一个包含 Ｎ 个节点的规则网络出发，网络 围成环形且每个节点只与它相邻的 Ｋ 个节点相连； ２）从某一节点出发，按照概率 ｐ 随机地选择新 的节点进行连接，节点自身和已连接节点除外； ３）重复 ２），直到遍历所有节点，最终形成 ＮＷ 小世界模型。 ＮＷ 模型是在规则网络中增加了“长程”连接， 通过变化概率 ｐ，可以得到从规则网络（ ｐ ＝ ０）到随 机网络（ｐ ＝ １）的一个变化过程，如图 １。 图 １ ＮＷ 网络体系结构演化 Ｆｉｇ．１ Ｔｈｅ ｄｉａｇｒａｍ ｏｆ ｒｅｇｕｌａｒ ｎｅｔｗｏｒｋｓ， ＮＷ ｓｍａｌｌ ｗｏｒｌｄ ｎｅｔｗｏｒｋ ａｎｄ ｒａｎｄｏｍ ｎｅｔｗｏｒｋ 在模型中每个节点将其输出反馈给它的 Ｋ ＝ ｃＮ 个最近的相邻节点，ｃ ＝ Ｋ ／ Ｎ 表示网络的全局连接 度。 与 ＷＳ 模型相比，ＮＷ 小世界模型的构造更加 方便，而且不会破坏原网络的连接，从而保证了网络 的连通性。 虽然 ＮＷ 模型中的连接边有少量的增 加，但是由于小世界网络的特殊性质，概率 ｐ 保持在 很小范围内，增加的连接边数也很少，对网络整体复 杂度影响不大。 而合理地添加捷径，使信息更加完 整地进行传递，模型的性能更加完善。 在 ＮＷ 小世 界网络模型中，用少量连接代价换取了性能上的显 著提高。 ２ 基于 ＮＷ 型小世界网络 Ｈｏｐｆｉｅｌｄ 联想记忆模型 ２．１ 模型的生成 联想记忆模型具有良好的联想记忆功能，但是 网络结构复杂，且复杂度较高。 将 ＮＷ 小世界网络 引入联想记忆模型中可以在保证网络性能的前提 下，降低网络的复杂度，化简网络结构，而且与 ＷＳ 小世界模型相比，性能更完善、更稳定。 基于 ＮＷ 小世界网络的联想记忆模型的构造流 程如下： １）按照第 １ 节中介绍的方法从一个平均度为 Ｋ 的规则网络开始，按照概率 ｐ 随机地选择新的节点 进行连接，构建出一个 ＮＷ 小世界网络模型。 ２）定义连接矩阵 Ｃ 表示 ＮＷ 小世界网络的连 接情况，若神经元 ｉ， ｊ 存在连接，则 ｃｉｊ ＝ １；若不存在 连接，则 ｃｉｊ ＝ ０。 ３）根据传统 Ｈｏｐｆｉｅｌｄ 网络构建方法构建一个与 ＮＷ 网络神经元个数相同的全互联结构联想记忆网 络，并使用传统联想记忆网络学习规则得到其连接 权值矩阵 Ｗ＝ ｗｉｊ { } 。 ４）将 Ｗ 与 Ｃ 做点乘得到 Ｗ ∗ ，通过 ＮＷ 网络的 连接矩阵 Ｃ 对 Ｈｏｐｆｉｅｌｄ 网络连接权值矩阵 Ｗ 进行 优化，Ｗ ∗ 为基于 ＮＷ 小世界网络的联想记忆模型 的连接权矩阵。 ５）根据 Ｗ ∗为连接权值矩阵，建立基于 ＮＷ 小 世界网络的联想记忆模型。 该模型保留了联想记忆的功能，又具有小世界 特性，在保证网络性能的前提下，运用小世界思想将 全连接结构很大程度上地进行了稀疏化，从而大大 地减小了模型的复杂度，由于神经元之间的平均连 接规模被有效降低，更有利于网络的硬件实现，在运 算速度上也更快。 ２．２ 模型的算法 模型的工作过程与传统联想记忆相似，也分为记 忆阶段和联想阶段。 记忆阶段就是根据网络结构，设 计或学习网络的连接权值，使模型具有若干个稳定状 态；联想阶段就是根据给定输入模式，通过动力学演化 到稳定状态，回想起已存储模式的过程［１０］ 。 ２．２．１ 记忆阶段 记忆阶段就是一个对权值学习和确定的过程， 第 ２ 期 张瑞成，等：基于小世界网络的 Ｈｏｐｆｉｅｌｄ 联想记忆模型 ·２１５·

·216 智能系统学报 第9卷 记忆阶段的完成应该形成网络的连接权值矩阵。假 二值符号函数。 设基于NW小世界网络的联想记忆模型中有N个 当网络状态按照式(4)不断演化到达稳定状态 神经元，它的连接矩阵可以用C={c}来表示，如果 时，定义参数R为 神经元i到j之间存在一个连接，那么c=1,如果不 存在连接，c,=0,最终得到表示模型存在连接关系 ∑∑Eg i=1j=1 R= (5) 的矩阵C: 0,i,j存在连接 c= 1,i,j不存在连接 式(5)表示得到的输出模式'与已存储模式专 Ca=0,c=C片 (1) 的相似度，可以用来作为衡量模型联想记忆性能和 设网络待记忆的M个N维模式为：”= 抗干扰能力的指标。 […],u=1,2,…,M,∈{-1,1} 3 仿真与分析 假设模型为全互联Hopfield网络，使用Hebb学 为了验证引入NW小世界网络来代替WS小世 习规则来确定模型的权值矩阵W={w:},且w:=0, ",=0行，权值可以表示为 界网络后模型的性能得到了提高，给出如下2个实 验进行分析。分别讨论NWAM与WSAM关于不同 L支≠i 参数联想记忆性能的对比，以及2种模型同时用于 0= (2) 含噪交通标志图像识别时的效果对比。 0,j=i 为了表示理解，将原始交通图像作为以存储模 由式(1)、(2)，通过重连概率p确定NW小世 式，最终识别图像为输出模式'，因此参数R可 界网络的连接矩阵，进一步利用其对模型的权值矩 以表示图像的相似程度，定义为图像的重复度。 阵W={0,}进行化简，可得出基于NW小世界网络 实验1NWAM与WSAM联想记忆性能对比 的联想记忆模型的连接权值矩阵W°： 分析。 w=w·C=∑ (3) 1)考察模型在其他条件相同，重连概率p不同 N=1 的情况下模型的联想记忆性能。 2.2.2联想阶段 为了便于判断和分析，模型取神经元个数N= 联想阶段就是在已知权值矩阵的基础上构建网 2500,模式M=10,平均度K=50,全局连接度c= 络模型，然后将给定的模式输入到模型中进行处理， 0.02。比较NWAM和WSAM对随机加噪30%模 通过动力学演化最终达到稳定状态，回想起已存储 式的联想记忆能力。实验结果如图2所示。 的模式。 1.00r 当网络经过学习，得到了连接权值矩阵W·= 0.95 {0}后，模型的结构就确定了，由于模型是双向连 接，网络运行时，通过输入、输出间的反馈作用，实现 0.90 -0- 以 网络状态的演变，直至收敛到稳定状态为止。若给 0.85 定的输入为：，网络各神经元就处于特定的初始状 题0.80 态，经网络的作用，可以得到下一时刻网络的状态。 WSAM 然后通过反馈作用，可得下一时刻的输人信号，依次 0.75 -o NWAM 反复演变。网络的状态通过反馈作用不断地如此演 0.70 0 0.2 0.40.60.81.0 化，随着演化的不断进行，网络状态的变化将不断减 重连概率p 少，直至达到稳定状态。 图2不同重连概率下，2种模型记忆性能比较 假设有一组待记忆的N维模式列向量“，“= Fig.2 Simulation results of NWAM and {1,2,…,M,专”为任意输入模式，'为“的下一 WSAM with different probabilities 个状态，网络的动力学演化方程为 实验结果显示，在其他条件相同的情况下，当重 eu'=sgn(W'gu) (4) 连概率p不断增加时，2种模型的联想记忆性都能 式中：w=wC=名Σ行，这里w为基于小 得到极大的改善，但是NWAM的性能提高的程度要 N 明显高于WSAM,在任意相同概率p下，NWAM对 世界体系的联想记忆模型的连接权矩阵，sg(·)为 加噪模式联想记忆的性能都要优于WSAM,而且

记忆阶段的完成应该形成网络的连接权值矩阵。 假 设基于 ＮＷ 小世界网络的联想记忆模型中有 Ｎ 个 神经元，它的连接矩阵可以用 Ｃ ＝ ｛ｃｉｊ｝来表示，如果 神经元 ｉ 到 ｊ 之间存在一个连接，那么 ｃｉｊ ＝ １，如果不 存在连接，ｃｉｊ ＝ ０，最终得到表示模型存在连接关系 的矩阵 Ｃ： ｃｉｊ ＝ ０，ｉ，ｊ 存在连接 {１，ｉ，ｊ 不存在连接 ｃｉｉ ＝ ０，ｃｉｊ ＝ ｃｊｉ （１） 设网 络 待 记 忆 的 Ｍ 个 Ｎ 维 模 式 为： ξ μ ＝ ξ μ １ ξ μ ２ … ξ μ Ｎ [ ] Ｔ ， μ ＝ １，２，…，Ｍ， ξ μ ∈ ｛ － １，１｝ 假设模型为全互联 Ｈｏｐｆｉｅｌｄ 网络，使用 Ｈｅｂｂ 学 习规则来确定模型的权值矩阵 Ｗ＝ ｛ｗｉｊ｝，且 ｗｉｉ ＝ ０， ｗｉｊ ＝ ｗｊｉ ，权值可以表示为 ｗｉｊ ＝ １ Ｎ∑ Ｍ μ ＝ １ ξ μ ｉ ξ μ ｊ ， ｊ ≠ ｉ ０， ｊ ＝ ｉ ì î í ï ï ïï （２） 由式（１）、（２），通过重连概率 ｐ 确定 ＮＷ 小世 界网络的连接矩阵，进一步利用其对模型的权值矩 阵 Ｗ ＝ ｛ｗｉｊ｝ 进行化简，可得出基于 ＮＷ 小世界网络 的联想记忆模型的连接权值矩阵 Ｗ ∗ ： Ｗ ∗ ＝ Ｗ·Ｃ ＝ ｃｉｊ Ｎ∑ Ｍ μ ＝ １ ξ μ ｉ ξ μ ｊ （３） ２．２．２ 联想阶段 联想阶段就是在已知权值矩阵的基础上构建网 络模型，然后将给定的模式输入到模型中进行处理， 通过动力学演化最终达到稳定状态，回想起已存储 的模式。 当网络经过学习，得到了连接权值矩阵 Ｗ ∗ ＝ ｗ ∗ ｉｊ { }后，模型的结构就确定了，由于模型是双向连 接，网络运行时，通过输入、输出间的反馈作用，实现 网络状态的演变，直至收敛到稳定状态为止。 若给 定的输入为 ξｉ， 网络各神经元就处于特定的初始状 态，经网络的作用，可以得到下一时刻网络的状态。 然后通过反馈作用，可得下一时刻的输入信号，依次 反复演变。 网络的状态通过反馈作用不断地如此演 化，随着演化的不断进行，网络状态的变化将不断减 少，直至达到稳定状态。 假设有一组待记忆的 Ｎ 维模式列向量 ξ μ ，μ ＝ ｛１，２，…，Ｍ｝， ξ ｕ 为任意输入模式， ξ ｕ ′ 为 ξ ｕ 的下一 个状态，网络的动力学演化方程为 ξ μ ′ ＝ ｓｇｎ（Ｗ ∗ ξ μ ） （４） 式中： Ｗ ∗ ＝ Ｗ·Ｃ ＝ ｃｉｊ Ｎ∑ Ｍ μ ＝ １ ξ μ ｉ ξ μ ｊ ， 这里 Ｗ ∗为基于小 世界体系的联想记忆模型的连接权矩阵， ｓｇｎ（·） 为 二值符号函数。 当网络状态按照式（４）不断演化到达稳定状态 时，定义参数 Ｒ 为 Ｒ ＝ ∑ Ｎ ｉ ＝ １ ∑ Ｎ ｊ ＝ １ ξ μ ｉｊ ξ ｕ ′ｉｊ ∑ Ｎ ｉ ＝ １ ∑ Ｎ ｊ ＝ １ ξ μ ｉｊ （５） 式（５）表示得到的输出模式 ξ′ 与已存储模式 ξ 的相似度，可以用来作为衡量模型联想记忆性能和 抗干扰能力的指标。 ３ 仿真与分析 为了验证引入 ＮＷ 小世界网络来代替 ＷＳ 小世 界网络后模型的性能得到了提高，给出如下 ２ 个实 验进行分析。 分别讨论 ＮＷＡＭ 与 ＷＳＡＭ 关于不同 参数联想记忆性能的对比，以及 ２ 种模型同时用于 含噪交通标志图像识别时的效果对比。 为了表示理解，将原始交通图像作为以存储模 式 ξ， 最终识别图像为输出模式 ξ′， 因此参数 Ｒ 可 以表示图像的相似程度，定义为图像的重复度。 实验 １ ＮＷＡＭ 与 ＷＳＡＭ 联想记忆性能对比 分析。 １）考察模型在其他条件相同，重连概率 ｐ 不同 的情况下模型的联想记忆性能。 为了便于判断和分析，模型取神经元个数 Ｎ ＝ ２ ５００，模式 Ｍ ＝ １０，平均度 Ｋ ＝ ５０，全局连接度 ｃ ＝ ０．０２。 比较 ＮＷＡＭ 和 ＷＳＡＭ 对随机加噪 ３０％ 模 式的联想记忆能力。 实验结果如图 ２ 所示。 图 ２ 不同重连概率下，２ 种模型记忆性能比较 Ｆｉｇ． ２ Ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ＮＷＡＭ ａｎｄ ＷＳＡＭ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐｒｏｂａｂｉｌｉｔｉｅｓ 实验结果显示，在其他条件相同的情况下，当重 连概率 ｐ 不断增加时，２ 种模型的联想记忆性都能 得到极大的改善，但是 ＮＷＡＭ 的性能提高的程度要 明显高于 ＷＳＡＭ，在任意相同概率 ｐ 下，ＮＷＡＭ 对 加噪模式联想记忆的性能都要优于 ＷＳＡＭ，而且 ·２１６· 智 能 系 统 学 报 第 ９ 卷

第2期 张瑞成，等：基于小世界网络的Hopfield联想记忆模型 ·217. NWAM最终达到的性能状态也明显优于WSAM。 为验证新模型对加噪图像识别的实际效果，文 2)考察2种模型的网络性能与网络全局连接 中引入了一个二值化交通标志图像，分别对其添加 度c之间的关系。 30%、50%椒盐噪声：均值为0，方差为0.1、0.3的高 模型取神经元个数N=2500,模式M=10,重 斯噪声：25%遮挡处理，然后分别用2种模型分别对 连概率p=0.4,加噪程度为30%。结果如图3。 含有噪音的交通图像进行识别，取相同的网络环境： 1.00 0-g--00-9 重连概率p=0.4,平均度K=50,所取样本图像像素 0.95 为50×50，迭代次数为1。其效果图如图5所示。 0.90 0 0.85 0.80 0.75 原始图像30%椒盐50%椒盐0.1高斯0.3高斯 25%遮挡 图0.70 WSAM (a)原始记忆图像及加噪图像 0.65 NWAM 0.60 0.55 0 0.1 0.2 0.3 0.4 全局连接度( 原始图像30%椒盐50%椒盐0.1高斯0.3高斯 25%遮挡 图3不同全局连接度下模型回忆性能比较（加噪30%）】 (b)WSAM相应的记忆及识别效果 Fig.3 Simulation results of NWAM and WSAM with different connection de- gree c with 30%noise (c))NWAM相应的记忆及识别效果 实验结果显示，当网络全局连通度c不断增加 图5WSAM与NWAM加噪模式识别效果比较 时，2种模型的网络性能都得到提高，但是，在任意 Fig.5 Associative memory ability of the two models 相同全局连接度c下，NWAM对加噪模式联想记忆 with different forms of noise 的性能都要优于WSAM,而且当c的值很小时，模型 从图5对比结果可以看出，这2种模型都可以 的性能就可以达到一个很高的水平。 在噪音干扰下对图像进行识别，但NWAM的识别效 3)考察噪音干扰下的网络性能。 果始终要比WSAM好。特别是对30%、50%椒盐噪 取相同的网络环境，N=2500,M=10,p=0.4, 音时，效果明显要优于WSAM的识别效果，总体来 K=50,噪音选用常见的椒盐噪声，对比2种模型在 说，NWAM用于模式记忆和加噪模式识别的性能优 噪音干扰下的网络性能，结果如图4所示。 于WSAM,体现出更强的鲁棒处理能力。 0.9外 4 结束语 0.8 本文对NW小世界网络进行了分析，将其引入到 减0. 联想记忆网络中，构建基于NW小世界网络结构的联 ®0.6 想记忆模型，借鉴现有小世界联想记忆模型的思想给 WSAM 出模型的生成方法以及相应的理论算法。实验结果 0.5 -e-NWAM 表明，网络模型的性能主要与重连概率p、全局连接 0.4 0 0.2 0.40.6 0.8 1.0 度c和加噪指数有关。当加噪指数相同时，2个模型 加噪指数 的联想和记忆性能都随着重连概率p和全局连接度c 图4不同加噪程度下2种模型回忆性能比较 的增加而得到改善，而且NWAM的性能始终要优于 Fig.4 Simulation results of NWAM and WSAM:当重连概率p和全局连接度c相同时，模型的 WSAM with different levels of noise 网络性能随着加噪指数的增加都发生了不同程度的 随着加噪程度的不断增加，2种模型的性能都 降低，但与WSAM相比，NWAM降低很慢且平缓，表 受到影响，但是NWAM性能始终要优于WSAM,而 现出更强的抗干扰能力。最终，将模型应用于含噪交 且当噪音较大时，NWAM依然可以维持很好的网络 通图像识别中，识别结果显示，在不同形式、程度的噪 性能，表现出较强的抗干扰能力。 声和遮挡干扰下，NWAM的识别准确率要高于 实验2应用实例对比研究。 WSAM,识别结果更清晰，表现出良好的容错性和鲁

ＮＷＡＭ 最终达到的性能状态也明显优于 ＷＳＡＭ。 ２）考察 ２ 种模型的网络性能与网络全局连接 度 ｃ 之间的关系。 模型取神经元个数 Ｎ ＝ ２ ５００，模式 Ｍ ＝ １０，重 连概率 ｐ ＝ ０．４，加噪程度为 ３０％。 结果如图 ３。 图 ３ 不同全局连接度下模型回忆性能比较（加噪 ３０％ ） Ｆｉｇ． ３ Ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ＮＷＡＭ ａｎｄ ＷＳＡＭ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｃｏｎｎｅｃｔｉｏｎ ｄｅ⁃ ｇｒｅｅ ｃ ｗｉｔｈ ３０％ ｎｏｉｓｅ 实验结果显示，当网络全局连通度 ｃ 不断增加 时，２ 种模型的网络性能都得到提高，但是，在任意 相同全局连接度 ｃ 下，ＮＷＡＭ 对加噪模式联想记忆 的性能都要优于 ＷＳＡＭ，而且当 ｃ 的值很小时，模型 的性能就可以达到一个很高的水平。 ３）考察噪音干扰下的网络性能。 取相同的网络环境， Ｎ ＝ ２ ５００，Ｍ ＝ １０，ｐ ＝ ０．４， Ｋ ＝ ５０， 噪音选用常见的椒盐噪声，对比 ２ 种模型在 噪音干扰下的网络性能，结果如图 ４ 所示。 图 ４ 不同加噪程度下 ２ 种模型回忆性能比较 Ｆｉｇ． ４ Ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ＮＷＡＭ ａｎｄ ＷＳＡＭ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｌｅｖｅｌｓ ｏｆ ｎｏｉｓｅ 随着加噪程度的不断增加，２ 种模型的性能都 受到影响，但是 ＮＷＡＭ 性能始终要优于 ＷＳＡＭ，而 且当噪音较大时，ＮＷＡＭ 依然可以维持很好的网络 性能，表现出较强的抗干扰能力。 实验 ２ 应用实例对比研究。 为验证新模型对加噪图像识别的实际效果，文 中引入了一个二值化交通标志图像，分别对其添加 ３０％、５０％椒盐噪声；均值为 ０，方差为 ０．１、０．３ 的高 斯噪声；２５％遮挡处理，然后分别用 ２ 种模型分别对 含有噪音的交通图像进行识别，取相同的网络环境： 重连概率 ｐ ＝ ０．４，平均度 Ｋ ＝ ５０，所取样本图像像素 为 ５０×５０，迭代次数为 １。 其效果图如图 ５ 所示。 （ａ）原始记忆图像及加噪图像 （ｂ）ＷＳＡＭ 相应的记忆及识别效果 （ｃ））ＮＷＡＭ 相应的记忆及识别效果 图 ５ ＷＳＡＭ 与 ＮＷＡＭ 加噪模式识别效果比较 Ｆｉｇ．５ Ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ａｂｉｌｉｔｙ ｏｆ ｔｈｅ ｔｗｏ ｍｏｄｅｌｓ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｆｏｒｍｓ ｏｆ ｎｏｉｓｅ 从图 ５ 对比结果可以看出，这 ２ 种模型都可以 在噪音干扰下对图像进行识别，但 ＮＷＡＭ 的识别效 果始终要比 ＷＳＡＭ 好。 特别是对 ３０％、５０％椒盐噪 音时，效果明显要优于 ＷＳＡＭ 的识别效果，总体来 说， ＮＷＡＭ 用于模式记忆和加噪模式识别的性能优 于 ＷＳＡＭ，体现出更强的鲁棒处理能力。 ４ 结束语 本文对 ＮＷ 小世界网络进行了分析，将其引入到 联想记忆网络中，构建基于 ＮＷ 小世界网络结构的联 想记忆模型，借鉴现有小世界联想记忆模型的思想给 出模型的生成方法以及相应的理论算法。 实验结果 表明，网络模型的性能主要与重连概率 ｐ、全局连接 度 ｃ 和加噪指数有关。 当加噪指数相同时，２ 个模型 的联想和记忆性能都随着重连概率 ｐ 和全局连接度 ｃ 的增加而得到改善，而且 ＮＷＡＭ 的性能始终要优于 ＷＳＡＭ；当重连概率 ｐ 和全局连接度 ｃ 相同时，模型的 网络性能随着加噪指数的增加都发生了不同程度的 降低，但与 ＷＳＡＭ 相比，ＮＷＡＭ 降低很慢且平缓，表 现出更强的抗干扰能力。 最终，将模型应用于含噪交 通图像识别中，识别结果显示，在不同形式、程度的噪 声和 遮 挡 干 扰 下， ＮＷＡＭ 的 识 别 准 确 率 要 高 于 ＷＳＡＭ，识别结果更清晰，表现出良好的容错性和鲁 第 ２ 期 张瑞成，等：基于小世界网络的 Ｈｏｐｆｉｅｌｄ 联想记忆模型 ·２１７·

.218 智能系统学报 第9卷 棒性。通过仿真结果发现，基于NW小世界网络结构 CHEN Lei,CHEN Songcan,ZHANG Daoqiang.Small 的联想记忆模型具有以下优点： world structure inspired many to many kernel associative 1)将NW小世界网络引入到联想记忆网络中， memory models and their application[J].Journal of Soft- 简化了网络结构，减小了网络的时间和空间复杂度， ware,2006,17(2):223-231. 使网络的硬件实现也变得更容易。 [7]NEWMAN M E J,WATTS D J.Scaling and percolation in the small-world network model[].Phys,1999,60(8): 2)与WSAM相比，有效地保护连接权上的信 7332-7342. 息，同时避免了孤立节点的产生，使模型对模式的记 [8]张瑞成，李冲.小世界人工神经网络模型及其应用研究 忆和联想能力都得到了很大提高，对加噪模式识别 [J].计算机仿真，2011,28(10)：95-98. 时抗干扰能力也更强。 ZHANG Ruicheng,LI Chong.Model of NW multilayer feed- 3)通过对比2个模型对含噪音交通图像的识别 forward small-world artificial neural networks and it's ap- 结果发现，NWAM识别结果要比WSAM更准确，与原 plied[J].Computer Simulation,2011,28(10):95-98. 图像的误差更小，从而证明其具有更好的鲁棒性。 [9]NEWMAN M E,WATTS D J.Renormalization group analy- sis of the small-world network model[J].Physics Letters A, 参考文献： 1999,263(4):341-346. [1]EGUILUZ V M,CHIALVO D R,CEEHI G A,et al.Seale- [10]杨静，高隽，谢昭，等.一种新的小世界体系联想记忆模 free brain functional networks J].Phys Rev Lett,2005, 型[J].仪器仪表学报，2009,30(10)：2057-2063. YANG Jing,GAO Jun,XIE Zhao,et al.Novel associative (94)5:18-22 memory model based on small-world adaptive structureJ. [2]AGUIRRE C,HUERTA R,CORBACHO F,et al.Analysis Chinese Journal of Scientific Instrument,2009,30(10): of biologically inspired small-world networks J].Artificial 2057-2063. Neural Networks,2002,15(4):27-32. [3]BOHLAND J W,MINAI AA.Efficient associative memory 作者简介： 张瑞成，男，1975年生，副教授，博 using small-world architecture[J].Neurocomputing,2001, 士，主要研究方向为智能控制理论及在 38(9):489-496. 生产过程中的应用.主持国家自然科学 [4]陈蕾，张道强，周鹏，等.基于SWA的核自联想记忆模型 及其人脸识别应用[J].应用科学学报，2005,23(5)： 基金项目1项、科技部科技人员服务企 497-501 业行动资助项目1项、河北省自然科学 CHEN Lei,ZHANG Daoqiang,ZHOU Peng,et al.Small- 基金项目1项，发表学术论文30余篇， 其中被SCI检索1篇，EI收录15篇 world architecture based kernel auto-associative memory model and its application to face recognition[].Journal of 胡绪磊，男，1985年生，硕士研究 applied Sciences,2005,23(5):497-501. 生，主要研究方向为复杂工业系统的建 [5]金燕晖，陈贤富.基于小世界体系的投影学习联想记忆 模与控制。 模型研究[J].计算机仿真，2009,26(4)：207-210. JIN Yanhui,CHEN Xianfu.A projection learning rule asso- ciative memory model based on small-world architecture[J] Computer Simulation,2009,26(4):207-210 [6]陈蕾，陈松灿，张道强.小世界体系的多对多联想记忆模 型及其应用J].软件学报，2006,17(2)：223-231

棒性。 通过仿真结果发现，基于 ＮＷ 小世界网络结构 的联想记忆模型具有以下优点： １）将 ＮＷ 小世界网络引入到联想记忆网络中， 简化了网络结构，减小了网络的时间和空间复杂度， 使网络的硬件实现也变得更容易。 ２）与 ＷＳＡＭ 相比，有效地保护连接权上的信 息，同时避免了孤立节点的产生，使模型对模式的记 忆和联想能力都得到了很大提高，对加噪模式识别 时抗干扰能力也更强。 ３）通过对比 ２ 个模型对含噪音交通图像的识别 结果发现，ＮＷＡＭ 识别结果要比 ＷＳＡＭ 更准确，与原 图像的误差更小，从而证明其具有更好的鲁棒性。 参考文献： ［１］ＥＧＵＩＬＵＺ Ｖ Ｍ， ＣＨＩＡＬＶＯ Ｄ Ｒ， ＣＥＥＨＩ Ｇ Ａ， ｅｔ ａｌ． Ｓｅａｌｅ⁃ ｆｒｅｅ ｂｒａｉｎ ｆｕｎｃｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ［ Ｊ］． Ｐｈｙｓ Ｒｅｖ Ｌｅｔｔ， ２００５， （９４） ５： １８⁃２２． ［２］ＡＧＵＩＲＲＥ Ｃ， ＨＵＥＲＴＡ Ｒ， ＣＯＲＢＡＣＨＯ Ｆ， ｅｔ ａｌ． Ａｎａｌｙｓｉｓ ｏｆ ｂｉｏｌｏｇｉｃａｌｌｙ ｉｎｓｐｉｒｅｄ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｔｗｏｒｋｓ ［ Ｊ］． Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， ２００２， １５（４）： ２７⁃３２． ［３］ＢＯＨＬＡＮＤ Ｊ Ｗ， ＭＩＮＡＩ Ａ Ａ． Ｅｆｆｉｃｉｅｎｔ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｕｓｉｎｇ ｓｍａｌｌ⁃ｗｏｒｌｄ ａｒｃｈｉｔｅｃｔｕｒｅ［ Ｊ］． Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２００１， ３８（９）： ４８９⁃４９６． ［４］陈蕾，张道强，周鹏，等． 基于 ＳＷＡ 的核自联想记忆模型 及其人脸识别应用［ Ｊ］． 应用科学学报， ２００５， ２３（ ５）： ４９７⁃５０１． ＣＨＥＮ Ｌｅｉ， ＺＨＡＮＧ Ｄａｏｑｉａｎｇ， ＺＨＯＵ Ｐｅｎｇ， ｅｔ ａｌ． Ｓｍａｌｌ⁃ ｗｏｒｌｄ ａｒｃｈｉｔｅｃｔｕｒｅ ｂａｓｅｄ ｋｅｒｎｅｌ ａｕｔｏ⁃ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｍｏｄｅｌ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ， ２００５， ２３（５）： ４９７⁃５０１． ［５］金燕晖，陈贤富． 基于小世界体系的投影学习联想记忆 模型研究［Ｊ］． 计算机仿真， ２００９， ２６（４）： ２０７⁃２１０． ＪＩＮ Ｙａｎｈｕｉ， ＣＨＥＮ Ｘｉａｎｆｕ． Ａ ｐｒｏｊｅｃｔｉｏｎ ｌｅａｒｎｉｎｇ ｒｕｌｅ ａｓｓｏ⁃ ｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｓｍａｌｌ⁃ｗｏｒｌｄ ａｒｃｈｉｔｅｃｔｕｒｅ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ｓｉｍｕｌａｔｉｏｎ， ２００９， ２６（４）： ２０７⁃２１０ ［６］陈蕾，陈松灿，张道强． 小世界体系的多对多联想记忆模 型及其应用［Ｊ］． 软件学报， ２００６， １７（２）： ２２３⁃２３１． ＣＨＥＮ Ｌｅｉ， ＣＨＥＮ Ｓｏｎｇｃａｎ， ＺＨＡＮＧ Ｄａｏｑｉａｎｇ． Ｓｍａｌｌ ｗｏｒｌｄ ｓｔｒｕｃｔｕｒｅ ｉｎｓｐｉｒｅｄ ｍａｎｙ ｔｏ ｍａｎｙ ｋｅｒｎｅｌ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｍｏｄｅｌｓ ａｎｄ ｔｈｅｉｒ ａｐｐｌｉｃａｔｉｏｎ ［ Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｓｏｆｔ⁃ ｗａｒｅ， ２００６， １７（２）： ２２３⁃２３１． ［７］ＮＥＷＭＡＮ Ｍ Ｅ Ｊ， ＷＡＴＴＳ Ｄ Ｊ． Ｓｃａｌｉｎｇ ａｎｄ ｐｅｒｃｏｌａｔｉｏｎ ｉｎ ｔｈｅ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｔｗｏｒｋ ｍｏｄｅｌ ［ Ｊ］． Ｐｈｙｓ， １９９９， ６０ （ ８）： ７３３２⁃７３４２． ［８］张瑞成，李冲． 小世界人工神经网络模型及其应用研究 ［Ｊ］． 计算机仿真，２０１１， ２８（１０）： ９５⁃９８． ＺＨＡＮＧ Ｒｕｉｃｈｅｎｇ， ＬＩ Ｃｈｏｎｇ． Ｍｏｄｅｌ ｏｆ ＮＷ ｍｕｌｔｉｌａｙｅｒ ｆｅｅｄ⁃ ｆｏｒｗａｒｄ ｓｍａｌｌ⁃ｗｏｒｌｄ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｉｔ’ ｓ ａｐ⁃ ｐｌｉｅｄ［Ｊ］． Ｃｏｍｐｕｔｅｒ Ｓｉｍｕｌａｔｉｏｎ， ２０１１， ２８（１０）： ９５⁃９８． ［９］ＮＥＷＭＡＮ Ｍ Ｅ， ＷＡＴＴＳ Ｄ Ｊ． Ｒｅｎｏｒｍａｌｉｚａｔｉｏｎ ｇｒｏｕｐ ａｎａｌｙ⁃ ｓｉｓ ｏｆ ｔｈｅ ｓｍａｌｌ⁃ｗｏｒｌｄ ｎｅｔｗｏｒｋ ｍｏｄｅｌ［Ｊ］． Ｐｈｙｓｉｃｓ Ｌｅｔｔｅｒｓ Ａ， １９９９， ２６３（４）： ３４１⁃３４６． ［１０］杨静，高隽，谢昭，等． 一种新的小世界体系联想记忆模 型［Ｊ］． 仪器仪表学报， ２００９， ３０（１０）： ２０５７⁃２０６３． ＹＡＮＧ Ｊｉｎｇ， ＧＡＯ Ｊｕｎ， ＸＩＥ Ｚｈａｏ， ｅｔ ａｌ． Ｎｏｖｅｌ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｓｍａｌｌ⁃ｗｏｒｌｄ ａｄａｐｔｉｖｅ ｓｔｒｕｃｔｕｒｅ［Ｊ］． Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔ， ２００９， ３０（ １０）： ２０５７⁃２０６３． 作者简介： 张瑞成，男，１９７５ 年生，副教授，博 士，主要研究方向为智能控制理论及在 生产过程中的应用． 主持国家自然科学 基金项目 １ 项、科技部科技人员服务企 业行动资助项目 １ 项、河北省自然科学 基金项目 １ 项，发表学术论文 ３０ 余篇， 其中被 ＳＣＩ 检索 １ 篇，ＥＩ 收录 １５ 篇． 胡绪磊，男，１９８５ 年生，硕士研究 生，主要研究方向为复杂工业系统的建 模与控制． ·２１８· 智 能 系 统 学 报 第 ９ 卷