53反馈神经网络 反馈网络( Recurrent network),又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点, 使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点: 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某 个稳定的平衡状态 第二,系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 Hopfield网络是单层对称全反馈网络,根据其激活函数的选取不同,可分为离散型的 Hopfield网络 ( Discrete Hopfield Neural Network,简称DHNN)和连续型的 Hopfield网络( Continuous Hopfield Neural Network,简称CHNN)。 离散 Hopfield网络的激活函数为二值型的,其输入、输出为φ0,1}的反馈网络,主要用于联想记忆。 离散 Hopfield网络的激活函数的输入与输出之间的关系为连续可微的单调上升函数,主要用于优化计 算。 Hopfield网络是利用稳定吸引子来对信息进行储存的,利用从初始状态到稳定吸引子的运行过程来实现 对信息的联想存取的。 531离散 Hopfield网络 1.网络的结构和工作方式 离散 Hopfield网络是一个单层网络,有n个神经元节点,每个神经元的输出均接到其它神经元的输入 各节点没有自反馈。每个节点都可处于一种可能的状态(1或-1),即当该神经元所受的刺激超过其阀值时, 神经元就处于一种状态(比如1),否则神经元就始终处于另一状态(比如-1)。 整个网络有两种工作方式:即异步方式和同步方式。 2.稳定性和吸引子 若冈络的状态X满足X=f(WX-0),则称X为网络的稳定点或吸引子。 定理1:对于离散 Hopfield网络,若按异步方式调整状态,且连接权矩阵W为对称阵,则对于任意初 态,网络都最终收敛到一个吸引子。 定理2:对于离散 Hopfield网络,若按同步方式调整状态,且连接权矩阵W为非负定对称阵,则对于 任意初态,网络都最终收敛到一个吸引子。 3.连接权的设计 为了保证 Hopfield网络在异步方式工作时能稳定收敛,连接权矩阵W应是对称的。而若保证同步方式 收敛,则要求W为非负定阵,这个要求比较高。因而设计W一般只保证异步方式收敛。另外一个要求是 对于给定的样本必须是网络的吸引子,而且要有一定的吸引域,这样才能正确实现联想记忆功能。为了实 现上述功能,通常采用Heb规则来实际连接权,即当神经元输入与输出节点的状态相同(即同时兴奋或抑 制)时,从第j个到第i个神经元之间的连接强度则增强,否则则减弱 4.联想记忆 联想记忆功能是离散 Hopfield网络的一个重要应用范围。要想实现联想记忆,反馈网络必须具有两个 基本条件 ①网络能收敛到稳定的平衡状态,并以其作为样本的记忆信息 ②具有回忆能力,能够从某一残缺的信息回忆起所属的完整的记忆信息。 离散 Hopfield网络实现联想记忆的过程分为两个阶段:学习记忆阶段和联想回忆阶段。在学习记忆阶 段中,设计者通过某一设计方法确定一组合适的权值,使网络记忆期望的稳定平衡点。联想回忆阶段则是 网络的工作过程 离散 Hopfield网络用于联想记忆有两个突出的特点,即记忆是分布式的,而联想是动态的 离散 Hopfield网络局限性,主要表现在以下几点: PDF文件使用" pdffactory Pro"试用版本创建ww, fineprint,com,cn5.3 反馈神经网络 反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点， 使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一 个稳定的平衡状态； 第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 Hopfield 网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的 Hopfield 网络 (Discrete Hopfield Neural Network，简称 DHNN)和连续型的 Hopfield 网络(Continuous Hopfield Neural Network，简称 CHNN)。 离散 Hopfield 网络的激活函数为二值型的，其输入、输出为{0，1}的反馈网络，主要用于联想记忆。 离散 Hopfield 网络的激活函数的输入与输出之间的关系为连续可微的单调上升函数，主要用于优化计 算。 Hopfield 网络是利用稳定吸引子来对信息进行储存的，利用从初始状态到稳定吸引子的运行过程来实现 对信息的联想存取的。 5.3.1 离散 Hopfield 网络 1. 网络的结构和工作方式 离散 Hopfield 网络是一个单层网络，有 n 个神经元节点，每个神经元的输出均接到其它神经元的输入。 各节点没有自反馈。每个节点都可处于一种可能的状态（1 或－1），即当该神经元所受的刺激超过其阀值时， 神经元就处于一种状态（比如 1），否则神经元就始终处于另一状态（比如－1）。 整个网络有两种工作方式：即异步方式和同步方式。 2. 稳定性和吸引子 若网络的状态 X 满足 X = f (WX -q ) ，则称 X 为网络的稳定点或吸引子。 定理 1：对于离散 Hopfield 网络，若按异步方式调整状态，且连接权矩阵 W 为对称阵，则对于任意初 态，网络都最终收敛到一个吸引子。 定理 2：对于离散 Hopfield 网络，若按同步方式调整状态，且连接权矩阵 W 为非负定对称阵，则对于 任意初态，网络都最终收敛到一个吸引子。 3. 连接权的设计 为了保证 Hopfield 网络在异步方式工作时能稳定收敛，连接权矩阵 W 应是对称的。而若保证同步方式 收敛，则要求 W 为非负定阵，这个要求比较高。因而设计 W 一般只保证异步方式收敛。另外一个要求是 对于给定的样本必须是网络的吸引子，而且要有一定的吸引域，这样才能正确实现联想记忆功能。为了实 现上述功能，通常采用 Hebb 规则来实际连接权，即当神经元输入与输出节点的状态相同(即同时兴奋或抑 制)时，从第 j 个到第 i 个神经元之间的连接强度则增强，否则则减弱。 4. 联想记忆 联想记忆功能是离散 Hopfield 网络的一个重要应用范围。要想实现联想记忆，反馈网络必须具有两个 基本条件： ①网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息； ②具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。 离散 Hopfield 网络实现联想记忆的过程分为两个阶段：学习记忆阶段和联想回忆阶段。在学习记忆阶 段中，设计者通过某一设计方法确定一组合适的权值，使网络记忆期望的稳定平衡点。联想回忆阶段则是 网络的工作过程。 离散 Hopfield 网络用于联想记忆有两个突出的特点，即记忆是分布式的，而联想是动态的。 离散 Hopfield 网络局限性，主要表现在以下几点： PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn