第07讲反馈网络 zoujiang(@public.wh.hb.cn 邹江
第07讲 反馈网络 zoujiang@public.wh.hb.cn 邹江
反馈网络( Recurrent Network),又称自联想记忆网络,其 目的是为了设计一个网络,储存一组平衡点,使得当 给网络一组初始值时,网络通过自行运行而最终收敛 到这个设计的平衡点上。 1982年,美国加州工学院物理学家霍普菲尔德 (J. Hopfield)发表了一篇对人工神经网络研究颇有影响 的论文。 反馈网络能够表现出非线性动力学系统的动态特性。它 所具有的主要特性为以下两点: 第一、网络系统具有若干个稳定状态。当网络从某一初 始状态开始运动,网络系统总可以收敛到某一个稳定 的平衡状态; 第二,系统稳定的平衡状态可以通过设计网络的权值而 被存储到网络中
反馈网络(Recurrent Network)，又称自联想记忆网络，其 目的是为了设计一个网络，储存一组平衡点，使得当 给网络一组初始值时，网络通过自行运行而最终收敛 到这个设计的平衡点上。 1982年，美国加州工学院物理学家霍普菲尔德 (J．Hopfield)发表了一篇对人工神经网络研究颇有影响 的论文。 反馈网络能够表现出非线性动力学系统的动态特性。它 所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初 始状态开始运动，网络系统总可以收敛到某一个稳定 的平衡状态； 第二，系统稳定的平衡状态可以通过设计网络的权值而 被存储到网络中
在本章中,我们将集中讨论反馈网络,通过网络神经元 状态的变迁而最终稳定于平衡状态,得到联想存储或 优化计算的结果。 在这里,着重关心的是网络的稳定性问题,研究的重点 是怎样得到和利用稳定的反馈网络 霍普菲尔德网络是单层对称全反馈网络,根据其激活函 数的选取不同,可分为离散型的霍普菲尔德网络 ( Discrete Hopfield Neural Network,简称DHNN)和连续 型的霍普菲尔德网络( Continuous Hopfield Neural Network,简称CHNN) DHNN的激活函数为二值型的,其输入、输出为{0,1}的 反馈网络,主要用于联想记忆 CHNN的激活函数的输入与输出之间的关系为连续可微的 单调上升函数,主要用于优化计算
在本章中，我们将集中讨论反馈网络，通过网络神经元 状态的变迁而最终稳定于平衡状态，得到联想存储或 优化计算的结果。 在这里，着重关心的是网络的稳定性问题，研究的重点 是怎样得到和利用稳定的反馈网络。 霍普菲尔德网络是单层对称全反馈网络，根据其激活函 数的选取不同，可分为离散型的霍普菲尔德网络 (Discrete Hopfield Neural Network，简称DHNN)和连续 型的霍普菲尔德网络(Continuous Hopfield Neural Network，简称CHNN)。 DHNN的激活函数为二值型的，其输入、输出为{0，1}的 反馈网络，主要用于联想记忆。 CHNN的激活函数的输入与输出之间的关系为连续可微的 单调上升函数，主要用于优化计算
○7.1霍普菲尔德网络模型 P 0团 图7.1反馈网络结构图
7．1 霍普菲尔德网络模型 图7．1 反馈网络结构图
在反馈网络中 如果其激活函数)是一个二值型的硬函数,如图7.2所 示,即a1=sgn(n1),i=1,2,…r,则称此网络为离散型 反馈网络; 如果a=(n)中的)为一个连续单调上升的有界函数,这 类网络被称为连续型反馈网络。图7.3中所示为一个 具有饱和线性激活函数,它满足连续单调上升的有界 函数的条件,常作为连续型的激活函数。 图7.2DHNN中的激活函数图7.3CHNN中的激活函数
在反馈网络中 如果其激活函数f(·)是一个二值型的硬函数，如图7．2所 示，即ai ＝sgn(ni )，i＝l, 2, … r，则称此网络为离散型 反馈网络； 如果ai=f(ni )中的f(·)为一个连续单调上升的有界函数，这 类网络被称为连续型反馈网络。图7．3中所示为一个 具有饱和线性激活函数，它满足连续单调上升的有界 函数的条件，常作为连续型的激活函数。 图7．2 DHNN中的激活函数 图7．3 CHNN中的激活函数
7.2状态轨迹 设状态矢量N-[n1,n2,…,n,网络的输出矢量 为A=[a1,a 在一个r维状态空间上,可以用一条轨迹来描述状 态变化情况。 从初始值Nt)出发, N(t+△t)→N(tb+2△t) N(t+m△t),这些 在空间上的点组成的确定轨迹,是演化过程中 所有可能状态的集合,我们称这个状态空间为 相空间
7．2 状态轨迹 设状态矢量N=[n1 , n2 , …，nr ]，网络的输出矢量 为A＝[a1，a2…，as ] T ， 在一个r维状态空间上，可以用一条轨迹来描述状 态变化情况。 从初始值N(t0 )出发， N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些 在空间上的点组成的确定轨迹，是演化过程中 所有可能状态的集合，我们称这个状态空间为 相空间
N(t) N6) B N( N( 图7.4三维空间中的状态轨迹 对于DHNN,因为N(t)中每个值只可能为±1,或{0, 1},对于确定的权值w;,;其轨迹是跳跃的阶梯式,如 图中A所示。 对于CHNN,因为f()是连续的,因而,其轨迹也是连 续的。如图中B、C所示
图7．4 三维空间中的状态轨迹 对于DHNN，因为N(t)中每个值只可能为±1，或{0， 1}，对于确定的权值wij，其轨迹是跳跃的阶梯式，如 图中A所示。 对于CHNN，因为f(·)是连续的，因而，其轨迹也是连 续的。如图中B、C所示
对于不同的连接权值w和输入P(ij=1,2,…r),反馈网络 状态轨迹可能出现以下几种情况 7.2.1状态轨迹为稳定点 状态轨迹从系统在t时状态的初值N(t)开始,经过一定的 时间t>0)后,到达Nt+0。如果N(t++△t=Nt+t), △t>0,则状态N(t+t)称为网络的稳定点,或平衡点。 即反馈网络从任一初始态P(0)开始运动,若存在某一有 限时刻t,从t以后的网络状态不再发生变化: P(t+Δt)=P(t),Δt>0,则称该网络是稳定的。 处于稳定时的网络状态叫做稳定状态,又称为定吸引子
对于不同的连接权值wij和输入Pj (i, j=1, 2, … r)，反馈网络 状态轨迹可能出现以下几种情况。 7．2．1 状态轨迹为稳定点 状态轨迹从系统在t 0时状态的初值N(t0 )开始，经过一定的 时间t(t＞0)后，到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t)， Δt＞0，则状态N(t0+t)称为网络的稳定点，或平衡点。 即反馈网络从任一初始态P(0)开始运动，若存在某一有 限时刻t，从t以后的网络状态不再发生变化： P(t+Δt)= P(t)，Δt＞0，则称该网络是稳定的。 处于稳定时的网络状态叫做稳定状态，又称为定吸引子
在一个反馈网络中,存在很多稳定点,根据不同情况, 这些稳定点可以分为: )渐近稳定点:如果在稳定点N周围的N(o)区域内,从 任一个初始状态N(t)出发的每个运动,当t→∞时都收 敛于N,则称N为渐近稳定点 )不稳定平衡点N:在某些特定的轨迹演化过程中,网 络能够到达稳定点N,但对于其它方向上的任意一个 小的区域N(o),不管N(o)取多么小,其轨迹在时间t 以后总是偏离Nn; 3)网络的解:如果网络最后稳定到设计人员期望的稳定点, 且该稳定点又是渐近稳定点,那么这个点称为网络的 解 4)网络的伪稳定点:网络最终稳定到一个渐近稳定点上, 但这个稳定点不是网络设计所要求的解,这个稳定点 为伪稳定点
在一个反馈网络中，存在很多稳定点，根据不同情况， 这些稳定点可以分为： 1)渐近稳定点：如果在稳定点Ne周围的N(σ)区域内，从 任一个初始状态N(t0 )出发的每个运动，当t→∞时都收 敛于Ne，则称Ne为渐近稳定点。 2)不稳定平衡点Nen：在某些特定的轨迹演化过程中，网 络能够到达稳定点Nen，但对于其它方向上的任意一个 小的区域N(σ)，不管N(σ)取多么小，其轨迹在时间t 以后总是偏离Nen； 3)网络的解：如果网络最后稳定到设计人员期望的稳定点， 且该稳定点又是渐近稳定点，那么这个点称为网络的 解； 4)网络的伪稳定点：网络最终稳定到一个渐近稳定点上， 但这个稳定点不是网络设计所要求的解，这个稳定点 为伪稳定点
7.2.2状态轨迹为极限环 如果在某些参数的情况下,状态N(t)的轨迹是 个圆,或一个环,状态N(t)沿着环重复旋转 永不停止,此时的输出A(t)也出现周期变化, 即出现振荡,如图7.4中C的轨迹即是极限环 出现的情形 对于DHNN,轨迹变化可能在两种状态下来回跳 动,其极限环为2。如果在r种状态下循环变化, 称其极限环为r
7．2．2 状态轨迹为极限环 如果在某些参数的情况下，状态N(t)的轨迹是一 个圆，或一个环，状态N(t)沿着环重复旋转， 永不停止，此时的输出A(t)也出现周期变化， 即出现振荡，如图7．4中C的轨迹即是极限环 出现的情形。 对于DHNN，轨迹变化可能在两种状态下来回跳 动，其极限环为2。如果在r种状态下循环变化， 称其极限环为r