人工神经网络及其应用 第5讲 Hopfield网络 何建华 电信系,华中科技大 2003年3月3日
人工神经网络及其应用 第5讲 Hopfield网络 何建华 电信系，华中科技大学 2003年3月3日
Q内容安排 反馈网络 二、 Hopfield网络简介 DHNN网络 四、稳定性与应用 五、内容小结 2021/2/20
2021/2/20 2 一、反馈网络 二、Hopfield网络简介 三、DHNN网络 四、稳定性与应用 五、内容小结 内容安排
Q要点 反馈网络如何通过网络神经元状态的变迁而最 终稳定于平衡状态,得到联想存储或优化计算 的结果 关心网络的稳定性问题 ◆研究重点为怎样得到和利用稳定的反馈网络 2021/2/20
2021/2/20 3 反馈网络如何通过网络神经元状态的变迁而最 终稳定于平衡状态，得到联想存储或优化计算 的结果 关心网络的稳定性问题 研究重点为怎样得到和利用稳定的反馈网络 要点
一、反馈网络 米 1.1反馈网络简介 1.2网络稳定性 2021/2/20
2021/2/20 4 1.1 反馈网络简介 1.2 网络稳定性 一、反馈网络
1.1反馈网络简介 米 ◆反馈网络( Recurrent Network),又称自 联想记忆网络 其目的是为了设计一个网络,储存一组平衡 点,使得当给网络一组初始值时,网络通过 自行运行而最终收敛到这个设计的平衡点上 反馈网络能表现出非线性动力学系统动 态特性 网络系统具有若干个稳定状态。当网络从某一初始 状态开始运动,网络系统总可以收敛到某一个稳定 的平衡状态; 系统稳定的平衡状态可以通过设计网络的权值而被 2021/2/20 存储到网络中
2021/2/20 5 1.1 反馈网络简介 反馈网络(Recurrent Network)，又称自 联想记忆网络 – 其目的是为了设计一个网络，储存一组平衡 点，使得当给网络一组初始值时，网络通过 自行运行而最终收敛到这个设计的平衡点上。 反馈网络能表现出非线性动力学系统动 态特性 – 网络系统具有若干个稳定状态。当网络从某一初始 状态开始运动，网络系统总可以收敛到某一个稳定 的平衡状态； – 系统稳定的平衡状态可以通过设计网络的权值而被 存储到网络中
1.1反馈网络简介 米 ◆反馈网络分类 如果激活函数f()是一个二值型的硬函数,即a;= sgn(n),i=,2,…r,则称此网络为离散型反馈网 络 如果f()为一个连续单调上升的有界函数,这类网络 被称为连续型反馈网络 2021/2/20
2021/2/20 6 1.1 反馈网络简介 反馈网络分类 – 如果激活函数f(·)是一个二值型的硬函数，即ai＝ sgn(ni )，i＝l, 2, … r，则称此网络为离散型反馈网 络； – 如果f(·)为一个连续单调上升的有界函数，这类网络 被称为连续型反馈网络
1.2网络稳定性 米 ◆状态轨迹 设状态矢量N=[n1,n2…,,n],网络的输出矢量为 A=[a1 T 在一个r维状态空间上,可以用一条轨迹来描述状态 变化情况 从初始值Nt)出发, N(t6+△t→N(t0+2△t)→…→N(t+m△t),这些在 空间上的点组成的确定轨迹,是演化过程中所有可 能状态的集合,我们称这个状态空间为相空间 2021/2/20
2021/2/20 7 1.2 网络稳定性 状态轨迹 – 设状态矢量N=[n1 , n2 , …，nr ]，网络的输出矢量为 A＝[a1，a2…，as ] T – 在一个r维状态空间上，可以用一条轨迹来描述状态 变化情况 – 从初始值N(t0 )出发， N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在 空间上的点组成的确定轨迹，是演化过程中所有可 能状态的集合，我们称这个状态空间为相空间
1.2网络稳定性 米 ◆状态轨迹 离散与连续轨迹 N(t) N6) A N() N() 2021/2/20
2021/2/20 8 1.2 网络稳定性 状态轨迹 – 离散与连续轨迹
1.2网络稳定性 米 ◆状态轨迹分类:对于不同的连接权值w;和输入 Pj=L,2,…冂),反馈网络可能出现不同性质 的状态轨迹 轨迹为稳定点 轨迹为极限环 轨迹为混沌现象 轨迹发散 2021/2/20
2021/2/20 9 1.2 网络稳定性 状态轨迹分类：对于不同的连接权值wij和输入 Pj (i, j=1, 2, … r)，反馈网络可能出现不同性质 的状态轨迹 – 轨迹为稳定点 – 轨迹为极限环 – 轨迹为混沌现象 – 轨迹发散
1.2网络稳定性 米 ◆稳定轨迹 状态轨迹从系统在t时状态的初值N(t)开始,经过 定的时间tt>0)后,到达Nt+t。如果 N(to+t+△t)=N(to+t),△t>0,则状态N(t0+t称为 网络的稳定点,或平衡点 反馈网络从任初始态P(0)开始运动,若存在某 有限时刻t,从以后的网络状态不再发生变化 Pt△t)=P(t),△t>0)则称网络是稳定的 处于稳定时的网络状态叫做稳定状态,又称为定吸 引子 2021/2/20
2021/2/20 10 1.2 网络稳定性 稳定轨迹 – 状态轨迹从系统在t0时状态的初值N(t0 )开始，经过 一定的时间t(t＞0)后，到达N(t0+t)。如果 N(t0+t+Δt)=N(t0+t)，Δt＞0，则状态N(t0+t)称为 网络的稳定点，或平衡点 – 反馈网络从任一初始态P(0)开始运动，若存在某一 有限时刻t，从t以后的网络状态不再发生变化 （P(t+Δt)= P(t)，Δt＞0）则称网络是稳定的 – 处于稳定时的网络状态叫做稳定状态，又称为定吸 引子