①记忆容量的有限性 ②伪稳定点的联想与记忆; ③当记忆样本较接近时,网络不能始终回忆出正确的记忆等 另外网络的平衡稳定点并不可以任意设置的,也没有一个通用的方式来事先知道平衡稳定点。 532连续 Hopfield网络 连续 Hopfield网络也是单层的反馈网络。其实质上是一个连续的非线性动力学系统,它可以用一组非 线性微分方程来描述。当给定初始状态,通过求解非线性微分方程组即可求得网络状态的运行轨迹。若系 统是稳定的,则它最终可收敛到一个稳定状态。 533 Boltzmann机 神经网络是由大量神经元组成的动力学系统。从宏观上看,各神经元的状态可看作是一个随机变量, 正如统计物理学中,把大量气体分子看作一个系统,每个分子状态服从统计规律。从统计观点分析,也可 寻找神经网络系统中某种神经元的状态的概率分布,分布的形式与网络的结构有关,其参数则是权系数。 Hinton等人借助统计物理学的方法提出了 Boltzmann模型,可用于模式分类、预测、组合优化及规划等方 面。 机网络结构和工作方式 Boltzmann机网络是一个相互连接的神经网络模型,具有对称的连接权系数,及w=g,且wn=0 网络由可见单元( Visible unit)和隐单元( Hidden unit)构成。可见单元由输入、输出部分组成。每个单元 节点只取1或0两种状态。1代表接通或接受,0表示断开或拒绝。当神经元的输入加权和发生变化时,神 经元的状态随之更新。各单元之间状态的更新是异步的。可用概率来描述。 与 Hopfield网络相似, Boltzman杋的实际运行也分为两个阶段:第一阶段是学习和训练阶段,即根据 学习样本对网络进行训练,将知识分布地存储于网络的连接权中;第二阶段是工作阶段,即根据输入运行 网络得到合适的输出,这一步实质上是按照某种机质将知识提取出来。 2.网络的学习和训练 网络学习的目的是通过给出一组学习样本,经学习后得到 Boltzmann机各种神经元之间的连接权wg Boltzmann机网络学习的步骤可归纳如下 1)随机设定网络的连接权wn(0)及初始高温。 2)按照已知的概率p(x),依次给定学习样本。在样本的约束下,按照模拟退火程度运行网络,直至 达到平衡状态,统计出各P在无约束条件下,按同样的步骤并同样的次数运行网络,统计出各P 3)按下述公式修改权值 W(k+1)=v(k)+n(Pn-P),n>0 4)重复上述步骤,直到P-P小于一定的容限 PDF文件使用" pdffactory Pro"试用版本创建ww. fineprint,com,cn①记忆容量的有限性； ②伪稳定点的联想与记忆； ③当记忆样本较接近时，网络不能始终回忆出正确的记忆等。 另外网络的平衡稳定点并不可以任意设置的，也没有一个通用的方式来事先知道平衡稳定点。 5.3.2 连续 Hopfield 网络 连续 Hopfield 网络也是单层的反馈网络。其实质上是一个连续的非线性动力学系统，它可以用一组非 线性微分方程来描述。当给定初始状态，通过求解非线性微分方程组即可求得网络状态的运行轨迹。若系 统是稳定的，则它最终可收敛到一个稳定状态。 5.3.3 Boltzmann 机 神经网络是由大量神经元组成的动力学系统。从宏观上看，各神经元的状态可看作是一个随机变量， 正如统计物理学中，把大量气体分子看作一个系统，每个分子状态服从统计规律。从统计观点分析，也可 寻找神经网络系统中某种神经元的状态的概率分布，分布的形式与网络的结构有关，其参数则是权系数。 Hinton 等人借助统计物理学的方法提出了 Boltzmann 模型，可用于模式分类、预测、组合优化及规划等方 面。 1.机网络结构和工作方式 Boltzmann 机网络是一个相互连接的神经网络模型，具有对称的连接权系数，及wij = wji ，且 = 0 wii 。 网络由可见单元（Visible Unit）和隐单元（Hidden Unit）构成。可见单元由输入、输出部分组成。每个单元 节点只取 1 或 0 两种状态。1 代表接通或接受，0 表示断开或拒绝。当神经元的输入加权和发生变化时，神 经元的状态随之更新。各单元之间状态的更新是异步的。可用概率来描述。 与 Hopfield 网络相似，Boltzmann 机的实际运行也分为两个阶段：第一阶段是学习和训练阶段，即根据 学习样本对网络进行训练，将知识分布地存储于网络的连接权中；第二阶段是工作阶段，即根据输入运行 网络得到合适的输出，这一步实质上是按照某种机质将知识提取出来。 2. 网络的学习和训练 网络学习的目的是通过给出一组学习样本，经学习后得到 Boltzmann 机各种神经元之间的连接权wij 。 Boltzmann 机网络学习的步骤可归纳如下： 1）随机设定网络的连接权 (0) wij 及初始高温。 2）按照已知的概率 ( ) 0 p x ，依次给定学习样本。在样本的约束下，按照模拟退火程度运行网络，直至 达到平衡状态，统计出各 pij 。在无约束条件下，按同样的步骤并同样的次数运行网络，统计出各 ' pij 。 3）按下述公式修改权值 ( 1) ( ) ( ), 0 ' wij k + = wij k +h pij - pij h > 4）重复上述步骤，直到 ' pij - pij 小于一定的容限。 PDF 文件使用 "pdfFactory Pro" 试用版本创建 www.fineprint.com.cn