第9章人工神经网络的分析与设计
第9章 人工神经网络的分析与设计
本章介绍人工神经网络是模拟生物神经网络的工作机理模仿人脑某些学习功能的一种计算结构，它也是一种自适应非线性动力学系统模型经过近60多年的发展，人工神经网络有了很大的进展并在各个领域显示了巨大应用潜力基于各种人工神经网络原理的硬件电路实现是人工神经网络得以应用的非常重要的前提之一
本章介绍 人工神经网络是模拟生物神经网络的工作机理、 模仿人脑某些学习功能的一种计算结构，它也是 一种自适应非线性动力学系统模型。 经过近60多年的发展，人工神经网络有了很大 的进展并在各个领域显示了巨大应用潜力。 基于各种人工神经网络原理的硬件电路实现是 人工神经网络得以应用的非常重要的前提之一
本章介绍本章首先介绍传统人工神经网络的基本概念，阐述神经元电路实现的一些方案。接着，结合细胞神经网络（Cell Neural Network一CNN）分析人工神经网络的混沌特性和CNN的申路仿真实现，根据最新人工神经网络发展，以脉冲耦合神经网络（Pulse Coupled Neural Network一PCNN）为例，从等效电路解释和模型基本原理出发，详细介绍PCNN的基本工作原理，分析PCNN的基本混沌特性，再介绍PCNN模型的一种硬件电路实现方案，最后介绍人工神经网络在旅行商问题中的应用
本章介绍 本章首先介绍传统人工神经网络的基本概念，阐 述神经元电路实现的一些方案。 接着，结合细胞神经网络（Cell Neural Network－ CNN）分析人工神经网络的混沌特性和CNN的电 路仿真实现，根据最新人工神经网络发展，以脉冲 耦合神经网络（Pulse Coupled Neural Network－ PCNN）为例，从等效电路解释和模型基本原理出 发，详细介绍PCNN的基本工作原理，分析PCNN 的基本混沌特性，再介绍PCNN模型的一种硬件电 路实现方案，最后介绍人工神经网络在旅行商问题 中的应用
9.1人工神经网络概述9.1.1.人工神经网络概述（1）人工神经网络的发展人工神经网络的发展大致经历了三个阶段：第一阶段，1943年精神病学家和神经解部学家Warren S McCulloch与数学家Walter H Pitts总结了生物神经元的一些基本生理特性，提出了MP神经元数学模型，1949年D.O.Hebb提出Hebb学习规则，1957年F.Rosenblatt提出感知器，1960年BernandWidrow和MarcianHoff提出自适应线性元件网络：使得人工神经网络第一次从理论研究转入工程实现阶段，从而掀起了人工神经网络研究的高潮
9.1 人工神经网络概述 9.1.1.人工神经网络概述 （1）人工神经网络的发展 人工神经网络的发展大致经历了三个阶段： 第一阶段，1943年精神病学家和神经解剖学家 Warren S McCulloch与数学家Walter H Pitts总结了 生物神经元的一些基本生理特性，提出了MP神经 元数学模型，1949年D.O.Hebb提出Hebb学习规则， 1957年 F.Rosenblatt提出感知器，1960年Bernand Widrow和 Marcian Hoff提出自适应线性元件网络， 使得人工神经网络第一次从理论研究转入工程实现 阶段，从而掀起了人工神经网络研究的高潮
9.1人工神经网络概述第二阶段，1969年M.Minsky和S.Parpert对感知器的悲观理论使神经网络研究陷入低谷他们分析了若干种简单感知器，并总结说明：简单感知器只能完成线性分类，对非线性分类无能为力，加上他们在人工智能领域的威望，他们这种悲观理论对当时人工神经网络的发展来说负面影响很大；而另一方面，当时计算机技术的发展使得传统人工智能理论在基于VonNeumann计算机平台上的发展趋势非常乐观；同时人们对当时人工神经网络的训练没有得到一种普适的学习算法；这样，人工神经网络的发展转入缓慢发展的低潮期
9.1 人工神经网络概述 第二阶段，1969年M.Minsky和S.Parpert对感知器 的悲观理论使神经网络研究陷入低谷。 他们分析了若干种简单感知器，并总结说明：简 单感知器只能完成线性分类，对非线性分类无能为 力，加上他们在人工智能领域的威望，他们这种悲 观理论对当时人工神经网络的发展来说负面影响很 大；而另一方面，当时计算机技术的发展使得传统 人工智能理论在基于Von Neumann计算机平台上的 发展趋势非常乐观；同时人们对当时人工神经网络 的训练没有得到一种普适的学习算法；这样，人工 神经网络的发展转入缓慢发展的低潮期
9.1人工神经网络概述第三阶段，1982年生物物理学家J.J.Hopfield提出Hopfield网络模型，并将其成功应用于NP完全性的著名旅行商问题1986年DavidE.和Runmelhart等的并行分布式处理(PDP)研究组完善了多层神经网络感知误差反向传播算法Error Back Propagation(简称BP算法，最早由Werbo于1974年提出)，特别是有效解决了网络权值在学习过程中自动调整的问题，人工神经网络的发展再次掀起研究高潮；1987年6月21日在美国圣地亚哥召开了第一届国际人工神经网络学术会议宣告国际神经网络协会成立
9.1 人工神经网络概述 第三阶段，1982年生物物理学家J.J.Hopfield提出 Hopfield网络模型，并将其成功应用于NP完全性的 著名旅行商问题。 1986年David E.和Runmelhart等的并行分布式处 理(PDP)研究组完善了多层神经网络感知误差反向 传播算法Error Back Propagation(简称BP算法，最 早由Werbo于1974年提出)，特别是有效解决了网络 权值在学习过程中自动调整的问题，人工神经网络 的发展再次掀起研究高潮；1987年6月21日在美国 圣地亚哥召开了第一届国际人工神经网络学术会议， 宣告国际神经网络协会成立
9.1人工神经网络概述20世纪80年代末期，蔡绍堂(L.0.Chane)等人提出了细胞神经网络(CNN)模型。 值得一提的是20世纪9O年代初，PCNN应运而生，由于PCNN在图像处理领域的良好表现，又将其称为第三代人工神经网络发展的主要标志常见的传统人工神经网络有：Hopfield、Adline、BP、Kohonen等。另外，还有一些特殊人工神经网络模型如：协同神经网络、广义同余神经网络、自组织映射神经网络、细胞神经网络，更有目前正在研究中的脉冲耦合神经网络
9.1 人工神经网络概述 20世纪80年代末期，蔡绍堂(L.O.Chane)等人提 出了细胞神经网络(CNN)模型。值得一提的是20 世纪90年代初，PCNN应运而生，由于PCNN在图 像处理领域的良好表现，又将其称为第三代人工 神经网络发展的主要标志。 常见的传统人工神经网络有：Hopfield、Adline、 BP、Kohonen等。另外，还有一些特殊人工神经 网络模型如：协同神经网络、广义同余神经网络、 自组织映射神经网络、细胞神经网络，更有目前 正在研究中的脉冲耦合神经网络
9.1人工神经网络概述（2）Hopfield神经网络Hopfield网络是一个具有自反馈的简单人工神经网络，如下图所示。该网络由JohnHopfield在1982年提出而得名输入叫突触+输+出单元霍普菲尔德网络的连线示意图
9.1 人工神经网络概述 （2）Hopfield神经网络 Hopfield网络是一个具有自反馈的简单人工神经 网络，如下图所示。该网络由John Hopfield在1982 年提出而得名。 霍普菲尔德网络的连线示意图
9.1人工神经网络概述Hopfield网络的每个神经元有多个输入，但只能有两种输出：-1(表示抑制)或+1(表示兴奋)，神经元之间的每个连接均被指派一个特定的连接强度，网络中的每个神经元在某一时刻总是对来自其周伟的全部连接进行求和。如果这个总和大于0，则该单元的输出为+1，否则输出为-1。计算多次反复进行，直到所有单元的输出都稳定为止。所有单元的状态并不是同时改变的，而是按随机次序一个接一个地进行的
Hopfield网络的每个神经元有多个输入，但只能 有两种输出：−1(表示抑制)或+1(表示兴奋)，神经 元之间的每个连接均被指派一个特定的连接强度， 网络中的每个神经元在某一时刻总是对来自其周围 的全部连接进行求和。如果这个总和大于0，则该 单元的输出为+1，否则输出为-1。计算多次反复进 行，直到所有单元的输出都稳定为止。所有单元的 状态并不是同时改变的，而是按随机次序一个接一 个地进行的。 9.1 人工神经网络概述
9.1人工神经网络概述Hopfield 从理论上证明，如果对Hopfield网络给定一组连接权值和任何输入，该网络将不会无限制地处于漫游状态，也不会进入振荡状态，而是迅速收敛到一个稳定状态Hopfield 网络用“赫布规则”调节神经元之间连接权值：如果两个神经元具有相同的输出，则它们之间的相互连接权值都设为+1，反之，如果它们具有相反的输出，则个权值均设为-1
9.1 人工神经网络概述 Hopfield 从理论上证明，如果对Hopfield网络给 定一组连接权值和任何输入，该网络将不会无限 制地处于漫游状态，也不会进入振荡状态，而是 迅速收敛到一个稳定状态。 Hopfield 网络用“赫布规则”调节神经元之间 连接权值：如果两个神经元具有相同的输出，则 它们之间的相互连接权值都设为+1，反之，如果 它们具有相反的输出，则个权值均设为-1