第六章神经网络在模式识别中的应用 模式识别模拟的是人类一部分智能一识别、判断能力,而人类的智能活动都是在大脑的 神经系统中完成的,如果我们能够模拟人类大脑的工作机理来实现识别系统,应该能够取得 好的效果。人工神经网络的研究证实在这方面所进行的探索 61人工神经网络的基础知识 一、人工神经网络的发展历史 1943年,心理学家 McCulloch和数学家 Pitts提出了形式神经元的数学模型 1949年,心理学家Hebb提出了神经元学习的准则 20世纪50年代末, Rosenblatt提出了感知器模型,引起了神经元研究的广泛兴趣 1969年, Minsky等人指出了感知器的局限性,神经网络的研究热潮下降; 1982年, Hopfield提出了一种神经网络的动力学模型,可以用于联想记忆和优化计算; 1986年, Rumelhart等人提出了多层感知器模型,克服了感知器模型的局限性,使得人 工神经网络的研究再度受到重视。 二、生物神经元 轴突 树突 胞体 个典型的神经元(或称神经细胞)可以看作有三部分组成:细胞体,树突和轴突 树突是神经元的生物信号输入端,与其它的神经元相连;轴突是神经元的信号输出端, 连接到其它神经元的树突上:神经元有两种状态:兴奋和抑制,平时神经元都处于抑制状态, 轴突没有输入,当神经元的树突输入信号大到一定程度,超过某个阈值时,神经元有抑制状 态转为兴奋状态,同时轴突向其它神经元发出信号。 三、人工神经元
第六章 神经网络在模式识别中的应用 模式识别模拟的是人类一部分智能—识别、判断能力，而人类的智能活动都是在大脑的 神经系统中完成的，如果我们能够模拟人类大脑的工作机理来实现识别系统，应该能够取得 好的效果。人工神经网络的研究证实在这方面所进行的探索。 6.1 人工神经网络的基础知识 一、人工神经网络的发展历史 1943 年，心理学家 McCulloch 和数学家 Pitts 提出了形式神经元的数学模型； 1949 年，心理学家 Hebb 提出了神经元学习的准则； 20 世纪 50 年代末，Rosenblatt 提出了感知器模型，引起了神经元研究的广泛兴趣； 1969 年，Minsky 等人指出了感知器的局限性，神经网络的研究热潮下降； 1982 年，Hopfield 提出了一种神经网络的动力学模型，可以用于联想记忆和优化计算； 1986 年，Rumelhart 等人提出了多层感知器模型，克服了感知器模型的局限性，使得人 工神经网络的研究再度受到重视。 二、生物神经元 一个典型的神经元（或称神经细胞）可以看作有三部分组成：细胞体，树突和轴突。 树突是神经元的生物信号输入端，与其它的神经元相连；轴突是神经元的信号输出端， 连接到其它神经元的树突上；神经元有两种状态：兴奋和抑制，平时神经元都处于抑制状态， 轴突没有输入，当神经元的树突输入信号大到一定程度，超过某个阈值时，神经元有抑制状 态转为兴奋状态，同时轴突向其它神经元发出信号。 三、人工神经元 f u 1 x 2 x N x w1 w2 wN y
人工神经元是仿照生物神经元提出的,神经元可以有N个输入:x12x2…,x,每个输 入端与神经元之间有一定的联接权值:w1,w2,…,W,神经元总的输入为对每个输入的加 权求和,同时减去阈值 神经元的输出y是对u的映射 f称为输出函数,可以有很多形式。当∫为阈值函数时,神经元就可以看作是一个线 性分类器 x≤0 当取∫为 Sigmoid函数时,神经元完成的是连续的线性映射 1- -1,1 1+ 个神经元的结构可以简化为下图的形式: X 其中输入矢量为增广矢量,最后一维x=1,用wx代替阈值6
人工神经元是仿照生物神经元提出的，神经元可以有 N 个输入： 1 2 , , , N x x x ，每个输 入端与神经元之间有一定的联接权值： 1 2 , , , w w wN ，神经元总的输入为对每个输入的加 权求和，同时减去阈值 ： 1 N i i i u w x = = − 神经元的输出 y 是对 u 的映射： ( ) 1 N i i i y f u f w x = = = − f 称为输出函数，可以有很多形式。当 f 为阈值函数时，神经元就可以看作是一个线 性分类器。 ( ) 1, 0 0, 0 x f x x = 当取 f 为 Sigmoid 函数时，神经元完成的是连续的线性映射： ( ) 1 1 x f x e − = + [0,1] ( ) 2 2 1 1 x f x e − = − + [-1,1] 一个神经元的结构可以简化为下图的形式： y x1 x2 xN . . . w1 w2 wN 其中输入矢量为增广矢量，最后一维 1 N x = ，用 wN 代替阈值
62前馈神经网络 在前馈网络中,每个神经元只接受前一级的输入,并输出到下一级,没有反馈。 感知器 感知器实际上是一个两层前馈网络,第一层为输入层,只是将输入的特征值传输给下 层:第二层为计算单元。下图表示的就是一个两输入,四输出的感知器。 yI y 感知器的学习算法同前面介绍的类似,只不过现在的输出可能不止是0和1。设某一个 训练样本的理想输出为(y,…y),而实际输出为(1…,j),则权值可按如下公式进行 修改: v(t+1)=v()+n(y-)x 其中n为步长 单个神经元可以实现两类问题的线性分类,多个感知器则可以实现多类别问题的线性分 类。例如上图中的网络就可以实现四类问题的分类,训练时,第1类的训练样本理想输出为 (1,0.0),第2类的理想输出为(O,1,0,0),第3类为(00,10),第4类为(0,00,1)。也就是每个 神经元输出为1代表某一类别。这样的网络实际上是由拒绝区域的分类,当待识样本输入后 输出全部为0或由不止一个输出为1,则应该拒识 如果对于四个类别问题,用两个计算单元进行编码输出时,则可以做到无拒识。也就是 说第1类训练样本的理想输出为(0.0),第2类为(0,1),第3类为(10),第4类为(1,1) 二、多层感知器 yI 多层感知器可以解决感知器的局限性问题,实现输入和输出之间的非线性映射。上图表 示的是两个输入,两个输出,四个隐元的三层感知器。其中第1层称为输入层,第2层称为
6.2 前馈神经网络 在前馈网络中，每个神经元只接受前一级的输入，并输出到下一级，没有反馈。 一、感知器 感知器实际上是一个两层前馈网络，第一层为输入层，只是将输入的特征值传输给下一 层；第二层为计算单元。下图表示的就是一个两输入，四输出的感知器。 x1 x2 1 y1 y2 y3 y4 感知器的学习算法同前面介绍的类似，只不过现在的输出可能不止是 0 和 1。设某一个 训练样本的理想输出为 ( y y 1 , , M ) ，而实际输出为 ( y y 1 , , M ) ，则权值可按如下公式进行 修改： w t w t y y x ij ij i i i ( + = + − 1) ( ) ( ) 其中 为步长。 单个神经元可以实现两类问题的线性分类，多个感知器则可以实现多类别问题的线性分 类。例如上图中的网络就可以实现四类问题的分类，训练时，第 1 类的训练样本理想输出为 (1,0,0,0)，第 2 类的理想输出为(0,1,0,0)，第 3 类为(0,0,1,0)，第 4 类为(0,0,0,1)。也就是每个 神经元输出为 1 代表某一类别。这样的网络实际上是由拒绝区域的分类，当待识样本输入后， 输出全部为 0 或由不止一个输出为 1，则应该拒识。 如果对于四个类别问题，用两个计算单元进行编码输出时，则可以做到无拒识。也就是 说第 1 类训练样本的理想输出为(0,0)，第 2 类为(0,1)，第 3 类为(1,0)，第 4 类为(1,1)。 二、多层感知器 x1 x2 1 y1 y2 多层感知器可以解决感知器的局限性问题，实现输入和输出之间的非线性映射。上图表 示的是两个输入，两个输出，四个隐元的三层感知器。其中第 1 层称为输入层，第 2 层称为
隐层,第3层称为输出层。在多层感知器网络中,隐层的个数可以不止一个。隐层元的输出 函数应该是 Sigmoid函数。 多层感知器的训练算法相对于感知器算法要复杂得多,一般称为BP算法 (Back- Propogation),或称为反向传播算法,多层感知器网络也称为BP网络。下面简单介绍 下BP算法的主要思想。 在感知器算法中我们实际上是在利用理想输出与实际输出之间的误差作为增量来修正 权值,然而在多层感知器中,我们只能计算出输出层的误差,中间层的误差无法得到。BP 算法的主要思想是从后先前反向逐层传播输出层的误差,以间接计算隐层的误差。算法可以 分为两个阶段:第一阶段是一个正向过程,输入信息从输入层经隐层逐层计算个单元的输出 值:第二阶段是一个反向传播过程,输出层的误差逐层向前传播,算出隐层个单元的误差, 并用误差修正权值。 BP算法的严格推导比较复杂,下面直接给出具体算法: 1、选定所有神经元权系数的初始值 2、重复下述过程直到收敛为止; 1)从前向后计算各层神经元的实际输出: ∑"()j 2)对输出层计算增量 6=(V-)(1-) 3)从前向后计算隐层神经元的增量6: 6=j,(1-)∑k()6 4)修正个神经元的权值: (+1)=v()+70 多层感知器网络的识别过程就相当于一个正向过程,输入信息从输入层经隐层逐层计算 个单元的输出值,直到计算出输出层的输出为止 例6.1BP网络学习XOR问题 例6.2BP网络进行函数拟合 BP算法的缺点是对初始值的依赖性比较强,容易收敛到局部最小点:算法的收敛速度 较慢 63自组织特征映射网络 生物神经学的研究发现,人的大脑皮层中神经网络的功能是分区的,每个区域完成各自 的功能。记忆也是一样,一个特定区域记忆一类特殊的事务,另一个区域记忆另外一些事务 同时在记忆的过程中,相近的神经元之间共同兴奋,而对较远的神经元则存在着侧向抑制的 现象,抑制其兴奋
隐层，第 3 层称为输出层。在多层感知器网络中，隐层的个数可以不止一个。隐层元的输出 函数应该是 Sigmoid 函数。 多层感 知器 的训 练算 法相 对于 感知 器算 法要 复杂 得多 ，一 般称 为 BP 算法 (Back-Propogation)，或称为反向传播算法，多层感知器网络也称为 BP 网络。下面简单介绍 一下 BP 算法的主要思想。 在感知器算法中我们实际上是在利用理想输出与实际输出之间的误差作为增量来修正 权值，然而在多层感知器中，我们只能计算出输出层的误差，中间层的误差无法得到。BP 算法的主要思想是从后先前反向逐层传播输出层的误差，以间接计算隐层的误差。算法可以 分为两个阶段：第一阶段是一个正向过程，输入信息从输入层经隐层逐层计算个单元的输出 值；第二阶段是一个反向传播过程，输出层的误差逐层向前传播，算出隐层个单元的误差， 并用误差修正权值。 BP 算法的严格推导比较复杂，下面直接给出具体算法： 1、 选定所有神经元权系数的初始值； 2、 重复下述过程直到收敛为止； 1) 从前向后计算各层神经元的实际输出： j ij i ( ) i u w t y = ， 1 1 i j u y e − = + 2) 对输出层计算增量 j ： j j j j j = − − ( y y y y ) (1 ) 3) 从前向后计算隐层神经元的增量 j ： j j j jk k (1 ) ( ) k = − y y w t 4) 修正个神经元的权值： w t w t y ij ij j i ( + = + 1) ( ) 多层感知器网络的识别过程就相当于一个正向过程，输入信息从输入层经隐层逐层计算 个单元的输出值，直到计算出输出层的输出为止。 例 6.1 BP 网络学习 XOR 问题 例 6.2 BP 网络进行函数拟合 BP 算法的缺点是对初始值的依赖性比较强，容易收敛到局部最小点；算法的收敛速度 较慢。 6.3 自组织特征映射网络 生物神经学的研究发现，人的大脑皮层中神经网络的功能是分区的，每个区域完成各自 的功能。记忆也是一样，一个特定区域记忆一类特殊的事务，另一个区域记忆另外一些事务。 同时在记忆的过程中，相近的神经元之间共同兴奋，而对较远的神经元则存在着侧向抑制的 现象，抑制其兴奋
网络结构 Kohonen依据这样的思想提出了一种神经网络,一般称为自组织特征映射网络 ( Self-Organizing Feature Map,SOM或SOFM),也被称为 Kohonen网络。SOM网络是一个两 层网络,包括输入层和竞争层,输入层的神经元个数等于特征的维数N,竞争层包含 M=m×m个神经元,组成一个方阵。输入层和竞争层之间是全互连的,竞争层的神经元 之间训练时存在着侧向抑制,识别时没有任何连接 o○oo/※争层 COOp 输入层 二、网络的识别过程 当SOM网络训练好之后,我们希望用网络中的某个区域对应某一类模式,当输入一个 待识模式时,计算输入特征矢量与网络中每个神经元权值之间的距离,以距离最小者作为胜 元,也就是兴奋程度最大的神经元,然后根据这个胜元所在的区域确定待识模式的类别 输入特征与神经元权值之间距离的计算可以采用多种形式,常用的有欧氏距离和矢量点 积。采用欧氏距离时以最小值确定胜元,采用矢量点积时则以最大值确定胜元。令输入特征 矢量为X=(x1,x2…x),第j个神经元的权值为W=(vn,m2…MN),则有 欧氏距离:d=|x-Ww|=|∑(x=m 矢量点积:d=WX=∑x 三、网络的学习过程 SOM网络的学习也是一个迭代的算法,在第t次迭代中要有一个以胜元为中心的邻域 N2(),在这个邻域内的神经元权值得到增强,邻域之外的神经元受到抑制或不增强。邻 域的形状可以选择方形、圆形或多边形
一、网络结构 Kohonen 依据这样的思想提出了一种神经网络，一般称为自组织特征映射网络 (Self-Organizing Feature Map, SOM 或 SOFM)，也被称为 Kohonen 网络。SOM 网络是一个两 层网络，包括输入层和竞争层，输入层的神经元个数等于特征的维数 N ，竞争层包含 M m m = 个神经元，组成一个方阵。输入层和竞争层之间是全互连的，竞争层的神经元 之间训练时存在着侧向抑制，识别时没有任何连接。 二、网络的识别过程 当 SOM 网络训练好之后，我们希望用网络中的某个区域对应某一类模式，当输入一个 待识模式时，计算输入特征矢量与网络中每个神经元权值之间的距离，以距离最小者作为胜 元，也就是兴奋程度最大的神经元，然后根据这个胜元所在的区域确定待识模式的类别。 输入特征与神经元权值之间距离的计算可以采用多种形式，常用的有欧氏距离和矢量点 积。采用欧氏距离时以最小值确定胜元，采用矢量点积时则以最大值确定胜元。令输入特征 矢量为 ( 1 2 , , , ) T N X = x x x ，第 j 个神经元的权值为 ( 1 2 , , , ) T Wj j j jN = w w w ，则有： 欧氏距离： ( ) 1 2 2 1 N j j i ji i d x w = = − = − X W ； 矢量点积： 1 N T j j ij i i d w x = = = W X 。 三、网络的学习过程 SOM 网络的学习也是一个迭代的算法，在第 t 次迭代中要有一个以胜元为中心的邻域 N t g ( ) ，在这个邻域内的神经元权值得到增强，邻域之外的神经元受到抑制或不增强。邻 域的形状可以选择方形、圆形或多边形
SOM网络最大的特点是可以对没有类别标签的样本进行学习,也就是可以进行聚类分 析,因为经过多次迭代学习之后,相近的样本激活的胜元在空间中分布的区域相近,我们可 以将这个区域确定为一个类别。下面给出网络训练算法(采用欧氏距离) 1.初始化,随机赋值所有竞争层神经元的权值{vy},并且将每个神经元的权值矢量 归一化单位长度,也就是|W|=1,确定初始的邻域N2(O),以及学习次数T和 初始学习速率0<7(0)<1 2.输入训练样本归一化:X= 3.计算训练样本X与每一个神经元之间的距离,并确定胜元g: d=W()X=∑v(o)x dg=min(d, 1 调整连接权值: W()+m(x-w(O)]j∈N2() jEN,(o 5.对连接权值进行归一化:W(+0)(+ 6.重复2~5的过程,全部训练样本训练一遍; 7.进行下一次迭代,t=1+1,更新()和N2(),m()应该越来越小,最后变为 0,N2()的区域也应该越来越小,最后只包含一个胜元 8.重复2~7的过程,直到t=T为止 例6.3样本聚类
SOM 网络最大的特点是可以对没有类别标签的样本进行学习，也就是可以进行聚类分 析，因为经过多次迭代学习之后，相近的样本激活的胜元在空间中分布的区域相近，我们可 以将这个区域确定为一个类别。下面给出网络训练算法（采用欧氏距离）： 1. 初始化，随机赋值所有竞争层神经元的权值 wij ，并且将每个神经元的权值矢量 归一化单位长度，也就是 1 Wj = ，确定初始的邻域 Ng (0) ，以及学习次数 T 和 初始学习速率 0 0 1 ( ) ； 2. 输入训练样本归一化： = X X X ； 3. 计算训练样本 X 与每一个神经元之间的距离，并确定胜元 g ： ( ) ( ) 1 N T j j ij i i d t w t x = = = W X g j min j d d = 4. 调整连接权值： ( ) ( ) ( ) ( ) ( ) ( ) ( ) , 1 , j j g j j g t t t j N t t t j N t + − + = W X W W W 5. 对连接权值进行归一化： ( ) ( ) ( ) 1 1 1 j j j t t t + + = + W W W ； 6. 重复 2~5 的过程，全部训练样本训练一遍； 7. 进行下一次迭代， t t = +1 ，更新 (t) 和 N t g ( ) ，(t) 应该越来越小，最后变为 0， N t g ( ) 的区域也应该越来越小，最后只包含一个胜元。 8. 重复 2~7 的过程，直到 t T= 为止。 例 6.3 样本聚类