第1章绪论模式识别是上世纪六十年代初迅速发展起来的一门学科。其研究的成果在很多科学和技术领域中得到了广泛的应用，推动了人工智能技术、图像处理、信号处理、计算机视觉、多媒体技术等多种学科的融合与发展，扩大了计算机应用的领域。了解与熟悉模式识别的一些基本概念与基本处理方法对从事该领域相关工作的研究人员具有十分重要的意义。从学科分类来看模式识别属于人工智能的范畴，旨在实现用机器完成以往只能由人类方能胜任的智能活动。1.1模式识别的基本概念1.1.1生物的识别能力人类一般都可以通过面部特征、声音、甚至步态等信息识别出自已熟知的人。人们通过特殊的信息处理方式去感知事物的类别，判断事物的能力被称为“模式识别”。在客观世界中，生物也普遍存在模式识别的能力，许多我们熟知的生物都具有模式识别的能力。例如蝙蝠的雷达系统、螳螂的视觉系统都是灵敏度非常高的模式识别系统。这些动植物通过功能强大的系统来感知周围环境并赖以生存。警犬能通过嗅觉判断疑犯的行踪：小猫会通过味觉判断一个物体是否是食物：向日葵总是自动感知太阳的方向：微生物会根据化学物质的浓度来判断应当繁殖还是逃离。只有具备了模式识别的能力，生物体才能有效感知外界环境，并对外界刺激采取适当的反应，也才能在客观世界中生存。当生物感知到某事物或现象时，会对该事物或现象的信息进行加工和处理，进而形成一种模式，然后将其与自身存储的模式相比较，如果找到一个与之匹配的模式，就可以将该事物或现象识别出来。生物之所以具有这种识别能力，是因为经过长期的训练学习，在它们体内已经建立了抽象的标准模式，当接收一个新模式后马上就能够判断其与标准模式的相似度，从而把它与最相近的标准模式划为一类。1.1.2模式识别的概念本书所说的模式识别可以定义为识别一个模式，其英文为PatternRecogniton。“Patterm”的本意是图案、式样，但在模式识别学科中，它是指从事物中抽象出来的特征，代表的不是一个具体的事物，而是事物所包含的信息特点。虽然世界上没有完全相同的两幅书法作品，但我们仍然可以识别出两幅书法作品是否出自同一书法家之手。所以模式（Pattern）在模式识别系统中所指的是从具体事物中抽象出来，用于识别事物类别的特征信息。识别是“Recognition”，直译成汉语可以是“再认知”，就是对已经具有一定先验知识的事
第 1 章 绪论 模式识别是上世纪六十年代初迅速发展起来的一门学科。其研究的成果在很多科学和技术 领域中得到了广泛的应用，推动了人工智能技术、图像处理、信号处理、计算机视觉、多媒体 技术等多种学科的融合与发展，扩大了计算机应用的领域。了解与熟悉模式识别的一些基本概 念与基本处理方法对从事该领域相关工作的研究人员具有十分重要的意义。从学科分类来看， 模式识别属于人工智能的范畴，旨在实现用机器完成以往只能由人类方能胜任的智能活动。 1.1 模式识别的基本概念 1.1.1 生物的识别能力 人类一般都可以通过面部特征、声音、甚至步态等信息识别出自己熟知的人。人们通过特 殊的信息处理方式去感知事物的类别，判断事物的能力被称为“模式识别”。在客观世界中， 生物也普遍存在模式识别的能力，许多我们熟知的生物都具有模式识别的能力。例如蝙蝠的雷 达系统、螳螂的视觉系统都是灵敏度非常高的模式识别系统。这些动植物通过功能强大的系统 来感知周围环境并赖以生存。警犬能通过嗅觉判断疑犯的行踪；小猫会通过味觉判断一个物体 是否是食物；向日葵总是自动感知太阳的方向；微生物会根据化学物质的浓度来判断应当繁殖 还是逃离。只有具备了模式识别的能力，生物体才能有效感知外界环境，并对外界刺激采取适 当的反应，也才能在客观世界中生存。 当生物感知到某事物或现象时，会对该事物或现象的信息进行加工和处理，进而形成一种 模式，然后将其与自身存储的模式相比较，如果找到一个与之匹配的模式，就可以将该事物或 现象识别出来。生物之所以具有这种识别能力，是因为经过长期的训练学习，在它们体内已经 建立了抽象的标准模式，当接收一个新模式后马上就能够判断其与标准模式的相似度，从而把 它与最相近的标准模式划为一类。 1.1.2 模式识别的概念 本书所说的模式识别可以定义为识别一个模式，其英文为 Pattern Recogniton。“Pattern” 的 本意是图案、式样，但在模式识别学科中，它是指从事物中抽象出来的特征，代表的不是一个 具体的事物，而是事物所包含的信息特点。虽然世界上没有完全相同的两幅书法作品，但我们 仍然可以识别出两幅书法作品是否出自同一书法家之手。所以模式（Pattern）在模式识别系统 中所指的是从具体事物中抽象出来，用于识别事物类别的特征信息。 识别是 “Recognition”，直译成汉语可以是“再认知”，就是对已经具有一定先验知识的事
物去判断它是什么。由于模式是从具体事物中抽象出来的特征，因此它需要在长期的“学习”或“训练”过程中，从大量属于同一种类的事物中归纳总结出来。例如我们看某个人的多幅不同姿态、光照、表情的照片，就可以利用这些照片的信息抽象归纳出这个人的面部特征。当我们拿到一张新的照片时，就能依据这些特征来判断该幅照片是否是属于这个人，也就是说是否能将这幅照片归到“某人”这一类别中去。书中讨论的“模式识别”是指利用计算机自动地把待识别模式划分到模式所属的类别中去。一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中的模式的总体称为模式类，其中某个具体的模式称为样本。模式识别就是研究通过计算机自动的将待识别的模式分配到各个模式类中的技术。模式识别的本质是对事物的分类。学习或训练的过程是建立类别标签和类别模式之间的关联规则，识别则是将新的、未知的事物根据已建立的规则划归到已知的类别中去。1.1.3模式识别的特点“模式识别学科”就是通过计算机用数学技术方法来研究模式的自动处理和判读的学科。生物模式识别的研究属生物学、神经生理学和脑科学的范畴，作为信息学科中重要分支的模式识别学科，是研究如何让计算机具有判别模式的能力，将未知类别的事物划归到已知的类别中去的学科。理想的模式识别系统是达到生物模式识别的性能，但目前机器识别的效能还远远达不到生物识别的水平。为了学习的方便，我们先给出模式识别相关术语的描述：1.学习和分类学习在人类的日常生活中伴演的重要的角色，在人类的模式识别活动中，就是通过学习形成类别的模式特征。人类从出生起就开始学习活动，并随着年龄的增长不断增强这种能力。孩子们通过学习知道应该称呼什么样的人为爷爷、什么样的人为奶奶，这种识别能力就是通过日常大量的爷爷和奶奶的样本学习得到。人类在出生或年龄很小时并不知道爷爷、奶奶应有什么样的特征，但后天的学习过程使他们逐渐掌握这样分辨能力。给学习下个定义就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定的特征标准的过程；分类就是依据特征对待识别的事物进行归类，从而确定该事物的类别属性。2.有监督学习和无监警学习学习依据有无导师，可分为有监督学习和无监督学习。有监督学习方法预先把模式样本分为训练集和测试集，训练集用于学习出识别模型，测试集用于测试识别模型的性能。在学习的过程中已知训练样本的类别信息，识别的结果是给待识别样本加上了类别标号，因此训练样本集必须由带标号的样本组成。而无监督学习方法不去区分训练集和测试集，只有要分析的数据集本身，所有样本并没有类别标号。如果数据集皇现某种聚集性，则可按自然的聚集性分类但不以与某种预先的分类标号相匹配为目的。3.模式的紧致性
物去判断它是什么。由于模式是从具体事物中抽象出来的特征，因此它需要在长期的“学习” 或“训练”过程中，从大量属于同一种类的事物中归纳总结出来。例如我们看某个人的多幅不 同姿态、光照、表情的照片，就可以利用这些照片的信息抽象归纳出这个人的面部特征。当我 们拿到一张新的照片时，就能依据这些特征来判断该幅照片是否是属于这个人，也就是说是否 能将这幅照片归到“某人”这一类别中去。 书中讨论的“模式识别”是指利用计算机自动地把待识别模式划分到模式所属的类别中去。 一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属 的类别或同一类中的模式的总体称为模式类，其中某个具体的模式称为样本。模式识别就是研 究通过计算机自动的将待识别的模式分配到各个模式类中的技术。 模式识别的本质是对事物的分类。学习或训练的过程是建立类别标签和类别模式之间的关联 规则，识别则是将新的、未知的事物根据已建立的规则划归到已知的类别中去。 1.1.3 模式识别的特点 “模式识别学科”就是通过计算机用数学技术方法来研究模式的自动处理和判读的学科。 生物模式识别的研究属生物学、神经生理学和脑科学的范畴，作为信息学科中重要分支的模式 识别学科，是研究如何让计算机具有判别模式的能力，将未知类别的事物划归到已知的类别中 去的学科。理想的模式识别系统是达到生物模式识别的性能，但目前机器识别的效能还远远达 不到生物识别的水平。为了学习的方便，我们先给出模式识别相关术语的描述： 1.学习和分类 学习在人类的日常生活中伴演的重要的角色，在人类的模式识别活动中，就是通过学习形 成类别的模式特征。人类从出生起就开始学习活动，并随着年龄的增长不断增强这种能力。孩 子们通过学习知道应该称呼什么样的人为爷爷、什么样的人为奶奶，这种识别能力就是通过日 常大量的爷爷和奶奶的样本学习得到。人类在出生或年龄很小时并不知道爷爷、奶奶应有什么 样的特征，但后天的学习过程使他们逐渐掌握这样分辨能力。 给学习下个定义就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定 的特征标准的过程；分类就是依据特征对待识别的事物进行归类，从而确定该事物的类别属性。 2.有监督学习和无监督学习 学习依据有无导师，可分为有监督学习和无监督学习。有监督学习方法预先把模式样本分 为训练集和测试集，训练集用于学习出识别模型，测试集用于测试识别模型的性能。在学习的 过程中已知训练样本的类别信息，识别的结果是给待识别样本加上了类别标号，因此训练样本 集必须由带标号的样本组成。而无监督学习方法不去区分训练集和测试集，只有要分析的数据 集本身，所有样本并没有类别标号。如果数据集呈现某种聚集性，则可按自然的聚集性分类， 但不以与某种预先的分类标号相匹配为目的。 3.模式的紧致性
模式识别中分类器设计与模式在特征空间的分布方式有密切关系，例如图1-1(a)、(b)与(c)分别表示了两类模式在空间分布的三种状况。其中(a)中两类样本有各自明确的区域，它们之间的分界线具有简单的形式，因而也较易区分。（b)中两类虽有各自不同的区域，但分界面的形式比较复杂，因而设计分类器的难度要大得多。如果遇到(c)类的情况则几乎无法将其正确分类。注：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。XXXXXxXXXO?X(a)(b)(c)图1-1模式在特征空间的分布根据以上讨论可以定义一个紧致集，它具有下列性质：（1)临界点的数量与总的点数相比很少。(2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。（3)每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。然而很多实际问题在原始的量测空间表示时往往不满足紧致性，但它们可以通过变换，将数据从原始的量测的空间转换到特征空间，在相应的特征空间中满足紧致性，从而也达到模式可分。模式识别的一个关键步骤就是要寻找这样一种变换，即选择一种特征空间，当数据投影到这个特征空间后，使不同类别的样本能正确地分开。因此在讨论模式识别的问题时，通常假设同一类的各个模式在该空间中构成一个紧致集。至于如何找到这种变换仍是当前模式识别领域研究的热点。4.相似性判断相似性被用来衡量两个模式之间的相似程度。两个模式属于同一类是由于它们具有某些相似的属性，因此可选择适当的方法去度量它们之间的相似性。在模式识别系统中，计算机也正是依据模式之间的相似程度进行分类的。例如在特征空间中可以用特征向量表示样本的属性，则可用向量的空间距离来度量模式的相似性。在找到合适的特征空间情况下，同类样本应具有较大的相似性，而不同类别样本则相似性较小。模式识别是利用同一类别的模式具有相似的属性来完成分类，因此相似性是度量模式识别理论的基础。事实上，生物体能够识别出未见过的某个事物，也是一种存在形变和其他失真的相似性识别。5.识别结果的正确性模式识别的原理是“根据经验判断”，而经验数据总是有限的，无法包括所有可能的分类情况。因此，识别是在认知基础上的“识别”，而不是“确认”，识别的结果只能在一定的概率和置信度上表达事物所属的真实类别。模式识别中的学习或训练是从训练样本集中找出某种数学表达式的最优解，这个最优解使分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达到极值。例如图1-2
模式识别中分类器设计与模式在特征空间的分布方式有密切关系，例如图 1-1(a)、(b)与(c) 分别表示了两类模式在空间分布的三种状况。其中(a)中两类样本有各自明确的区域，它们之间 的分界线具有简单的形式，因而也较易区分。(b)中两类虽有各自不同的区域，但分界面的形式 比较复杂，因而设计分类器的难度要大得多。如果遇到(c)类的情况则几乎无法将其正确分类。 注：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。 （a） (b) (c) 图 1-1 模式在特征空间的分布 根据以上讨论可以定义一个紧致集，它具有下列性质：(1)临界点的数量与总的点数相比很 少。(2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。(3)每个内点 都有一个足够大的邻域，在该领域中只包含同一集合中的点。 然而很多实际问题在原始的量测空间表示时往往不满足紧致性，但它们可以通过变换，将 数据从原始的量测的空间转换到特征空间，在相应的特征空间中满足紧致性，从而也达到模式 可分。模式识别的一个关键步骤就是要寻找这样一种变换，即选择一种特征空间，当数据投影 到这个特征空间后，使不同类别的样本能正确地分开。因此在讨论模式识别的问题时，通常假 设同一类的各个模式在该空间中构成一个紧致集。至于如何找到这种变换仍是当前模式识别领 域研究的热点。 4.相似性判断 相似性被用来衡量两个模式之间的相似程度。两个模式属于同一类是由于它们具有某些相 似的属性，因此可选择适当的方法去度量它们之间的相似性。在模式识别系统中，计算机也正 是依据模式之间的相似程度进行分类的。例如在特征空间中可以用特征向量表示样本的属性， 则可用向量的空间距离来度量模式的相似性。在找到合适的特征空间情况下，同类样本应具有 较大的相似性，而不同类别样本则相似性较小。模式识别是利用同一类别的模式具有相似的属 性来完成分类，因此相似性是度量模式识别理论的基础。事实上，生物体能够识别出未见过的 某个事物，也是一种存在形变和其他失真的相似性识别。 5.识别结果的正确性 模式识别的原理是“根据经验判断”，而经验数据总是有限的，无法包括所有可能的分类情 况。因此，识别是在认知基础上的“识别”，而不是“确认”，识别的结果只能在一定的概率和 置信度上表达事物所属的真实类别。 模式识别中的学习或训练是从训练样本集中找出某种数学表达式的最优解，这个最优解使 分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达到极值。例如图 1-2
为分布在二维特征空间的两类样本，分别用“×”与“△”表示。从图中可见这两类样本在二维特征空间中有重叠区域，很难找到一个简单的分界线将其完全分开。如果我们用直线作为分界线，对图1-2中所示的样本分布情况，无论直线参数如何设计，总会有错分类发生。如果我们以分类数错误最小为原则分类，则图中直线A可能是最佳的分界线，它使错分类的样本数量为最小。但是如果将“×”样本错分成“△”类所造成的损失要比将“△”分成“×”类严重，则偏向使对“×”类样本的错分类进一步减少，可以使总的损失为最小，那么直线B就比直线A更优。可见分类器参数的选择结果取决于准则函数。设计者选择不同准则函数，获得最优解对应不同的学习结果，得到性能不同的分类器。AB图1-2线性分类器对样本的分类1.1.4模式的描述方法及特征空间在模式识别中，被观测的每一个对象称为样本（举例：病人；产品；目标等），本书中用大写英文字母X，Y或者Z表示样本。如果一批样品共有N个，则分别记为Xi，X2，*,X。如果一批样本分别来自m个不同的类，来自第一类的样本有N，个，来自第二类的样本有N2个，来自第m类的样本有N个，则可以表示为：XM,....,m其中记号Xの表示第类的第i个样本。对每个样本必须确定一些与识别有关的属性，每个属性称为一个特征，如人脸识别中双目之间的距离、嘴的宽度和下颌的弧度等。对特征用小写英文字母x，y或二表示。假设一个待识别的样本有n个特征，该样本的模式可用向量、矩阵或几何等方式表示，样本的n维待征所张成的空间称为样本的n维的特征空间，如图1-3所示
为分布在二维特征空间的两类样本，分别用“×”与“△”表示。从图中可见这两类样本在二 维特征空间中有重叠区域，很难找到一个简单的分界线将其完全分开。如果我们用直线作为分 界线，对图 1-2 中所示的样本分布情况，无论直线参数如何设计，总会有错分类发生。如果我 们以分类数错误最小为原则分类，则图中直线 A 可能是最佳的分界线，它使错分类的样本数量 为最小。但是如果将 “×”样本错分成“△”类所造成的损失要比将“△”分成“×”类严重， 则偏向使对“×”类样本的错分类进一步减少，可以使总的损失为最小，那么直线 B 就比直线 A 更优。可见分类器参数的选择结果取决于准则函数。设计者选择不同准则函数，获得最优解 对应不同的学习结果，得到性能不同的分类器。 图 1-2 线性分类器对样本的分类 1.1.4 模式的描述方法及特征空间 在模式识别中，被观测的每一个对象称为样本（举例：病人；产品；目标等），本书中用大 写英文字母 X，Y 或者 Z 表示样本。如果一批样品共有 N 个，则分别记为 X1，X2，., XN 。 如果一批样本分别来自 m 个不同的类，来自第一类的样本有 N1 个，来自第二类的样本有 N2 个，来自第 m 类的样本有 Nm 个，则可以表示为： 1 2 (1) (1) (1) (2) (2) (2) ( ) ( ) ( ) 1 2 1 2 1 2 , , , , , , ,., , , , m m m m X X X X X X X X X N N N 其中记号 ( )j Xi 表示第 j 类的第 i 个样本。 对每个样本必须确定一些与识别有关的属性，每个属性称为一个特征，如人脸识别中双目之 间的距离、嘴的宽度和下颌的弧度等。对特征用小写英文字母 x，y 或 z 表示。 假设一个待识别的样本有 n 个特征，该样本的模式可用向量、矩阵或几何等方式表示，样本 的 n 维待征所张成的空间称为样本的 n 维的特征空间，如图 1-3 所示
变量xx2X,.....样本XX,X2xiX12Xin...X=X,:XiX22X2n:LXN.XN[XN1XN2.+.XNn(a)向量表示（b）矩阵表示13ZaingeClass10ClaClaFeature1（c）三维空间（d）二维空间图1-3样本的表示形式例1-1假设苹果的直径尺寸限定在7厘米到15厘米之间，它们的重量在3两到8两之间变化。如果直径长度xi用厘米为单位，重量x2以两为单位。那么，由x值从7到15，x2值从3到8包围的二维空间就是对苹果进行度量的特征空间。用向量表示苹果的特征如图1-4所示。x直径17~15XX=苹果：X=-重量13~8xX图1-4苹果的特征表示1.2模式识别系统的组成和主要方法1.2.1模式识别系统的组成模式识别系统主要由信息获取、预处理、特征提取和选择、分类器设计和模式分类五部分组成，系统的构成如图1-5所示。下面对这几部分分别进行说明
1 2 = N x x X x 1 2 1 11 12 1 2 11 22 2 1 2 . n n n N N N Nn x x x X x x x X x x x X x x x 变量 样本 （a） 向量表示 （b）矩阵表示 （c）三维空间 （d）二维空间 图 1-3 样本的表示形式 例 1-1 假设苹果的直径尺寸限定在 7 厘米到 15 厘米之间，它们的重量在 3 两到 8 两之间变 化。如果直径长度 x1 用厘米为单位，重量 x2以两为单位。那么，由 x1值从 7 到 15，x2值从 3 到 8 包围的二维空间就是对苹果进行度量的特征空间。用向量表示苹果的特征如图 1-4 所示。 苹果： 1 2 x X x 直径 重量 , 1 2 7 ~ 15 3 ~ 8 x X x 图 1-4 苹果的特征表示 1.2 模式识别系统的组成和主要方法 1.2.1 模式识别系统的组成 模式识别系统主要由信息获取、预处理、特征提取和选择、分类器设计和模式分类五部分 组成，系统的构成如图 1-5 所示。下面对这几部分分别进行说明
识别结果待识模式信息获取特征提取模式及预处理与选择分类训练模式信息获取特征提取分类器及预处理设计与选择图1-5模式识别系统的基本构成1）信息获取为了使计算机能够对所研究的对象进行分类识别，必须将研究对象表示为计算机所能接收的形式，通常有下列三种类型：①二维图像：文字、指纹、地图、照片等；②一维波形：脑电图、心电图、季节震动波形等：③物理参量和逻辑值：体温、化验数据、参量正常与否的描述。通过测量、采样和量化，可以用矩阵表示二维图像，向量表示一维波形，这就是信息获取过程。2）预处理单元预处理的目的是“去伪存真”，去除噪声的同时应能保留有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原，如对缺失的数据进行补充，去除明显错误的数据，以及对数据进行规范化等。3）特征提取和选择由信息获取得到的原始数据量一般是相当大的。为了有效地提升系统分类识别的精度和速度，需要对预处理后的数据进行选择或变换，得到最能反映分类本质的样本特征。4）分类器设计为了把待识模式划归到所属的类别中去，需要制定相应的判别准则，分类的结果使判别准则对应的函数达到极值。常通的做法是：选用一定数量的样本组成训练样本集，由训练样本学习出分类判别准则，使得按分类判断准则对待识别模式进行分类所造成的错误识别率或引起的损失最小。5）模式分类在特征空间中用模式识别方法把被识别对象归为某一类别，即输出分类结果。1.2.2模式识别的方法针对不同的应用自的，可以用不同的模式识别方法。自前主流的技术有模板匹配、统计模式识别、聚类分析、模糊模式识别、人工神经网络、结构模式识别和支持向量机等。1.模板匹配模板匹配是在计算机出现之前就已经开始使用的一种模式识别方法。其基本思想是为每个
信息获取 及预处理 特征提取 与选择 模式 分类 信息获取 及预处理 特征提取 与选择 分类器 设计 待识模式 训练模式 识别结果 图 1-5 模式识别系统的基本构成 1） 信息获取 为了使计算机能够对所研究的对象进行分类识别，必须将研究对象表示为计算机所能接收 的形式，通常有下列三种类型： ① 二维图像：文字、指纹、地图、照片等； ② 一维波形：脑电图、心电图、季节震动波形等； ③ 物理参量和逻辑值：体温、化验数据、参量正常与否的描述。 通过测量、采样和量化，可以用矩阵表示二维图像，向量表示一维波形，这就是信息获取过 程。 2） 预处理单元 预处理的目的是“去伪存真”，去除噪声的同时应能保留有用信息，并对输入测量仪器或其 它因素所造成的退化现象进行复原，如对缺失的数据进行补充，去除明显错误的数据，以及对 数据进行规范化等。 3） 特征提取和选择 由信息获取得到的原始数据量一般是相当大的。为了有效地提升系统分类识别的精度和速 度，需要对预处理后的数据进行选择或变换，得到最能反映分类本质的样本特征。 4）分类器设计 为了把待识模式划归到所属的类别中去，需要制定相应的判别准则，分类的结果使判别准则 对应的函数达到极值。常通的做法是：选用一定数量的样本组成训练样本集，由训练样本学习 出分类判别准则，使得按分类判断准则对待识别模式进行分类所造成的错误识别率或引起的损 失最小。 5） 模式分类 在特征空间中用模式识别方法把被识别对象归为某一类别，即输出分类结果。 1.2.2 模式识别的方法 针对不同的应用目的，可以用不同的模式识别方法。目前主流的技术有模板匹配、统计模 式识别、聚类分析、模糊模式识别、人工神经网络、结构模式识别和支持向量机等。 1．模板匹配 模板匹配是在计算机出现之前就已经开始使用的一种模式识别方法。其基本思想是为每个
类别建立一个或多个标准模板，将待识别的样本与每个类别的模板进行比对，根据与模板的相似程度将样本划分到相应的类别中。该方法的优点是简单，在类别特征稳定、类间差距大的时候往往能取得较好的识别效果，但其缺点是适应能力较差。2.统计模式识别统计模式识别是基于概率统计理论的模式识别方法，它是将样本看作多维特征空间中的点，根据不同类别的样本在特征空间中的概率分布，制定决策准则和确定类别分界面，再进行分类决策。统计模式识别具有坚实的数学基础，分类器学习算法成熟，应用领域广泛，其缺点是算法较复杂，对于各类别特征结构差异较大时求解困难。3.聚类分析当模式识别中分类器学习采用无监督学习时，分类器主动对样本集进行类别划分的过程称为聚类分析。聚类分析有单独的算法，可以看作模式识别的一类特殊方法。4.模糊模式识别模糊模式识别是建立在模糊数学的基础上的一种模式识别方法，其基本思想是把模糊集的概念和其它的模式识别方法相融合，形成一种分类结果模糊化的识别方法。该方法可以解决许多样本特征值不精确的分类问题，当分类识别对象本身或要求的识别结果具有模糊性时，该方法通常可获得较好的识别效果。其缺点是模糊集合和模糊规则的建立具有较大的主观性。5.神经网络模式识别人工神经网络是由大量简单的基本单元一一神经元（Neural）相互连接而构成的非线性动态系统，每个神经元结构和功能比较简单，而由其组成的系统却可以非常复杂，对具有三层结构的神经网络，其输入输出关系理论上就可以逼近任意非线性函数。因此，神经网络模式识别在解决复杂的非线性分类问题上具有优势，其缺点是学习速度较慢，训练参数选择困难，并且所获得的分类决策规则是不透明和非解析的。6.支持向量机支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的模式分类方法，它在样本集较小的情况下，利用空间映射和最优化理论来确定最优或者次优的分类决策面。支持向量机在解决小样本、非线性及高维模式识别中具有独特的优势。其缺点是算法对大规模训练样本难以实施。7.结构模式识别结构模式识别是按照每个样本的结构特征进行分类的。结构模式识别技术将对象分解成若干个基元，用字符串或图来表示基元及其结构关系，然后采用形式语言理论进行句法分析，根据对象基元及结构关系是否符合某一类的文法而进行类别划分。结构模式识别对于字符识别、语言识别这样的结构化很强的模式识别问题是有效的，但它的学习方法比较困难，理论上还有很大的研究空间。上述方法各有其特点及应用范围，它们相互促进、借鉴、渗透及融合。一个较完善的识别系统很可能是综合利用上述各类识别方法的观点、概念和技术而形成的。下面通过一个实例来
类别建立一个或多个标准模板，将待识别的样本与每个类别的模板进行比对，根据与模板的相 似程度将样本划分到相应的类别中。该方法的优点是简单，在类别特征稳定、类间差距大的时 候往往能取得较好的识别效果，但其缺点是适应能力较差。 2．统计模式识别 统计模式识别是基于概率统计理论的模式识别方法，它是将样本看作多维特征空间中的点， 根据不同类别的样本在特征空间中的概率分布，制定决策准则和确定类别分界面，再进行分类 决策。统计模式识别具有坚实的数学基础，分类器学习算法成熟，应用领域广泛，其缺点是算 法较复杂，对于各类别特征结构差异较大时求解困难。 3.聚类分析 当模式识别中分类器学习采用无监督学习时，分类器主动对样本集进行类别划分的过程称 为聚类分析。聚类分析有单独的算法，可以看作模式识别的一类特殊方法。 4.模糊模式识别 模糊模式识别是建立在模糊数学的基础上的一种模式识别方法，其基本思想是把模糊集的 概念和其它的模式识别方法相融合，形成一种分类结果模糊化的识别方法。该方法可以解决许 多样本特征值不精确的分类问题，当分类识别对象本身或要求的识别结果具有模糊性时，该方 法通常可获得较好的识别效果。其缺点是模糊集合和模糊规则的建立具有较大的主观性。 5.神经网络模式识别 人工神经网络是由大量简单的基本单元——神经元（Neural）相互连接而构成的非线性动 态系统，每个神经元结构和功能比较简单，而由其组成的系统却可以非常复杂，对具有三层结 构的神经网络，其输入输出关系理论上就可以逼近任意非线性函数。因此，神经网络模式识别 在解决复杂的非线性分类问题上具有优势，其缺点是学习速度较慢，训练参数选择困难，并且 所获得的分类决策规则是不透明和非解析的。 6.支持向量机 支持向量机方法是建立在统计学习理论的 VC 维理论和结构风险最小原理基础上的模式分 类方法，它在样本集较小的情况下，利用空间映射和最优化理论来确定最优或者次优的分类决 策面。支持向量机在解决小样本、非线性及高维模式识别中具有独特的优势。其缺点是算法对 大规模训练样本难以实施。 7. 结构模式识别 结构模式识别是按照每个样本的结构特征进行分类的。结构模式识别技术将对象分解成若干 个基元，用字符串或图来表示基元及其结构关系，然后采用形式语言理论进行句法分析，根据 对象基元及结构关系是否符合某一类的文法而进行类别划分。结构模式识别对于字符识别、语 言识别这样的结构化很强的模式识别问题是有效的，但它的学习方法比较困难，理论上还有很 大的研究空间。 上述方法各有其特点及应用范围，它们相互促进、借鉴、渗透及融合。一个较完善的识别 系统很可能是综合利用上述各类识别方法的观点、概念和技术而形成的。下面通过一个实例来
说明模式识别方法在实际中的应用。例1-2男女19人进行体检，测量身高和体重，如下表。但事后发现4人忘了写性别，试问，这4人是男是女？序号性别序号性别身高（cm）体重（kg）身高（cm）体重（kg）168男1114062男1702130126615064女女3180711312066女47314150190男66男516070女1513065男615066男1614070Q?17719068男15060β?8210761814565男Y?95819100女160758?1017075男解：试验样本是人，分为男、女两个类别。二维的主要特征是身高、体重，构成二维特征空间。已知15人的性别，可以作为训练样本，根据其值确定他们在特征空间的位置。如图1-6所示。Bf4Okgp*口8070 A60d(x,r)X50150100200000cmo图1-6特征空间里的样本分布图图1-6中，男性集中于右上方，女性集中于左下方，样本可表示为X=（x，），称为模式向量。采用数理统计方法，可在两个性别之间描绘一条曲线，它是特征x，（身高）、（体重）的函数，表示为d(x，x）=0，所描绘的曲线称为分界线。可以确定：d(x,x)>0，则Xe男性（判决规则）d(x,x)<0，则X女性现考察16～19号体检者，由身高、体重确定在上图中的位置。显然，16、19在负线一侧，判定他们为女性：17、18位于正线一侧，判为男性。上述判决方法使分类错误率最小1.3模式识别的应用
说明模式识别方法在实际中的应用。 例 1-2 男女 19 人进行体检，测量身高和体重，如下表。但事后发现 4 人忘了写性别，试问， 这 4 人是男是女？ 序号 身高（cm） 体重（kg） 性别 序号 身高（cm） 体重（kg） 性别 1 170 68 男 11 140 62 男 2 130 66 女 12 150 64 女 3 180 71 男 13 120 66 女 4 190 73 男 14 150 66 男 5 160 70 女 15 130 65 男 6 150 66 男 16 140 70 α？ 7 190 68 男 17 150 60 β？ 8 210 76 男 18 145 65 γ？ 9 100 58 女 19 160 75 δ？ 10 170 75 男 解：试验样本是人，分为男、女两个类别。二维的主要特征是身高、体重，构成二维特征 空间。已知 15 人的性别，可以作为训练样本，根据其值确定他们在特征空间的位置。如图 1-6 所示。 1 x 2 x 50607080100 150 200 身 身 身 cm身 身 身 身 Kg身 身 身 身 身 1 2 d x x ( , ) 图 1-6 特征空间里的样本分布图 图 1-6 中，男性集中于右上方，女性集中于左下方，样本可表示为 1 2 ( , )T X x x ，称为模 式向量。采用数理统计方法，可在两个性别之间描绘一条曲线，它是特征 1 x （身高）、 2 x （体 重）的函数，表示为 1 2 d x x ( , ) 0 ，所描绘的曲线称为分界线。可以确定： 1 2 d x x ( , ) 0 , 则 X男性 1 2 d x x ( , ) 0 , 则 X女性 现考察 16～19 号体检者，由身高、体重确定在上图中的位置。显然，16、19 在负线一侧， 判定他们为女性；17、18 位于正线一侧，判为男性。上述判决方法使分类错误率最小。 1.3 模式识别的应用 （判决规则）
1.3.1文字识别人类有文字存在的历史已经有几千年，对人而言，经过一定时间的学习，认识文字并不困难。但想让机器像人一样能对文字进行自动识别，却并不是一件容易的事情。利用模式识别技术使计算机也像人一样对文字或字符有自动识别的能力，是人工智能领域的一个重要研究方向。文字识别一般包括以下几个步骤1）信息采集：将印刷体或手写的文字变换成电信号，输入到计算机中去：2）信息分析和处理：对变换后的电信号消除各种由于机器和人为等因素所造成的噪音和干扰，进行大小、偏转、浓淡、粗细等各种正规化处理：3）信息的分类判别：对去掉噪声并正规化后的文字信息进行分类判别，以输出识别结果。图1-7是文字识别的例子。故天将降大佐于是人也必成芝其心志，劳其筋眉，哦其体肤空全其身，行乱其所为所认动心忍性，曾益其所不能。（a）手写汉字故天将降大任于是人也，必先苦其心志，劳其筋骨，饿其体肤，空乏其身，行拂乱其所为，所以动心忍性，曾益其所不能。（b）识别结果图1-7文字识别1.3.2语音识别与机器进行语音交流，让机器听懂人类的语言，这是人们长期以来梦以求的事情。1950年，图灵发表的论文预言了创造出具有真正智能的机器的可能性，并提出了著名的图灵测试：如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么称这台机器具有智能。因此，可以说能与计算机进行语言交流是人工智能真正的开始。近年来，随着智能终端的普及语音识别技术也得到迅猛的发展，出现了众多语音识别系统，代表性的有苹果的Siri、科大飞等。语音识别的一个典型的应用，就是利用语音信息对说话人的身份进行识别，通常的语音身份识别有两类，即说话人辨认（SpeakerIdentification）和说话人确认(SpeakerVerification)。前者用以判断某段语音是若于人中的哪一个所说的，是“多选一”问题：而后者用以确认某段语音是否是指定的某个人所说的，是“一对一判别”问题，其原理如图1-8所示
1.3.1 文字识别 人类有文字存在的历史已经有几千年，对人而言，经过一定时间的学习，认识文字并不困 难。但想让机器像人一样能对文字进行自动识别，却并不是一件容易的事情。利用模式识别技 术使计算机也像人一样对文字或字符有自动识别的能力，是人工智能领域的一个重要研究方向。 文字识别一般包括以下几个步骤： 1） 信息采集：将印刷体或手写的文字变换成电信号，输入到计算机中去； 2） 信息分析和处理：对变换后的电信号消除各种由于机器和人为等因素所造成的噪音和 干扰，进行大小、偏转、浓淡、粗细等各种正规化处理； 3） 信息的分类判别：对去掉噪声并正规化后的文字信息进行分类判别，以输出识别结果。 图1-7是文字识别的例子。 图1-7 文字识别 1.3.2 语音识别 与机器进行语音交流，让机器听懂人类的语言，这是人们长期以来梦寐以求的事情。1950 年，图灵发表的论文预言了创造出具有真正智能的机器的可能性，并提出了著名的图灵测试： 如果一台机器能够与人类展开对话而不能被辨别出其机器身份，那么称这台机器具有智能。因 此，可以说能与计算机进行语言交流是人工智能真正的开始。近年来，随着智能终端的普及， 语音识别技术也得到迅猛的发展，出现了众多语音识别系统，代表性的有苹果的 Siri、科大迅 飞等。语音识别的一个典型的应用，就是利用语音信息对说话人的身份进行识别，通常的语音 身份识别有两类，即说话人辨认(Speaker Identification)和说话人确认(Speaker Verification)。 前者用以判断某段语音是若干人中的哪一个所说的，是“多选一”问题；而后者用以确认某段 语音是否是指定的某个人所说的，是“一对一判别”问题，其原理如图 1-8 所示
说话者1说话者2接受确认系统说话者拒绝说话者N(b）声绞确认(a）声纹辨认图1-8语音识别1.3.3指纹识别人类的手指末端正面皮肤凹凸不平产生纹线，这些纹线会形成各种各样的图案。而这些皮肤的纹线在起点、终点、结合点和交叉点上各不相同，具有唯一性。依靠这种唯一的特征点，就可以将人与指纹一一对应起来，通过待验证身份人的指纹与数据库里的指纹进行比对，便可以确定其真实身份。一般的指纹分成以下几个大的类别:leftloop,rightloop,twinloop,whorl,arch和tentedarch，这样就可以将每个人的指纹分别归类，进行检索。指纹识别基本上可分成：预处理、特征选择和模式分类儿个步骤。图1-9是指纹图像识别的例子。lainArcha0A图1-9指纹图像识别1.3.4遥感图像识别遥感图像识别是利用计算机对遥感图像的地物影像进行自动分类或解译的一种方法它是遥感图像处理与模式识别的交叉学科，其基本原理是：同类地物具有在遥感影像中相同的亮度值，而不同地物的亮度值不同。遥感图像识别系统一般由遥感图像获取、遥感图像预处理、地物特征提取和分类识别四个部分组成。遥感图像识别已广泛应用于农作物估产、资源勘察、气象预报和军事侦察等。图1-10是基于卫星遥感图像识别的例子
图1-8语音识别 1.3.3 指纹识别 人类的手指末端正面皮肤凹凸不平产生纹线，这些纹线会形成各种各样的图案。而这些皮肤 的纹线在起点、终点、结合点和交叉点上各不相同，具有唯一性。依靠这种唯一的特征点，就 可以将人与指纹一一对应起来，通过待验证身份人的指纹与数据库里的指纹进行比对，便可以 确定其真实身份。一般的指纹分成以下几个大的类别:left loop,right loop,twin loop,whorl,arch 和 tented arch，这样就可以将每个人的指纹分别归类，进行检索。指纹识别基本上可分成：预处理、 特征选择和模式分类几个步骤。图 1-9 是指纹图像识别的例子。 图 1-9 指纹图像识别 1.3.4 遥感图像识别 遥感图像识别是利用计算机对遥感图像的地物影像进行自动分类或解译的一种方法， 它是遥感图像处理与模式识别的交叉学科，其基本原理是: 同类地物具有在遥感影像中相同 的亮度值，而不同地物的亮度值不同。遥感图像识别系统一般由遥感图像获取、遥感图像 预处理、地物特征提取和分类识别四个部分组成。遥感图像识别已广泛应用于农作物估产、 资源勘察、气象预报和军事侦察等。图 1-10 是基于卫星遥感图像识别的例子