第一章绪论 模式识别的概念 在人类科学技术的发展历史中,人们总是力图使用某种机器来扩展人类自身的能力,例 如:蒸汽机和电动机—体力,火车和飞机一行走,望远镜和显微镜—视力。那么计算机则是 部分的扩展了人类的职能 “机器智能”,机器智能系统应该包括三个部分: 1、感知部分:相当于人的眼、耳、触觉、嗅觉等等; 模式识别 2、学习部分:模仿人在自己的行动中总结经验,改善自身能力的功能:-机器学习 3、思维部分:相当于人的逻辑推理和计算能力 人工智能 从语义上讲,模式是识别的对象,我们日常生活中的各种事物都可以称为是模式。模式 识别活动对我们人来说几乎每时每刻都要发生 模式:泛指一切客观事物的存在形式。从工程角度讲是指客观事物存在形式的数学表达,这 种表达方式可以是多种多样的,依据具体对象,具体问题,需要我们人来确定的。 识别:人的识别过程是一个非常复杂的心理和生理过程,我们的识别过程不可能模拟人的功 能实现,例如飞机并不是模仿鸟类用翅膀拍打空气。从工程的角度讲,识别可以看作是一个 分类问题:已知有M个类别Ω21Ω2,…ΩM,问输入模式(待识模式)X属于哪一类? 二模式识别的应用 随着计算机技术的发展,应用的普及以及向各个领域的渗透,模式识别技术的应用越来 越广泛。 1、工业用途:产品质量检验,设备故障检测,智能机器人的感知系统; 2、商业用途:钱币的自动识伪,信函的自动分拣,电话信息查询,声控拨号 3、医学用途:对心电、脑电、CT等信号进行处理和识别,自动进行疾病的诊断 4、安全领域的应用:生理特征鉴别 Biometrics,指纹识别,掌纹识别,视网膜识别, 虹膜识别,笔迹鉴别,人面像识别,声纹识别等等,可以用于安全门,关键设备的 启动和停止,以及网上电子商务的身份确认。对公安对象的刑侦和鉴别: 5、军事领域:巡航导弹的景物识别,战斗单元的敌我识别; 6、办公自动化:文字识别技术和声音识别技术 7、数据挖掘:数据分析; 8、网络应用:文本分类
1 第一章 绪论 一.模式识别的概念 在人类科学技术的发展历史中，人们总是力图使用某种机器来扩展人类自身的能力，例 如：蒸汽机和电动机—体力，火车和飞机—行走，望远镜和显微镜—视力。那么计算机则是 部分的扩展了人类的职能。 “机器智能”，机器智能系统应该包括三个部分： 1、 感知部分：相当于人的眼、耳、触觉、嗅觉等等； -- 模式识别 2、 学习部分：模仿人在自己的行动中总结经验，改善自身能力的功能；-- 机器学习 3、 思维部分：相当于人的逻辑推理和计算能力； -- 人工智能 从语义上讲，模式是识别的对象，我们日常生活中的各种事物都可以称为是模式。模式 识别活动对我们人来说几乎每时每刻都要发生。 模式：泛指一切客观事物的存在形式。从工程角度讲是指客观事物存在形式的数学表达，这 种表达方式可以是多种多样的，依据具体对象，具体问题，需要我们人来确定的。 识别：人的识别过程是一个非常复杂的心理和生理过程，我们的识别过程不可能模拟人的功 能实现，例如飞机并不是模仿鸟类用翅膀拍打空气。从工程的角度讲，识别可以看作是一个 分类问题：已知有 M 个类别 1 2 , , , M ，问输入模式（待识模式） X 属于哪一类？ 二.模式识别的应用 随着计算机技术的发展，应用的普及以及向各个领域的渗透，模式识别技术的应用越来 越广泛。 1、 工业用途：产品质量检验，设备故障检测，智能机器人的感知系统； 2、 商业用途：钱币的自动识伪，信函的自动分拣，电话信息查询，声控拨号； 3、 医学用途：对心电、脑电、CT 等信号进行处理和识别，自动进行疾病的诊断； 4、 安全领域的应用：生理特征鉴别 Biometrics，指纹识别，掌纹识别，视网膜识别， 虹膜识别，笔迹鉴别，人面像识别，声纹识别等等，可以用于安全门，关键设备的 启动和停止，以及网上电子商务的身份确认。对公安对象的刑侦和鉴别； 5、 军事领域：巡航导弹的景物识别，战斗单元的敌我识别； 6、 办公自动化：文字识别技术和声音识别技术； 7、 数据挖掘：数据分析； 8、 网络应用：文本分类
计算机应用学科 模式识别 图像处理 自然语言处 语音识别 汉字识别 图像识别 生理特征鉴 别 信息检索 语言理解 机器翻译 三模式识别的研究方法 模式识别从方法上来分,可以分为两大类: 1、统计模式识别:是一种数学方法,将模式看作为空间中的一个点的集合,采用解析 几何和概率论、数理统计的方法,判别输入模式的类别属性: 2、结构模式识别:也称为句法模式识别,将模式看成是有结构、有层次的,是由一些 基本元素有组织的构成,一般采用字符串的形式对模式进行描述,利用形式语言和 自动机理论对模式的结构进行分析和判别。(可以以汉字为例进行说明) 四模式识别的发展历史 作为模式识别方法来说,最早形成的是统计识别方法。在60年代初,在数理统计学中 已经形成了完整的统计决策理论,随着计算机的发展,统计决策理论逐渐得到应用,形成了 统计模式识别方法 在70年代中期,美籍华人傅京孙教授建立了句法模式识别理论,在他的大力推动下, 模式识别理论和技术受到了给各学科的重视 到了80年代,在傅京孙教授的指导下,我国的一批专家学者在美国进修,回国后开展 了我国的模式识别研究。现在我国的模式识别研究水平在多个领域已经达到了世界先进水 #HF: IEEE Transaction on Pattern Analysis and Machine Intelligence Pattern Recognition Pattern Recognition letter 模式识别与人工智能 教材:《模式识别》,清华大学出版社,边肇祺,张学工 《模式识别及其应用》,科学出版社,傅京孙 《现代模式识别》,国防科技大学出版社,孙即祥 2
2 计算机应用学科 语音识别 图像处理 生理特征鉴 别 信息检索 模式识别 自然语言处 理 汉字识别 图像识别 语言理解 机器翻译 三.模式识别的研究方法 模式识别从方法上来分，可以分为两大类： 1、 统计模式识别：是一种数学方法，将模式看作为空间中的一个点的集合，采用解析 几何和概率论、数理统计的方法，判别输入模式的类别属性； 2、 结构模式识别：也称为句法模式识别，将模式看成是有结构、有层次的，是由一些 基本元素有组织的构成，一般采用字符串的形式对模式进行描述，利用形式语言和 自动机理论对模式的结构进行分析和判别。（可以以汉字为例进行说明） 四.模式识别的发展历史 作为模式识别方法来说，最早形成的是统计识别方法。在 60 年代初，在数理统计学中 已经形成了完整的统计决策理论，随着计算机的发展，统计决策理论逐渐得到应用，形成了 统计模式识别方法。 在 70 年代中期，美籍华人傅京孙教授建立了句法模式识别理论，在他的大力推动下， 模式识别理论和技术受到了给各学科的重视。 到了 80 年代，在傅京孙教授的指导下，我国的一批专家学者在美国进修，回国后开展 了我国的模式识别研究。现在我国的模式识别研究水平在多个领域已经达到了世界先进水 平。 期刊：IEEE Transaction on Pattern Analysis and Machine Intelligence Pattern Recognition Pattern Recognition Letter 模式识别与人工智能 教材：《模式识别》，清华大学出版社，边肇祺，张学工 《模式识别及其应用》，科学出版社，傅京孙 《现代模式识别》，国防科技大学出版社，孙即祥
五.统计模式识别系统 待识模式数据采集及预 特征提取与选 识别结果 模式分类 分类 训练模式 数据采集及预 特征提取与选 分类器设计 统计模式识别系统包括两个部分:训练和识别 l、模式的采集和预处理 就是根据具体问题,使用相应的设备或传感器对要识别的对象进行信息采集,并将这些 信息转化为数字量输入计算机,每个模式的这种数字量表示可以称为一个“样本”。例如, 汽车车型的识别,需要通过摄像机或照相机拍摄汽车的照片,然后转化为数字图像输入到计 算机中;语音信号需要通过麦克风转化为电信号,然后再通过AD采样形成一定的数字波 形输入到计算机中 2、特征提取与选择 1)为什么要进行特征提取? 通常来说通过数据采集输入到计算机中的原始样本数据量比较大,例如一幅图像或一个 波形的数据量要有几十K或上百K,这样处理起来非常困难;同时在原始样本中还存在着 很多无用数据,例如在汽车车型识别中,图像中的道路和行人,以及其它建筑物都属于无用 信息,对于识别任务来说没有任何意义,应该去除掉,否则在识别时会产生不利的影响 2)什么是特征? 特征是从模式得到的对分类有用的度量、属性。所谓特征应该能够反映不同类别之间的 本质差别。例如下面的一组图形,是几个两类分类问题,位于同一列上的三个样本属于一类。 因國四图 △ 囟囚囚 在统计模式识别中,模式的特征一般表示为一组数字,这组数字构成一个矢量,称为是 特征矢量。 3)如何抽取和表示特征? 特征抽取的方法不是模式识别研究的内容,这需要由其它知识来完成,比如说图像处理 信号处理等等,对于一个特定的模式识别问题,到底要抽取那些特则来作为识别特征,也没 有一个具体统一的方法可以指导我们来进行,都需要根据具体问题来具体分析,选择出一组
3 五.统计模式识别系统 数据采集及预 处理 特征提取与选 择 模式分类 数据采集及预 处理 特征提取与选 择 分类器设计 待识模式 训练模式 识别结果 分类 训练 统计模式识别系统包括两个部分：训练和识别。 1、 模式的采集和预处理 就是根据具体问题，使用相应的设备或传感器对要识别的对象进行信息采集，并将这些 信息转化为数字量输入计算机，每个模式的这种数字量表示可以称为一个“样本”。例如， 汽车车型的识别，需要通过摄像机或照相机拍摄汽车的照片，然后转化为数字图像输入到计 算机中；语音信号需要通过麦克风转化为电信号，然后再通过 A/D 采样形成一定的数字波 形输入到计算机中。 2、 特征提取与选择 1) 为什么要进行特征提取？ 通常来说通过数据采集输入到计算机中的原始样本数据量比较大，例如一幅图像或一个 波形的数据量要有几十 K 或上百 K，这样处理起来非常困难；同时在原始样本中还存在着 很多无用数据，例如在汽车车型识别中，图像中的道路和行人，以及其它建筑物都属于无用 信息，对于识别任务来说没有任何意义，应该去除掉，否则在识别时会产生不利的影响。 2) 什么是特征？ 特征是从模式得到的对分类有用的度量、属性。所谓特征应该能够反映不同类别之间的 本质差别。例如下面的一组图形，是几个两类分类问题，位于同一列上的三个样本属于一类。 在统计模式识别中，模式的特征一般表示为一组数字，这组数字构成一个矢量，称为是 特征矢量。 3) 如何抽取和表示特征？ 特征抽取的方法不是模式识别研究的内容，这需要由其它知识来完成，比如说图像处理， 信号处理等等，对于一个特定的模式识别问题，到底要抽取那些特则来作为识别特征，也没 有一个具体统一的方法可以指导我们来进行，都需要根据具体问题来具体分析，选择出一组
既能反映模式的本质,又容易抽取的特征。下面举一个实际例子来说明以下特征抽取的过程 例一:苹果和橙子的自动分拣机 苹果和橙子通过摄像机以数字图像的形式输入计算,下一步对两种图像进行分类。我们 不可能直接对原始图形进行分类,即使是256*256的图像,数据量也要达到65536*3。因此 需要对图像进行处理,抽取出特征。 从我们人的角度来观察,苹果和橙子的主要差别在于颜色和形状 颜色特征:数字图像上每一点的颜色可以分为三个分量:红,绿,蓝,每个分量可以用 个8位数来度量。其中蓝色分量对我们这个问题来说是没有用处的,我们只需关注红色和 绿色分量 抽取颜色特征之前,首先需要对图像进行分割,确定出前景和背景,也就是要寻找到我 们要识别的苹果或橙子图像边缘,从而确定哪些点是我们下一步要抽取特征的前景点,哪些 点是我们不需要关心的背景点 然后我们需要解决的问题是在图像中前景点的数量很多,而且每一点的颜色值都不同, 我们是要选择哪一点的颜色值作为特征。这里有多种办法,首先在图像的前景中规定一个中 心区域,下一步只考虑这个中心区域的点。一种办法是将中心区域中的每一点的颜色值取平 均,以平均的红色分量值和平均的绿色分量值作为特征;另一种办法是在中心区域中做出红 色分量的直方图和绿色分量的直方图,从直方图中寻找最大值点,此点所对应的颜色值为取 此颜色值点最多的颜色值。红色分量的颜色值用r表示,绿色分量的颜色值用g表示 我们需要解决的另一个问题是如何将两个颜色值转化为特征值,一种最简单的方式是直 接以两个颜色值作为特征值,(,g):另外一种方式是取两种颜色的比值作为特征值 形状特征:抽取形状特征时,首先也需要对图像进行分割,寻找到图像的边缘。为了使
4 既能反映模式的本质，又容易抽取的特征。下面举一个实际例子来说明以下特征抽取的过程。 例一：苹果和橙子的自动分拣机。 苹果和橙子通过摄像机以数字图像的形式输入计算，下一步对两种图像进行分类。我们 不可能直接对原始图形进行分类，即使是 256*256 的图像，数据量也要达到 65536*3。因此 需要对图像进行处理，抽取出特征。 从我们人的角度来观察，苹果和橙子的主要差别在于颜色和形状。 颜色特征：数字图像上每一点的颜色可以分为三个分量：红，绿，蓝，每个分量可以用 一个 8 位数来度量。其中蓝色分量对我们这个问题来说是没有用处的，我们只需关注红色和 绿色分量。 抽取颜色特征之前，首先需要对图像进行分割，确定出前景和背景，也就是要寻找到我 们要识别的苹果或橙子图像边缘，从而确定哪些点是我们下一步要抽取特征的前景点，哪些 点是我们不需要关心的背景点。 然后我们需要解决的问题是在图像中前景点的数量很多，而且每一点的颜色值都不同， 我们是要选择哪一点的颜色值作为特征。这里有多种办法，首先在图像的前景中规定一个中 心区域，下一步只考虑这个中心区域的点。一种办法是将中心区域中的每一点的颜色值取平 均，以平均的红色分量值和平均的绿色分量值作为特征；另一种办法是在中心区域中做出红 色分量的直方图和绿色分量的直方图，从直方图中寻找最大值点，此点所对应的颜色值为取 此颜色值点最多的颜色值。红色分量的颜色值用 r 表示，绿色分量的颜色值用 g 表示。 我们需要解决的另一个问题是如何将两个颜色值转化为特征值，一种最简单的方式是直 接以两个颜色值作为特征值， (r g, ) ；另外一种方式是取两种颜色的比值作为特征值: r c g = 形状特征：抽取形状特征时，首先也需要对图像进行分割，寻找到图像的边缘。为了使
问题简单,我们假设物体都是处于标准的直立位置。 我们要想完全描述一个苹果或橙子的形状是非常困难的,因为一个实际的苹果或橙子的 形状不可能是一个规则图形,这里我们的主要任务是要对苹果和橙子进行分类,因此可以采 用一种简单的办法来对形状进行一个粗略的描述 首先我们可以寻找到图像边缘的顶部,底部和最宽处,从而可以测量出顶部到最宽处的 垂直距离x,和顶部到底部距离h。这两个数值我们不应该直接作为特征使用,因为每个苹 果和橙子的大小是不同,因此高度h的变化范围会比较大,而且不能直接反映两类之间的差 别。我们可以想象对于苹果或橙子来说,这两个值之比应该能够反映出两类之间的差异,对 同一类来说相差不大,对不同类来说相差比较大。因此可以取s h 综合两种特征,颜色我们也选择比值c作为特征,就可以构成一个二维的特征矢量: 颜色 形状 「1.241 例如某个红苹果图像的特征矢量经过计算之后为:x1=037° 4)模式的特征空间表示 特征是以矢量的形式表示的,矢量可以看作欧式空间中的一个点,这个空间称为是特征 空间。从广义上来看,欧式空间只是空间的一种形式,所谓空间,从数学意义上讲就是一个 集合,整个模式识别问题可以看作是多个空间之间的转换问题。 实物空间 模式空间 特征空间 类别空间 首先,待识别的对象存在于一个实物空间中,这个空间由世界上所有可能出现的物体组 成:然后,真实的物体通过摄像机等传感器变成数字量传入到计算机中,称为一个模式,所 有可能的模式构成了一个模式空间,由实物空间到模式空间的转换(映射)是由数据采集环 节来完成的;我们从输入的模式或样本中提取出识别特征,构成一个特征矢量,这样就完成 了一个由模式空间到特征空间的映射,为了处理方便,在统计模式识别中一般将特征空间视 为欧式空间;最后,由分类环节完成从特征空间到类别空间的映射,类别空间中包含我们所 有解决的问题中的所有类别。 所有的空间映射过程都是一对多的映射。而且这种映射往往是非线性的复杂映射 )特征选择的作用 特征选择的过程并不是每一个识别系统都必须的环节,如果我们从模式中抽取出的特征 合适的话,直接可以用这个特征矢量来进行识别。然而在大多数情况下,我们无法直观的找
5 问题简单，我们假设物体都是处于标准的直立位置。 我们要想完全描述一个苹果或橙子的形状是非常困难的，因为一个实际的苹果或橙子的 形状不可能是一个规则图形，这里我们的主要任务是要对苹果和橙子进行分类，因此可以采 用一种简单的办法来对形状进行一个粗略的描述。 首先我们可以寻找到图像边缘的顶部，底部和最宽处，从而可以测量出顶部到最宽处的 垂直距离 x ，和顶部到底部距离 h 。这两个数值我们不应该直接作为特征使用，因为每个苹 果和橙子的大小是不同，因此高度 h 的变化范围会比较大，而且不能直接反映两类之间的差 别。我们可以想象对于苹果或橙子来说，这两个值之比应该能够反映出两类之间的差异，对 同一类来说相差不大，对不同类来说相差比较大。因此可以取 x s h = 。 综合两种特征，颜色我们也选择比值 c 作为特征，就可以构成一个二维的特征矢量： c s = = x 颜色 形状 。 例如某个红苹果图像的特征矢量经过计算之后为： 1.24 0.37 = 1 x 。 4) 模式的特征空间表示 特征是以矢量的形式表示的，矢量可以看作欧式空间中的一个点，这个空间称为是特征 空间。从广义上来看，欧式空间只是空间的一种形式，所谓空间，从数学意义上讲就是一个 集合，整个模式识别问题可以看作是多个空间之间的转换问题。 物体1 物体2 物体3 物体4 物体5 物体6 实物空间 模式1 模式2 模式3 模式4 模式5 模式6 模式空间 特征1 特征2 特征3 特征4 特征5 特征6 类别1 类别2 特征空间 类别空间 首先，待识别的对象存在于一个实物空间中，这个空间由世界上所有可能出现的物体组 成；然后，真实的物体通过摄像机等传感器变成数字量传入到计算机中，称为一个模式，所 有可能的模式构成了一个模式空间，由实物空间到模式空间的转换（映射）是由数据采集环 节来完成的；我们从输入的模式或样本中提取出识别特征，构成一个特征矢量，这样就完成 了一个由模式空间到特征空间的映射，为了处理方便，在统计模式识别中一般将特征空间视 为欧式空间；最后，由分类环节完成从特征空间到类别空间的映射，类别空间中包含我们所 有解决的问题中的所有类别。 所有的空间映射过程都是一对多的映射。而且这种映射往往是非线性的复杂映射。 5) 特征选择的作用 特征选择的过程并不是每一个识别系统都必须的环节，如果我们从模式中抽取出的特征 合适的话，直接可以用这个特征矢量来进行识别。然而在大多数情况下，我们无法直观的找
到哪些对分类信息足够的特征,常常是在特征抽取时,尽可能多的抽取岀模式的特征,其中 有些特征对识别是必要的,有些特征对识别来说是无用,这就要对这些特征进行选择,找到 那些对识别有用的特征;另一方面,在各个特征之间往往存在着信息的冗余,我们可以进行 某种变换来取出掉特征之间的冗余性。这两种措施的结果都是降低了特征矢量的维数,特征 维数的降低,对分类器设计性能的好坏有着直接的影响,特征维数越少,分类器设计起来难 度越小,因此我们要尽可能的降低特征维数。如何来从原始特征中选择出识别特征,是模式 识别要研究的一个问题 3、识别和训练 人类的分类识别能力不是天生就具有的,而是后天经过不断的实践和学习而逐渐具有的 功能,例如对语言的学习,对文字的学习。 我们要使机器具有分类能力,也必须要对计算机进行训练,使计算机在不断的学习过程 中,逐渐地具有识别能力。这个训练过程主要是通过预先输入一些样本(称为训练样本), 然后依据一定的学习算法来完成 模式识别的训练方法主要分两种: 1)有监督学习(有教师学习):预先已知训练样本集中每个样本的类别标号,也就是说分 别给出了每个类别的训练样本集,然后应用这样的训练样本机进行训练 2)无监督学习(无教师学习):预先不知道训练样本集中每个样本的类别标号,首先需要 按照样本特征的相似性,对训练样本集进行归并,形成若干个训练样本的分类,此方法 也称为聚类。 模式识别的学习算法是与识别方法密切相关的,每一种识别方法对应有不同的学习算 法。在下面的课程中,我们在介绍每一种识别算法时,都要介绍相关的训练算法,这个训练 过程也称为分类器设计过程。 所谓的模式分类实际上是一个决策的过程,当分类器已经设计好之后,每当我们输入一 个待识别的类别未知的样本时,分类器需要作出一个分类决策,确定出该样本的类别标号, 提供给下面的执行机构去执行相应的操作 统计识别方法的分类: 1)根据类别样本在空间中的几何分布特性来进行分类: 前面说过,我们可以将输入的样本转化为一个特征矢量,也就是将模式空间中的一个点 映射为特征空间中的一个点,为了叙述方便,这个特征空间我们可以暂时理解为一个欧式空 间,我们可以合理地作出这样的假设:同一类别的样本在特征空间中应该聚集在一个特定的 区域,不同类别在空间中聚集的区域应该有一定的差别 ·红苹果 绿苹果 橙子 0.20 0.600.70 方法一:近邻法,以距离哪个类别中心最近作为决策依据 方法二:线性判别函数法,寻找到一个线型函数,由现行函数将空间划分为两个区域
6 到哪些对分类信息足够的特征，常常是在特征抽取时，尽可能多的抽取出模式的特征，其中 有些特征对识别是必要的，有些特征对识别来说是无用，这就要对这些特征进行选择，找到 那些对识别有用的特征；另一方面，在各个特征之间往往存在着信息的冗余，我们可以进行 某种变换来取出掉特征之间的冗余性。这两种措施的结果都是降低了特征矢量的维数，特征 维数的降低，对分类器设计性能的好坏有着直接的影响，特征维数越少，分类器设计起来难 度越小，因此我们要尽可能的降低特征维数。如何来从原始特征中选择出识别特征，是模式 识别要研究的一个问题。 3、 识别和训练 人类的分类识别能力不是天生就具有的，而是后天经过不断的实践和学习而逐渐具有的 功能，例如对语言的学习，对文字的学习。 我们要使机器具有分类能力，也必须要对计算机进行训练，使计算机在不断的学习过程 中，逐渐地具有识别能力。这个训练过程主要是通过预先输入一些样本（称为训练样本）， 然后依据一定的学习算法来完成。 模式识别的训练方法主要分两种： 1) 有监督学习（有教师学习）：预先已知训练样本集中每个样本的类别标号，也就是说分 别给出了每个类别的训练样本集，然后应用这样的训练样本机进行训练； 2) 无监督学习（无教师学习）：预先不知道训练样本集中每个样本的类别标号，首先需要 按照样本特征的相似性，对训练样本集进行归并，形成若干个训练样本的分类，此方法 也称为聚类。 模式识别的学习算法是与识别方法密切相关的，每一种识别方法对应有不同的学习算 法。在下面的课程中，我们在介绍每一种识别算法时，都要介绍相关的训练算法，这个训练 过程也称为分类器设计过程。 所谓的模式分类实际上是一个决策的过程，当分类器已经设计好之后，每当我们输入一 个待识别的类别未知的样本时，分类器需要作出一个分类决策，确定出该样本的类别标号， 提供给下面的执行机构去执行相应的操作。 统计识别方法的分类： 1) 根据类别样本在空间中的几何分布特性来进行分类： 前面说过，我们可以将输入的样本转化为一个特征矢量，也就是将模式空间中的一个点 映射为特征空间中的一个点，为了叙述方便，这个特征空间我们可以暂时理解为一个欧式空 间，我们可以合理地作出这样的假设：同一类别的样本在特征空间中应该聚集在一个特定的 区域，不同类别在空间中聚集的区域应该有一定的差别。 1.40 1.00 0.60 0.20 0.30 x2 x1 0.40 0.50 0.60 0.70 红苹果 橙子 1.40 1.00 0.60 0.20 0.30 x2 x1 0.40 0.50 0.60 0.70 红苹果 绿苹果 橙子 方法一：近邻法，以距离哪个类别中心最近作为决策依据； 方法二：线性判别函数法，寻找到一个线型函数，由现行函数将空间划分为两个区域
2)根据类别样本在空间中的概率分布特性来进行分类: 同样将输入样本转化为特征矢量,看作特征空间中的一个点,每个类别在特征空间中每 一点的分谱概率是不同,首先假设输入的特征矢量可能属于任何类别,然后计算该矢量在每 个类别的发生概率,以此作为判别依据,即以条件概率:P(Q1|x)作为判别依据,去概率 最大的类别作为决策的类别 总体来说,我们这门课程所要研究的问题就是:给定一个训练样本的特征矢量集合 X={X1,X2,…,XM},分别属于N个类别g2,s2…,依据一定的训练算法,设计 出一个分类器,能够完成对待识别的未知类别样本的特征矢量x的分类问题,决策确定x应 该属于哪个类别。为了叙述方便,以后都将样本的特征矢量简称为样本 六识别系统的设计和性能评价 l、识别系统的设计过程 首先我们要对问题进行详细地分析,确定这个问题是否是一个模式识别的问题,如果问 题所要处理的对象都是确定性对象,而不具有不确定性,那么就完全可以用其它办法来解决, 而不需要模式识别方法。当我们确定问题是一个模式识别问题之后,可以采用如下的步骤来 设计一个模式识别系统。 I)收集样本,这些样本最好能够对问题有足够的覆盖性,样本的数量越多越好,样本 最好预先知道其所属类别,并且尽量较少错误样本 2)确定识别特征,在对问题进行深入分析的基础上,确定一组识别特征,这组特征要 尽可能反映出类别之间的可分性特征,特征本身要有一定的稳定性,尽量不要重复 在对问题认识不够的前提下,可以尽可能多地取特征,然后通过特征分析去掉无用 的样本: 3)特征抽取,设计特征抽取的方法,这里需要用到信号处理,图像处理等其它方面的 知识 4)特征分析,采用一定的方法对我们所确定的特征进行分析,一方面去掉冗余和无用 的信息,一方面看一下所选的特征是否足够反映类别的可分性信息 5)确定识别方法,设计出相应的分类器,并用样本集合进行训练 6)性能分析,对所设计的分类器的性能进行分析,看一看是否能够满足问题的要求, 如果不能满足,分析原因,对前面的设计进行修改。 2、识别系统的性能评价 在我们这门课程中主要介绍的是第4、5两个步骤的方法。因此问题一般可以描述成这 样的形式,已知一组不同类别的样本集合: ()y( (M)y(M) 首先我们将每个样本集合分成两个部分,一部分训练时使用,称为训练样本集,一部分 测试时使用,称为测试样本集。在第5步中,使用训练样本集进行训练,然后使用测试样本
7 2) 根据类别样本在空间中的概率分布特性来进行分类： 同样将输入样本转化为特征矢量，看作特征空间中的一个点，每个类别在特征空间中每 一点的分谱概率是不同，首先假设输入的特征矢量可能属于任何类别，然后计算该矢量在每 个类别的发生概率，以此作为判别依据，即以条件概率： P(i x) 作为判别依据，去概率 最大的类别作为决策的类别。 总体来说，我们这门课程所要研究的问题就是：给定一个训练样本的特征矢量集合 X =X X X 1 , , , 2 M ，分别属于 N 个类别 1 2 , , , N ，依据一定的训练算法，设计 出一个分类器，能够完成对待识别的未知类别样本的特征矢量 x 的分类问题，决策确定 x 应 该属于哪个类别。为了叙述方便，以后都将样本的特征矢量简称为样本。 六.识别系统的设计和性能评价 1、 识别系统的设计过程 首先我们要对问题进行详细地分析，确定这个问题是否是一个模式识别的问题，如果问 题所要处理的对象都是确定性对象，而不具有不确定性，那么就完全可以用其它办法来解决， 而不需要模式识别方法。当我们确定问题是一个模式识别问题之后，可以采用如下的步骤来 设计一个模式识别系统。 1) 收集样本，这些样本最好能够对问题有足够的覆盖性，样本的数量越多越好，样本 最好预先知道其所属类别，并且尽量较少错误样本； 2) 确定识别特征，在对问题进行深入分析的基础上，确定一组识别特征，这组特征要 尽可能反映出类别之间的可分性特征，特征本身要有一定的稳定性，尽量不要重复， 在对问题认识不够的前提下，可以尽可能多地取特征，然后通过特征分析去掉无用 的样本； 3) 特征抽取，设计特征抽取的方法，这里需要用到信号处理，图像处理等其它方面的 知识； 4) 特征分析，采用一定的方法对我们所确定的特征进行分析，一方面去掉冗余和无用 的信息，一方面看一下所选的特征是否足够反映类别的可分性信息； 5) 确定识别方法，设计出相应的分类器，并用样本集合进行训练； 6) 性能分析，对所设计的分类器的性能进行分析，看一看是否能够满足问题的要求， 如果不能满足，分析原因，对前面的设计进行修改。 2、 识别系统的性能评价 在我们这门课程中主要介绍的是第 4、5 两个步骤的方法。因此问题一般可以描述成这 样的形式，已知一组不同类别的样本集合： ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 2 1 1 1 1 1 2 2 2 2 2 1 2 1 2 : , , , : , , , : , , , M N N M M M M N X X X X X X X X X 首先我们将每个样本集合分成两个部分，一部分训练时使用，称为训练样本集，一部分 测试时使用，称为测试样本集。在第 5 步中，使用训练样本集进行训练，然后使用测试样本
集对设计好的分类器进行性能测试。 测试的分类器性能指标一般包括三个: 1)正确识别率:简称正识率。正识率=分类正确的测试样本数量/总的测试样本数量 2)错误识别率:简称误识率。误识率=分类错误的测试样本数量/总的测试样本数量 3)拒绝识别率:简称拒识率。拒识率=拒绝分类的测试样本数量总的测试样本数量; 一般的系统中没有拒识的情况,只有正识率和误识率。在有些特殊的识别系统中,对识 别的可靠性要求比较高,误识率要求非常低,这种情况下可以引入拒识,将暂时不能确定其 类别的样本拒绝识别,从而达到提高正确率,降低错误率的要求
8 集对设计好的分类器进行性能测试。 测试的分类器性能指标一般包括三个： 1) 正确识别率：简称正识率。正识率=分类正确的测试样本数量/总的测试样本数量； 2) 错误识别率：简称误识率。误识率=分类错误的测试样本数量/总的测试样本数量； 3) 拒绝识别率：简称拒识率。拒识率=拒绝分类的测试样本数量/总的测试样本数量； 一般的系统中没有拒识的情况，只有正识率和误识率。在有些特殊的识别系统中，对识 别的可靠性要求比较高，误识率要求非常低，这种情况下可以引入拒识，将暂时不能确定其 类别的样本拒绝识别，从而达到提高正确率，降低错误率的要求