北京大学：《模式识别》课程教学资源（课件讲稿）非线性判别函数（第二部分）.pdf_大学文库

5.4局部训练法口基本思想：寻找两类中最靠近的样本子集，用它们设计分类器。第五章非线性判别函数 ■两类样本在特征空间分布中有若干区域很接近或甚至有交迭(“交遇区”)。用这些区域中的样本 2009-11-17 (代替整个样本集)进行训练以决定判别函数。 5.4局部训练法 5.4局部训练法口基本思想：寻找两类中最靠近的样本子集，用它口紧互对原型对与交遇区们设计分类器。 ■其实质是先在每类样本集内进行分片划分(“原型 ■两类样本在特征空间分布中有若干区战很接近或区”)，所使用的方法是聚类方法；甚至有交迭(“交遇区”)。用这些区域中的样本 ■划分的目的是使每类样本划分成小片后，找到位 (代替整个样本集)进行训练以决定判别函数。于本类样本占领区域边界上的小片原型区。 ■需要解决的几个问题： ■找边界子集的方法是通过在另一类样本子集中找近邻的方法实现的。如果发现分属两类的两个原口如何从样本集中找到“交逼区"：型互为最近邻，则它们所在区域就属于交遇区。口如何利用“交遇区”中的样本设计线性分类器：交遇区就是由这些位于边界上的原型集组成，口如何进行分类决策， ■每个小片（原型区）都找出一质心(“原型")，用它代表这个小片。通过计算每个原型与其它原型的欧氏距离来计算近邻关系。 5.4局部训练法 5.4局部训练法口紧互对原型对与交逼区口求紧互对原型集合的方法 ■互对原型之间的（欧式）距离：d",) ■先对两类样本进行聚类分析，从而找出它们各自 ■紧互对原型对需满足分布相对密集的一些子区域(“原型区”)。 ■在每个原型区中找到质心或距质心最近的样本作 d,）=mid,y)=m鸣dg) 为各原型区的代表，点(“原型”)。 ■分别计算原型集合中互对原型之间的欧氏距离并找出各原型在对方类型中相距最近的原型， ■从这些最小距离原型关系中找到互为最小距离的原型对（即“紧互对原型对”）。紧互对原型对的集合组成“交遇区”。（有时可将找一个最近的原型改成找k个最近的原型一k紧互对原型对。)

第五章非线性判别函数 2009-11-17 2 5.4 局部训练法  基本思想：寻找两类中最靠近的样本子集，用它们设计分类器。  两类样本在特征空间分布中有若干区域很接近或甚至有交迭（“交遇区”）。用这些区域中的样本（代替整个样本集）进行训练以决定判别函数。 3 5.4 局部训练法  基本思想：寻找两类中最靠近的样本子集，用它们设计分类器。  两类样本在特征空间分布中有若干区域很接近或甚至有交迭（“交遇区”）。用这些区域中的样本（代替整个样本集）进行训练以决定判别函数。  需要解决的几个问题： 如何从样本集中找到“交遇区”； 如何利用“交遇区”中的样本设计线性分类器； 如何进行分类决策。 4 5.4 局部训练法  紧互对原型对与交遇区  其实质是先在每类样本集内进行分片划分（“原型区”），所使用的方法是聚类方法；  划分的目的是使每类样本划分成小片后，找到位于本类样本占领区域边界上的小片原型区。  找边界子集的方法是通过在另一类样本子集中找近邻的方法实现的。如果发现分属两类的两个原型互为最近邻，则它们所在区域就属于交遇区。交遇区就是由这些位于边界上的原型集组成。  每个小片（原型区）都找出一质心（“原型”），用它代表这个小片。通过计算每个原型与其它原型的欧氏距离来计算近邻关系。 5 5.4 局部训练法  紧互对原型对与交遇区  互对原型之间的（欧式）距离：  紧互对原型对需满足 6 5.4 局部训练法  求紧互对原型集合的方法  先对两类样本进行聚类分析，从而找出它们各自分布相对密集的一些子区域（“原型区”）。  在每个原型区中找到质心或距质心最近的样本作为各原型区的代表点（“原型”）。  分别计算原型集合中互对原型之间的欧氏距离，并找出各原型在对方类型中相距最近的原型。  从这些最小距离原型关系中找到互为最小距离的原型对（即“紧互对原型对”）。紧互对原型对的集合组成“交遇区”。（有时可将找一个最近的原型改成找 k 个最近的原型 — k紧互对原型对。）

7 5.4 局部训练法  利用紧互对原型对设计局部超平面 1. 产生初始超平面由紧互对原型对集合中最近的一对 (v1 m,v2 n)，产生一个初始决策面；如可由这两个原型的垂直平分平面作为初始分类面，表示成 H1 ′，方程是    0. 2 1 1 2 1  2          m n T m n x v v v v 8 5.4 局部训练法  利用紧互对原型对设计局部超平面 2. 初始决策面最佳化确定 H1 ′能正确分类的所有紧互对原型对，并由相应的原型区中的所有样本组成局部训练的样本集，设计出线性决策面 H1 * 。对决策面 H1 * 也可找出它能正确分类的所有紧互对原型对。如果 H1 * 与 H1 ′的分类效果相同，则不需调整 H1 * ；否则将 H1 * 作为初始决策面重复上述过程，直到所包罗的局部训练样本集不再发生变化为止, 记最后所得超平面为H1 。 9 5.4 局部训练法  利用紧互对原型对设计局部超平面 3.新决策面的产生与最佳化将被 H1 正确分类的紧互对原型对撤走，然后在剩下的紧互对原型对集合中重复上述步骤，产生另一个超平面分界面 H2 ； 4. 序贯处理重复上述步骤，直到处理完所有紧互对原型对；得到一系列超平面，组成分段线性分类器。 10 5.4 局部训练法  示例1 11 5.4 局部训练法  决策规则  设最后得到 m 个超平面，每段超平面的方程为  记样本 x 与第 i 个超平面的法向量的内积为则得到 H : 0,i 1,2, ,m; T i ai y    , 0, 0 1, 0 ( )       a y a y x T i T i i z   1 2 ( ) ( ), ( ),.... ( ) . m z zz z x xx x  m维二值向量，共2m种可能取值 12 5.4 局部训练法  决策规则  对 z(x) 的每一种可能的取值 zj (j=1,…,2m) ，统计其在两类样本集中出现的次数，记为 N1(zj ) 和 N2(zj )；  定义比值函数表示每个可能取值中ω1类的样本所占比例： 1 1 2 ( ) . () () j j j j N z L Nz Nz  