征来说,特征选择的方案很多,从N维特征种选择出M个特征共有CM= N! M! (N-M) 选法,其中哪一种方案最佳,则需要有一个原则来进行指导。同样,特征的压缩实际上是要 找到M个N元函数,N元函数的数量是不可数的,这也要有一个原则来指导找出M个最 佳的N元函数。 我们进行特征选择和特征提取的最终目的还是要进行识别,因此应该是以对识别最有利 原则,这样的原则我们称为是类别的可分性判据。用这样的可分性判据可以度量当前特征维 数下类别样本的可分性。可分性越大,对识别越有利,可分性越小,对识别越不利 人们对的特征的可分性判据研究很多,然而到目前为止还没有取得一个完全满意的结 果,没有哪一个判据能够完全度量出类别的可分性。下面介绍几种常用的判据,我们需要根 据实际问题,从中选择出一种。 一般来说,我们希望可分性判据满足以下几个条件: 1.与识别的错误率由直接的联系,当判据取最大值时,识别的错误率最小 2.当特征独立时有可加性,即 J是第i类和第j类的可分性判据,J越大,两类的可分程度越大 (x1,x2…,x)为N维特征: 3.应具有某种距离的特点 J>0,当i≠j时 J=0,当i=j时 4.单调性,加入新的特征后,判据不减小: J(x,x2…,x)≤J(x,x,…,x,x) 但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件,只能满足一个或几个 条件。 基于几何距离的可分性判据 在介绍这一类判据之前,先来看一下各种几何距离的定义 1.点与点的距离 这是我们前面已经介绍过的一种距离,可以有多种形式,如欧氏距离、街市距离、 马氏距离等,特征矢量X和Y之间的距离可以表示为 d(XY)=(X-Y)(X-Y)(欧氏距离) 2.点与类别之间的距离 这也是我们前面定义过的一种距离度量,常用的有:平均样本法、平均距离法、最44 征来说，特征选择的方案很多，从 N 维特征种选择出 M 个特征共有 ( ) ! ! ! M N N C M N M = − 中 选法，其中哪一种方案最佳，则需要有一个原则来进行指导。同样，特征的压缩实际上是要 找到 M 个 N 元函数， N 元函数的数量是不可数的，这也要有一个原则来指导找出 M 个最 佳的 N 元函数。 我们进行特征选择和特征提取的最终目的还是要进行识别，因此应该是以对识别最有利 原则，这样的原则我们称为是类别的可分性判据。用这样的可分性判据可以度量当前特征维 数下类别样本的可分性。可分性越大，对识别越有利，可分性越小，对识别越不利。 人们对的特征的可分性判据研究很多，然而到目前为止还没有取得一个完全满意的结 果，没有哪一个判据能够完全度量出类别的可分性。下面介绍几种常用的判据，我们需要根 据实际问题，从中选择出一种。 一般来说，我们希望可分性判据满足以下几个条件： 1. 与识别的错误率由直接的联系，当判据取最大值时，识别的错误率最小； 2. 当特征独立时有可加性，即： ( 1 2 ) ( ) 1 , , , N ij N ij k k J x x x J x = =  ij J 是第 i 类和第 j 类的 可分 性判 据， ij J 越大， 两类 的可 分程 度越 大， ( x x x 1 2 , , , N ) 为 N 维特征； 3. 应具有某种距离的特点： 0 ij J  ，当 i j  时； 0 ij J = ，当 i j = 时； ij ji J J = ； 4. 单调性，加入新的特征后，判据不减小： J x x x J x x x x ij N ij N N ( 1 2 1 2 1 , , , , , , , )  ( + ) 。 但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件，只能满足一个或几个 条件。 一、基于几何距离的可分性判据 在介绍这一类判据之前，先来看一下各种几何距离的定义。 1. 点与点的距离 这是我们前面已经介绍过的一种距离，可以有多种形式，如欧氏距离、街市距离、 马氏距离等，特征矢量 X 和 Y 之间的距离可以表示为： ( , ) ( ) ( ) T d X Y X Y X Y = − − （欧氏距离） 2. 点与类别之间的距离 这也是我们前面定义过的一种距离度量，常用的有：平均样本法、平均距离法、最