北京大学：《模式识别》课程教学资源（课件讲稿）特征的选择和提取（第一部分）

第七章 特征的选择与提取 2010-11-24

第七章 特征的选择与提取 2010-11-24

引言

引言

3 模式识别系统 原始观测获取 sensor 特征空间 decision feature classifier 一 信号空间 extractor action Object/pattern 特征提取与选择 分类方法 分类器 特征提取 设计 数据获取 预处理 与选择 分类决策

3 模式识别系统

4 优化特征空间的两种基本方法 口特征选择(selection):从原始特征中挑选出最有 代表性，分类性能最好的特征； 口特征提取(extraction):用映射（或变换）的方法 把原始特征变换为较少的新特征。 f(x) f(x1.....xp) f2 Xp xp (a)feature selector (b)feature extractor

4 优化特征空间的两种基本方法  特征选择 (selection)：从原始特征中挑选出最有 代表性，分类性能最好的特征；  特征提取 (extraction)：用映射（或变换）的方法 把原始特征变换为较少的新特征

5 类别可分离性判据 口目的：衡量不同特征及其组合对分类是否有效的 定量准则； 口理想准则：某组特征使分类器错误概率最小； 口常见类别可分离性判据： ■基于距离的可分性判据； ■基于概率分布的判据； ■熵函数的可分性判据

5 类别可分离性判据  目的：衡量不同特征及其组合对分类是否有效的 定量准则；  理想准则：某组特征使分类器错误概率最小；  常见类别可分离性判据：  基于距离的可分性判据；  基于概率分布的判据；  熵函数的可分性判据

6 类别可分离性判据 判决需满足的条件 1. 度量特性：J,>0,ifi≠方J=0,ifi=方，J,=Jm 2.与错误率有单调关系：J,大→P。小； 3. 当特征独立时有可加性：J,(x,x,x)=∑J,(x方 4. 单调性：J(X1,x2,,Xa)≤J(x1,X2,Xa,Xa+1)

6 类别可分离性判据  判决需满足的条件 1. 度量特性： 2. 与错误率有单调关系： 3. 当特征独立时有可加性： 4. 单调性： 0, if ; 0, if ; ; ij ij ij ji J    i jJ i jJ J ij e J P 大 小;  1 2 1 ( , ,..., ) ( ); d ij d ij k k J xx x J x    1 2 1 2 1 ( , ,..., ) ( , ,..., , ). ij d ij d d J xx x J xx x x  

基于距离的可分性判据

基于距离的可分性判据

8 离散度描述量 X2 下 Sw1 ,=E,[x];u=E[x]; S的 S。=∑P(μ，-4，-0 X←S Sw3 i=l 冬●← S=∑PE,[x-u,x-4,) Sw2 X i=l m; m=∑Pm； ni k=l S-2Pm-mm-mS-立P号2x”-mX-my i-1 i- =∑P2,(②：样本类内协方差阵) i=1

8 离散度描述量 1 1 [ ]; [ ]; ( )( ) ; [( )( ) ]; i i c T b ii i i c T w ii i i i E E P PE           μ x μ x S μ μμ μ S x μ x μ ( ) 1 1 () () 1 1 1 1 1 ; ; 1 ( )( ) ; ( )( ) ( : ). i i n c i i k i i k i i c n c T i iT b ii i w i k ik i i i k i c ii i i P n P P n P                     m x m m S m mm m  S x mx m  样本类内协方差阵

9 基于各类特征向量间平均距离的判据 )m. 其中，x0∈0，k=1,…,n, x9∈0,1=1，…，n, P,P:先验概率 δ(X,X,):X和x,之间的距离度量；

9 基于各类特征向量间平均距离的判据 () ( ) 1 1 11 ( ) ( ) 1 1 ( ) ( , ); 2 , 1, , , , 1, , , , : , ( , ) : ; j i n n c c i j d i j kl i j kl i j i ki i j lj j i j kl k l J PP n n k n l n P P             x x    x x x xx x x   其中， 先验概率 和 之间的距离度量

10 基于各类特征向量间平均距离的判据 采用欧式距离：6(x,x)=(xk-x)尸(xk-x), w22”mYm +2P[(m,-m)'(m,-m] A ()=rSn+Sb)方J2(x)=tr(SnS6)方 即备炮值的均乎方离区+s」 J;(x)=I IS. tr(S,) IS

10 基于各类特征向量间平均距离的判据  采用欧式距离： ( ) ( ) 1 1 1 1 () ( )( ) ( )( ); i c n i Ti d i k ik i i k i c T ii i i J P n P                     x xmxm mmmm ( , ) ( ) ( ), T kl k l k l  xx x x x x   1 1 1 ( )( ) 2 c c T i j i j i j i j P P       mm mm ， 即各类均值向量的平均平方距离。 ( ) tr( ). d wb J x SS     1 1 2 3 45 ( ) ( ); ( ) ( ); | | ( ) | | ( ) ln ; ( ) ; ( ) . | | ( ) | | w b w b b bw b ww w J tr J tr tr JJJ tr       x S S x SS S SS S x xx SS S