7.4.2概率距离判据下的特征提取 7.4.2概率距离判据下的特征提取 口讨论： 两类别问题，正态分布及相同的协方差阵 口讨论：两类别问题，正态分布及相同的协方差阵 J。=(4-2)2-(1-2) ■设矩阵(AT∑A)-IATMA的特征值矩阵与特征向量 =r[2-4,-,-4,] 矩阵分别是A和U,即有 =r[M(其中，M=(u-2-42)）): (AA)"(AMA)U=UA: →ΣMAU-AUA=0 w-' (具有非奇异变换不变性) 令B=AU,则B是ΣM的特征向量矩阵： A(A)(AMA)(AA)"2MA(AEA)0 对于两类别问题，ramkΣlM=1,即MA=A, MA-EA(AEA)(AMA)=0. (H-2),-μ2)A=A→A=041-2) 7.5基于熵函数的可分性判决 7.5基于熵函数的可分性判决 口熵：事件不确定性的度量 口熵函数： H=J.[P(@lx)...P(@.lx) ■A事件的不确定性大（熵大），则对A事件的 观察所提供的信息量大。 规一化 很 口思路： 0sPs很} ■把各类ω，看作一系列事件，把后验概率P(ωx) 看作特征x上出现o,的概率； ②对称性 J(E.…,P)mJ(P..P) 性 ■如从x能确定⊙，；则对⊙，的观察不提供信息 质 确定性 /00….0)=J0,1….0=…=0 量，熵为0→特征x有利于分类； ④扩张性 J,(…,e)=J(,P0 ■如从x完全不能确定0，，则对0，的观察信息量 大，熵大→特征x无助于分类。 5连续性 P。,)的连续通数 份分枝性（综合性） 一分为二，则熵增加：二合为一，则熵减小 17 7.5基于熵函数的可分性判决 7.5.1基于判别熵最小化的特征提取 口常用的熵函数： 口相对熵：表示某一种分布偏离给定标准分布的程 ■Shannon捕：H=-∑Pa,Ix)logP(alx 度，两种分布重合时最大(0)， r(p,9)=-∑pk)logP2s0 ■平方熵： =2-2PoI四 q飞) 口熵可分离性判据： 口判别熵：表示两类分布之间的差别 J.=∫H(x)px) W(p,q)=V(p.q)+V(q.p) ■J大，则不同类样本重叠性大，可分性不好； =-∑px,)log p(x,)-∑q(x,)logq,) ■J小，则可分性好。 +∑p(3,)log9x,)+∑9s,)logp(x,方13 7.4.2 概率距离判据下的特征提取  讨论：两类别问题，正态分布及相同的协方差阵   1 12 12 1 1 21 2 1 1 21 2 ( )( ) ( )( ) ( )( ) T D T T J tr tr                   μ μ Σμ μ Σμ μμ μ Σ M M 其中， ； μμμμ             1 1 1 1 1 ( ) ( ) 2 0; 2 0 D T TT T T T D T T J tr J                    A A ΣA A MA A ΣA A Σ M A A MA A A ΣA ΣA MA A ΣA A A ΣA A MA （具有非奇异变换不变性） 14 7.4.2 概率距离判据下的特征提取  讨论：两类别问题，正态分布及相同的协方差阵  设矩阵 (ATΣA)-1ATMA 的特征值矩阵与特征向量 矩阵分别是 Λ 和 U，即有    1 ; T T  A ΣA A MA U U Λ ; =  -1 -1 Σ MAU - AUΛ = 0 令 ，则 是 的特征向量矩阵； B AU B Σ M   1 21 2 1 2 1 ( )( ) . ( ) T rank         -1 -1 -1 -1 Σ M Σ MA = A Σμ μ μ μ A A A Σ μ μ 对于两类别问题， 即 ， ， 15 7.5 基于熵函数的可分性判决  熵：事件不确定性的度量  A 事件的不确定性大（熵大），则对 A 事件的 观察所提供的信息量大。  思路：  把各类ωi 看作一系列事件，把后验概率P(ωi | x) 看作特征 x 上出现ωi 的概率；  如从 x 能确定ωi ，则对ωi 的观察不提供信息 量，熵为0  特征 x 有利于分类；  如从 x 完全不能确定ωi ，则对ωi 的观察信息量 大，熵大  特征 x 无助于分类。 16 7.5 基于熵函数的可分性判决  熵函数：   ( | ), , ( | ) ; 1 x x c P P c H  J    性 质 17 7.5 基于熵函数的可分性判决  常用的熵函数：  Shannon 熵：  平方熵：  熵可分离性判据：  Je大，则不同类样本重叠性大，可分性不好；  Je小，则可分性好。 1 2 1 ( | )log ( | ); c ci i i HP P      x x 2 2 1 21 ( | ). c c i i H P            x ( ) ( ) ,  Je  H x p x dx 18 7.5.1 基于判别熵最小化的特征提取  相对熵：表示某一种分布偏离给定标准分布的程 度，两种分布重合时最大（0），  判别熵：表示两类分布之间的差别 ( ) ( , ) ( )log 0; ( ) i i i p V pq p q    x x x (,) (,) (, ) ( )log ( ) ( )log ( ) ( )log ( ) ( )log ( ); i i ii ii i i W pq V pq Vqp p p qq pq qp           xx xx xx xx