7.4.1常用的概率距离度量 7.4.1常用的概率距离度量 口散度(Divergence) 口正态分布下的散度 ■定义区分®，类和⊙，类的总的平均信息（散度）： ■设两类别都是d维正态分布，分别表示为 o1,+!=f[p(x)-pI 0(μ2)，0（μj”2,则 p(xlo,) 1 p(x|o,)= 1)Jn≥0 2P1四cp-具，yx-4,月 2)Jn=0台pa)=pm,x 3)当x的各分量彼此独立时，J。:,,,x)-之JG o)2r2rp-j5x-4 4)当x的各分量彼此独立时， →对数似然比 J(2,)≤J(,2…X 6-3--3--安-r5- 5)Jn(4,2)=Jn(az,4) 7.4.1常用的概率距离度量 7.4.1常用的概率距离度量 口正态分布下的散度 口正态分布下的散度 ■利用矩阵迹的性质tr(BA=t(AB)(=AB,如 A,B是向量)，似然比可改写成 nnig,+-训 6--nga-X-7 +=,+a- 2 Mahalanobis +-- ■如果两类协方差矩阵相等，则 距离的平方 → J。=(-)》Eμ，-)=J 42到+-g】 在协方差矩阵相等条件下散度与很相 +(-P/XP-PYb 似，都是对样本在特征空间分散程度的描述。 11 7.4.1常用的概率距离度量 7.4.2概率距离判据下的特征提取 口正态分布下的Bhattacharyya距离 口基本方法：类似于距离度量下的特征提取 -到 ■设 (，-μ，） y=A'x, 侣 [巴巴， 求映射后的判据表达式（JJ。JD)对A的各分 量的偏导数并令其为零，得到所需的方程式组， ■如果两类协方差矩阵相等，则 然后用相应方法求解。 ■注意：原空间中一个矩阵W经映射后变为 8Ja=(μ，-μ，Σ-（μ，-μ）=JD=JM W'=A'WA.7 7.4.1 常用的概率距离度量  散度 (Divergence)  定义区分ωi 类和ωj 类的总的平均信息（散度）： ( | ) [ ( | ) ( | )]ln ; ( | ) i D ij ji i j X j p J II p p d p         x xx x x    1 2 1 2 1 12 12 1 12 21 1 0; 2 0 ( | ) ( | ), ; 3 ( , , , ) ( ); 4 ( , , ) ( , , , ); 5 , ,. D D n D n Di i D k D kk D D J Jpp J xx x J x J xx x J xx xx J J               x xx x x    ） ） ）当 的各分量彼此独立时， ）当 的各分量彼此独立时， ） 8 7.4.1 常用的概率距离度量  正态分布下的散度  设两类别都是 d 维正态分布，分别表示为 ωi ~N(μi ，∑i ) ，ωj ~N(μj ，∑j )，则 1 /2 1/2 1 /2 1/2 1 1 ( | ) exp[ ( ) ( )], (2 ) | | 2 1 1 ( | ) exp[ ( ) ( )]; (2 ) | | 2 T i ii i d i T j jj j d j p p             x x μ Σ x μ Σ x x μ Σ x μ Σ 11 1 1 1 ln | | ( ) ( ) ( ) ( ); 22 2 j T T ij i i i j j j i l          Σ x μ Σ x μ x μ Σ x μ Σ 对数似然比 9 7.4.1 常用的概率距离度量  正态分布下的散度  利用矩阵迹的性质 tr(BAT)=tr(ATB ) (=ATB ，如 A，B是向量) ，似然比可改写成 1 1 1 1 ln | | [ ( )( ) ] 2 2 1 [ ( )( ) ]; 2 j T ij i i i i T jjj l tr tr        Σ Σ x μ x μ Σ Σ x μ x μ 1 1 1 1 1 ln | | [ ( )] 2 2 1 [ ( )( ) ]; 2 j ij i j i i T ji ji j I tr tr         Σ ΣΣ Σ Σ Σμ μμ μ 10 7.4.1 常用的概率距离度量  正态分布下的散度  如果两类协方差矩阵相等，则 1 1 1 1 1 [ 2] 2 1 ( ) ( )( ); 2 D i j ji T i j i j i j J tr          ΣΣ ΣΣ I μμ Σ Σ μμ 1 ( )( ) ; T D ij ij M J J     μ μ Σμ μ Mahalanobis 距离的平方 在协方差矩阵相等条件下散度与 Jd 很相 似，都是对样本在特征空间分散程度的描述。 11 7.4.1 常用的概率距离度量  正态分布下的 Bhattacharyya 距离  如果两类协方差矩阵相等，则 1 1/2 1 () () 8 2 1 |( )/2| ln ; 2 | || | T i j B i j i j i j i j J                 Σ Σ μμ μ μ Σ Σ Σ Σ 1 8( )( ) . T B ij ij DM J J J     μ μ Σμ μ 12 7.4.2 概率距离判据下的特征提取  基本方法：类似于距离度量下的特征提取  设 求映射后的判据表达式（JB, JC, JD）对 A 的各分 量的偏导数并令其为零，得到所需的方程式组， 然后用相应方法求解。  注意：原空间中一个矩阵 W 经映射后变为 , T y Ax  .  T W A WA 