7.5.1基于判别熵最小化的特征提取 7.6PCA特征提取方法与KL变换 口为方便计算，判别熵可被代替 口PCA(Principle Component Analysis)方法： Up,q)=-∑(p-9,)2≤0， 进行特征降维变换，不能完全地表示原有的对 象，能量总会有损失。希望找到一种能量最为集 口目标： 中的的变换方法使损失最小。 minw(p,9)）→minU(p,9)=-∑(p,-g,}≤0 ■通过变换，用较少的特征(，乃，y》近似表示 原来的对象x=(,,…,x}(m<m),并且使 口结论：使U最小的坐标系统（变换矩阵）是由 得误差尽可能的小 矩阵A=G).G2)的前d个（按特征值平方大小） 口K-L(Karhunen-Loeve)变换：最优正交线性变 特征向量组成的，其中G四)、G2是两类各自的协 换，相应的特征提取方法被称为PCA方法。 方差矩阵（估计）。 7.6PCA特征提取方法与K-L变换 7.6PCA特征提取方法与KL变换 口正交变换 口误差 ■给定n维空间中的一组标准正交基真，4，， ■用m个分量表示带来的误差 它诱导了一个线性变换： L:x→yL(☒)=y=04h,…,y) △m)=-豆A产豆 y=x4,i=12,,n, 。目标：误差平方的期望最小 x=乞y4,正交展开· c=[mf]=[交] ■反之，任何一个正交变换也确定了一组正交基。 7.6PCA特征提取方法与K-L变换 7.6PCA特征提取方法与KL变换 口求解最小均方误差正交基： 口求解最小均方误差正交基： ■首先假定随机特征向量为零均值（期望）的，否 ■目标函数：对于一个固定的m 则减掉均值即可 Ex=0; mine,'(m)=minE Σ=E(xx),1 ■找n个正交基4,4，，p,使得对任意一组正交 的协方差矩阵 基，2，…，9a,和所有的m≤n, =m =[2]se=之] s1.l=l,i=m+l,m+2,,m;19  为方便计算，判别熵可被代替  目标：  结论：使 U 最小的坐标系统（变换矩阵）是由 矩阵 A = G(1)- G(2) 的前 d 个（按特征值平方大小） 特征向量组成的，其中G(1)、G(2)是两类各自的协 方差矩阵（估计）。 7.5.1 基于判别熵最小化的特征提取 2 ( , ) ( ) 0; i i i U pq p q     20 7.6 PCA 特征提取方法与K-L变换  PCA (Principle Component Analysis) 方法： 进行特征降维变换，不能完全地表示原有的对 象，能量总会有损失。希望找到一种能量最为集 中的的变换方法使损失最小。  通过变换，用较少的特征 近似表示 原来的对象 (m<<n)，并且使 得误差尽可能的小。  K-L (Karhunen-Loeve) 变换：最优正交线性变 换，相应的特征提取方法被称为 PCA 方法。 21 7.6 PCA 特征提取方法与K-L变换  正交变换  给定 n 维空间中的一组标准正交基 它诱导了一个线性变换：  反之，任何一个正交变换也确定了一组正交基。 , , , , 1 2  n , 正交展开。 , 1,2, , , : ( ) ( , , , ) , 1 1 2        n i i i i T i T n y y i n L L y y y   x x x y x y   22 7.6 PCA 特征提取方法与K-L变换  误差  用 m 个分量表示带来的误差  目标：误差平方的期望最小 ( ) ; 1 1          n i m i i m i i i x m x y  y  2 2 2 1 () () , n i i m em E m E y               x  23 7.6 PCA 特征提取方法与K-L变换  求解最小均方误差正交基：  首先假定随机特征向量为零均值（期望）的，否 则减掉均值即可  找 n 个正交基 使得对任意一组正交 基 和所有的 m≤n， , , , , 1 2  n 1 2 ,,,,     n    2 2 2 2 1 1 () () ; n n T T i i im im em E em E                    x x Ex  0; 24 7.6 PCA 特征提取方法与K-L变换  求解最小均方误差正交基：  目标函数：对于一个固定的 m     2 1 1 2 min ( ) min min , . . 1, 1, 2, , ; n T T i i i m n T i i i m i em E st im m n                        xx Σ  Σ＝E(xxT)，x 的协方差矩阵