7.6PCA特征提取方法与K-L变换 7.6PCA特征提取方法与KL变换 口求解最小均方误差正交基： 口协方差矩阵的所有特征根是实数，特征向量 a用Lagrange乘子法 也是实的，所有n个特征向量构成一组标准 80-2w2 2[%-奶 正交基，记作，5，…，5m,分别对应特征根 12132…210, 令@=0,1=m+1,m 8o =(51,52，…，5 52 →卫4=，4，i=m+l,…,m →·是Σ的特征向量，乃，是特征根： 口选择协方差矩阵的特征向量乐，5，“，5。作为正 且i侧-三w2)-三4 交基，可以使得均方误差最小。 7.6PCA特征提取方法与K-L变换 7.6PCA特征提取方法与KL变换 口总结 口特征向量常被叫做“主分量”，每个样本被它在前 ■当取协方差矩阵∑的m个最大特征值对应的特征 几个主分量上的投影近似表示 向量来展开飞时，此时的截断均方误差最小。这 m个特征向量组成的正交坐标系称作x所在的n -立6立城-2 维空间的m维Karhunen-Loeve(K-L)变换坐标 系，x在K-L坐标系上的展开系数向量y称作x 口特征值标记着相应特征向量上的能量： 的K-L变换。 口，52，…，5张成的空间称为原空间的子空间， ■实际应用中，协方差矩阵是未知的，用样本协方 PCA实际上是在子空间上的投影，并且 差矩阵代替。 kxf-空6-立空-2 7.6PCA特征提取方法与K-L变换 7.6PCA特征提取方法与KL变换 口KL变换的性质 口例子 。变换后空间中的各特征是互不相关的 E[yy,]=E[5xx'5,]=,5H5,=,6m, E[yy]=E[E'xx'E] =ξ725=A; K-L坐标系把矩阵∑对角化，即通过KL变换 消除原有向量x的各分量间的相关性，从而有可 能去掉那些带有较少信息的分量以达到降低特征 维数的目的。25 7.6 PCA 特征提取方法与K-L变换  求解最小均方误差正交基：  用 Lagrange 乘子法    1 1 () 1 ; n n T T i i i ii im im g                Σ   2 1 1 ( ) 0, 1, , , , 1, , ; () . T i i ii i i n n ii i im im g im n im n e m                        Σ Σ Σ   令 是 的特征向量， 是特征根； 且， 26 7.6 PCA 特征提取方法与K-L变换  协方差矩阵的所有特征根是实数，特征向量 也是实的，所有 n 个特征向量构成一组标准 正交基，记作 分别对应特征根  选择协方差矩阵的特征向量 作为正 交基，可以使得均方误差最小。 1 2 ,,,, n     1 2 ,      n   , , , . 2 1 2 1 1 2                               T n T T n n             1 2 ,,, m     27 7.6 PCA 特征提取方法与K-L变换  总结  当取协方差矩阵Σ的 m 个最大特征值对应的特征 向量来展开 x 时，此时的截断均方误差最小。这 m 个特征向量组成的正交坐标系称作 x 所在的 n 维空间的 m 维 Karhunen-Loeve (K-L) 变换坐标 系，x 在 K-L 坐标系上的展开系数向量 y 称作 x 的 K-L 变换。  实际应用中，协方差矩阵是未知的，用样本协方 差矩阵代替。 28 7.6 PCA 特征提取方法与K-L变换  特征向量常被叫做“主分量”，每个样本被它在前 几个主分量上的投影近似表示  特征值标记着相应特征向量上的能量；  张成的空间称为原空间的子空间， PCA 实际上是在子空间上的投影，并且   ; 1 1 1          m i i i T m i i i n i i i x y  y  x   1 2 ,,, m     2 2 2 12 1 2 1 2 11 11 . n n mm ii ii ii ii ii ii yy yy      x x       29 7.6 PCA 特征提取方法与K-L变换  K-L 变换的性质  变换后空间中的各特征是互不相关的 K-L 坐标系把矩阵Σ对角化，即通过 K-L 变换 消除原有向量 x 的各分量间的相关性，从而有可 能去掉那些带有较少信息的分量以达到降低特征 维数的目的。 , ; TT T i j i j i i j i ij T TT T E yy E E E                         x x y y ξ x x ξ ξ Σξ Λ 1 2 0 ; 0 d           Λ  30 7.6 PCA 特征提取方法与K-L变换  例子