根据矩阵论,有这样的结论:一个N×N的正定实对称矩阵有N个特征值和特征矢量 这些特征矢量之间是正交的。相关矩阵Rx就是一个实对称矩阵,当训练样本足够多时,也 可以满足正定性,根据上式我们知道,当要从N维特征中提取出M维特征时,我们只需要 统计出特征相关矩阵Rx,然后计算其特征值和特征矢量,选择对应特征值最大的前M个 特征矢量作成一个N×M特征变换矩阵T,就可以完成特征提取。步骤如下: 利用训练样本集合估计出相关矩阵Rx=E|XX: 2、计算Rx的特征值,并由大到小排序:A≥2…≥A,以及相应的特征矢量: T,T2…T 3、选择前M个特征矢量作成一个变换矩阵T=[TT2…T] 4、在训练和识别时,每一个输入的N维特征矢量X可以转换为M维的新特征矢量: Y=TX 这种方法是利用相关矩阵Rx进行变换,同样也可以利用协方差矩阵Cx进行变换,还 可以利用样本的散度矩阵S,Sg,S或者SnS进行变换。过程都是一样的,需要计算 特征值和特征向量,选择最大的M个特征值对应的特征矢量作出变换矩阵 例552 根据矩阵论，有这样的结论：一个 N N 的正定实对称矩阵有 N 个特征值和特征矢量， 这些特征矢量之间是正交的。相关矩阵 RX 就是一个实对称矩阵，当训练样本足够多时，也 可以满足正定性，根据上式我们知道，当要从 N 维特征中提取出 M 维特征时，我们只需要 统计出特征相关矩阵 RX ，然后计算其特征值和特征矢量，选择对应特征值最大的前 M 个 特征矢量作成一个 N M 特征变换矩阵 T ，就可以完成特征提取。步骤如下： 1、 利用训练样本集合估计出相关矩阵 T = E   X   R XX ； 2、 计算 RX 的特征值，并由大到小排序：    1 2    N ，以及相应的特征矢量： 1 2 , , , T T TN ； 3、 选择前 M 个特征矢量作成一个变换矩阵 T T T T = 1 2 M  ； 4、 在训练和识别时，每一个输入的 N 维特征矢量 X 可以转换为 M 维的新特征矢量： T Y = T X。 这种方法是利用相关矩阵 RX 进行变换，同样也可以利用协方差矩阵 CX 进行变换，还 可以利用样本的散度矩阵 SW ，SB ，ST 或者 1 W B − S S 进行变换。过程都是一样的，需要计算 特征值和特征向量，选择最大的 M 个特征值对应的特征矢量作出变换矩阵。 例 5.1