组(比如k个)相关变量通过线性变换转换成另一组不相关的变量,这些新的 变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变,使第 一个变量具有最大的方差,称为第一主成分,第二个变量的方差次大,并且和第 个变量不相关,称为第二主成分,依次类推,k个变量就有k个主成分,最后 个主成分具有的方差最小,并且和前面的主成分都不相关。 1)主成分的几何意义 下面我们在二维和三维空间中来解释一下主成分的几何意义。 假设在二维空间中一些样本点的分布近似一个椭圆(见图3-3)。如果我们 要用一维,即一个轴来表示这些点的相对位置的话,则这个轴应该选在椭圆的长 轴上。因为从总体来看,样本点离这条线最近,在该方向上样本点最分散,该轴 就是第一主成分,它能解释最大方差,所包含的信息是最多的。两个变量只可能 有芮个主成分,第一个主成分确定后,第二个也就确定了,为椭圆的短轴 图3-3 如果在三维空间中样本点的分布近似一个椭球,设椭球最长的方向为第一长 轴,宽为第二长轴,高为短轴。则第一主成分应该取在第一长轴上,它对数据的 解释能力取决于椭球的形状,如果椭球很长很细,像一根棍,第一主成分基本能 反映原来变量的信息。如果椭球很长很宽,但很扁,则需要两个主成分才能比较 精确地描述该椭球,第二个主成分取在第二长轴上。如果长、宽、高三维都比较