KC通过线性变换降维的原理剖析 假设是一个摄像机采集一个物体运动得到的图片，上面的点表示物体运动的位 置，假如我们想要用一条直线去拟合这些点，那我们会选择什么方向的线呢？ 如果把这些点单纯的投影到x轴或者y轴上，最 后在x轴与y轴上得到的方差是相似的（因为这 ignal .2 些点的趋势是在45度左右的方向，所以投影到 x轴或者y轴上都是类似的)，看不出来这些点 真正的方向是什么。但若进行坐标系的变化， 横轴变成了signal的方向，纵轴变成了noisel的 方向，则就很容易发现什么方向的方差大，什 么方向的方差小了。 PCA(Principle Component Analysis)就是对原始的空间中顺序地找一组相互正交 的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平 面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的， 这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前个去近似 这个空间，这样就从一个N维的空间压缩到维的空间了，但是我们选择的个 坐标轴能够使得空间的压缩使得数据的损失最小。 ynh,cxh @ustc.edu.cn{ynh,cxh}@ustc.edu.cn 通过线性变换降维的原理剖析 假设是一个摄像机采集一个物体运动得到的图片，上面的点表示物体运动的位 置，假如我们想要用一条直线去拟合这些点，那我们会选择什么方向的线呢？ PCA(Principle Component Analysis)就是对原始的空间中顺序地找一组相互正交 的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平 面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的， 这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似 这个空间，这样就从一个N维的空间压缩到r维的空间了，但是我们选择的r个 坐标轴能够使得空间的压缩使得数据的损失最小。 如果把这些点单纯的投影到x轴或者y轴上，最 后在x轴与y轴上得到的方差是相似的（因为这 些点的趋势是在45度左右的方向，所以投影到 x轴或者y轴上都是类似的），看不出来这些点 真正的方向是什么。但若进行坐标系的变化， 横轴变成了signal的方向，纵轴变成了noise的 方向，则就很容易发现什么方向的方差大，什 么方向的方差小了