哈尔滨工业大学：《高等统计学》课程教学资源（PPT课件）第五讲 主成分分析

主成分分析 主成分分析原理 1-2=3-4=5 理论主成分及主成分选择 样本主成分的计算过程 主成分分析的SPSS实现 主成分的应用

主成分分析 1 主成分分析原理 2 理论主成分及主成分选择 3 样本主成分的计算过程 4 主成分分析的SPSS实现 5 主成分的应用

主成分分析原理 心消除旬变量间的相关性与多维寶量降维 Y 日

主成分分析原理                            X1 X2 Y1 Y2  消除自变量间的相关性与多维变量降维

坐标的旋转变换 ∫Y=Xeos日+X2sin Y=-X sin e+x cos 0 正交阵 Y( 8 sinYX sin e cos e人X2 降维依据 COV(Y, Y)=0 D(Y) D(Y2)

坐标的旋转变换    = − + = +     sin cos cos sin 2 1 2 1 1 2 Y X X Y X X                 − =        2 1 2 1 sin cos cos sin X X Y Y     正交阵 ( ) ( ) D Y1  D Y2 降维依据 COV( , ) 0 Y1 Y2 =

原理一般化 H=a181+12X2+…+nYn=X Y2=21X1+l22X2+…+ Ⅹ Xp Yp=upX+up2x2++upX =upx YEUX 满足(1)D(1)2D(Y2)2…≥D(Y) (2)c0wQY,)=0 1,2,…,正交或U为正交阵

原理一般化 满足（1） （2）        = + + + =  = + + + =  = + + + =                 = u X u X u X u X u X u X u X u X u X u X u X u X Y Y Y X X X X p p p p p p p p p p p p      1 1 2 2 2 1 1 2 2 2 2 2 1 1 1 1 2 2 1 1 2 1 2 1 ( ) ( ) ( ) D Y1  D Y2  D Yp cov( , ) = 0 Yi Yj i, j = 1,2,  , p Y = UX u1 ,u2 ,  ,up 正交或U为正交阵

主成分分析的基本问题 o每一个主成分的糸数如何确定 O如何保留主成分 ○如何解释主成分

主成分分析的基本问题  每一个主成分的系数如何确定  如何保留主成分  如何解释主成分

主成分系数的确定 o前提假设 E(X)=0c0v(X,X)=∑ ○第一主成分的糸数满足: H1=11+12 X,+∴+L,X.=LX pp max D(1=max cov(Y1, Y=maxu 2u

主成分系数的确定  前提假设  第一主成分的系数满足： Y1 = u1 1X1 + u1 2X2 ++ u1 p X p = u1 X E(X) = 0 cov(X, X) =  1 1 1 max 1 1 max D(Y ) = max cov(Y ,Y ) = u u

系数的求解 max uu L=1 L=uΣn-(ulu-1)

系数的求解 L = u u − (u  u −1) u  u = 1 max u u

结论 O若∑的特征值为 >,>∷> 对应的单位特征向量为 12 22 P2 P P

结论  若 的特征值为 对应的单位特征向量为：  1  2   p , 1 12 11               u p u u  , 2 22 21               u p u u                pp p p u u u  2 1 

OP个主成分分别是: uI 1141 L X,+…+L1X 2 2 pp Y2=2X1+n2X2+…+2nXn 或Y=UX L X,+…+LX 2 pp p 且(1)D(Y2)=气2,i=1,2,…p (2)cov(Y, r)=Ucov(X, X)u xA=U2U

 P个主成分分别是： 且（1） （2） 或        = + + + = + + + = + + + p p p p p p p p p p u X u X u X u X u X u X u X u X u X Y Y Y     1 1 2 2 2 1 1 2 2 2 2 1 1 1 1 2 2 1 2 1 D(Yi ) = i , i = 1,2,  . p cov(Y,Y ) = Ucov(X, X)U 或 Y = UX  = UU

主成分的保留 主成分总方差=原变量的总方差 r(U2U)=tr(A) ∑D()=∑D(X) ∑λ=∑q

主成分的保留   = = = p i i p i D Yi D X 1 1 ( ) ( )   = = = p i ii p i i 1 1   主成分总方差=原变量的总方差 tr(UU) = tr()