由于T是任选的一个线性无偏估计,所以最小二乘估计B是B的最小方差线性无偏估计 下证唯一性。设T=CY是B的某一个最小方差线性无偏估计,则必有∑r=Σ;即 CC=(XX)-,由(1.1.21)知,C’=X)X,即T=C′Y=(xxxY=B 证毕 需要指出的是,B的LSE的最小方差性是局限在线性无偏估计类中的,如果考虑B的一 切无偏估计类,LSE就不一定是方差最小者。进一步,如果在β的有偏估计中考虑,LSE就 更不见得是方差最小了。 下面我们考虑σ2的估计。与一元情况类似,我们应该用残差平方和去构造它。记 Y=Y-Y=Y-XB=Y-X(XX-YY I-X(XX)"Xr (1.2.24) Y称为剩余向量,或残差向量。记 P=1-X(XX)X (1.2.25) 则Y=PxY。Px称为投影阵。容易验证投影阵有如下简单性质: Pr=pr, Px.Pr, PxX=0 (1.2.26) rk(Px)=tr(Px)=trL,-X(XX)"XT tr(In )-tr(XX)X) =n-tr(Xx)"XX=n-tr(mD) n-m-1 (1.2.27) 残差向量Y与LSEB是互不相关的,因为 Cov(r, B)=CoV(Pr,(xx)Xn) Py Cov(r, rI(Xx)"XI (1.2.28) P1X(X)-=0 残差Y的均值向量与协方差阵分别是 E(Y)=E(Y-BB)=HB-X(XX)-XXB=0(1.2.29) Cov(Y, Y)=P Cov(r,XPx=pro,px =o Px (1.2.30) 记残差平方和10 由于 T 是任选的一个线性无偏估计，所以最小二乘估计  ˆ 是β的最小方差线性无偏估计。 下证唯一性。设 T = C′Y 是β的某一个最小方差线性无偏估计，则必有 T =  ˆ 即 1 ( ) − CC = X X ,由(1.1.21)知，C′=(X′X) -1X′，即 T=C′Y=(X′X) -1X′Y=  ˆ 。 证毕 需要指出的是，β的 LSE 的最小方差性是局限在线性无偏估计类中的，如果考虑β的一 切无偏估计类，LSE 就不一定是方差最小者。进一步，如果在β的有偏估计中考虑，LSE 就 更不见得是方差最小了。 下面我们考虑σ2 的估计。与一元情况类似，我们应该用残差平方和去构造它。记 Y = Y −Y = Y − X = Y − X X X X Y −1 ( ) ˆ ˆ ~  [I n X (X X ) X ]Y 1 = −   − （1.2.24） Y ˆ 称为剩余向量，或残差向量。记 PX = I n − X X X X  −1 ( ) （1.2.25） 则 Y ˆ =PXY。PX 称为投影阵。容易验证投影阵有如下简单性质： PX  = PX , PX  PX , PX X = 0 （1.2.26） tr( ) tr( ) tr( ) - tr( ) ) rk( ) tr( ) tr[ ( ) ] 1 1 1 1 + − − − = −   = − =   = = −   m n X X n n X X X X n I I X X X P P I X X X X = n −m−1 （1.2.27） 残差向量 Y ˆ 与 LSE  ˆ 是互不相关的，因为 ( ) 0 Cov( , )[( ) ] ) Cov( ,( ) ) ˆ , ~ Cov( 2 1 1 1 =  = =    =   − − − P X X X P Y Y X X X Y P Y X X X Y X X X   （1.2.28） 残差 Y ˆ 的均值向量与协方差阵分别是 ) ( ) 0 ˆ ) ( ~ ( 1 = − = −   = − E Y E Y X X X X X X X （1.2.29） X X X nPX PX Y Y P Y X P P I 2 2 ) Cov( , ) ~ , ~ Cov( = =  = （1.2.30） 记残差平方和