中南大学：《应用统计》PPT电子教案_多元线性回归

多元线性回归模型 Y=Bo+B,x+B2x2+Bpx+8 E~N(0,a2) 其中,凤,月,B2…,Bn;为未知参数

多元线性回归模型 0 1 1 2 2 2 (0, ) Y x x xp p N         = + + + +   0 1 2 , , ;     P 其中 2 , , , 为未知参数

对(x12x2…,xp2)进行观测得观测值 i1“i2 ny),=12,…,p则 Y=B+B1x1+B2x12+…+Bnx1+6 其中{e;}独立同标准正态分布 采用最小二乘估计,令 Q(,月,B2…,B)=∑6 为了便于写出它最小二乘估计;引进矩阵表示

1 2 1 2 0 1 1 2 2 , , , , ) ( , , , , ), 1, 2, , . } P i i i i i i p i i x x x Y x x x Y i p      x x x  = = + + + + + ip ip 对( 进行观测得观测值 则 Y 其中{ 独立同标准正态分布. 2 0 1 2 1 , , , , ) n p i i      = =  采用最小二乘估计,令 Q( 为了便于写出它最小二乘估计;引进矩阵表示

Y「B P B2 21 P Y B B 则有 Y=XB+u N,(0, o ln)

记 则有 , , , u                          =                   1 1 1 2 2 2 n n p Y Y Y= = Y 11 1 21 2 1 1 1 1 p p n np x x x x X x x       =         2 ~ (0, ) n n Y X u u N I    = +  

因此 Q(A,B,B2…,月,)=Q()=∑62=1l (r-XB)(Y-XB 求β,使 Q(B)=minQB) 对∫求导,我们有 oQ a 0∞(Y-BXY-yX+BXXB) ⅩY-Xy+2XXB -2XY+2X XB

因此 2 0 1 2 1 , , , , ) ) n T p i i       u u = Q( Q( = = =  ( ) ( ) T = − − Y X Y X   ˆ , ˆ    求 使 Q( )=minQ( ) ( ) T T T T T T Y Y X Y Y X X X          = − − +   对 求导,我们有 Q 2 T T T = − − + X Y X Y X X 2 2 T T = − + X Y X X

令其为零得矩阵方程YB=XY 如果XX可逆,则最小二乘解为 B=(XXXY 称Y=B+Bx1+B2x2+Bx为经验回归方程 σ2的估计仍采用矩法,且无偏估计为 n-p(r-XB)(-XB ∑

T T 令其为零得矩阵方程 X X X Y  = ˆ 1 ( ) T T T X X X X X Y   − = 如果 可逆,则 的最小二乘解为 2 1 ˆ ˆ ˆ ( ) ( ) 1 T Y X Y X n p     = − − − − 2 的估计仍采用矩法,且无偏估计为 0 1 1 2 2 ˆ ˆ ˆ ˆ ˆ 称Y x x x = + + +     p p 为经验回归方程 2 1 1 ˆ ( ) 1 n i i i Y Y n p = = − − − 

和一元回归模型类似我们也有 (1)B~Np+1(B2o(XX)) (2)iS(-y)2SE∑(Y-y)2 SSE ∑(Y i=1 有SST=SSE+SSR (3)当B=月2=…=Bn=0时,有 SSR SSE ~x2(p),x2~x(n-p-1) 且SSR与SSE相互独立

和一元回归模型类似,我们也有 2 1 1 ˆ (1) ~ ( , ( ) ) T    N X X P − + 2 ˆ  −Y ) n i i=1 (2)记SSR= (Yˆ 2 )  −Yi n i i=1 SSE= (Y ˆ 2 )  −Yi n i i=1 SSE= (Y 有 SST=SSE+SSR 1 2 2 2 (3) 0 ~ ( ), ( 1) . n p n p SSR SSE        = = = = − − 2 2 当 时,有 SSR SSE 且 与 相互独立

有了上面的结论我们可以导出检验 B1=B2 B,=0 在检验方法在这里就不讨论了,留给大家思考

有了上面的结论,我们可以导出检验 在检验方法.在这里就不讨论了,留给大家思考. 0 1 2 : 0 H    = = = = n

预测 对自变量(x1,x2…,xn)(x,x2,…,xn)时对Y作 点估计和区间估计就是点预测与区间预测 我们不加证明地给出下列结果 点预测:Y0=B+B1x1+B2xm2+…+Bnxm 区间预测:(。-6。2Y0+O) 其中δ。=1(n-p-1)G√1+x7(XX)x 0102

预测 1 2 01 02 0 ( , , , ) ( , , , ) p p 对自变量 x x x x x x Y = 时对 作 点估计和区间估计就是点预测与区间预测. 我们不加证明地给出下列结果: 0 0 1 01 2 02 ˆ ˆ ˆ ˆ ˆ p = + + + +     x x x 点预测 0p :Y 2 0 0 0 0 1 0 0 0 0 01 02 0 ˆ ˆ , ) ( 1) 1 ( ) ˆ (1, , , , ) T T T p t n p x X X x x x x x      − − + = − − + = 区间预测:(Y Y 其中