§2.3多元线性回归模型的估计 估计目标:结构参数B,及随机误差项的方差62 估计方法:OLS、ML或者MM 一、普通最小二乘估计 二、最大或然估计 三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
§2. 3 多元线性回归模型的估计 估计方法:OLS、ML或者MM 一、普通最小二乘估计 二、最大或然估计 三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
一、普通最小二乘估计 对于随机抽取的n组观测值(化,X,i=1,2,.,n,j=01,2,.k 如果样本函数的参数估计值已经得到,则有: 卫=B。+B,X.+B2X21++BX i=1,2.n 根据最小二乘原理,参数估计值应该是下列方程组的解 -Q=0 Q=0 明 其中0-立e-立- 900 =2-成+成x+成X++aX》 -Q=0
一、普通最小二乘估计 对于随机抽取的n组观测值 Y X i n j k ( i , ji), =1,2, , , = 0,1,2, 如果样本函数的参数估计值已经得到,则有: Yi X i X i ki X Ki ˆ ˆ ˆ ˆ ˆ = 0 + 1 1 + 2 2 ++ i=1,2.n 根据最小二乘原理,参数估计值应该是下列方程组的解 = = = = 0 ˆ 0 ˆ 0 ˆ 0 ˆ 2 1 0 Q Q Q Q k 其中 2 1 1 2 ) ˆ ( = = = = − n i i i n i Q ei Y Y 2 1 0 1 1 2 2 )) ˆ ˆ ˆ ˆ ( ( = = − + + + + n i Yi X i X i k X ki
于是得到关于待估参数估计值的正规方程组: (B。+BX.+B2X21+.+BXa)=Y, 2(B。+B1Xu+B2X2,+.+BkXa)Xu=2Y,Xu (Bo+BX+B2X2++BX)X2=EYX2 (B。+BX,+B2X21+.+BXa)Xa=Y,Xa 解该(k+1)个方程组成的线性代数方程组,即可得到 (k+1)个待估参数的估计值B,j=0,12,.,k
于是得到关于待估参数估计值的正规方程组: + + + + = + + + + = + + + + = + + + + = i i k ki ki i ki i i i k ki i i i i i k ki i i i i i k ki i X X X X Y X X X X X Y X X X X X Y X X X X Y ) ˆ ˆ ˆ ˆ ( ) ˆ ˆ ˆ ˆ ( ) ˆ ˆ ˆ ˆ ( ) ˆ ˆ ˆ ˆ ( 0 1 1 2 2 0 1 1 2 2 2 2 0 1 1 2 2 1 1 0 1 1 2 2 解该(k+1)个方程组成的线性代数方程组,即可得到 (k+1)个待估参数的估计值 , , , , , j j = 0 1 2 k
正规方程组的矩阵形式 n ∑XYB。 1 . ∑X ∑X,Xa Xn X12 . ∑Xa∑X6X Xk2 X kn 即 XXB=XY 由于XX满秩,故有 B=(XXXY
正规方程组的矩阵形式 = k k kn n n ki ki i ki k i i i ki i ki Y Y Y X X X X X X X X X X X X X X n X X 2 1 1 2 1 1 1 1 2 1 0 2 1 1 2 1 1 1 1 1 1 ˆ ˆ ˆ 即 (XX)β ˆ = XY 由于X’X满秩,故有 β= XX XY −1 ( ) ˆ
将上述过程用矩阵表示如下: 寻找一组参数估计值B,使得残差平方和 最小。 0-含=e=Nx创N-K 即求解方程组: (Y-XB)(Y-XB)=0 (YY-BXY-YXB+8XXB)=0 aB aYY-2YXB+8xX间=0 -XY+XXB=0 得到: XY-XXB 于是: B=(XXXY
将上述过程用矩阵表示如下: 即求解方程组: ( ˆ ) ( ˆ ) 0 ˆ Y − Xβ Y − Xβ = β ( ˆ ˆ ˆ ˆ ) 0 ˆ − − + = Y Y βX Y Y Xβ βX Xβ β ( 2 ˆ ˆ ˆ ) 0 ˆ − + = Y Y Y Xβ βX Xβ β − XY + XXβ ˆ = 0 得到: β= XX XY −1 ( ) ˆ X Y X Xβ ˆ = 于是:
例3.2.1:在例2.1.1的家庭收入-消费支出例中, n】 15674 39468400 可求得 x) 0.7226 -0.0003 0.0003 1.35E-07 于是 -} 0.7226 -0.0003Y15674 0.0003 0.7770
例3.2.1:在例2.1.1的家庭收入-消费支出例中, = = = 21500 53650000 10 21500 1 1 1 1 1 1 ( ) 2 2 1 1 2 i i i n n X X n X X X X X X X X X ' = = = 39468400 1 1 1 2 15674 1 1 2 i i i n n X Y Y Y Y Y X X X X Y 可求得 − − − = − 0.0003 1.35 07 0.7226 0.0003 ( ) 1 E X X 于是 − = − − − = = 0.7770 103.172 39648400 15674 0.0003 1.35 07 0.7226 0.0003 ˆ ˆ ˆ 2 1 E β
正规方程组的另一种写法 对于正规方程组 XY-XXB 将Y=XB+e代入得 XXB+X'e=XXB 于是 X'e=0 (*) 或 ∑e,=0 ∑Xe,=0 (*) (*)或(**)是多元线性回归模型正规方程组的另一 种写法
⃟正规方程组 的另一种写法 对于正规方程组 X Y X Xβ ˆ = X Xβ ˆ X e X Xβ ˆ + = 于是 Xe = 0 或 = 0 i e = 0 i ji i X e (*)或(**)是多元线性回归模型正规方程组的另一 种写法 (*) (**)
◇样本回归函数的离差形式 y=Bx:+B2x2,+.+Bx6+e i=1,2.n 其矩阵形式为 y=xB+e 其中: y X11 X21 X12 X22 Xk2 y= y2 x= B= . . . . Xin X2n . 在离差形式下,参数的最小二乘估计结果为 B=(x'x)-x'Y 月。=了-Bx,-.-Bx
⃟样本回归函数的离差形式 i i i k ki i y = x + x + + x + e ˆ ˆ ˆ 1 1 2 2 i=1,2.n 其矩阵形式为 y = xβ+ e ˆ 其中 : = n y y y 2 1 y = n n kn k k x x x x x x x x x 1 2 12 22 2 11 21 1 x = k ˆ ˆ ˆ ˆ 2 1 β 在离差形式下,参数的最小二乘估计结果为 β= xx xY −1 ( ) ˆ Y X k Xk ˆ ˆ ˆ 0 = − 1 1 −−
>随机误差项的方差σ的无偏估计 可以证明,随机误差项的方差的无偏估计量为 6∑e e'e n-k-1n-k-1
⃟随机误差项的方差的无偏估计 可以证明,随机误差项的方差的无偏估计量为 1 1 ˆ 2 2 − − = − − = n k n k ei e e
二、最大或然估计 对于多元线性回归模型 Y,=B。+B,X1+B2X2,+.+BkXa+4 易知 Y~N(X;B,o2) Y的随机抽取的n组样本观测值的联合概率 L(B,o2)=P(Y1,Y2,.,Yn) 2如2化-(a+月x+月++ax6归 、 -e (2π)。 (Y-X(-XB) 、1 (2元)。” 即为变量Y的或然函数
二、最大或然估计 对于多元线性回归模型 Yi X i X i + k X ki + i = + + + 0 1 1 2 2 易知 ~ ( , ) 2 Yi N Xi β Y的随机抽取的n组样本观测值的联合概率 ) ˆ ) ( ˆ ( 2 1 )) ˆ ˆ ˆ ˆ ( ( 2 1 1 2 2 2 2 2 0 1 1 2 2 2 2 (2 ) 1 (2 ) 1 , ) ( , , , ) ˆ( Y Xβ Y Xβ β − − − − − + + + + = = = e e L P Y Y Y n Y X X X n n n i i i k k i n 即为变量Y的或然函数