清华大学：《计量经济学》课程PPT教学课件（经济计量学 Econometrics）第三章 经典单方程计量经济学模型（多元回归）3.2 多元线性回归模型的估计

§3.2多元线性回归模型的估计 佔计目标:结构参数β及随机误差项的方差G2 估计方法:OLS、ML或者MM 、普通最小二乘估计 二、最大或然估计 三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例

§3.2 多元线性回归模型的估计 估计方法：OLS、ML或者MM 一、普通最小二乘估计 *二、最大或然估计 *三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例

一、普通最小二乘估计 对于随机抽取的n组观测值(x,X1)1=12,…n,1=012, 如果样本函数的参数估计值已经得到,则有: =B+BX1+B2X2+…+B1X8 根据最小二乘原理,参数估计值应该是下列方程组的解 Q=0 oB Q=0 其中g=∑e2=∑(y-) Q=0 oB Y1-(B+B1X1+B2X2 BLXN) oB

一、普通最小二乘估计 对于随机抽取的n组观测值 Y X i n j k ( i , ji), =1,2,  , , = 0,1,2,  如果样本函数的参数估计值已经得到，则有： Yi   X i  X i  ki X Ki ˆ ˆ ˆ ˆ ˆ = 0 + 1 1 + 2 2 ++ i=1,2…n 根据最小二乘原理，参数估计值应该是下列方程组的解              = = = = 0 ˆ 0 ˆ 0 ˆ 0 ˆ 2 1 0 Q Q Q Q  k          其中 2 1 1 2 ) ˆ  ( = = = = − n i i i n i Q ei Y Y 2 1 0 1 1 2 2 )) ˆ ˆ ˆ ˆ ( ( = = − + + + + n i Yi   X i  X i   k X ki

于是得到关于待估参数估计值的正规方程组: ∑(B6+B1X1+B2X21+…+B4X)=Y Σ(B+B1X1+B2X2+…+BX)X1=∑FX1 Σ(B6+B1X1+B2X2+…+B4X)X21=∑yX2 Σ(B6+B1X1+B2X21+…+BkX)X如=∑yXb 解该(k+1)个方程组成的线性代数方程组,即可得到 (k+1)个待估参数的估计值月,j=012,…k

于是得到关于待估参数估计值的正规方程组：           + + + + =   + + + + =   + + + + =   + + + + =  i i k ki ki i ki i i i k ki i i i i i k ki i i i i i k ki i X X X X Y X X X X X Y X X X X X Y X X X X Y ) ˆ ˆ ˆ ˆ ( ) ˆ ˆ ˆ ˆ ( ) ˆ ˆ ˆ ˆ ( ) ˆ ˆ ˆ ˆ ( 0 1 1 2 2 0 1 1 2 2 2 2 0 1 1 2 2 1 1 0 1 1 2 2                      解该（k+1）个方程组成的线性代数方程组，即可得到 (k+1)个待估参数的估计值   , , , , , j j = 0 1 2  k

正规方程组的矩阵形式 X li ∑XB ∑ X,XB,X ∑X∑XX1…∑X k2 (XX)B=XY 由于ⅹX满秩,故有 B=(XX)X'Y

正规方程组的矩阵形式                             =                                     k k kn n n ki ki i ki k i i i ki i ki Y Y Y X X X X X X X X X X X X X X n X X                 2 1 1 2 1 1 1 1 2 1 0 2 1 1 2 1 1 1 1 1 1 ˆ ˆ ˆ    即 (XX)β ˆ = XY 由于X’X满秩，故有 β= XX XY −1 ( ) ˆ

将上述过程用矩阵表示如下 寻找一组参数佔计值β,使得残差平方和 0=e=ee=(Y-X B)'(Y-X B) 最小。 即求解方程组:(Y-XB)(Y-XB)=0 (Y'Y-BXY-YXB+BXXB)=0 -( YY-2YXB+BXXB=0 XY+XXB=0 得到 XY=XXB 于是:B=(XX)XY

将上述过程用矩阵表示如下： 即求解方程组： ( ˆ ) ( ˆ ) 0 ˆ Y − Xβ  Y − Xβ =  β  ( ˆ ˆ ˆ ˆ ) 0 ˆ  −   −  +   =   Y Y βX Y Y Xβ βX Xβ β ( 2 ˆ ˆ ˆ ) 0 ˆ  −  +   =   Y Y Y Xβ βX Xβ β − XY + XXβ ˆ = 0 得到： β= XX XY −1 ( ) ˆ X Y X Xβ ˆ  =  于是：

例3.2.1:在例2.1.1的家庭收入-消费支出例中, 1X, 11X n X (XX) XX ∑X,∑x2)(25005350 XY=/1 Y2_(∑ 15674 XI X2 X ∑xy,(39468400 可求得 0.72260.0003 (XX) 0.00031.35E-07 于是 0.7226 0.000315674 103.172 B2 000031.35E-07人396484000770

例3.2.1：在例2.1.1的家庭收入-消费支出例中，         =         =                       =    21500 53650000 10 21500 1 1 1 1 1 1 ( ) 2 2 1 1 2 i i i n n X X n X X X X X X  X    X X '         =         =                        =   39468400 1 1 1 2 15674 1 1 2 i i i n n X Y Y Y Y Y X X  X   X Y 可求得         − − −  = − 0.0003 1.35 07 0.7226 0.0003 ( ) 1 E X X 于是        − =                − − − =         = 0.7770 103.172 39648400 15674 0.0003 1.35 07 0.7226 0.0003 ˆ ˆ ˆ 2 1  E  β

◇正规方程组的另一种写法 对于正规方程组 XY=XXB 将Y=XB+e代入得 XXB+Xe=XXB 于是 Xe=o 或 (*)或(*)是多元线性回归模型正规方程组的另 种写法

⃟正规方程组 的另一种写法 对于正规方程组 X Y X Xβ ˆ  =  X Xβ ˆ X e X Xβ ˆ  +  =  于是 Xe = 0 或  = 0 i e  = 0 i ji i X e (*)或（**）是多元线性回归模型正规方程组的另一 种写法 (*) (**)

◇样本回归函数的离差形式 B,x+B2x2i+.+pk xk+e 1=1, 2 其矩阵形式为 X B+e 其中 y2 B2 B 在离差形式下,参数的最小二乘估计结果为 B=(X'x)"X'Y A=F-BX1-…-B

⃟样本回归函数的离差形式 i i i k ki i y =  x +  x + +  x + e ˆ ˆ ˆ 1 1 2 2  i=1,2…n 其矩阵形式为 y = xβ+ e ˆ 其中 ：               = n y y y  2 1 y               = n n kn k k x x x x x x x x x        1 2 12 22 2 11 21 1 x               =  k   ˆ ˆ ˆ ˆ 2 1  β 在离差形式下，参数的最小二乘估计结果为 β= xx xY −1 ( ) ˆ  Y  X  k Xk ˆ ˆ ˆ 0 = − 1 1 −−

随机误差项的方差σ的无偏估计 可以证明,随机误差项μ的方差的无偏估计量为 ∑ ee k-1 n-k

⃟随机误差项的方差的无偏估计 可以证明，随机误差项的方差的无偏估计量为 1 1 ˆ 2 2 − −  = − − =  n k n k ei e e 

*二、最大或然估计 对于多元线性回归模型 Y=Bo+BX+B2X2i+.+PkXk+u 易知 Y1~N(X阝,G Y的随机抽取的n组样本观测值的联合概率 L(,a2)=P(Y1,Y2…,Hn) Σ(H1-(B+B1X1+B2X2;+…+BkXk) (27)oc2 (2丌) O少Q30(Y-XB(Y-x8 即为变量Y的或然函数

*二、最大或然估计 对于多元线性回归模型 Yi   X i  X i +  k X ki +  i = + + +    0 1 1 2 2 易知 ~ ( , ) 2 Yi N Xi β  Y的随机抽取的n组样本观测值的联合概率 ) ˆ ) ( ˆ ( 2 1 )) ˆ ˆ ˆ ˆ ( ( 2 1 1 2 2 2 2 2 0 1 1 2 2 2 2 (2 ) 1 (2 ) 1 , ) ( , , , ) ˆ( Y Xβ Y Xβ β − −  − −  − + + + + = = =            e e L P Y Y Y n Y X X X n n n i i i k k i n   即为变量Y的或然函数