上海交通大学：《计量经济学》教学资源_公式证明_普通最小二乘估计量的统计性质

普通最小二乘估计量的统计性质 基本假定下最小二乘估计值的统计性质 性质1：线性性，即最小二乘估计值是样本观测值Y的线性函数。 x∑Xy ∑x b=Y-bX 性质2：无偏性，即最小二乘估计值的（条件)数学期望等于总体参数。 E(b)=B,E(b2)=B2 证明如下： 由b2 ∑x2 由此，我们首先导关于k的几点性质： 0z4-.2-之}026 。x京·-资安 ®2x=1.24-22小-1 ④∑kx=∑kX=1。∑kx=∑k(X,-)=∑k,X∑k=∑kX,=1 由上述性质①~性质④，可以得到 ,-∑kg =∑k(B+B,X,+4) =B∑k+B∑kX+∑k4 =B,+∑k4, E(b)=B2+∑kE(4,)=B2,注意这里利用了基本假定1，即E(4,)=0 ·严格地说，以下证明的是最小二乘估计量的条件分布，为了简洁起见公式中均省略条件符号(X) 第1页，共6页

普通最小二乘估计量的统计性质 第 1 页，共 6 页 基本假定下最小二乘估计值的统计性质 性质 1：线性性，即最小二乘估计值是样本观测值Yi 的线性函数。 2 22 2 i i ii i i ii i x y xY X y b x x x === ∑∑∑ ∑∑∑ 1 2 b Y bX = − 性质 2：无偏性，即最小二乘估计值的（条件）数学期望等于总体参数1 。 1 1 E( ) b B= ， 2 2 E( ) b B= 证明如下： 由 2 2 i i i x Y b x = ∑ ∑ ，定义 2 i i i x k x = ∑ ，则有 2 i i b kY = ∑ 由此，我们首先导关于 i k 的几点性质： ① 0 i ∑k = 。 0 i i i i 22 2 ii i x x XX k xx x ⎡ ⎤ − ⎢ ⎥ = = = ⎢ ⎥ ⎣ ⎦ ∑ ∑ ∑ ∑ ∑ ∑∑ ∑ = ② 2 2 1 i i k x ∑ = ∑ 。 ( ) 2 2 2 2 2 2 2 i 1 i i i i i x x k x x x ⎡ ⎤ = == ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ∑ ∑ ∑ ∑ ∑ ∑ ③ 1 i i ∑k x = 。 2 1 i ii i i x kx x x ⎡ ⎤ = = ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ ∑ ∑ ∑ ④ 1 ii i i ∑ ∑ kx kX = = 。 ( ) 1 ii i i i i i i i ∑ ∑ ∑ ∑∑ k x k X -X k X -X k k X = = == 由上述性质①～性质④，可以得到 ( ) 2 1 2 1 2 2 i i i ii i i i ii i i b kY k B BX u B k B kX ku B ku = = ++ =+ + = + ∑ ∑ ∑∑∑ ∑ 22 2 () () E i i b B kE u B =+ = ∑ ，注意这里利用了基本假定 1，即 ( ) 0 E ui = 1 严格地说，以下证明的是最小二乘估计量的条件分布，为了简洁起见公式中均省略条件符号 ( ) ⋅| X

普通最小二乘估计量的统计性质 由b=Y-b,X,有E(b)=E(Y)-XE(b,) (1) 同时，由Y=B+B,X,+4,对该式两边求和并同除n 7=B+B,了+∑4，代入式(1)得 E(b)=E(Y)-XE(b,) =8+8+月∑4小B =B+BR+E∑4-BX =B, 这里同样利用了基本假定1，即E(4)=0,以及b的无偏性。 性质3：有效性，即最小二乘估计值在所有线性无偏估计量中具有方差最小性。 为了方便证明，首先讨论最小二乘估计值的方差公式。 根据方差的定义式，有ar(b)=E(色-E(b),ar(b)=E(-E(6) 再由最小二乘估计值的无偏性，有 Var(b)=E(b-B2),Var(b)=E(b-B) 由b=B,+∑k4,代入方差公式，有 ar,)=E(∑k4)' =E(k+…+k+2kk3442+…+2knkn4n4n) 即包含了u,的平方项，以及u,和u,的交叉项。利用基本假定2和基本假定3，有 ar()=E(kG+…+k) =kE(G)+…+kE() =o2∑k2 (2) 02 由b=∑k,g和b=了-b,x 2无偏性的证明只利用了基本假定1，与基本假定2和3无关，因此在后面两个假定不成立的情况下，最小 二乘估计值的无偏性仍然成立。 3注意，此处证明直接利用了同方差和无自相关的假定，如果这两个假定之一不成立，则式(2)和式(3) 所示的最小二乘估计值的方差公式将不再成立。在第四篇中我们也将讨论异方差情况下和存在自相关情况 下的最小二乘估计值的方差计算公式均需重新推导。 第2页，共6页

普通最小二乘估计量的统计性质 第 2 页，共 6 页 由 1 2 b Y bX = − ，有 1 2 E( ) ( )- ( ) b E Y XE b = （1） 同时，由Y B BX u i ii =+ + 1 2 ，对该式两边求和并同除 n 1 2 1 Y B BX ui n =+ + ∑ ，代入式（1）得 1 2 12 2 12 2 1 () () ( ) 1 1 i i E b E Y XE b E B BX u BX n B BX E u BX n B = − ⎛ ⎞ = ++ − ⎜ ⎟ ⎝ ⎠ ⎛ ⎞ =+ + − ⎜ ⎟ ⎝ ⎠ = ∑ ∑ 这里同样利用了基本假定 1，即 ( ) 0 E ui = ，以及 2 b 的无偏性2 。 性质 3：有效性，即最小二乘估计值在所有线性无偏估计量中具有方差最小性。 为了方便证明，首先讨论最小二乘估计值的方差公式。 根据方差的定义式，有 () () ( ) 2 2 22 Var b E b E b = - ， () () ( ) 2 1 11 Var b E b E b = - 再由最小二乘估计值的无偏性，有 ( ) 2 2 22 Var b E b B = − ( ) ， ( ) 2 1 11 Var b E b B = − ( ) 由 2 2 i i b B ku = +∑ 代入方差公式，有 ( ) ( ) 2 2 22 22 1 1 1 2 1 2 -1 -1 ( ) 2 2 i i n n n nn n Var b E k u E k u k u kk uu k k u u = = +++ ++ ∑ "" "" 即包含了ui 的平方项，以及ui 和u j 的交叉项。利用基本假定 2 和基本假定 33 ，有 ( ) 22 22 2 11 22 22 1 1 2 2 2 2 ( ) () () n n n n i i Var b E k u k u kEu kEu k x σ σ = ++ = ++ = = ∑ ∑ "" "" （2） 由 2 i i b kY = ∑ 和 1 2 b Y bX = − 2 无偏性的证明只利用了基本假定 1，与基本假定 2 和 3 无关，因此在后面两个假定不成立的情况下，最小 二乘估计值的无偏性仍然成立。 3 注意，此处证明直接利用了同方差和无自相关的假定，如果这两个假定之一不成立，则式（2）和式（3） 所示的最小二乘估计值的方差公式将不再成立。在第四篇中我们也将讨论异方差情况下和存在自相关情况 下的最小二乘估计值的方差计算公式均需重新推导

普通最小二乘估计量的统计性质 b=7-b, =∑-（∑） =a少 =Σ](B+兵x+4) =B+Σg,+)4 =8+∑日4 上式利用了性质①∑k=0和性质④∑kx=∑kX,=1 a6)-日& =Σ4-空 =Σj-后ΣXkw)+2w时 (3) 。-0+ =02 ∑x2+n2 n∑x2 ∑x+n2-∑(X,-x)+n2 同时， =∑X2-2x∑X,+nx2+nx2 =∑x2 因此有，ar(6)=o ∑X n∑x 接下来即证在基本假定1-3成立的情况下，由式(2)和式(3)给出的最小二乘估计值 在所有线性无偏估计量中具有方差最小性。 任一线性无偏估计量根据定义可以一般地记作五=∑w,X,其中w,为类似于k,的权 第3页，共6页

普通最小二乘估计量的统计性质 第 3 页，共 6 页 ( ) ( ) 1 2 1 2 1 2 1 1 1 1 111 1 i ii i i i ii i i i ii i i b Y bX Y X kY n Xk Y n Xk B B X u n B Xk B Xk X Xk u nnn B Xk u n = − = − ⎛ ⎞ = − ⎜ ⎟ ⎝ ⎠ ⎛ ⎞ = − ++ ⎜ ⎟ ⎝ ⎠ ⎛ ⎞⎛ ⎞⎛ ⎞ = −+ − + − ⎜ ⎟⎜ ⎟⎜ ⎟ ⎝ ⎠⎝ ⎠⎝ ⎠ ⎛ ⎞ =+ − ⎜ ⎟ ⎝ ⎠ ∑ ∑ ∑ ∑ ∑∑∑ ∑ 上式利用了性质① 0 i ∑k = 和性质④ 1 ii i i ∑kx kX = ∑ = ( ) 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 2( ) () 1 0 1 i i i ii i i ii ii i i i i Var b E Xk u n E u X ku n E u E X u ku X E ku n n X n x X n x x nX n x σ σ σ σ ⎡ ⎤ ⎛ ⎞ = − ⎢ ⎥ ⎜ ⎟ ⎣ ⎦ ⎝ ⎠ ⎛ ⎞ = − ⎜ ⎟ ⎝ ⎠ ⎛ ⎞ =− + ⎜ ⎟ ⎝ ⎠ = −+ ⎛ ⎞ = + ⎜ ⎟ ⎝ ⎠ + = ∑ ∑ ∑ ∑ ∑∑ ∑ ∑ ∑ ∑ ∑ （3） 同时， 22 22 2 2 2 2 ( -) 2 i i i i i x nX X X nX X X X nX nX X += + = − ++ = ∑ ∑ ∑ ∑ ∑ 因此有， 2 2 1 2 ( ) i i X Var b n x = σ ∑ ∑ 接下来即证在基本假定 1-3 成立的情况下，由式（2）和式（3）给出的最小二乘估计值 在所有线性无偏估计量中具有方差最小性。 任一线性无偏估计量根据定义可以一般地记作 * 2 i i b wY = ∑ ，其中 wi 为类似于 i k 的权

普通最小二乘估计量的统计性质 系数，当w,=k时，b,即等于最小二乘估计量。又由于b,也是无偏估计量，因此有， E(b,)=B2 (4) 又有，E(b)=E(∑w,）=∑w,E()=∑w(B+B,X）=B∑w,+B2∑w,X, 因此要使式(4)成立，必须有以下两个条件同时成立 ∑w,=0和∑w,X,=1,因此有∑w,x=∑"，(X,-X)=∑"，X-X∑"，=1 则Var()=ar(∑w,)=∑w,YVar(化)=o2∑g2,注意，这里同样利用了基本假 定2和3。进一步地， a国-22 j+w克〔） =o2∑(w,-k)2+o2∑k+2o2∑(w,-k)k =Σ-kA+6 如果大，显签or因)》>0∑实=o@） 接下来的一个问题是如何得知σ2？ 对Y=B+B2X,+4,等式两边同时求均值，有Y=B,+B2X+ Y=B+B2X,+4,与了=B+B2X+五两式相减，有y=B2x+(4,-) 类似地，对Y,=b+b,X+e,等式两边同时求均值，有了=b+b,X， y=b+bX,+e,与了=b+b2两式相减，有y=bx,+e,或e=y-bx 代入y=B2x+(u-),有e,=B2x+(4-)-b2x=(B2-b2)x+(4,-) 对上式两端求平方和，有 ∑e=∑(B,-b)2x+∑(4，-2+2∑(B,-b)x(u,-m =(B,-b)2∑x+∑(4，-m2+2(B2-b)∑x(4,-m) 上式两边求数学期望，有 第4页，共6页

普通最小二乘估计量的统计性质 第 4 页，共 6 页 系数，当 wi = i k 时， * 2 b 即等于最小二乘估计量。又由于 * 2 b 也是无偏估计量，因此有， * 2 2 E( ) b B = （4） 又有， ( ) ( ) ( ) * 2 12 1 2 ( ) E ii i i i i i i i b E wY wE Y w B B X B w B w X = = = += + ∑ ∑ ∑ ∑∑ 因此要使式（4）成立，必须有以下两个条件同时成立 0 ∑wi = 和 1 ∑w Xi i = ，因此有 () 1 ∑wx w X X wX X w ii i i i i i = ∑ ∑∑ −= − = 则 * 2 22 2 ( ) ( ) () Var b Var wY w Var Y w == = ∑∑ ∑ ii i i i σ ，注意，这里同样利用了基本假 定 2 和 3。进一步地， () () ( ) 2 * 2 2 2 2 2 2 2 22 2 2 22 2 2 22 2 2 2 2 2 ( ) 2 2 1 i i i i i i i ii i i i i ii i i i i ii i i i x x Var b w x x x x xx w w x x xx w k k w kk w k x σ σ σσ σ σσ σ σ ⎛ ⎞ = −+ ⎜ ⎟ ⎝ ⎠ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎛ ⎞ = −+ + − ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠ = −+ + − = −+ ∑ ∑ ∑ ∑ ∑∑ ∑ ∑ ∑∑ ∑ ∑∑ ∑ ∑ 如果 w k i i ≠ ，显然 ( ) ( ) * 2 2 2 2 1 i Var b Var b x > = σ ∑ 接下来的一个问题是如何得知 2 σ ？ 对Y B BX u i ii =+ + 1 2 等式两边同时求均值，有Y B BX u = 1 2 + + Y B BX u i ii =+ + 1 2 与Y B BX u =+ + 1 2 两式相减，有 2 ( ) i ii y = Bx u u + − 类似地，对Y b bX e i ii = 1 2 + + 等式两边同时求均值，有Y b bX = +1 2 ， Y b bX e i ii =+ + 1 2 与Y b bX = +1 2 两式相减，有 i ii 2 y = bx e + ，或 ii i 2 e y bx = − 代入 2 ( ) i ii y = +− Bx u u ，有e Bx u u bx B b x u u i ii i ii = 2 2 22 + −− = − + − () () ( ) 对上式两端求平方和，有 ( ) ( ) 2 2 22 22 22 2 2 2 22 22 ( ) 2 ( )( ) ( ) 2( ) ( ) i i i ii i i ii e B b x u u B b xu u B b x u u B b xu u = − + −+ − − =− + −+ − − ∑∑ ∑ ∑ ∑ ∑ ∑ 上式两边求数学期望，有

普通最小二乘估计量的统计性质 E(∑g)=(∑)E[(B,-)]+E[∑u-]+2E[(B-b∑x4-] =(∑x)ar(@,)+E[∑(4-]+2E[B,-b,)∑x4-m] 记A=(∑x)ar(),B=E[∑(u,-m],C=2E[(B,-b)∑x(4-] 以下分别计算等式中三部分。 由前得到的最小二乘估计值的方差可以得到 4=②a6)-2o B=E[∑4-] =E[∑G-24+] n =no2-1E(∑4)} =(n-10o2 C-2E[(B,-b,)∑x(u-m)] =2B,E[∑x(4,-m)]-2E[b∑x(4,-] =0-2E[(∑k)∑x4-四] =-2E[(∑k(B+B,X+4)∑x4-四] =-2E[(k4+…k4,)(∑x4-∑x] =-2E(4++k马，)G4++x4,)+2E(k4++k4.)(x4+…+L++x++弘) 近+…kx +…k,mn =-222②Σw） =-2o2∑kx,+0 =-262 总结三部分的计算结果，有 E(∑e)=o2+(n-1)o2-2o2=(n-2)o2 第5页，共6页

普通最小二乘估计量的统计性质 第 5 页，共 6 页 ( )( ) ( ) ( ) ( ) 2 22 2 22 22 2 2 2 22 ( ) 2( ) ( ) ( ) 2( ) ( ) i i i ii i i ii E e x E B b E u u E B b xu u x Var b E u u E B b x u u = − + −+ − − ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ = + −+ − − ⎡ ⎤ ⎡ ⎤ ⎣ ⎦ ⎣ ⎦ ∑∑ ∑ ∑ ∑∑ ∑ 记 ( ) ( ) 2 A i 2 = ∑x Var b ， 2 ( ) BE uu i = − ⎡ ⎤ ⎣ ⎦ ∑ ， 2 2 2( ) ( ) C E B b xu u i i =− − ⎡ ⎤ ⎣ ∑ ⎦ 以下分别计算等式中三部分。 由前得到的最小二乘估计值的方差可以得到 ( ) ( ) 2 2 22 i i 2 2 i A x Var b x x σ = == ∑ ∑ σ ∑ ( ) ( ) 2 2 2 2 2 2 2 2 2 2 2 ( ) (2 ) (2 ) 2 ( ) 1 ( 1) i i i i i i i i i i BE uu E u uu u u E u uu n u Eu E u n E n n n Eu n n σ σ = − ⎡ ⎤ ⎣ ⎦ = −+ ⎡ ⎤ ⎣ ⎦ ⎡ ⎤ = −+ ⎢ ⎥ ⎣ ⎦ ⎛ ⎞ = − +⋅ ⎜ ⎟ ⎝ ⎠ = − = − ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ( ) ( ) ( ) ( )( ) () () 2 2 2 2 1 2 1 1 1 11 11 11 1 2( ) ( ) 2 ( )2 ( ) 02 ( ) 2 () 2 2 ( )2 ( i i ii ii ii i i i i i ii nn ii i n nn nn nn n C E B b xu u BE x u u E b x u u E kY x u u E k B BX u x u u E ku k u xu xu u u E ku k u xu x u E ku k u x x n =− − ⎡ ⎤ ⎣ ⎦ = −− − ⎡ ⎤⎡ ⎤ ⎣ ⎦⎣ ⎦ =− − ⎡ ⎤ ⎣ ⎦ =− + + − ⎡ ⎤ ⎣ ⎦ =− + − ⎡ ⎤ ⎣ ⎦ + + =− + + + + + + + + + ∑ ∑ ∑ ∑ ∑ ∑ ∑ "" ∑ ∑ " "" " " ( ) 1 2 2 2 2 2 2 1 1 111 11 1 1 2 2 2 2 ) 2( ) 2 2 2 2 0 2 n n n nni n n nn i ii i ii i i u u n u u u u E kxu k x u E kx kx k x k x n nn n x kxE u E ku n σ k x σ + + ⎛ ⎞ =− + + + + + + + ⎜ ⎟ ⎝ ⎠ ⎛ ⎞ =− + ⎜ ⎟ ⎝ ⎠ =− + = − ∑ ∑ ∑ ∑ " " " "" 总结三部分的计算结果，有 ( ) ( ) ( ) 22 22 2 12 2 Ee n n ∑ i = +− − =− σ σσ σ

普通最小二乘估计量的统计性质 即E 6 最小二乘估计值的协方差 由协方差的定义，有Cov(b,b2)=E(b-B)(b2-B2) 由7=b+b2x,有b=7-b2X,可得 Cov(b.b2)=E(Y-bX-B)(b2-B) 又由Y,=B,+B2X,+4,两端求均值有了=B,+B,X+π，代入上面协方差公式，有 Cov(b.b)=E(Y-b,X-B)(b2-B) =E(B+BX+i-bX-B)(b-B2) =E[(B2-b,)x+a](b,-B) -E(6-B)'+E[π(-B)] =-XVar(b2)+E[i(b2-B2) -r6-4) ∑x2 对于同时具有性质l~性质3的估计量，我们通常称为BLUE(Best Linear Unbiased Estimation)估计量，即最优线性无偏估计量。 如果进一步地有基本假定4，即认为随机误差项服从正态分布，那么根据最小二乘估计 量的线性性可知，最小二乘估计量也服从正态分布。性质2和性质3己经推导得到最小二乘 估计量的均值和方差，因此可以得到如下性质4。 性质4：正态性，即最小二乘估计值6~N[B, ∑x2 ∑X,-o]或 第6页，共6页

普通最小二乘估计量的统计性质 第 6 页，共 6 页 即 2 2 2 i e E n σ ⎛ ⎞ ⎜ ⎟ = − ⎝ ⎠ ∑ 最小二乘估计值的协方差 由协方差的定义，有Cov b ,b E b B b B ( ) 12 1 1 2 2 =− − ( )( ) 由Y b bX = +1 2 ，有 1 2 b Y bX = − ，可得 Cov b ,b E Y b X B b B ( ) 12 2 1 2 2 = −− − ( )( ) 又由Y B BX u i ii =+ + 1 2 ，两端求均值有Y B BX u = 1 2 + + ，代入上面协方差公式，有 ( ) ( )( ) ( )( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 12 2 1 2 2 1 2 2 12 2 22 2 2 2 22 22 2 22 2 2 2 2 2 1 2 1 1 2 2 i n n n i i Cov b ,b E Y b X B b B E B BX u bX B b B EB bXu b B XE b B E u b B XVar b E u b B X E ub E uB x u u X E ku k u x n X x = −− − = + +− − − = −+ − ⎡ ⎤ ⎣ ⎦ =− − + − ⎡ ⎤ ⎣ ⎦ =− + − ⎡ ⎤ ⎣ ⎦ σ =− + − σ ⎛ ⎞ + + =− + + + ⎜ ⎟ ⎝ ⎠ σ = − ∑ ∑ ∑ " " 对于同时具有性质 1～性质 3 的估计量，我们通常称为 BLUE（Best Linear Unbiased Estimation）估计量，即最优线性无偏估计量。 如果进一步地有基本假定 4，即认为随机误差项服从正态分布，那么根据最小二乘估计 量的线性性可知，最小二乘估计量也服从正态分布。性质 2 和性质 3 已经推导得到最小二乘 估计量的均值和方差，因此可以得到如下性质 4。 性 质 4 ：正态性，即最小二乘估计值 ] ( ) ~ [ , 2 2 2 1 1 ⋅σ ∑ − ∑ n X X X b N B i i 或 2 1 1 2 1 ~ [ , （ ）σ ∑ + i x X n b N B ， ] 1 ~ [ , 2 2 2 2 ⋅σ ∑ i x b B