高级计量经济学 重庆工商大学经济学院 刘成杰
高级计量经济学 重庆工商大学经济学院 刘成杰
第1章小样本OLs
第1章 小样本OLS
主要内容 ◆古典线性回归模型的假定 ◆OLS的代数推导 ◆OLS的几何解释 ◆拟合优度 ◆OLS的小样本性质 ◆对单个系数的t检验 ◆对线性假设的F检验 ◆分块回归与偏回归(选读) ◆预测
3 主要内容 古典线性回归模型的假定 OLS的代数推导 OLS的几何解释 拟合优度 OLS的小样本性质 对单个系数的 t检验 对线性假设的 F检验 分块回归与偏回归 (选读 ) 预测
1.1古典线性回归模型的假定 “最小二乘法”( Ordinary least square,OLS)是单一方程线性回 归模型的基本估计方法。“古典线性回归模型”( Classica1 Linear Regression Mode1)的假定如下。 假定1.1线性假定(1 inearity)。总体( population)模型为 y=B,xu+B,xi2 Bxxx +a( n为样本容量,解释变量k的第一个下标表示第个观测值,第 二个下标则表示第k个解释变量k=1…,K)。 如有常数项,令第一个解释变量为单位向量,即x=1,V。 A,B2,…B为待估参数,称为“回归系数”。 aE() 线性假设的含义是对y的边际效应为常数,比如 B
4 1.1 古典线性回归模型的假定 “最小二乘法”(Ordinary Least Square，OLS)是单一方程线性回 归模型的基本估计方法。 “古典线性回归模型”(Classical Linear Regression Model)的假定如下。 假定1.1 线性假定(linearity)。总体(population)模型为 n为样本容量，解释变量 的第一个下标表示第 个观测值，第 二个下标则表示第 个解释变量 。 如有常数项，令第一个解释变量为单位向量，即 。 为待估参数，称为“回归系数” 。 线性假设的含义是 对 的边际效应为常数，比如 。 1 1 2 2 ( 1, , ) i i i K iK i y x x x i n = + + + + = ik x i k ( 1, , ) k K = 1 1, x i i 1 2 , , , K ik x i y 1 1 E( )i i y x =
1.1古典线性回归模型的假定 假定1.2严格外生性( strict exogeneity) (X)=E(E1|x1…,xn)=0(i=1,…,n) E;均值独立于所有解释变量的观测数据,而不仅仅是同 观测数据x中的解释变量。 E;与所有解释变量都不相关,即Cov(E,xk)=0,Vj,k。此 假定很强,在第5章可放松。 均值独立仅要求F(E1X)=c,c为某常数,不一定为0。 当回归方程有常数项时,如果E(E;|X)=c≠0,总可以把 c归入常数项要求
5 1.1 古典线性回归模型的假定 假定1.2 严格外生性(strict exogeneity) 均值独立于所有解释变量的观测数据，而不仅仅是同一 观测数据 中的解释变量。 与所有解释变量都不相关，即 。此 假定很强，在第5章可放松。 均值独立仅要求 ，c为某常数，不一定为0。 当回归方程有常数项时，如果 ，总可以把 c归入常数项要求。 E( | ) E( | , , ) 0 ( 1, , ) i i n 1 X x x = = =i n i i x i Cov( , ) 0, , i jk x j k = E( | ) i X = c E( | ) 0 i X = c
1.1古典线性回归模型的假定 假定1.3不存在“严格多重共线性”( strict multicolinearity), 即数据矩阵X满列秩,rank(X)=K,其中“rank”表示矩阵的秩 X=(xx12…x)B=(1A2…)E≡(E1E2…En) y=XB+8 如果不满足此条件,则B“不可识别”( unidentified),因为Y 中某个或多个变量为多余。 根据OLS估计,b=(XX)Xy。 如X满列秩,XX定,故(XX)存在;反之,(XX)不存在。 实际数据不易出现严格多重共线性。 如果出现, Stata也会自动识别
6 1.1 古典线性回归模型的假定 假定1.3 不存在“严格多重共线性”(strict multicolinearity)， 即数据矩阵 满列秩， ，其中“rank”表示矩阵的秩。 如果不满足此条件，则 “不可识别”(unidentified)，因为 中某个或多个变量为多余。 根据OLS估计， 。 如 满列秩， 定，故 存在；反之， 不存在。 实际数据不易出现严格多重共线性。 如果出现，Stata也会自动识别。 X rank( ) X = K X 1 ( )− b X X X y = X XX 1 ( )− X X 1 ( )− X X 1 2 ( ) n X x x x 1 2 ( ) K 1 2 ( ) n ε y X = +
1.1古典线性回归模型的假定 假定1.4球型扰动项( spherical disturbance),即扰动 项满足“同方差”、“无自相关”的性质, Var(8 X=e( X=oI= L为n阶单位矩阵。 协方差矩阵Ⅴar(x)的主对角线元素都等于σ2,即 满足“条件同方差”;反之,则存在“条件异方差”。 协方差矩阵a(|X)的非主对角线元素都为0,不同 个体的扰动项之间无“自相关”;反之,则存在自相关
7 1.1 古典线性回归模型的假定 假定1.4 球型扰动项(spherical disturbance)，即扰动 项满足“同方差” 、 “无自相关”的性质， 为n阶单位矩阵。 协方差矩阵 的主对角线元素都等于 ，即 满足“条件同方差”；反之，则存在“条件异方差”。 协方差矩阵 的非主对角线元素都为0，不同 个体的扰动项之间无“自相关”；反之，则存在自相关。 2 2 2 0 Var( | ) E( | ) 0 n ' = = = X X I n I Var( | ) X 2 Var( | ) X
120LS的代数推导 对于B的任意假想值芦,记个体的拟合误差(即残差, residua)为e=y-x 将所有个体的残差叠放,可得残差向量e=(ee2…ny=y-XB 最小二乘法寻找能使残差平方和∑e最小的。 几何上,一元回归就是寻找最佳拟合的回归直线; 二元回归就是寻找最佳拟合的回归平面; 多元回归,则寻找最佳拟合的回归超平面
8 1.2 OLS的代数推导 对于 的任意假想值 ，记个体的拟合误差(即残差， residual)为 。 将所有个体的残差叠放，可得残差向量 最小二乘法寻找能使残差平方和 最小的 。 几何上，一元回归就是寻找最佳拟合的回归直线； 二元回归就是寻找最佳拟合的回归平面； 多元回归，则寻找最佳拟合的回归超平面。 i i i e y = − x 1 2 ( ) n e y X = − e e e 2 1 n i i e =
120LS的代数推导 最小化问题: min SSR(B) ∑ i=1 (y-xB)(-XB y'y-2y'XB+BXXB 目标函数SSR(B)是月的二次函数(二次型)。 图1.1参数的假想值、真实值与OLS估计值b
9 1.2 OLS的代数推导 最小化问题： 目标函数 是 的二次函数(二次型)。 图1.1 参数的假想值、真实值与OLS估计值b min SSR( ) = 2 1 n i i e = = e e = − − ( ) ( ) y X y X = − + y y y X X X 2 SSR( )
120LS的代数推导 使用向量微分规则,可得最小化的一阶条件: aSSR) aB--2Xy+2XXB=0 最小二乘估计量满足:(XX)kb= XXxy X(y-X6)=0 因此,Xe=0,其中残差向量e≡y-Yb 残差向量e与解释变量X正交,是OLS的一大特征。 10
10 1.2 OLS的代数推导 使用向量微分规则，可得最小化的一阶条件： 最小二乘估计量满足： 因此， ,其中残差向量 残差向量 与解释变量 正交，是OLS的一大特征。 (SSR) 2 2 0 = − + = X y X X 1 1 ( )K K K K n n X X b X y = ( ) = − = e X y Xb 0 X e = 0 e y Xb − e X