§2.2一元线性回归模型的参数估计 一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计(OLS) 三、参数估计的最大或然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干 扰项方差的估计
§2.2 一元线性回归模型的参数估计 一、一元线性回归模型的基本假设 二、参数的普通最小二乘估计(OLS) 三、参数估计的最大或然法(ML) 四、最小二乘估计量的性质 五、参数估计量的概率分布及随机干 扰项方差的估计
单方程计量经济学模型分为两大类: 线性模型和非线性模型 •线性模型中,变量之间的关系呈线性关系 •非线性模型中,变量之间的关系呈非线性关系 一元线性回归模型:只有一个解释变量 Y,=B。+BX,+4 i=1,2.,n Y为被解释变量,X为解释变量,B与B为待估 参数,为随机干扰项
单方程计量经济学模型分为两大类: 线性模型和非线性模型 •线性模型中,变量之间的关系呈线性关系 •非线性模型中,变量之间的关系呈非线性关系 一元线性回归模型:只有一个解释变量 Yi = 0 + 1 X i + i i=1,2,.,n Y为被解释变量,X为解释变量,0与1为待估 参数, 为随机干扰项
回归分析的主要目的是要通过样本回归函 数(模型)SR尽可能准确地估计总体回归函 数(模型)PRF。 估计方法有多种,其种最广泛使用的是普通 最小二乘法(ordinary least squares,.OLS)。 为保证参数估计量具有良好的性质,通常对 模型提出若干基本假设。 注:实际这些假设与所采用的估计方法紧密 相关
回归分析的主要目的是要通过样本回归函 数(模型)SRF尽可能准确地估计总体回归函 数(模型)PRF。 估计方法有多种,其种最广泛使用的是普通 最小二乘法(ordinary least squares, OLS)。 为保证参数估计量具有良好的性质,通常对 模型提出若干基本假设。 注:实际这些假设与所采用的估计方法紧密 相关
线性回归模型的基本假设 假设1、解释变量X是确定性变量,不是随机变量; 假设2、随机误差项μ具有零均值、同方差和不序列相 关性: E(4u)=0 i=1,2,.,n Var (Hi)=ou2 i=1,2,.,n CoV(4,4)=0 jijF1,2,.,n 假设3、随机误差项μ与解释变量X之间不相关: Cov(Xi,ui)-0 i=1,2,.,n 假设4、u服从零均值、同方差、零协方差的正态分布 4N(0,o2) i=1,2,.,n
一、线性回归模型的基本假设 假设1、解释变量X是确定性变量,不是随机变量; 假设2、随机误差项具有零均值、同方差和不序列相 关性: E(i )=0 i=1,2, .,n Var (i )= 2 i=1,2, .,n Cov(i, j )=0 i≠j i,j= 1,2, .,n 假设3、随机误差项与解释变量X之间不相关: Cov(Xi , i )=0 i=1,2, .,n 假设4、服从零均值、同方差、零协方差的正态分布 i~N(0, 2 ) i=1,2, .,n
注意: 1、如果假设1、2满足,则假设3也满足: 2、如果假设4满足,则假设2也满足。 以上假设也称为线性回归模型的经典假设 或高斯(Gauss)假设,满足该假设的线性回归 模型,也称为经典线性回归模型(Classical Linear Regression Model,CLRM)
1、如果假设1、2满足,则假设3也满足; 2、如果假设4满足,则假设2也满足。 注意: 以上假设也称为线性回归模型的经典假设 或高斯(Gauss)假设,满足该假设的线性回归 模型,也称为经典线性回归模型(Classical Linear Regression Model, CLRM)
另外,在进行模型回归时,还有两个暗含的 假设: 假设5:随着样本容量的无限增加,解释变 量X的样本方差趋于一有限常数。即 ∑(X,-X)21n2, n→o 假设6:回归模型是正确设定的 假设5旨在排除时间序列数据出现持续上升或下降的变 量作为解释变量,因为这类数据不仅使大样本统计推断变 得无效,而且往往产生所谓的伪回归问题(spurious regression problem)。 假设6也被称为模型没有设定偏误(specification error)
另外,在进行模型回归时,还有两个暗含的 假设: 假设5:随着样本容量的无限增加,解释变 量X的样本方差趋于一有限常数。即 (Xi − X) / n →Q, n → 2 假设6:回归模型是正确设定的 假设5旨在排除时间序列数据出现持续上升或下降的变 量作为解释变量,因为这类数据不仅使大样本统计推断变 得无效,而且往往产生所谓的伪回归问题(spurious regression problem)。 假设6也被称为模型没有设定偏误(specification error)
二、参数的普通最小二乘估计 (0LS) 给定一组样本观测值(X。Y) (=1,2,.n)要 求样本回归函数尽可能好地拟合这组值! 普通最小二乘法(Ordinary least squares,.OLS) 给出的判断标准是:二者之差的平方和 0=2g-)=∑-(a+月x,》1 最小。 即在给定样本观测值之下,选择出序。、序能使Y:与 之差的平方和最小
二、参数的普通最小二乘估计(OLS) 给定一组样本观测值(Xi , Yi)(i=1,2,.n)要 求样本回归函数尽可能好地拟合这组值. 普通最小二乘法(Ordinary least squares, OLS) 给出的判断标准是:二者之差的平方和 = − = − + n i i i n Q Yi Y Y X 1 2 0 1 2 1 )) ˆ ˆ ) ( ( ˆ ( 最小
根据微分运算,可推得用于估计。、的下列方程组: ∑(B。+BX:-y)=0 ∑(8+BX-y)x,=0 (*) 或 Y=np。+BX, EYX BOEX+BEX2 EXEY-EX EYX 解得: nX2-(X)2 HEY X -EYEX nX2-(X,)2 方程组(*)称为正规方程组(normal equations)
方程组(*)称为正规方程组(normal equations)
记 ∑x=∑x,-X2=∑x?-∑x月 ∑xy=∑(X,-Xy,-Y)=∑Xx-∑x∑Y 上述参数估计量可以写成: 月= 2x2 B。=Y-月,X 称为0LS估计量的离差形式(deviation form)。 由于参数的估计结果是通过最小二乘法得到的, 故称为普通最小二乘估计量(ordinary least squares estimators)
记 ( ) 2 2 2 2 1 i = ( i − ) = i − Xi n x X X X i i = i − i − = i i − XiYi n x y X X Y Y X Y 1 ( )( ) 上述参数估计量可以写成: = − = Y X x x y i i i 0 1 1 2 ˆ ˆ ˆ 称为OLS估计量的离差形式(deviation form)。 由于参数的估计结果是通过最小二乘法得到的, 故称为普通最小二乘估计量(ordinary least squares estimators)
顺便指出,记=,-7 则有 ,=(B。+B,X,)-(B。+B,x+e) =B(X,-X)-1∑e, 可得 =Bx (**) (**)式也称为样本回归函数的离差形式。 注意: 在计量经济学中,往往以小写字母表示对均值 的离差
顺便指出 ,记 y ˆ i = Y ˆ i −Y 则有 = − − = + − + + i n i i i X X e y X X e 1 1 0 1 0 1 ( ) ˆ ) ˆ ˆ ) ( ˆ ˆ ˆ ( 可得 i i y x1 ˆ ˆ = (**)式也称为样本回归函数的离差形式。 (**) 注意: 在计量经济学中,往往以小写字母表示对均值 的离差