第十四章其他回归方法 本章讨论加权最小二乘估计,异方差性和自相关一致协 方差估计,两阶段最小二乘估计(TSLS),非线性最小二乘 估计和广义矩估计(GMM)。这里的大多数方法在“联立方 程系统”一章中也适用
1 第十四章 其他回归方法 本章讨论加权最小二乘估计，异方差性和自相关一致协 方差估计，两阶段最小二乘估计（TSLS），非线性最小二乘 估计和广义矩估计（GMM）。这里的大多数方法在“联立方 程系统”一章中也适用
线性回归模型的基本假设 y,=Po+B,xu+B2x2i+.+Pkk+ 在普通最小二乘法中,为保证参数估计量具有良好的性质,通常对模型提出 若干基本假设: 解释变量之间互不相关 2.随机误差项具有0均值和同方差。即 E(1)=0 Var(u)=o 即随机误差项的方差是与观测时点t无关的常数 3.不同时点的随机误差项互不相关(序列不相关),即 Co(21)=0 ≠0, 4.随机误差项与解释变量之间互不相关。即 Cov(x,ui)=0 5.随机误差项服从0均值、同方差的正态分布。即 1~N(0,a2 1.2 当随杋误差项满足假定1~4时,将回归模型称为“标准回归模型”,当随机 误差项满足假定1~5时,将回归模型称为“标准正态回归模型”。如果实际模型 满足不了这些假定,普通最小二乘法就不再适用,而要发展其他方法来估计模型
2 线性回归模型的基本假设 t i i k ki ui y = 0 + 1 x1 + 2 x2 ++ x + i = 1 , 2 , … , n 在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出 若干基本假设： 1．解释变量之间互不相关； 2．随机误差项具有0均值和同方差。即 E(ui ) = 0 2 Var(ui ) = i = 1 , 2 , … , n 即随机误差项的方差是与观测时点t无关的常数； 3．不同时点的随机误差项互不相关（序列不相关），即 Cov(ui ,ui−s ) = 0 4．随机误差项与解释变量之间互不相关。即 Cov(x ji ,ui ) = 0 5．随机误差项服从0均值、同方差的正态分布。即 ui ~ (0, ) 2 N 当随机误差项满足假定1 ~ 4时，将回归模型称为“标准回归模型”，当随机 误差项满足假定1 ~ 5时，将回归模型称为“标准正态回归模型”。如果实际模型 满足不了这些假定，普通最小二乘法就不再适用，而要发展其他方法来估计模型。 j = 1 , 2 , … , k , i = 1 , 2 , … , n i = 1 , 2 , … , n s ≠ 0, i = 1 , 2 , … , n
§141加权最小二乘估计 古典线性回归模型的一个重要假设是总体回归方程的随机扰 动项L同方差,即他们具有相同的方差a如果随机扰动项的方 差随观测值不同而异,即的方差为σ2,就是异方差。用符号 表示异方差为E(l2)= 异方差性在许多应用中都存在,但主要出现在截面数据分析 中。例如我们调查不同规模公司的利润,会发现大公司的利润变 化幅度要比小公司的利润变化幅度大,即大公司利润的方差比小 公司利润的方差大。利润方差的大小取决于公司的规模、产业特 点、研究开发支出多少等因素。又如在分析家庭支出模式时,我 们会发现高收入家庭通常比低收入家庭对某些商品的支出有更大 的方差
3 古典线性回归模型的一个重要假设是总体回归方程的随机扰 动项 同方差，即他们具有相同的方差 。如果随机扰动项的方 差随观测值不同而异，即 的方差为 ，就是异方差。用符号 表示异方差为 。 异方差性在许多应用中都存在，但主要出现在截面数据分析 中。例如我们调查不同规模公司的利润，会发现大公司的利润变 化幅度要比小公司的利润变化幅度大，即大公司利润的方差比小 公司利润的方差大。利润方差的大小取决于公司的规模、产业特 点、研究开发支出多少等因素。又如在分析家庭支出模式时，我 们会发现高收入家庭通常比低收入家庭对某些商品的支出有更大 的方差。 ui 2 2 i 2 2 ( ) E ui = i ui §14.1 加权最小二乘估计
表1中国1998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出 单位:元 匚变量可支配收入交通和通讯支出变量可支配收入交通和通讯支出 地区 CUM 地区 CUM 甘肃 4009.61 15960 新疆|500079 212.30 山西 4098.73 137.11 河北508464 270.09 宁夏 4112.41 231.51 四 5127.08 212.46 吉林 4206.64 172.65 山东538008 255.53 河南 421942 193.65 西541224 252.37 陕西 4220.24 191.76 湖南543426 255.79 青海 4240.13 197.04 重庆 546657 33783 江西 4251.42 176.39 江苏601785 255.65 黑龙江 4268.50 185.78 云南6042.78 26648 内蒙古 4353.02 206.91 福建648563 346.75 贵州 4565.39 22721 天津|7110.54 258.56 辽宁 4617.24 201.87 浙江7836.76 388.79 安徽 4770.47 237.16 北京 847198 369.54 湖北 4826.36 214.37 上海8773.10 384.49 海南 4852.87 26598 东883968 640.56
4 变量 可支配收入 交通和通讯支出 变量 可支配收入 交通和通讯支出 地区 IN CUM 地区 IN CUM 甘 肃 山 西 宁 夏 吉 林 河 南 陕 西 青 海 江 西 黑龙江 内蒙古 贵 州 辽 宁 安 徽 湖 北 海 南 4009.61 4098.73 4112.41 4206.64 4219.42 4220.24 4240.13 4251.42 4268.50 4353.02 4565.39 4617.24 4770.47 4826.36 4852.87 159.60 137.11 231.51 172.65 193.65 191.76 197.04 176.39 185.78 206.91 227.21 201.87 237.16 214.37 265.98 新 疆 河 北 四 川 山 东 广 西 湖 南 重 庆 江 苏 云 南 福 建 天 津 浙 江 北 京 上 海 广 东 5000.79 5084.64 5127.08 5380.08 5412.24 5434.26 5466.57 6017.85 6042.78 6485.63 7110.54 7836.76 8471.98 8773.10 8839.68 212.30 270.09 212.46 255.53 252.37 255.79 337.83 255.65 266.48 346.75 258.56 388.79 369.54 384.49 640.56 表1 中国1998年各地区城镇居民平均每人全年家庭可支配收入及交通和通讯支出 单位：元
我们研究人均家庭交通及通讯支出(CUM和可支配收入(IN)的关系, 考虑如下方程:CUM=B0+B1+l 利用普通最小二乘法,得到如下回归模型: CUM=-56.917+0.05807*ⅠN (157)(8.96 R2=0.74DW=200 CUM VS IN 70o 6OO 5OO 300 20O 100 200O 400O 10000
5 我们研究人均家庭交通及通讯支出(CUM)和可支配收入(IN )的关系， 考虑如下方程： CUM=B0 + B1 IN + ui 利用普通最小二乘法，得到如下回归模型： CUM= -56.917+ 0.05807*IN (1.57) (8.96) R2=0.74 D.W.=2.00 100 200 300 400 500 600 700 2000 4000 6000 8000 10000 IN CUM CUM vs. IN
从图形上可以看出,平均而言,城镇居民家庭交通和通讯 支出随可支配收入的增加而增加。但是,值得注意的是:随着 可支配收入的增加,交通和通讯支出的变动幅度也增大了,可 能存在异方差。如果我们把回归方程中得到的残差对各个观测 值作图,则可以清楚地看到这一点。 异方差的存在并不破坏普通最小二乘法的无偏性,但是估 计量却不是有效的,即使对大样本也是如此,因为缺乏有效性, 所以通常的假设检验值不可靠。因此怀疑存在异方差或者已经 检测到异方差的存在,则采取补救措施就很重要。 假设有已知形式的异方差性,并且有序列,其值与误差标 准差的倒数成比例。这时可以采用权数序列为的加权最小士乘 估计来修正异方差性
6 从图形上可以看出，平均而言，城镇居民家庭交通和通讯 支出随可支配收入的增加而增加。但是，值得注意的是：随着 可支配收入的增加，交通和通讯支出的变动幅度也增大了，可 能存在异方差。如果我们把回归方程中得到的残差对各个观测 值作图，则可以清楚地看到这一点。 异方差的存在并不破坏普通最小二乘法的无偏性，但是估 计量却不是有效的，即使对大样本也是如此，因为缺乏有效性， 所以通常的假设检验值不可靠。因此怀疑存在异方差或者已经 检测到异方差的存在，则采取补救措施就很重要。 假设有已知形式的异方差性，并且有序列w，其值与误差标 准差的倒数成比例。这时可以采用权数序列为w的加权最小二乘 估计来修正异方差性
对加权自变量和因变量最小化残差平方和得到估计结果 S(B)=∑(-xB)2B是k维向量 在矩阵概念下,令权数序列ν在权数矩阵W的对角线上,其 他地方是零,即W矩阵是对角矩阵,y和X是因变量和自变量矩 阵。则加权最小二乘估计量为 bwis =(XwwXXwwy 估计协方差矩阵为: WIS=S-(XWWX)
7 对加权自变量和因变量最小化残差平方和得到估计结果 : 2 2 () ( ) t t t t S = w y − x 在矩阵概念下，令权数序列w在权数矩阵W的对角线上，其 他地方是零，即W 矩阵是对角矩阵， y和X是因变量和自变量矩 阵。则加权最小二乘估计量为： β是k维向量 估计协方差矩阵为： b X W WX X W Wy WLS = −1 ( ) 2 1 ( ) ˆ − WLS = s X WWX
由于一般不知道异方差的形式,人们通常采用的经验方法是,并不对原模 型进行异方差检验,而是直接选择加权最小二乘法,尤其是采用截面数据作样 本时。如果确实存在异方差性,则被有效地消除了;如果不存在异方差性,则 加权最小二乘法等价于普通最小二乘法 具体步骤是: 1.选择普通最小二乘法估计原模型,得到随机误差项的近似估计量e 2.建立1/2的数据序列 3.选择加权最小三乘法,以1/2序列作为权,进行估计得到参数估计量 实际上是以 1e, 乘原模型的两边,得到一个新模型,采用普通最小二乘法估 计新模型。 EViews的加权最小二乘估计方法为,首先把权数序列用均值除,然后与 对应的每个观测值相乘,权数序列已被标准化故对参数结果没有影响同时使加 权残差比未加权残差更具可比性。然而,标准化意味着 EViews的加权最小二乘 在残差序列相关时不适用
8 由于一般不知道异方差的形式，人们通常采用的经验方法是，并不对原模 型进行异方差检验，而是直接选择加权最小二乘法，尤其是采用截面数据作样 本时。如果确实存在异方差性，则被有效地消除了；如果不存在异方差性，则 加权最小二乘法等价于普通最小二乘法。 具体步骤是： 1．选择普通最小二乘法估计原模型，得到随机误差项的近似估计量 ； 2．建立 的数据序列； 3．选择加权最小二乘法，以 序列作为权，进行估计得到参数估计量。 实际上是以 乘原模型的两边，得到一个新模型，采用普通最小二乘法估 计新模型。 EViews 的加权最小二乘估计方法为，首先把权数序列用均值除，然后与 对应的每个观测值相乘，权数序列已被标准化故对参数结果没有影响同时使加 权残差比未加权残差更具可比性。然而，标准化意味着EViews的加权最小二乘 在残差序列相关时不适用。 i e ~ i e ~ 1 i e ~ 1 i e ~ 1
使用加权最小二乘法估计方程,首先到主菜单中选 Quick/ Estimate Equation…,然后选择LS- Least squares( NLS and arma)。在对话框中输入方 程说明和样本,然后按 Options钮,出现如下对话框: Estimation Options X LS TSLS options Iteration control Heteroskedasticity Consistent Max Iterations: 500 Coefficient Covariance C White Convergence:00001 C Newey-West 厂 Display settings 厂 weighted LS/TsLS [not available with ARMA Derivatives Weight: Select method to favor Q Accuracy Speed ARMA options Starting coefficient values 厂 Use numeric only OLS/TSLS Backcast Ma terms K Cancel 单击 Weighted LS/TSLS选项在 Weighted项后填写权数序列名,单击OK
9 使用加权最小二乘法估计方程，首先到主菜单中选Quick/ Estimate Equation … , 然后选择LS-Least Squares(NLS and ARMA)。在对话框中输入方 程说明和样本，然后按Options钮,出现如下对话框： 单击Weighted LS/TSLS选项在Weighted 项后填写权数序列名，单击OK
Dependent variable: CUM Method: Least Squares Date:10/163Time:07:44 Sample: 1 30 ncluded observations 30 Weighting series: E1 Variable Coefficient Std. Error t-Statistic Prob C -46.991269.2384535.086485000 00552300001717327458800000 Weighted Statistics R-squared 1 000000 Mean dependent var 2554733 Adjusted R-squared 1.000000 S.D. dependent var 1396. 645 S.E. of regression 0. 025540 Akaike info criterion -4 432801 Sum squared resid 0. 018264 Schwarz criterion -4.339388 Log likelihood 68. 49201 F-statistic 1072292 Durbin-Watson stat 2.575154 Prob(F-statistic) Unweighted Statistics R-squared 0. 740752 Mean dependent var 256 8727 Adjusted R-squared 0.731494 S.D. dependent var 9756583 S.E. of regression 50.55628 Sum squared resid 7155525 Durbin-Watson stat 1993810
10