2.9最大似然估计方法 29最大似然估计方法 回归模型的普通的、非线性的、广义最小二乘和工具变量以及GMM都可以从矩方法中得 出。这里引入另一种基本估计方法极大似然方法。在回归模型误差项正态分布的假设下,极大 似然估计量,简称ML估计量,与我们熟悉的各种最小二乘估计量相同。ML估计量的主要缺 点是它比矩方法要求更强的分布假设。 最大似然估计原理对于最小二乘法,当从模型总体随机抽取η组样本观测值后,最合理 的参数估计量应该使得模型能最好地拟合样本数据。而对于最大或然法,当从模型总体随机抽 取π组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最 大 极大似然方法估计的模型必须是完全设定模型。 定义2.2(完全设定模型)完全设定模型是能够给出明确算法的模型,即只要知道模型参 数值就能模拟岀因变量值。任何一个完全设定的计量经济模型必须为计算机模拟提供一个明确 的算式,如果能够利用模型产生模拟数据,该模型一定是完全设定的 对于这样的模型,一旦参数值给定,则我们就具有模拟因变量所需要的所有信息。要对因变量 进行模拟,必须知道其PDF,即要知道将每个观测看作随机变量的PDF,还要知道将所有样 本看作随机向量时的联合PDF 在很多情况下,样本观测假定为统计独立的。因此,整个样本的联合分布等于各个观测密 度的乘积: 0)=If(m,) (2-18) 习惯上采用对数似然函数。 ML估计量与MM估计量相同的情况十分普遍。但ML的一个优势是不需要求期望值。 另外,如果一个估计量是MLE,它将具有很多理想的渐近性质,这些性质使得标准误差的计 算和检验统计量的计算更加容易 我们首先讨论极大似然方法用于古典正态线性模型 Y=XB+UU~N(0,a21)X外生 因此X条件下,Y服从N(XB,a2)。Y的PDF为 ft(yt, B,a-) EXP( (yt-XLB) 对数似然函数等于所有观测贡献的和 ly, B, a) =-log2x-32 1 (y-XB)(y-XB 关于未知参数β和σ对上式求极大值得出ML估计量。第一步是关于参数σ对(y,B,a) 求极大值。将对数似然函数对σ求导,将导数看作数据和其他参数的函数,从一阶 条件中解出σ并回代到对数似然函数中。这样得到的似然函数称为集中似然函数 concentratedloglikelihoodfunction。第二步关于β对这个函数求极值。从推导中可以看出,极 大化集中对数似然函数等价于极小化残差平方和函数(关于B的函数)。ML估计量必定等于 OLS估计量。β的ML估计量等于OLS估计量依赖于误差项的正态分布假设。从不同的分布 假设出发,可以得到不同的ML估计量。 ML估计量有两种定义 第一类ML估计量在集合θ(参数θ取值的参数空间)上极大化对数似然函数得出的估计量。2.9 最大似然估计方法 2.9 最大似然估计方法 回归模型的普通的、非线性的、广义最小二乘和工具变量以及 GMM 都可以从矩方法中得 出。这里引入另一种基本估计方法:极大似然方法。在回归模型误差项正态分布的假设下，极大 似然估计量，简称 ML 估计量，与我们熟悉的各种最小二乘估计量相同。ML 估计量的主要缺 点是它比矩方法要求更强的分布假设。 最大似然估计原理 对于最小二乘法，当从模型总体随机抽取 n 组样本观测值后，最合理 的参数估计量应该使得模型能最好地拟合样本数据。而对于最大或然法，当从模型总体随机抽 取 n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该 n 组样本观测值的概率最 大。 极大似然方法估计的模型必须是完全设定模型。 定义 2.2 (完全设定模型) 完全设定模型是能够给出明确算法的模型，即只要知道模型参 数值就能模拟出因变量值。任何一个完全设定的计量经济模型必须为计算机模拟提供一个明确 的算式，如果能够利用模型产生模拟数据，该模型一定是完全设定的。 对于这样的模型，一旦参数值给定，则我们就具有模拟因变量所需要的所有信息。要对因变量 进行模拟，必须知道其 P DF，即要知道将每个观测看作随机变量的 P DF，还要知道将所有样 本看作随机向量时的联合 P DF。 在很多情况下，样本观测假定为统计独立的。因此，整个样本的联合分布等于各个观测密 度的乘积： f(y, θ) = Yn t=1 f(yt , θ) (2-18) 习惯上采用对数似然函数。 ML 估计量与 MM 估计量相同的情况十分普遍。但 ML 的一个优势是不需要求期望值。 另外，如果一个估计量是 MLE，它将具有很多理想的渐近性质，这些性质使得标准误差的计 算和检验统计量的计算更加容易。 我们首先讨论极大似然方法用于古典正态线性模型 Y = Xβ + U U ∼ N(0, σ2 I) X外生 (2-19) 因此 X 条件下，Y 服从 N(Xβ, σ2 )。Yt 的 P DF 为: ft(yt , β, σ2 ) = 1 σ √ 2π EXP(− (yt − Xtβ) 2 2σ 2 (2-20) 对数似然函数等于所有观测贡献的和： ι(y, β, σ) = − n 2 log 2π − n 2 log σ 2 − 1 2σ 2 (y − Xβ) T (y − Xβ) (2-21) 关于未知参数 β 和 σ 对上式求极大值得出 ML 估计量。第一步是关于参数 σ 对 ι(y, β, σ) 求极大值。将对数似然函数对 σ 求导，将导数看作数据和其他参数的函数，从一阶 条 件 中 解 出 σ 并 回 代 到 对 数 似 然 函 数 中 。 这 样 得 到 的 似 然 函 数 称 为 集 中 似 然 函 数 concentratedloglikelihoodfunction。第二步关于 β 对这个函数求极值。从推导中可以看出，极 大化集中对数似然函数等价于极小化残差平方和函数（关于 β 的函数）。ML 估计量必定等于 OLS 估计量。β 的 ML 估计量等于 OLS 估计量依赖于误差项的正态分布假设。从不同的分布 假设出发，可以得到不同的 ML 估计量。 ML 估计量有两种定义： 第一类 ML 估计量 在集合 Θ (参数 θ 取值的参数空间)上极大化对数似然函数得出的估计量。 - 14 -