第二章估计方法引论 第二类ML估计量定义为似然方程的解,似然方程是一阶条件g(y,0)=0。其中,g(y,0)是 梯度向量,或者称为得分向量。其代表元素为 9(0(y,0) a yt, 0) 极大似然估计往往很容易计算。得不到直接表达式时,同其他情形一样,必须采用非线性 极大化程序。牛顿法和拟牛顿法经过少许修改就可以用于ML估计。牛顿法的基本方程是 0-H 拟牛顿法的公式是: 6(+1)=6+aDd)9 ML估计量的渐近性质在相当弱的条件下,ML估计量是一致的,在稍强一些的假设下 是渐近正态的。 致性的证明:首先证明在参数真值处取值的对数似然函数的期望大于在其他处取值的期 望。要证明一致性,还需要有限样本下的可识别条件和渐近可识别条件。 定理2.1( Jensen不等式)如果X是一个实值随机变量,h(是一个凹函数,则 E(h(X)≤h(E(X)。当h0至少在随机变量X的支撑的一部分上是严格凹的,则严格不 等式成立。所谓支撑是指一个实数集合,X的密度在这个集合上不为零,支撑包含的点要多于 将这个不等式应用于比值L(θ*)/L(o),其中是参数真值,θ*为模型参数空间中的任意一个 向量。因为对数似然函数是非负实数上的严格凹函数,并且似然函数是非负函数,从詹森不等 式得出 L Eo log L(0")4 log EoL(Bo) Eo表示在参数向量刻画的DGP下取期望。右边的期望可以用随机向量y支撑上的积分表 L(6*)_L(6*) (o)-)L(00) L(60)dy=1 从而有 Olog L(0o)s Eoc(0")-Eoc(0o)<0 (2-25) (再对对数似然函数应用大数定律。)它可以得出 plim -l(0)<plim -l(eo) 对所有的θ*≠60成立,因为极限中的不等式不一定是严格的。因为MLE是极大化(0): lim=(⊙)≥plim=((o) 两个不等式同时成立说明 致性的证明还需要满足渐近可识别条件:对所有0≠0,都有 plain-1(0*)≠ plan-1u(O)。 考虑不独立模型的似然函数和对数似然函数的构建,如当回归函数中包括滞后因变量的情 形。对于一个用极大似然方法估计的模型,密度函数依赖于k维向量参数 f(",0)=IIf(ely第二章 估计方法引论 第二类 ML 估计量 定义为似然方程的解，似然方程是一阶条件 g(y, ˆθ) = 0。其中，g(y, θ) 是 梯度向量，或者称为得分向量。其代表元素为 gi(y, θ) ≡ ∂ι(y, θ) ∂θi = Xn t=1 ∂ι(yt , θ) ∂θi 极大似然估计往往很容易计算。得不到直接表达式时，同其他情形一样，必须采用非线性 极大化程序。牛顿法和拟牛顿法经过少许修改就可以用于 ML 估计。牛顿法的基本方程是： θ(j+1) = θj − H −1 (j) g(j) (2-22) 拟牛顿法的公式是： θ(j+1) = θj + αD−1 (j) g(j) (2-23) ML 估计量的渐近性质 在相当弱的条件下，ML 估计量是一致的，在稍强一些的假设下 是渐近正态的。 一致性的证明：首先证明在参数真值处取值的对数似然函数的期望大于在其他处取值的期 望。要证明一致性，还需要有限样本下的可识别条件和渐近可识别条件。 定理 2.1 (Jensen 不等式) 如果 X 是一个实值随机变量，h( ˙ ) 是一个凹函数，则 E(h(X) ≤ h(E(X))。当 h( ˙ ) 至少在随机变量 X 的支撑的一部分上是严格凹的，则严格不 等式成立。所谓支撑是指一个实数集合，X 的密度在这个集合上不为零，支撑包含的点要多于 一个。 将这个不等式应用于比值 L(θ ∗ )/L(θ0)，其中 θ0 是参数真值，θ ∗ 为模型参数空间中的任意一个 向量。因为对数似然函数是非负实数上的严格凹函数，并且似然函数是非负函数，从詹森不等 式得出： E0 log L(θ ∗ ) L(θ0) < log E0 L(θ ∗ ) L(θ0) (2-24) E0 表示在参数向量 θ0 刻画的 DGP 下取期望。右边的期望可以用随机向量 y 支撑上的积分表 示： E0 L(θ ∗ ) L(θ0) = Z L(θ ∗ ) L(θ0) L(θ0)dy = 1 从而有 E0 log L(θ ∗ ) L(θ0) = E0ι(θ ∗ ) − E0ι(θ0) < 0 (2-25) (再对对数似然函数应用大数定律。)它可以得出： p lim n→∞ 1 n ι(θ ∗ ) ≤ p lim n→∞ 1 n ι(θ0) (2-26) 对所有的 θ ∗ 6= θ0 成立，因为极限中的不等式不一定是严格的。因为 MLE 是极大化 ι(θ)： p lim n→∞ 1 n ι( ˆθ) ≥ p lim n→∞ 1 n ι(θ0) (2-27) 两个不等式同时成立说明： p lim n→∞ 1 n ι( ˆθ) = p lim n→∞ 1 n ι(θ0) 一 致 性 的 证 明 还 需 要 满 足 渐 近 可 识 别 条 件:对 所 有 θ ∗ 6= θ0， 都 有plimn−1 ι(θ ∗ ) 6= plimn−1 ι(θ0)。 考虑不独立模型的似然函数和对数似然函数的构建，如当回归函数中包括滞后因变量的情 形。对于一个用极大似然方法估计的模型，密度函数依赖于 k 维向量参数 θ: f(y n , θ) = Yn t=1 f(yt |y t−1 ; θ) (2-28) - 15 -