《计量经济学》课程教学资源（PPT课件讲稿）第八章 对数极大似然估计 §8.1 对数极大似然估计的基本原理

第八章对数极大似然估计 EViews包含了一些常用方法,如最小二乘法、非线性 最小二乘法、加权最小二乘法、TSIS、GMM、 ARIMA ARCH、 GARCH等方法,这些方法可以解决可能遇到的 大多数估计问题。但是,我们在研究中也可能会碰到一些 不在上述之列的特殊的模型,这些模型可能是现存方法的 一个扩展,也可能是一类全新的问题。 为了能解决这些特殊的问题, EViews提供了对数极大 似然估计对象这一工具来估计各种不同类型的模型。对数 极大似然估计对象提供了一个一般的,开放的工具,可以 通过这个工具极大化相关参数的似然函数对一大类模型进 行估计

1 EViews包含了一些常用方法，如最小二乘法、非线性 最小二乘法、加权最小二乘法、TSLS、GMM、ARIMA、 ARCH、GARCH等方法，这些方法可以解决可能遇到的 大多数估计问题。但是，我们在研究中也可能会碰到一些 不在上述之列的特殊的模型，这些模型可能是现存方法的 一个扩展，也可能是一类全新的问题。 为了能解决这些特殊的问题，EViews提供了对数极大 似然估计对象这一工具来估计各种不同类型的模型。对数 极大似然估计对象提供了一个一般的，开放的工具，可以 通过这个工具极大化相关参数的似然函数对一大类模型进 行估计。 第八章 对数极大似然估计

使用对数极大似然估计对象估计时,我们用EⅤiews 的序列生成器,将样本中各个观测值的对数似然贡献描述 为一个未知参数的函数。可以给出似然函数中一个或多个 参数的解析微分,也可以让 EViews自动计算数值微分。 EViews将寻找使得指定的似然函数最大化的参数值,并 给出这些参数估计的估计标准差。 在本章,我们将详细论述对数极大似然估计对象, 说明其一般特征。并给出了一些可以使用该方法的具体的 例子

2 使用对数极大似然估计对象估计时，我们用EViews 的序列生成器，将样本中各个观测值的对数似然贡献描述 为一个未知参数的函数。可以给出似然函数中一个或多个 参数的解析微分，也可以让EViews自动计算数值微分。 EViews将寻找使得指定的似然函数最大化的参数值，并 给出这些参数估计的估计标准差。 在本章，我们将详细论述对数极大似然估计对象， 说明其一般特征。并给出了一些可以使用该方法的具体的 例子

58.1对数极大似然估计的基本原理 58.11极大似然估计的基本原理 设总体的概率密度函数为P,其类型是已知的,但含有 未知参数(向量)y。我们的目的就是依据从该总体抽得的 随机样本y,y2,…,y7r,寻求对y的估计。 观测值y,y2,…,yr的联合密度函数被给定为 L(v)=P() (81.1) 其中:y=(y1,y2…,yr)。将这一联合密度函数视为参 数y的函数,称为样本的似然函数( likelihood function)

3 §8.1 对数极大似然估计的基本原理 §8.1.1 极大似然估计的基本原理 设总体的概率密度函数为P，其类型是已知的，但含有 未知参数（向量）。我们的目的就是依据从该总体抽得的 随机样本 y1 , y2 , … , yT ，寻求对 的估计。 观测值 y1 , y2 , … , yT 的联合密度函数被给定为 （8.1.1） 其中：y = ( y1 , y2 , … , yT ) 。将这一联合密度函数视为参 数  的函数，称为样本的似然函数（likelihood function）。 = = T t t L P y 1 ( y;ψ) ( )

极大似然原理就是寻求参数的估计值使得所给样本值 的概率密度(即似然函数)的值在这个参数值之下,达到最 大。在当前的情形下,就是寻求y的估计值,使得似然函数 L(y;v)相对于给定的观测值y,y2,…,yr而言达到最大值, y就被称为极大似然估计量。 在L(v;v)关于v(i=1,2,…,n,h是未知参数的个数) 的偏导数存在时,要使(v;y取最大值,v必须满足 L(y;y)=0 1,2,n(8.1.2) 由上式可解得n×1向量v的极大似然估计值ψ,而式(8.1.2)也 被称为似然函数

4 极大似然原理就是寻求参数的估计值 ，使得所给样本值 的概率密度（即似然函数）的值在这个参数值之下，达到最 大。在当前的情形下，就是寻求 的估计值，使得似然函数 L(y ;) 相对于给定的观测值y1 , y2 , … , yT 而言达到最大值， 就被称为极大似然估计量。 在 L(y ;) 关于i（i =1, 2, …, n，n是未知参数的个数） 的偏导数存在时，要使 L(y ;) 取最大值， 必须满足 , i =1, 2, …, n （8.1.2） 由上式可解得n1 向量 的极大似然估计值 ，而式(8.1.2)也 被称为似然函数。 ψ ˆ ψ ˆ ψ ˆ ( ; ) = 0   L y ψ  i

因为L(y;v)与lmL(;ψ)在同一点处取极值,所 以也可以由 hnL(y;v)=0,i=1,2,…,n(813) 求得,因为对数可将乘积变成求和,所以,式(81,3)往往 比直接使用式8,12来得方便。式(81.3)也被称为对数似 然函数

5 因为 L(y ; ) 与 ln[L(y ; ))] 在同一点处取极值，所 以也可以由 , i =1, 2, …, n （8.1.3） 求得，因为对数可将乘积变成求和，所以，式(8.1.3)往往 比直接使用式(8.1.2)来得方便。式(8.1.3)也被称为对数似 然函数。 ln ( ; ) = 0   L y ψ  i

考虑多元线性回归模型的一般形式 y=B+Bx+B2x2+…+Bx+41,t=1,2,…,T(8.4) 其中k是解释变量个数,T是观测值个数,随机扰动项 那么y服从如下的正态分布: VN(u,, 0) 其中 u=Bo+Bx+B2x2t+.+Bkk (8.1.5)

6 考虑多元线性回归模型的一般形式 , t =1, 2 , … , T (8.1.4) 其中 k 是解释变量个数，T是观测值个数，随机扰动项 ～ ， 那么 yt 服从如下的正态分布： ～ 其中 (8.1.5) t t t k kt ut y = 0 + 1 x1 + 2 x2 ++  x + t u (0, ) 2 N  t y ( , ) 2 N t  t t t k kt  =  + x + x ++ x 0 1 1 2 2

y的随机抽取的T个样本观测值的联合概率函数为 L(B, o2)=P(, 32,y)=P(y) (816) ∑(y- t=1 (2m)"2σ 这就是变量y的似然函数。 对似然函数求极大值和对数似然函数求极大值是等价 的,式(8,1.6的对数似然函数形式为 nL(B22)=--l(2πa2) ∑(y,- 20 ∑|-,(2d2)-,-2(y,-,) (81.7) 2

7 y 的随机抽取的T 个样本观测值的联合概率函数为 （8.1.6） 这就是变量y 的似然函数。 对似然函数求极大值和对数似然函数求极大值是等价 的，式(8.1.6)的对数似然函数形式为： （8.1.7）  = = = = − − =  T t t t y T T T t T t e L P y y y P y 1 2 2 ( ) 2 1 2 1 1 2 2 (2 π) 1 ( , ) ( , , , ) ( )    β     = =       = − − − = − − − T t t t T t t t y y T L 1 2 2 2 1 2 2 2 2 ( ) 2 1 ln( 2 π ) 2 1 ( ) 2 1 ln( 2 π ) 2 ln ( , )      β  

注意,可以将对数似然函数写成t时刻所有观测值的 对数似然贡献和的形式, h(a)=∑1(1)(81 这里对数似然的单个贡献(用小写字母表示)由下面 的式子给出 1(B,2)=-l(2σ)-2(y1-H1)(8,9)

8 注意，可以将对数似然函数写成 t 时刻所有观测值的 对数似然贡献和的形式， （8.1.8） 这里对数似然的单个贡献（用小写字母表示）由下面 的式子给出： （8.1.9） ln ( , ) ( , ) 2 1 2 β   β  = = T t t L l 2 2 2 2 ( ) 2 1 ln( 2 π ) 2 1 ( , ) t t t l y   β  = −  − −

式(817)也可用标准正态分布的密度函数表示 hn(B,o) 22m)-2)2>(y-)2 =∑ h(a2) (81.10) 式中标准正态分布的对数似然函数小为 hnc(=,)=-m2)-∑ y-1 (8.1.11) t=1 这里对数似然函数每个观测值的贡献式(8,9)又可以由下面的 式子给出: 1(B, o)=hn ol 1 h(a2) (81.12)

9 式（8.1.7）也可用标准正态分布的密度函数表示 （8.1.10） 式中标准正态分布的对数似然函数为 （8.1.11） 这里对数似然函数每个观测值的贡献式(8.1.9)又可以由下面的 式子给出： （8.1.12）   = = = − − − − T t t t T t y T L 1 2 2 1 2 2 ( ) 2 1 ln( ) 2 1 ln( 2 π) 2 ln ( , )   β   =       −        − = T t t t y 1 2 ln( ) 2 ( ) 1 ln     = = − − T t t t z T z 1 2 2 1 ln( 2 π) 2 ln ( )  t t t y z − = ln( ) 2 1 ( , ) ln 2      −        − = t t t y l β

§8.12 EViews极大似然对象概述 用对数极大似然估计来估计一个模型,主要的工作是 建立用来求解似然函数的说明文本。用EⅤiews指定对数 极大似然函数的说明是很容易的,因为似然函数的说明只 是一系列对序列的赋值语句,这些赋值语句在极大化的过 程中被反复的计算。我们所要做的只是写下一组语句,在 计算时,这些语句将描述一个包含每个观测值对似然函数 贡献的序列。 10

10 §8.1.2 EViews极大似然对象概述 用对数极大似然估计来估计一个模型，主要的工作是 建立用来求解似然函数的说明文本。用EViews指定对数 极大似然函数的说明是很容易的，因为似然函数的说明只 是一系列对序列的赋值语句，这些赋值语句在极大化的过 程中被反复的计算。我们所要做的只是写下一组语句，在 计算时，这些语句将描述一个包含每个观测值对似然函数 贡献的序列