第10章蒙特卡罗法与自助法
第10章 蒙特卡罗法与自助法
主要内容 ◆蒙特卡罗法的思想与◆使用自助法估计标准 用途 误 ◆蒙特卡罗法实例:模◆使用自助法进行区间 拟中心极限定理 估计 ◆自助法的一致性(选 ◆蒙特卡罗法实例:服读 从卡方分布的扰动项◆异方差情况下的自助 ◆蒙特卡罗积分 法 ◆最大模拟似然法与模◆面板数据与时间序列 拟矩估计 的自助法 ◆自助法的思想与用途自助法的Stat命令 ◆自助法的分类 ◆使用自助法进行稳健 的豪斯曼检验
2 主要内容 蒙特卡罗法的思想与 用途 蒙特卡罗法实例：模 拟中心极限定理 蒙特卡罗法实例：服 从卡方分布的扰动项 蒙特卡罗积分 最大模拟似然法与模 拟矩估计 自助法的思想与用途 自助法的分类 使用自助法估计标准 误 使用自助法进行区间 估计 自助法的一致性(选 读) 异方差情况下的自助 法 面板数据与时间序列 的自助法 自助法的Stata命令 使用自助法进行稳健 的豪斯曼检验
10.1蒙特卡罗法的思想与用途 通过计算机模拟从总体抽取大量随机样本的计算方 法统称为“蒙特卡罗法”( Monte carlo methods,简记 MC)
3 10.1蒙特卡罗法的思想与用途 通过计算机模拟从总体抽取大量随机样本的计算方 法统称为“蒙特卡罗法”(Monte Carlo Methods，简记 MC)
10.2蒙特卡罗法实例:模拟中心极限定理 10.3蒙特卡罗法实例:服从卡方分布的扰 动项
4 10.2 蒙特卡罗法实例：模拟中心极限定理 10.3 蒙特卡罗法实例：服从卡方分布的扰 动项
10.4蒙特卡罗积分 MC的另一用途是计算复杂或高维的积分,称为“蒙 特卡罗积分”。 考虑计算定积分∫”(x)d,其中a,b为有限值。 通过变量替换,可将积分上下限变为1与0,故仅考 虑 I≡f(x)dxo f(x)假设x服从在[o,上的均匀分布,则随机变量函数 的期望值 E[(x)]=Jf(x)1k=1 5
5 10.4 蒙特卡罗积分 MC的另一用途是计算复杂或高维的积分，称为“蒙 特卡罗积分” 。 考虑计算定积分 ，其中 为有限值。 通过变量替换，可将积分上下限变为1与0，故仅考 虑 。 假设x服从在 上的均匀分布，则随机变量函数 的期望值 ( ) b a f x dx a b, 1 0 I f x dx ( ) f x( ) 0,1 1 0 E ( ) ( ) 1 f x f x dx I =
10.4蒙特卡罗积分 抽取随机变量x的样本容量为S的随机样本,记 为x,…x,…x},则蒙特卡罗积分估计值为f(x)的样本 均值: MC S ∑。f(x) 根据大数定律,当S→∞时,样本均值-E[/(x)=1 6
6 10.4 蒙特卡罗积分 抽取随机变量x的样本容量为S的随机样本，记 为 ,则蒙特卡罗积分估计值为 的样本 均值： 根据大数定律，当 时，样本均值 。 x x x 1 , , , , s S f x( ) MC 1 1 ˆ ( ) S s s I f x S = = S → MC ˆ E ( ) p I f x I ⎯⎯→ =
10.4蒙特卡罗积分 如果积分上限a或下限b为无穷,可从某个适当的 概率密度g(x)中抽取随机样本{x1,…x,…x}。原积分总 可写为 b f()dx g(x)」 其中(x) f(x) 。蒙特卡罗积分估计值为 MC w(X g(x) 从密度函数g(x)中抽样的方法称为“重要性抽样”, 因为函数w(x)决定了每个样本点的权重或重要性
7 10.4 蒙特卡罗积分 如果积分上限 或下限 为无穷，可从某个适当的 概率密度 中抽取随机样本 。原积分总 可写为 其中， 。蒙特卡罗积分估计值为 从密度函数 中抽样的方法称为“重要性抽样” ， 因为函数 决定了每个样本点的权重或重要性。 a b g x( ) x x x 1 , , , , s S ( ) ( ) ( ) ( ) ( ) E ( ) ( ) b b b a a a f x f x dx g x dx w x g x dx w x g x = = ( ) ( ) ( ) f x w x g x MC 1 1 ˆ ( ) S s s I w x S = = g x( ) w x( )
10.5最大模拟似然法与模拟矩估计 记u的密度函数为g(),并假设第i个观测值的似 然函数为 (x,0)=∫(yx,0.)( 如果积分无解析解,可使用蒙特卡罗积分进行估计。 从分布g(x)中随机抽取个观测值,记为{…) 则上式的估计值为 f(y2|x,0)= S ∑h(y|x,0
8 10.5 最大模拟似然法与模拟矩估计 记 的密度函数为 ，并假设第i个观测值的似 然函数为 如果积分无解析解，可使用蒙特卡罗积分进行估计。 从分布 中随机抽取S个观测值，记为 ， 则上式的估计值为 i u ( )i g u ( | , ) ( | , , ) ( ) i i i i i i i f y h y u g u du = x θ x θ ( )i g u 1 , , S i i u u 1 1 ˆ ( | , ) ( | , , ) S s i i i i i s f y h y u S = x θ = x θ
10.5最大模拟似然法与模拟矩估计 假设样本为iid,则整个样本的对数似然函数估计值 为 n/(O)=∑mnf(y|x,0) 其中,n为样本容量。 最大化上式所得到的估计量称为“最大模拟似 然估计量”(简记MSL)。 ∫在一定正则条件下,当模拟抽样的次数S→时, 对∫的近似程度越来越好,即(--0,则MSL为 致估计量
9 10.5 最大模拟似然法与模拟矩估计 假设样本为iid，则整个样本的对数似然函数估计值 为 其中，n为样本容量。 最大化上式所得到的估计量 称为“最大模拟似 然估计量”(简记MSL)。 在一定正则条件下，当模拟抽样的次数 时， 对 的近似程度越来越好，即 ，则MSL为一 致估计量。 1 ˆ ˆ ln ( ) ln ( | , ) n i i i L f y = θ = x θ MSL ˆ θ f ˆ S → f ˆ ( ) 0 p f f − ⎯⎯→
10.5最大模拟似然法与模拟矩估计 如果ⅶm/S→0(即S的增长速度快于m),则MSL为渐 近有效估计量(渐近等价于ME),且服从渐近正态分布 类似地,在进行矩估计时,如果矩条件中包含无解 析解的积分,也可使用蒙特卡罗积分来估计此矩条件, 然后进行矩估计。此法称为“模拟矩估计”(简记MSM)。 10
10 10.5 最大模拟似然法与模拟矩估计 如果 (即S的增长速度快于 )，则MSL为渐 近有效估计量(渐近等价于MLE)，且服从渐近正态分布。 类似地，在进行矩估计时，如果矩条件中包含无解 析解的积分，也可使用蒙特卡罗积分来估计此矩条件， 然后进行矩估计。此法称为“模拟矩估计”(简记MSM)。 n S → 0 n