上饶师范学院：《概率论与数理统计》课程教学资源（电子教案）第六章 点估计 6.3 罗—克拉美不等式

§6.3罗-克拉类不等式 前面两节中我们介绍了矩法估计和极大似然估计，并讨论了估计量的优良性质：一致 性和无偏性，现在我们再来讨论一个更直观而重要的性质。 我们知道，方差是一个随机变量)落在它的均值E1的邻域内的集中或分散程度一个 度量，所以一个好的估计量)，不仅仅应该是待估参数日的无偏估计，而且应该有尽可能小 的方差。因此，若参数0有两个无偏估计量和2，且对一切0∈中有D()≤D()， 则作为的0估计，8，比82好。 定义6.3若参数有两个偏估计0和，且对一切0∈有D(0)≤D(),则 称估计0比可2有效。 在例6.6中知道0的极大似然估计可，=5(m),显然它不是0的无偏估计，但是当 n→o时，E0→0，所以0是0的一个渐近无偏估计。0，的方差 D (6)(20 若我们令01=”+10，.显然日i是日的无偏估计，其方差 D)=D(a)+20 n 由此得出，当≥2时，无偏估计0比石，无偏估计有效。 我们自然有这样一个想法，就是希望估计量的方差愈小愈好。那么能够小到什么程度 呢？也就是有没有下界？什么条件下方差下界存在？下面我们就米讨论建立一个方差下界 的罗一克拉美不等式。 罗-克拉类不等式设51,52，…，5，为取自具有概率函数f(x;),8 ⊙={a<0<b}的母体5的一个子样，a,b为已知常数，可以设a=-0,b=o。又刀=u （51,…,5,)g()是的一个无偏估计，且满足正则条件： (1)集合{f(x}与0无关： (2)g0与：》存在，且对一切8E日， d0

§6.3 罗—克拉美不等式 前面两节中我们介绍了矩法估计和极大似然估计，并讨论了估计量的优良性质；一致 性和无偏性，现在我们再来讨论一个更直观而重要的性质。 我们知道，方差是一个随机变量  落在它的均值 E  的邻域内的集中或分散程度一个 度量，所以一个好的估计量  ，不仅仅应该是待估参数  的无偏估计，而且应该有尽可能小 的方差。因此，若参数  有两个无偏估计量  1  和  2  ，且对一切  ∈  有 D（  1  ）≤D（  1  ）， 则作为的  估计，  1  比  2  好。 定义 6.3 若参数有两个偏估计  1  和  2  ，且对一切  ∈  有 D（  1  ）≤D（  1  ），则 称估计  1  比  2  有效。 在例 6.6 中知道  的极大似然估计  L  =  (n) ，显然它不是  的无偏估计，但是当 n →  时，E  L  → ，所以  L  是  的一个渐近无偏估计。  L  的方差 D（  L  ）= 2 ( 1)( 2)  n + n + n 若我们令   L  = n n +1 L   。显然   L  是  的无偏估计，其方差 D（ *  L  ）= D ) 1 ( L n n  +  = 2 ( 2) 1  n n + 由此得出，当 n≥2 时，无偏估计 *  L  比  L  无偏估计有效。 我们自然有这样一个想法，就是希望估计量的方差愈小愈好。那么能够小到什么程度 呢？也就是有没有下界？什么条件下方差下界存在？下面我们就来讨论建立一个方差下界 的罗—克拉美不等式。 罗—克拉美不等式 设  1 ， 2 ，…，  n 为取自具有概率函数 f (x； ) ， ∈  ={a<  <b}的母体  的一个子样，a, b 为已知常数，可以设 a =– ，b= 。又  =u （  1 ，…，  n ） g( ) 是的一个无偏估计，且满足正则条件： （1）集合 x; f (x;) 与  无关； （2） ( ) ' g  与    f (x； ) 存在，且对一切  ∈ 

品Je:o=jr60k (6.23 -,::8a…a --%Π/：0k (624) (3)令 8-Ea(0o8f9)y2>0 80 称为信息量，则 Dn≥g(a] (6.25) nl(8) 且等式成立的充要条件为存在一个不依赖于51,52，，5n,但可能依赖于0的K, 使得等式 立b:0k7g0 (6.26) 00 以概率1成立。 特别当g(0)=0时，不等式(6.25)化为 1 (6.27) 这个不等式工罗和克拉美在差不多的时候提出，所以现在就称它为罗一克拉美不等式， 也称做信息不等式。（证明略） 有时我们称满足上述两个正则条件(1)和(2)的估计量？为正规估计。由此我们看 到，罗一克拉美不等式所规定的下界不是整个无偏估计类的方差下界，而是无偏估计类中 个子集一正规无偏估计类的方差下界。 为了计算信总量()方便起见，我们证明一个重要性质。 性质者品。-g0h (6.36) I0-E0bg/:81 (6.37) a0 对于方差达到罗一克拉美不等式下界的估计，我们给它一个名称如下。 定义6.4若日的一个无偏估计使罗一克拉美不等式中等式

   f (x；  )dx  =   dx f x；  (  ) （6.23） n n ； dx dxn  u x ，，x f x ；  f x    1 1 1 ( ) (  ) (  )  = n i； dx dxn  u(x1，，x ) [ f (x )] 1     （6.24） （3）令 I(  )=E  (      log f ( ； ) ) 2 >0 称为信息量，则 D ≥ ( ) [ ( )] ' 2   nI g （6.25） 且等式成立的充要条件为存在一个不依赖于  1 ， 2 ，…，  n ，但可能依赖于  的 K， 使得等式 = n i 1      log f ( ； ) i =K（  -g（0）） （6.26） 以概率 1 成立。 特别当 g（0）= 时，不等式（6.25）化为 D ≥ ( ) 1 nI  （6.27） 这个不等式工罗和克拉美在差不多的时候提出，所以现在就称它为罗—克拉美不等式， 也称做信息不等式。（证明略） 有时我们称满足上述两个正则条件（1）和（2）的估计量  为正规估计。由此我们看 到，罗—克拉美不等式所规定的下界不是整个无偏估计类的方差下界，而是无偏估计类中一 个子集―正规无偏估计类的方差下界。 为了计算信息量 I(  )方便起见，我们证明一个重要性质。 性质 若      dx f x；    ( ) =    dx f x； 2 2 ( )   （6.36） 则 I(  )=–E [      log ( ) 2 f ； ] （6.37） 对于方差达到罗—克拉美不等式下界的估计，我们给它一个名称如下。 定义 6.4 若  的一个无偏估计   使罗—克拉美不等式中等式

D0)= (: 60 成立，则称百为0的有效估计。 定义6.5若6为0的一个无偏估计，且罗一克拉美不等式下界存在，则称D日)与 (0)的比 1 哥 (6.37) 为估计0，的有效率，这里0=（6gf八5.0户)k(例题 定义6.6当n→0时，一个估计6的有效率e→1，则称日为参数8的渐近有效估 计。 系满足定理61中条件得出的估计是渐近有效估计，因此它是渐近正态、渐近无偏 渐近有效估计。 从这个系可以推出正态母体中参数。'的极大似然估计S:是渐近正态、渐近有效、渐近无 偏的

( )  D = 2 )] log ( ) [( 1      f ； nE 成立，则称   为  的有效估计。 定义 6.5 若   为  的一个无偏估计，且罗—克拉美不等式下界存在，则称 ( ) D i   与 I(  )的比 ( ) ( ) 1 D i nI e   = （6.37） 为估计   i 的有效率，这里 I(  )=E[（ 2 log (; )  f   ）]。(例题略) 定义 6.6 当 n →  时，一个估计   的有效率 e → 1，则称   为参数  的渐近有效估 计。 系 满足定理 6.1 中条件得出的估计是渐近有效估计，因此它是渐近正态、渐近无偏、 渐近有效估计。 从这个系可以推出正态母体中参数 2  的极大似然估计 2 n S 是渐近正态、渐近有效、渐近无 偏的