§6.3罗一克拉美不等式 前面两节中我们介绍了矩法估计和极大似然估计,并讨 论了估计量的优良性质;一致性和无偏性,现在我们再来讨 论一个更直观而重要的性质。 我们绍道,方差是一个随机变量门落在它的均值E门的 邻域内的集中或分散程度一个度量,所以一个好的估计量, 不仅仅应该是待估参数日的无偏估计,而且应该有尽可能小 的方差。因此,若参数日有两个无偏估计量色和色,且对一
§6.3 罗—克拉美不等式
切日∈重有D()≤D(月),则作为的8估计,a此a 好。 定义6.3若参数有两个偏估计月和自,且对一切日 ∈④有D(色)≤D(月),则称估计月此a有效。 在例66中知道8的极大似然估计2=5(m),显然它 不是8的无偏估计,但是当n→0时,Ea2→日,所以 是8的一个渐近无偏估计。日,的方差
D(82) (2+1)(2+2) 若我们令日-+1.显然日,是日的无偏估计, 其方差 D()-D心+1a,)=1 日2 a(a+2) 由此得出,当n≥2时,无偏估计此z无偏估计有效。 我们自然有这样一个想法,就是希望估计量的方差愈小 愈好。那么能够小到什么程度呢?也就是有没有下界?什么
条件下方差下界存在?下面我们就来讨论建立一个方差下界 的罗一克拉美不等式。 罗一克拉美不等式 设51,2,… 为取 自具有概率函数f(x;),8∈⊙=(a<8b)的母体号的 一个子样,a,b为已知常数,可以设a=-o,b=o。又刀=u (与1,…,号为)g(0是的一个无偏估计,且满足正则 条件: (1)集合{x,f(x,)}与8无关: (2)g间与(@存在,且对-切9∈⊙, ae
0:k=jeg9a ae (6.23) 0f-j,,9-fa =j-jw,,)0f6rk62w (3)令 K9EgG:⑨,0 ae 称为信息呈,则
D7≥[g(8]2 (6.25) 81(8) 且等式成立的充要条件为存在一个不依赖于1,专2,, m,但可能依赖于8的K使得等式 dlog f() =K(门-g(0)) (6.26) ae 以概率1成立。 特别当g(0)=8时,不等式(6.25)化为 1 D87≥ (6.27) 21(8)
这个不等式工罗和克拉美在差不多的时候提出,所以现 在就称它为罗一克拉美不等式,也称做信息不等式.(证明略) 有时我们称满足上述两个正则条件(1)和(2)的估计 量门为正规估计。由此我们看到,罗一克拉美不等式所规定 的下界不是整个无偏估计类的方差下界,而是无偏估计类中 一个子集一正规无偏估计类的方差下界。 为了计算信息量〔)方便起见,我们证明一个重要性 质。 性质 若 ae 882 (6.36) 则
8)=-E[ 1ogf5巴1 (6.37) ∂8 对于方差达到罗一克拉美不等式下界的估计,我们给它一个 名称如下。 定义6.4若8的一个无偏估计8使罗一克拉美不等 式中等式 D0= n代 2a 成立,则称日为日的有放估计
定义6.5若为8的一个无偏估计,且罗一克拉美 不等式下界存在,则称D)与8)的此s (6.37) D(8:) 为估计司,的有效率,这里重8瓜(31og了(传92)1: (例题略) 定义6.6当n→o时,一个估计的有效率e→1, 则称8为参数日的淅近有放估计
系满足定理61中条件得出的估计是渐近有效估计,因此 它是渐近正态、渐近无偏、渐近有效估计。 从这个系可以推出正态母体中参数口的极大似然估计S号 是渐近正态、渐近有效、渐近无偏的