上海交通大学：《概率论与数理统计》课程教学资源（电子讲义）第6章参数估计.pdf_大学文库

第第 6 6 章章参数估计参数估计对给定的统计问题，在建立了统计模型以后，我们的任务就是依据样本对未知总体进行各种推断，参数估计是统计推断的重要内容之一。本章主要介绍进行参数估计的方法及其评价等。 6.1 6.1 点估计参数估计，就是要从样本出发去构造一个统计量作为总体中某未知参数的一个估计量。若总体 X 的分布函数的形式为已知，但它的一个或多个参数未知，则由总体 X 的一个样本去估计总体未知参数的值的问题就是参数的点估计问题。例如，某钢筋厂日生产某种型号钢筋 10000 根，为了要得知这批钢筋的强度，质量检察员从中抽取 50 跟进行检查。如何从抽查的 50 根钢筋强度的数据去估计整批钢筋强度的平均值？这就是参数估计要解决的问题。在实际问题中，我们常常以统计量    n i X i n X 1 1 作为总体 X 的期望值的估计量。设总体 X 的分布函数为 F (x， )，其中 为未知参数。X1，X2，…，Xn为总体 X 的一个样本。点估计的问题就是由样本构造一个统计量 ( , ,.... ) X1 X 2 X n   作为未知参数 的一个估计量。若 x1，x2，…，xn是样本观察值，则代入估计量 ( , ,.... ) X1 X 2 X n   中即可以得到一个关于参数 的估计值。在不致混淆的情况下，我们把估计量或估计值简称为估计。构造估计的方法很多，下面介绍常用的方法。 1 1 矩估计法矩法是另一种进行估计的简捷方法，也是基于替换的一种方法，即用样本矩去近似总体矩。我们知道，矩是由随机变量的分布唯一确定，而样本来源于总体，样本矩在一定程度上反映总体矩的特征，用样本矩来估计总体矩的估计方法称为矩估计法。设总体 X 的分布函数为 F (x； 1， 2，…， k)， 1， 2，…， k为未知参数，X1，X2，…， Xn为来自总体 X 的样本，如果总体的 k 阶矩 ( ) r E X 存在，并设 E(Xr )  r (1 , 2 ,..., k ) ，相应的 r 阶样本矩为  .    n i r r i X r k n A 1 , 1,2,... 1

2 2 极大似然估计法在总体 X 的分布类型已知的情况下，极大似然估计法也是求未知参数点估计的一种重要的方法。下面我们先来看一个例子。例 4 4 设总体 X 服从（0-1）分布，其分布率为   ( ; ) (1 ) , 0,1, 1       P X x f x x x x    其中 0< <1 未知，样本为 X1，X2，…，Xn。设样本察值为 x1，x2，…，xn，则事件 { , ,.... } 1 1 2 2 n n X  x X  x X  x 发生的概率为                   n i x n x x x n i n n i n i i n i i i i P X x X x X x f x 1 1 1 1 1 2 2 21 1 { , ,.... } ( ; )  (1 )  (1  ) 对于给定的样本观察值，上述概率为 的函数，我们称为似然函数，并记为 L ( )，即 .        n i i n i x i n x L 1 1 ( )  (1  ) 为了使上述随机事件的概率达到最大，应选取使 L ( )达到最大的参数值(如果存在) ˆ，即选取的估计量ˆ 应满足： ) max ( ) ˆ ( 0 1    L L    这种寻求参数估计量的方法称为极大似然估计法。上例的讨论也适用于一般的离散型总体。设总体 X 为离散型，其分布律为 PX  x  f (x; ),  这里 为待估参数，是 可能取值的范围。设 X1，X2，…，Xn为取自总体 X 的一个样本，则 X1，X2，…，Xn的联合分布律为   n i i f x 1 ( ; ). 若 x1，x2，…，xn是样本 X2，…，Xn的一个观察值，则事件{X2= x1，…，Xn =xn}发生的概率为         { , ,.... } ( ; ) ,  1 1 1 2 2 n i n n i P X x X x X x f x 令     n i n i L L x x f x 1 1 ( ) ( ,..., ; ) ( ; ). 则 L ( )随 的取值而变化，它是 的函数，我们称 L ( )为样本的似然函数. 当样本观察值 x1，x2，…，xn给定时，我们在 的取值范围 内挑选使概率 L (x1， x2，…，xn ； )达到最大的参数值ˆ ，把ˆ作为 的估计值，即选取ˆ 使

) max ( , ,.... ; ) ˆ ( ,..., ; 1  1 2   n n L x x L x x x   这样得到的ˆ与样本观察值有关，常记为ˆ ( x 1 ,.., x n ) ，我们称ˆ ( x 1 ,.., x n ) 为参数 的极大似然估计值，并称相应的统计量ˆ ( x 1 ,.., x n ) 为参数 的极大似然估计量。若 X 为连续型总体，其密度函数为 f (x， )，  为待估参数。设（x1，x2，…， xn）为总体 X 的样本 X1，X2，…，Xn的观察值，则 X1，X2，…，Xn的联合密度函数为   n i i f x 1 ( ;). 与离散型的情形类似，称     n i n i L L x x f x 1 1 ( ) ( ,..., ; ) ( ; ) 为样本的似然函数。若有ˆ ( x 1 ,.., x n ) 使 (ˆ ) max{ ( )}，  L L   则称ˆ为参数的极大似然估计值，相应地称ˆ  ˆ (x 1 ,.., x n ) 为 的极大似然估计量。一般地，设总体 X 的分布律或概率密度函数为 f (xi ； 1， 2，  k )，其中 1， 2，  k 为 k 个未知待估参数，又设(x1，x2，…，xn)为样本观察值，记    n i k i k L f x 1 1 1 2 ( ,..., ) ( ; , ,... ). 则称 L ( 1， 2，  k )为似然函数。若存在 ( , ,.... ), ˆ ( , ,.... ), ..., ˆ ( , ,.... ), ˆ 1 1 2 n 2 1 2 n k 1 2 n  x x x  x x x  x x x 使得 ) ˆ ,..., ˆ ) max ( ˆ ,..., ˆ , ˆ ( 1 ,..., 1 2 1 L k L k k         则称ˆ 1 ,ˆ 1 ,...,ˆ 1分别为 1， 2，  k的极大似然估计值，而称 ( , ,.... ), ˆ ( , ,.... ), ..., ˆ ( , ,...., ), ˆ1 X1 X 2 X n  2 X1 X 2 X n  k X 1 X 2 X n 为极大似然估计量. 例 5 5 在一袋内放有很多的白球和黑球，已知两种球数目为 1:3，但不知道哪一种颜色的球多，现从中有放回地抽取 3 次，试求黑球所占比例的极大似然估计。解设 X 表示 3 次抽球中黑球出现的次数， 表示黑球所占比例，由题意 =1/4 或 3/4，则似然函数为： ( )   (1 ) , 0,1,2,3. 3    3    L P X x C x x x x    将 值代入: ) , 4 3 ) ( 4 1 ) ( 4 1 ( 3 3 x x x L C   ) , 4 1 ) ( 4 3 ) ( 4 3 ( 3 3 x x x L C  

例 6 6 设样本 X1，X2，…，Xn来自正态总体 X  N (，2 )，，2 未知，求， 2 的极大似然估计。解设 (x 1，x2，…，xn )为对应的样本观察值，则关于， 2得似然函数为              n i x x n n i i i e e L 1 ( ) 2 1 2 2 2 2 (2 ) , 2 1 ( , ) 1 2 2 2 2         于是       n i i x n n L 1 2 2 2 2 ( ) 2 1 ln 2 ln 2 2 ln ( , )                             n i i n i i x L n x L 1 2 2 2 4 1 2 ( ) 0. 2 1 2 ln ( ) 0, ln 1        解之得        n i i n i i x x n x n 1 2 2 1 ( ) 1 , ˆ 1 ˆ  易验证，为 L(， 2 ˆ ,ˆ 2 )得最大值点。因此， ˆ ,ˆ 2 的极大似然估计值为        n i i n i i x x n x n 1 2 2 1 ( ) 1 , ˆ 1 ˆ  注意，若参数 已知，则2 的极大似然估计为     n i i x n 1 2 2 ( ) 1 ˆ  3. 3. 点估计的评价标准点估计的评价标准点估计的评价标准点估计的评价标准从上节可以看出，对同一个未知参数，可以由多种方法进行估计，即使用同一种方法，有时也可到多个估计量。我们总希望得到的估计量能代表总体的真实参数，那么在同一参数的许多可能的估计量中那一个是最好的估计量呢？自然地想到，需要有一个评价估计量优劣的标准。在本节中我们给出三个评价的标准。 (1) (1) 无偏性估计量ˆ ( X1 , X 2 ,, X n ) 是一个随机变量，对一次具体的观察或实验的结果，估计值可能较真实的参数值偏小或偏大，在多次试验中所得的估计量的平均值应与真实参数吻合，这就是无偏性所要求的。定义设 X1，X2 ，…，Xn为来自总体 X 的样本，  为总体的未知参数，ˆ 为

例 10 10 设ˆ为 的无偏估计量，若成立 lim ( )  0 ,   D  n 则 为 的一致估计量. ˆ 证有切贝雪夫不等式可知，对任意  0 都成立 2 ， ( ) {| | }           D p 由题设条件lim ( )  0 可知   D  n 因此， 为的一致估计量. ˆ 在实际问题中，我们自然希望估计量具有无偏性，一致性和有效性，但往往不能同时满足，尤其是一致性，要求样本容量充分大，这在实际问题中不易做到，而无偏性和有效性无论在直观还是理论上都比较合理，故应用的场合也较多。 6.2 6.2 区间估计区间估计在上一节中我们讨论了参数的点估计，只要给定样本的观测值就能算出参数 的估计值，它是未知参数的近似值。但是，在理论与实际应用中，不仅需要知道参数 的近似值，还需要知道这种估计的精度是多少。为此，我们要求由样本构造一个以较大的概率包含真实参数的一个范围或区间，这种带有概率的区间称为置信区间，通过构造一个置信区间对未知参数进行估计的方法称为区间估计。定义设 X1 ，…，Xn为来自总体 X 的一个样本，  为总体分布所包含的未知参数。若对于给定的（0< <1），存在统计量 ˆ L和ˆ U ，对所有的   满足：        ,   P{ L U } 1 则称随机区间[ˆ L ,ˆ U ] 为参数 的置信度为 1- 的置信区间，ˆ L和ˆ U 分别称为置信下限和上限。置信度 1- 也称置信水平。由定义可知，置信区间是以统计量为端点的随机区间，对于给定的样本观察值（x1 ，…，xn）,由统计量ˆ L (x 1 , x 2 ,, x n ),ˆ U ( x 1 , x 2 ,, x n ) 构成的置信区间[ˆ L ,ˆ U ] 可能包含真值 ，也可能不包含真值 ，但在多次观察或实验中，每一个样本皆得到一个置信区间[ˆ L ,ˆ U ] ，在这些区间中包含真值 的区间占 1 0 0（1-）%，不包含的仅占 100 %. 例如取=0.05，在 100 次区间估计中，大约有 95 个区间包含真值 ，而不包含得 lim  ˆ    0  P    n

约占 5 个。下面我们通过具体例子给出构造置信区间的方法与步骤。例 1 1 设 X1 ，…，Xn为来自正态总体 X  N (， 2 )，其中 2已知， 未知, 试求出 的置信水平为 1-的置信区间。解由前述可知，样本均值 X 是 的极大似然估计量，且 ~ ( , ) 2 n X N   故统计量 ~ N(0,1)， n X u     于是又标准正态分布得上 分位点的定义可知, 1 , 2 2              P Z u Z 即 ，                                 1 2 2 2 2 Z n Z X n Z P X n X P Z 由置信区间的定义可知, [ ]即为 的 1- 的置信区间。 2 2     Z n Z X n X  ，  对此例进行分析，我们发现随机变量 u 在区间的构造过程中起着关键作用，它具有下属特点： (1) 是待估参数 和估计量 X 的函数； (2) 不含其他未知参数； (3) 其分布已知且与未知参数 无关。我们称满足上述三条性质的量 Q 为枢轴量。在引入枢轴量 Q 的概念后，便可把球置信区间的步骤归纳如下： (1) 根据待估参数构造枢轴量 Q, 一般可由未知参数的极大似然估计量改造得到； (2) 对于给定的置信水平 1-，利用枢轴量 Q 的分布的上分位点求出常数 a，b，使 P{a<Q<b}=1-通常为方便起见，取 a，b 分别为 Q 的上 1- /2 和上 /2 分位点； (3) 利用不等式的恒等变形，将(2)中的不等式变形即可得到置信区间[ˆ L ,ˆ U ] 。这种利用枢轴量构造置信区间的方法称为枢轴量法. 下面我们给出正态总体关于参数 和 2的置信区间。首先考虑单个正态总体 X  N (， 2 )的情形，并设总体的样本为 X1 ，…，Xn。 1. 1. 均值   的置信区间 ( ( 1 1 ) ) 方差  2 2 已知由例 1 可知, 这时枢轴量 ~ N(0,1) , n X Q u      2  2 

上海交通大学：《概率论与数理统计》课程教学资源（电子讲义）第6章 参数估计

上海交通大学：《概率论与数理统计》课程教学资源（电子讲义）第6章参数估计