《概率论与数理统计》课程教学资源（教案讲义，理工类）第六章 参数估计（6.1）点估计问题概述

第六章参数估计 在实际问题中,当所研究的总体分布类型己知,但分布中含有一个或多个未知参数时, 如何根据样本来估计未知参数,这就是参数估计问题 参数估计问题分为点估计问题与区间估计问题两类.所谓点估计就是用某一个函数值 作为总体未知参数的估计值:区间估计就是对于未知参数给出一个范围,并且在一定的可靠 度下使这个范围包含未知参数 例如,灯泡的寿命X是一个总体,根据实际经验知道,X服从N(,a2),但对每一批灯泡 而言,参数山,a2是未知的要写出具体的分布函数,就必须确定出参数.此类问题就属于参 数估计问题 参数估计问题的一般提法 设有一个统计总体,总体的分布函数为F(x,6),其中O为未知参数(O可以是向量).现 从该总体中随机地抽样,得一样本 X1,X2,…,X 再依据该样本对参数θ作出估计,或估计参数O的某已知函数g(O) 第一节点估计问题概述 分布图示 ★引言 ★点估计的概念 ★评价估计量的标准 ★无偏性 ★例3 ★有效性 ★例4 ★例5 ★例6 ★相合性 ★例7 ★例8 ★内容小结 ★课堂练习 ★习题6-1 返回 内容要点 、点估计的概念 设X1,X2,…,X是取自总体X的一个样本,x1,x2,…,xn是相应的一个样本值.是总体 分布中的未知参数,为估计未知参数θ,需构造一个适当的统计量 0(X X. 然后用其观察值 n) 来估计θ的值 称θ(X1,X2,…,Xn)为θ的估计量.称θ(x1,x2,…,x)为θ的估计值.在不致混淆的情况下 估计量与估计值统称为点估计简称为估计,并简记为6 注:估计量O(X1,X2…,Xn)是一个随机变量,是样本的函数,即是一个统计量,对不同 的样本值,O的估计值O一般是不同的 二、评价估计量的标准 从例1可见,参数点估计的概念相当宽松,对同一参数,可用不同的方法来估计,因而得 到不同的估计量,故有必要建立一些评价估计量好坏的标准

第六章 参数估计 在实际问题中, 当所研究的总体分布类型已知, 但分布中含有一个或多个未知参数时, 如何根据样本来估计未知参数，这就是参数估计问题. 参数估计问题分为点估计问题与区间估计问题两类. 所谓点估计就是用某一个函数值 作为总体未知参数的估计值；区间估计就是对于未知参数给出一个范围，并且在一定的可靠 度下使这个范围包含未知参数. 例如, 灯泡的寿命X 是一个总体, 根据实际经验知道, X 服从 ( , ) 2 N   , 但对每一批灯泡 而言, 参数 2 , 是未知的,要写出具体的分布函数, 就必须确定出参数. 此类问题就属于参 数估计问题. 参数估计问题的一般提法: 设有一个统计总体, 总体的分布函数为 F(x,) , 其中  为未知参数(  可以是向量). 现 从该总体中随机地抽样, 得一样本 X X Xn , , , 1 2  , 再依据该样本对参数  作出估计, 或估计参数  的某已知函数 g( ). 第一节 点估计问题概述 分布图示 ★ 引言 ★ 点估计的概念 ★ 例1 ★ 评价估计量的标准 ★ 无偏性 ★ 例2 ★ 例3 ★ 有效性 ★ 例4 ★ 例5 ★ 例6 ★ 相合性 ★ 例7 ★ 例8 ★ 内容小结 ★ 课堂练习 ★ 习题 6-1 ★ 返回 内容要点 一、点估计的概念 设 X X Xn , , , 1 2  是取自总体X 的一个样本, n x , x , , x 1 2  是相应的一个样本值.  是总体 分布中的未知参数, 为估计未知参数  , 需构造一个适当的统计量 ( , , , ), ˆ  X1 X2  Xn 然后用其观察值 ( , , , ) ˆ 1 2 n  x x  x 来估计  的值. 称 ( , , , ) ˆ  X1 X2  Xn 为  的估计量. 称 ( , , , ) ˆ 1 2 n  x x  x 为  的估计值. 在不致混淆的情况下, 估计量与估计值统称为点估计,简称为估计, 并简记为  ˆ . 注: 估计量 ( , , , ) ˆ  X1 X2  Xn 是一个随机变量, 是样本的函数，即是一个统计量, 对不同 的样本值,  的估计值  ˆ 一般是不同的. 二、评价估计量的标准 从例 1 可见,参数点估计的概念相当宽松, 对同一参数,可用不同的方法来估计, 因而得 到不同的估计量, 故有必要建立一些评价估计量好坏的标准

估计量的评价一般有三条标准 2.有效性; 3.相合性(一致性) 在本节的后面将逐一介绍之 在具体介绍估计量的评价标准之前,需指出:评价一个估计量的好坏,不能仅仅依据 次试验的结果,而必须由多次试验结果来衡量.因为估计量是样本的函数,是随机变量.故 由不同的观测结果,就会求得不同的参数估计值.因此一个好的估计,应在多次重复试验中 体现出其优良性 1.无偏性 估计量是随机变量,对于不同的样本值会得到不同的估计值.一个自然的要求是希望估 计值在未知参数真值的附近,不要偏高也不要偏低.由此引入无偏性标准. 定义1设(X1…,Xn)是未知参数O的估计量,若 E(6)=, 则称b为b的无偏估计量 注:无偏性是对估计量的一个常见而重要的要求,其实际意义是指估计量没有系统偏 差,只有随机偏差.在科学技术中,称 E(6)-6 为用估计而产生的系统误差 例如,用样本均值作为总体均值的估计时,虽无法说明一次估计所产生的偏差,但这种 偏差随机地在0的周围波动对同一统计问题大量重要使用不会产生系统偏差. 对一般总体而言,我们有 定理1设X1…,Xn为取自总体X的样本,总体X的均值为,方差为a2则 (1)样本均值X是a的无偏估计量 (2)样本方差S2是a2的无偏估计量 (3)样本二阶中心矩∑(x1-x)是2的有偏估计量 2.有效性 一个参数6常有多个无偏估计量在这些估计量中,自然应选用对O的偏离程度较小的为 好,即一个较好的估计量的方差应该较小由此引入评选估计量的另一标准一有效性 定义2设B=日1(X1…Xn)和2=日2(x1,…,X)都是参数O的无偏估计量,若 D(61)<D(62) 则称61较O2有效 注:在数理统计中常用到最小方差无偏估计,其定义如下 设x1…,xXn是取自总体X的一个样本,(x1;…,Xn)是未知参数O的一个估计量,若 满足 (1)E(O)=0,即θ为的无偏估计; (2)E(O)≤(O),是的任一无偏估计 则称θ为O的最小方差无偏估计(也称最佳无偏估计) 3.相合性(一致性) 我们不仅希望一个估计量是无偏的,并且具有较小的方差,还希望当样本容量无限增大 时,估计量能在某种意义下任意接近未知参数的真值,由此引入相合性(一致性)的评价标准 定义3设6=0(x1…,X)为未知参数O的估计量,若依概率收敛于,即对任意

估计量的评价一般有三条标准: 1. 无偏性; 2. 有效性; 3. 相合性（一致性）. 在本节的后面将逐一介绍之. 在具体介绍估计量的评价标准之前, 需指出: 评价一个估计量的好坏, 不能仅仅依据一 次试验的结果, 而必须由多次试验结果来衡量. 因为估计量是样本的函数, 是随机变量. 故 由不同的观测结果, 就会求得不同的参数估计值. 因此一个好的估计, 应在多次重复试验中 体现出其优良性. 1．无偏性 估计量是随机变量, 对于不同的样本值会得到不同的估计值. 一个自然的要求是希望估 计值在未知参数真值的附近, 不要偏高也不要偏低. 由此引入无偏性标准. 定义 1 设 ( , , ) ˆ  X1  Xn 是未知参数  的估计量, 若 ) , ˆ E( = 则称  ˆ 为  的无偏估计量. 注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有系统偏 差，只有随机偏差. 在科学技术中, 称 ) − ˆ E( 为用  ˆ 估计  而产生的系统误差. 例如, 用样本均值作为总体均值的估计时, 虽无法说明一次估计所产生的偏差, 但这种 偏差随机地在 0 的周围波动,对同一统计问题大量重要使用不会产生系统偏差. 对一般总体而言，我们有 定理 1 设 X Xn , , 1  为取自总体 X 的样本,总体 X 的均值为  , 方差为 2  .则 (1) 样本均值 X 是  的无偏估计量; (2) 样本方差 2 S 是 2  的无偏估计量; (3) 样本二阶中心矩 = − n i Xi X n 1 2 ( ) 1 是 2  的有偏估计量. 2．有效性 一个参数  常有多个无偏估计量,在这些估计量中,自然应选用对  的偏离程度较小的为 好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性. 定义 2 设 ( , , ) ˆ ˆ 1 =1 X1  Xn 和 ( , , ) ˆ ˆ  2 = 2 X1  Xn 都是参数  的无偏估计量, 若 ) ˆ ) ( ˆ ( D 1  D  2 , 则称 1 ˆ  较 2 ˆ  有效. 注: 在数理统计中常用到最小方差无偏估计, 其定义如下: 设 X Xn , , 1  是取自总体 X 的一个样本, ( , , ) ˆ  X1  Xn 是未知参数  的一个估计量, 若  ˆ 满足: (1) ) , ˆ E( = 即  ˆ 为  的无偏估计; (2) ), ˆ ) ( ˆ (  E      ˆ 是  的任一无偏估计. 则称  ˆ 为  的最小方差无偏估计(也称最佳无偏估计). 3．相合性(一致性) 我们不仅希望一个估计量是无偏的, 并且具有较小的方差, 还希望当样本容量无限增大 时, 估计量能在某种意义下任意接近未知参数的真值, 由此引入相合性(一致性)的评价标准. 定义 3 设 ( , , ) ˆ ˆ  = X1  Xn 为未知参数  的估计量, 若  ˆ 依概率收敛于  , 即对任意

0,有 lim P18-8ka=1, 或 P{b-be}=0, 则称6为的(弱)相合估计量 例题选讲 点估计的概念 例1(E01)设X表示某种型号的电子元件的寿命(以小时计),它服从指数分布 x~f(x,b)={0 ≤0 O为未知参数,>0.现得样本值为 168,130,169,143,174,198,108,212,252, 试估计未知参数O. 解由题意知,总体X的均值为,即θ=E(X),因此如用样本均值作为的估计 量看起来是最自然的.对给定的样本值计算得 x=-(168+130+…+252)=1727 故=X与O=x=1727分别为θ的估计量与估计值 无偏性 例2(E02)设总体X~N(0a32),X1,x2,…,Xn是来自这一总体的样本 (1)证明G2=-X2是a2的无偏估计 2)求D(G2) 解(1)BG2)=1∑E(x2)=1x)=1m2=o2,故2是2的无偏估计 了的( ∑(x)而N0=12…m),且它们相互独立,故依x2分布 定义

  0 , 有 | } 1, ˆ lim {| −  = → P    n 或 | } 0, ˆ lim {| −  = → P    n 则称  ˆ 为  的(弱)相合估计量. 例题选讲 点估计的概念 例 1(E01) 设 X 表示某种型号的电子元件的寿命(以小时计)，它服从指数分布： , 0, 0 , 0 1 ~ ( , ) /       = − x e x X f x x     为未知参数,   0 . 现得样本值为 168, 130, 169, 143, 174, 198, 108, 212, 252, 试估计未知参数  . 解 由题意知, 总体 X 的均值为 , 即  = E(X), 因此, 如用样本均值 X 作为  的估计 量看起来是最自然的. 对给定的样本值计算得 (168 130 252) 172.7, 9 1 x = + ++ = 故  ˆ = X 与 172.7 ˆ  = x = 分别为  的估计量与估计值. 无偏性 例 2(E02) 设总体 ~ (0, ) 2 X N  , X X X n , , , 1 2  是来自这一总体的样本. (1) 证明 = = n i X i n 1 2 1 2 ˆ 是 2  的无偏估计; (2) 求 ( ˆ ). 2 D  解 (1) ( ) 1 ( ) 1 ( ˆ ) 1 2 2 i n i i D X n E X n E =  = = 1 2 2 = n =  n ，故 2  ˆ 是 2  的无偏估计. (2) 因   = =       = n i i n i i X X 1 2 1 2 ,   而 ~ N(0,1) (i 1,2, ,n), Xi =   且它们相互独立, 故依 2  分布 定义 ~ ( ) 2 2 1 2 n X n i i   = n X D n i i 2 2 1 2 =               = 

X 由此知DG)=D∑ D 2n42a 例3设x1,X2,…,Xn是总体N(A,a2)的一个简单随机样本,求k使 ∑∑1X 为a的无偏估计 解由于x~N(a2),且相互独立,于是当≠j时x1-X1~N02a2) E(X-X,D=⊥|x 4o dx= 因为当i=j时,E(X-X,D=0,所以 E(G)=k∑∑E(X1-XD=kmn-1) 故当k= 时,有G= 2n(n-1 X1-x为σ的无偏估计 n(n 例4(E03)设X1,X2,…Xn为来自总体X的样本,x,x(i=1,2,…,n)均为总体均值 E(X)=μ的无偏估计量,问哪一个估计量有效? 解由于E(X)=,E(X1)=(i=12…n),所以X,X1(i=12,…,n)为4和无偏估计量 但D(x)=D∑x∑D(x) X1)=a(=1,2,…,n) 故较X(i=12,…,n)更有效 例5设总体x在区间[0上服从均匀分布,X1,X2,…X是取自总体X的简单随机样 本,F=∑x,xm1=mx{x1…,x},求常数ab,使B=a,B2=bXm均为的无 偏估计,并比较其有效性 解已知X-()=10,0≤x≤0其分布函数为 10.其它

由此知 . 2 2 1 1 ( ˆ ) 4 4 2 2 1 2 2 4 1 2 2 n n n X D n X n D D n i n i i i      = =              =      =   = = 例 3 设 X X Xn , , , 1 2  是总体 ( , ) 2 N   的一个简单随机样本, 求 k 使 = = = − n i n j Xi X j k 1 1 ˆ | | 为  的无偏估计. 解 由于 ~ ( , ), 2 Xi N   且相互独立, 于是当 i  j 时 ~ (0,2 ), 2 Xi − X j N  E X X x e dx x i j 2 2 4 2 2 2 1 (| |) | |    + − −  − =  . 2 0 2 2 2 2 2 2 2 4 0 4        = +            = = − + − −  x x xe dx e 因为当 i = j 时, (| − |) = 0, E Xi X j 所以 , 2 ( ˆ) (| |) ( 1) 1 1    =  − =  − = = E k E X X k n n n i n j i j 故当 2 ( −1) = n n k  时, 有 = = − − = n i n j Xi X j n n 1 1 | | 2 ( 1) ˆ   为  的无偏估计. 例 4 (E03) 设 X X X n , , , 1 2  为来自总体 X 的样本, X , X (i 1,2, , n) i =  均为总体均值 E(X) =  的无偏估计量, 问哪一个估计量有效? 解 由于 E(X) ,E(X ) (i 1,2, ,n), =  i =  =  所以 X, X (i 1,2, ,n) i =  为  和无偏估计量, 但 ( ) , 1 1 ( ) 2 1 2 1 n D X n X n D X D n i i n i i  =         =   = = ( ) ( 1,2, , ) 2 D Xi = i =  n 故 X 较 X (i 1,2, ,n) i =  更有效. 例 5 设总体 X 在区间 [0,] 上服从均匀分布, X X Xn , , , 1 2  是取自总体 X 的简单随机样 本, , 1 1 = = n i X i n X max{ , , }, X(n) = X1  Xn 求常数 a,b, 使 1 2 ( ) ˆ , ˆ  = aX  = bX n 均为  的无 偏估计, 并比较其有效性. 解 已知      = , 0, 1/ , 0 0 ~ ( ) 其它 x X f x  其分布函数为

0 Fx)o={x0,0≤x≤ 因E(x)=6/2,D(X)=0212,故E(G1)=aE(X)=a6/2 当a=2时,E()=0,01为O无偏估计,且 D(1)=D(2X)=4D(X)=402(12n)=02/(3n) 又fn(x)=川F(x)yf(x) Jm-l/”,0≤x≤0 其它 所以 nx E(X n+16n n+1点(xi)=C D(Xm= (n+2)(n+12 故E(62)=M(1m)=bn0当n+1时,EO)=,即B1=2+Mm为O的无偏估 计,且DO62)=b2D(Xm)= =D(1) n+2)(n+1)2n(n+2) 所以B2比6更有效 例6设分别自总体N(4,o2)和N(22)中抽取容量为n,n2的两独立样本其样本方 差分别为S2,S2,试证对于任意常数ab(a+b=1),Z=aS2+bS2都是σ2的无偏估计,并确 定常数a,b使D(Z)达到最小 解E(S2)a2,E(S2)=a2,由第5章第三节的定理2,知 且相互独立,所以DS2)=2a41(n1-1),D(S2)=2a2/(m1-1) 故当a+b=1时,E(Z)=aE(S2)+bE(S2)=a2,即Z是a2的无偏估计.由S2,S2相互独立, 及 D(Z)=D(aS2+bS2)=(a2n1-1)+b2(n2-1)2a4=(a2/(n1-1)+(1-a)2/n2-1)·2a4 令D(z =0,得驻点a n1+n2-2

         = = − , 1, / , 0 0, 0 ( ) ( ) x x x x F x f t dt x    因 E(x) = / 2, ( ) /12, 2 D X = 故 ) ( ) / 2. ˆ ( E 1 = aE X = a  当 a = 2 时, ) , ˆ ( E 1 = 1 ˆ  为  无偏估计, 且 ) (2 ) 4 ( ) 4 /(12 ) /(3 ). ˆ ( 2 2 D 1 = D X = D X =  n = n 又 , 0, / , 0 ( ) [ ( )] ( ) 1 1      = = − − 其它 nx  x  f x n F x f x n n n n 所以 , 1 1 ( ) 0 1 0 ( ) + = + = = +  n x n n n dx nx E X n n n n n      , 2 ( ) 2 0 1 2 ( ) + = =  + n n dx nx E X n n n    , ( 2)( 1) ( ) 2 2 ( ) + + = n n n D X n  故 , 1 ) ( ) ˆ ( 2 ( ) + = = n n E bE X n b   当 n n b +1 = 时, ) , ˆ ( E  2 = 即 2 ( ) 1 ˆ X n n n +  = 为  的无偏估 计, 且 2 2 2 ( ) 2 2 ( 2)( 1) 1 ) ( ) ˆ ( + +        + = = n n n n n D b D X n   ) ˆ ( ( 2) 3 1 2 2    D n n n  = + = 所以 2 ˆ  比 1 ˆ  更有效. 例 6 设分别自总体 ( , ) 2 N 1  和 ( , ) 2 N 2  中抽取容量为 1 2 n , n 的两独立样本.其样本方 差分别为 2 2 2 1 S , S , 试证, 对于任意常数 2 2 2 1 a,b(a +b =1),Z = aS + bS 都是 2  的无偏估计, 并确 定常数 a,b 使 D(Z) 达到最小. 解 ( ) , 2 2 E S1  ( ) , 2 2 E S2 = 由第 5 章第三节的定理 2, 知 ( 1) / ~ ( 1), 1 2 2 2 n1 − S1   n − ( 1) / ~ ( 1) 2 2 2 2 n2 − S2   n − 且相互独立, 所以 ( ) 2 /( 1), 1 2 4 D S1 =  n − ( ) 2 /( 1), 1 2 2 D S2 =  n − 故当 a + b =1 时, ( ) ( ) ( ) , 2 2 2 2 E Z = aE S1 + bE S = 即 Z 是 2  的无偏估计. 由 2 2 2 1 S ,S 相互独立, 及 ( ) ( ) 2 2 2 D Z = D aS1 + bS 4 2 2 1 2 = (a /(n −1) + b (n −1)) 2 4 2 2 1 2 = (a /(n −1) + (1− a) /(n −1)) 2 令 0, 1 2(1 ) 1 2 2 ( ) 1 2 4 2  =      − − − − = n a n a da dD Z  得驻点 , 2 1 1 2 1 + − − = n n n a

dD(z)=202 0,知该点为极小值点,所以,当 n1 h1+n2 b="2-时,统计量z h1+Vn-1S2+(n2-1S2]=S2具有最小方差 注:此例结果表明,第5章第三节定理4中的统计量S2是方差a2的最佳无偏估计 相合性 例7(E04)设x1…,Xn是取自总体X的样本,且E(X)存在,k为正整数,则 n∑X为E(x)的相合估计量 证事实上,对指定的k,令 由大数定理知lmF=E(Y)=B(x),从而∑X是E(x)的相合估计量 作为特例,样本均值X是总体均值E(X)的相合估计量 例8(E05)设总体X~N(,a2),x1…,Xn为其样本试证样本方差S2是2的相合估 计量 证由本节定理1.E(S2)=o2,又由第5章第三节定理2,知(-12-x2(m-1,从 而D(m-1)s|=2n-1) 故由切比雪夫不等式推得,对任意E>0 0≤P{S2-E(S2)e}=PlS2-a2e}≤D(S2)= 当n→∞时,上式左、右端均趋于0,根据相合性定义可知S2是a2的相合估计量 课堂练习 1.设总体X的k阶矩从k=E(Xkk≥1)存在,又设X1,x2,…,Xn是X的一个样本.试 证明不论总体服从什么分布,k阶样本矩4=∑x是k阶总体矩八的无偏估计量

又 0, 1 2 1 2 2 ( ) 1 2 4 2 2         − + − = da n n d D Z  知该点为极小值点, 所以, 当 , 2 1 1 2 1 + − − = n n n a 2 1 1 2 2 + − − = n n n b 时, 统计量 2 2 2 2 2 1 1 1 2 [( 1) ( 1) ] 2 1 w def n S n S S n n Z − + − = + − = 具有最小方差. (注: 此例结果表明, 第 5 章第三节定理 4 中的统计量 2 w S 是方差 2  的最佳无偏估计). 相合性 例 7 (E04) 设 X X n , , 1  是取自总体 X 的样本, 且 ( ) k E X 存在, k 为正整数, 则 = n i k Xi n 1 1 为 ( ) k E X 的相合估计量. 证 事实上, 对指定的 k , 令 , k Y = X , k Yi = Xi   = = = = n i k i n i i X n Y n Y 1 1 , 1 1 由大数定理知 lim ( ) ( ), k n Y = E Y = E X → 从而 = n i k Xi n 1 1 是 ( ) k E X 的相合估计量. 作为特例, 样本均值 X 是总体均值 E(X) 的相合估计量. 例 8 (E05) 设总体 ~ ( , ) 2 X N   , X X n , , 1  为其样本. 试证样本方差 2 S 是 2  的相合估 计量. 证 由本节定理 1, ( ) , 2 2 E S = 又由第 5 章第三节定理 2, 知 ~ ( 1), ( 1) 2 2 2 − − n n S   从 而 2( 1) ( 1) 2 2  = −      − n n S D  1 2 ( ) 2 2 − = n D S  故由切比雪夫不等式推得, 对任意   0, 0 {| ( )| } {| | } 2 2 2 2  P S − E S   = P S −   ( 1) 2 ( ) 1 2 4 2 2 −  = n D S    当 n → 时, 上式左、右端均趋于 0, 根据相合性定义可知 2 S 是 2  的相合估计量. 课堂练习 1. 设总体 X 的 k 阶矩 = E(X )(k 1) k  k 存在, 又设 X X X n , , , 1 2  是 X 的一个样本. 试 证明不论总体服从什么分布, k 阶样本矩 = = n i k k X i n A 1 1 是 k 阶总体矩  k 的无偏估计量