黄冈师范学院：《概率论与数理统计》课程教学资源（教案讲义）第六章 点估计

第六章点估计 教学基本要求 1、理解参数的点估计的概念,掌握矩估计法(一阶,二阶)与极大似然值估计法 2、了解估计量的无偏性,有效性,一致性 3、了解估计的概念,会求单个正态总体的均值与方差的置信区间会求两个正态总体的均值 及方差比的置信区间 二、教学重点和难点 1、点矩估计中的矩估计法极大似然估计法 2、估计量的性质 3、置信区间 §6.1矩法估计 参数估计: 根据已知信息(样本的观侧值),对母体5的分布(概率函数f(x,0)中未知的参数做出 推断 即从一簇概率函数{f(x,),θ∈参数空间⊙}中选定一个分布 ①构造一个统计量作为参数0的一个估计量则y=(x1,x2,x3…x)是O的点估 计值,若{f(x,01…(),(01,…(k)∈}则需构造k个估计量 得到关于1,2…的方程组,解出估计值 102 .矩法估计:用子样的经验分布和子样矩去替换总体的分布和总体矩的原则。 1.设(51,52,…n)取自总体的一个样本,如果未知参数θ=h(u1,u2,…um).则b=(51, 2,…,5n)为0的矩估计量

第六章 点估计 一、教学基本要求 1、 理解参数的点估计的概念，掌握矩估计法（一阶，二阶）与 极大似然值估计法 2、 了解估计量的无偏性，有效性，一致性 3、 了解估计的概念，会求单个正态总体的均值与方差的置信区间会求两个正态总体的均值 及方差比的置信区间 二、教学重点和难点 1、 点矩估计中的矩估计法 极大似然估计法 2、 估计量的性质 3、 置信区间 §6.1 矩法估计 一、 参数估计： 根据已知信息（样本的观侧值），对母体  的分布（概率函数 f (x, ) ）中未知的参数做出 推断 即 从一簇概率函数{ f (x, ) ，θ∈参数空间Θ}中选定一个分布 ① 构造一个统计量 作为参数θ的一个估计量 则 y = (x1, x2, x3. xn) 是  的点估 计值 ，若{ f (x,1, k) ，（ 1, k ）  Θ} 则 需构造 k 个估计量 ② 得到关于 1, 2k 的方程组 ，解出估计值   k    , 2 , 1 二．矩法估计：用子样的经验分布和子样矩去替换总体的分布和总体矩的原则。 1． 设（ξ1，ξ2，…ξn）取自总体的一个样本，如果未知参数θ=h(u1,u2, …um).则  =（  1，  2，…， n）为θ的矩估计量

2.矩阵估计的基本步骤 3.①如待估参数只有一个θ,先求总体ξ的一阶矩阵Eξ,若Eξ中不含有θ,再求E2…直 到式中含θ为止,即EE=g(0) ②解出θ=h(E)。 ③替换θ=h()。 如待估参数有01,02。此时E=g1(01,02),Eξ=g2(01,02) 解出θ1=h(Eξ,Eξ2),02=h2(Eξ,Eξ2) 例1.求团体均值Eξ与Dξ的矩阵计。 例2.设团体ξ服从r分布,其密度函数 0当x≤O时 F(x, p, b) 求b,p 三.估计量的优良性 致性:bn=0(1,2,…n)为参数b的估计量。若O∈,当样本 容量n→O时,O,一→O,即E>0有limp(-2)=0 月→a 例1 验证若 lim eo=0. lim de=0,则,是6的一致估计量 证法一:p(.-26)=∫(1(t=0= 又 E(6,-0) 6n-26n6+62 =E0-2E00, +E0=D8 +(E0 )--20E0,+0 故lmE(On-0)=2-202+02=0 p(pn-≥6)≤m E(n-6) ∵.Iim 即imp(On-b≥E)=0 n→① 无偏估计 设=(51,52,…5n)是母体ξ的概率函数{(x,0)O∈O}的未知参数O的一 个估值。若E()=6。则称b为的无偏估计,否则为有偏的 例 E (ES)=ES= ESOE(DE)=E(SI)=-D5

2． 矩阵估计的基本步骤： 3． ①如待估参数只有一个θ，先求总体ξ的一阶矩阵 Eξ，若 Eξ中不含有θ，再求 Eξ2…直 到式中含θ为止，即 Eξ=g(θ). ②解出θ=h（Eξ）。 ③替换  = h（  ）。 如待估参数有θ1，θ2。此时 Eξ= g1（θ1，θ2），Eξ= g2（θ1，θ2）。 解出θ1=h1(Eξ,Eξ2), θ2=h2(Eξ,Eξ2). 例1． 求团体均值 Eξ与 Dξ的矩阵计。 例2． 设团体ξ服从Γ分布，其密度函数。 F(x,p,b)=       − −  当 时 当 时 0 0 0 1 ( ) x e x x p bx p b p 求 b ， p 。 三．估计量的优良性。 1． 一致性：  n = （ξ1，ξ2，…ξn）为参数  的估计量。若     ,当样本 容量 n → 时，  n ⎯⎯p→  。即   0有 lim ( −  ) = 0 → p    n . 例1． 验证若 0, lim = → n n E 0 lim = →  n n D ，则  n 是  的一致估计量。 证法一：p ( −  ) n = = −    −  + − f x dx f x dx n n n n ( ) ( ) ( ) 2 2         2 2 ( )  E  n − 又 2 ( − ) n  E =E （ 2 2  n − 2 n + ） =E 2 2  n − 2E n + E =D 2 2  n + (E n ) − 2E n + 故 2 2 2 lim ( − ) = − 2 + → n n E =0 0 ( ) lim ( ) lim 2 2 = −  −   → →       n n n n E p 即 lim ( −  ) = 0. →    n n p 2． 无偏估计。 设  = （ξ1，ξ2，…ξn）是母体ξ的概率函数 f (x,)  的未知参数  的一 个估值。若 E（  ）= 。则称  为  的无偏估计，否则为有偏的。 例1． E（E  ）=E  = E 。E（ D ）=E（ 2 Sn ）= . 1 D n

n→∞,limE()。则b为O的渐近无偏估计。 例6.3例6.4 §6.2极大似然估值 引入:例如产品抽样问题。ξ=1表示不合格,=0表示合格。 f(xn、p(-p)x=01 0p<1为不合格品率 0其他 子样(1,52,…n)的联合分布 p(51=x1, 5n=x,)=p 0(-p)…x(-)、/A 其中x.=0或1。 De3.似然函数L(x,x2xn,O1,B2,Om)=∏f(x,,2,、On)为关于样本值x1,x2,xn 的似然函数,记为I(61,,日n),它是观测到(x12x2,xn)时出现何种,的一个量度。 Def4使I(1,2,bn)达到最大值时的点((x1,x2,xn),2,,On),称为参数6的极大 似然估计值。相应的估计值。 极大似然估计量2(51252n),L(,x1,x2,,xn)=SpL(0,x1,x2,xn)。 Def1.单个未知参数b∈。 L(x1,x2,xn,O)=∏f(x,0)。称为样本的似然函数。(关于样本值x,x2xn 的似然函数) Def2.设(1,2,…n)是来自总体ξ的一个样本 如果彐6=(x1,x2…xn)使L(0)=SphL(,x)

n → , lim E( ) n→ 。则  为  的渐近无偏估计。 P 262 例 6.3 例 6.4 §6.2 极大似然估值 一 引入：例如产品抽样问题。ξ=1 表示不合格，ξ=0 表示合格。 f    − = = − 0其他 (1 ) 0,1 ( . ) 1 p p x x p x x  0<p<1 为不合格品率。 子样（ξ1，ξ2，…ξn）的联合分布。 p（ξ1=x 1 ，ξ2=x 2 ，…ξn=x n ）=p 1 1 1 (1 ) x x p − − …p n x xn p − − 1 (1 ) =p  − = = − n n i n n i x n x p 1 1 (1 ) . 其中 xi = 0 或 1。 多个参数 Def3.似然函数 L（ n m x1 , x2 ,...x ,1 , 2 ,... ） == n i i m f x 1 1 2 ( , , ,... ) .为关于样本值 n x , x ,...x 1 2 的似然函数，记为 I( ,  1   m ,... 2 ),它是观测到（ n x , x ,...x 1 2 ）时出现何种  i 的一个量度。 Def4 使 I( ,  1   m ,... 2 )达到最大值时的点（ (  1 n x , x ,...x 1 2 ）， ,... )  2  n ，称为参数  i 的极大 似然估计值。相应的估计值。 极大似然估计量 ( , ,... ),  L  1  2  n L（ n , x , x ,...x  1 2 ）= ( , , ,... ) 1 2 n Sup L  x x x  。 Def1.单个未知参数  。 L（ x1 , x2 ,...xn , ）== n i i f x 1 ( , ) 。称为样本的似然函数。（关于样本值 n x , x ,...x 1 2 的似然函数）。 Def2.设（ξ1，ξ2，…ξn）是来自总体ξ的一个样本。 如果  ( , ,... ) 1 2 n  = x x x 使 L（  ）= Sup ln L(, x)  =

例P26例6.6f(x,O) 00同时成立(I=1,2,…n) 可见当6=x此时x不小于x1,x21…x1-1,x1+1…xn =maxx1,x2,xn)为6的极大似然函数估计量 相应1=5(n)(最大次序统计量)为极大似然估计量 注:O2不是的无偏估计 极大似然估计的性质(不变性) Th1b为f(x,b)中参数O的极大估计,并且函数u=u(O)具有单值反函数 0=0()则a=l(0)是u(0)的极大似然估计,这是b∈H的值域 (O)=SlpL(b)u()的单值反函数O L( B())=Supl (e(u)) L(u())=SupL (u(0)) 例1若固体-N(u,G2)。求σ的极大似然估计 解:∵Sn2为a2的极大似然估计 有单值反函数 G=√S P51nxN(u,a2),求EX,D的极大似然估计。 证:∵Z-N(u,a2)∴∥=z,a2=Sn2为u,a2的 极大似然估计 又∵EX= dx=e 20

例 P 266 例 6.6 f(x,  )=           0其它 0 ,0 1    x 解：子样（ξ1，ξ2，…ξn）的似然函数。 L（ n , x , x ,...x  1 2 ）= n  1 0〈x i ,i =1,2,...n L（  ）关于  单调递减。且   xi  0 同时成立（I=1,2,…n）. 可见当 i  = x 此时 i x 不小于 i i n x , x ...x , x ...x 1 2, −1 +1 。 max( , ,... ) 1 2 n  = x x x 为  的极大似然函数估计量。 相应  L =  (n) （最大次序统计量）为极大似然估计量。 注：  L 不是  的无偏估计。 二．极大似然估计的性质（不变性） Th1  ˆ 为 f（x， ）中参数  的极大估计，并且函数 u=u（  ）具有单值反函数  =  (u) 则 ) ˆ u ˆ = u( 是 u（  ）的极大似然估计，这是   H 的值域。 证： ) ˆ  L( = H Sup  L（  ） u（  ）的单值反函数  =  （u） L（ (ˆ) ˆ  u ）= H Sup  L（  (u) ） L（ ) ˆ u ˆ( ）= H Sup  L（ u( ) ） 例1 若固体  --N（u， 2  ）。求  的极大似然估计 解： 2  Sn 为 2  的极大 似然估计  =u= 2  有单值反函数 2  ˆ = Sn P 6.9 300 =lnX——N（u， 2  ），求 EX，DX 的极大似然估计。 证：  Z---N（u， 2  ）  u ˆ = Z ， 2  =Sn 2 为 u， 2  的 极大似然估计 又  EX=  1 2 2 2 ( )  x u x e e − + − − −  dx=e 2 2 1  u+

Th2。(渐近正态性) Dague定理 ahL=0的解θ·存在:当n→时,b·→0(0°为O的未知真值) 06 且Fa(x)→>N(60, C OLnf 2(m)的密度函数 (y)=n● 0<y≤6 041a= EO)=E5n=m(2)d,-n〔 n+1 n 但6 是b的无偏估计 可见=2和B="+5均为参数O的无偏估计,即 参数b的无偏估计不唯 事实上,若6,61为0的无偏估计,对于任何0≤a12a2≤1且 an+a2=1a1b+a1,均为O的无偏估计。 P26s例6,7 若P=(=6)2k=0,1,2…求的极大似然估计 解:似然函数L(=2x x1…x 取对数hL(4)=-n+∑xhA-∑x(x) aIn I 对参数入求导 n+∑x=0 x为极大似然估计值

2 ˆ ˆ  +  = u EX e Th2。（渐近正态性）Dague 定理   ln L =0 的解   存在： 当 n →  时，   0 → （ 0  为  的未知真值） 且 F   （x） → N（ [( ) ] 1 , 2 0    Lnf nE ）  (n) 的密度函数 f n y  ( ) ( ) =   1 ( ) 1 y n n − • 0  y  6   ( ) L E = d y y n n E yn  − =     0 1 ( ) 1 ( ) =    0 +1 =  n n n y d y n n 但   ( ) * 1 n n n + =  是  的无偏估计。 可见 _  = 2  和   ( ) 1 n l n n + =  均为参数  的无偏估计，即 参数  的 无偏估计不唯一。 事实上，若     l , 为  的无偏估计，对于任何 0 , 1 1 2  a a  且 1 1 2 a + a =   a1  + a2 l 均为  的无偏估计。 p268 例 6，7 若 ! ( ) k p k e k    − = = = k=0,1,2…求  的极大似然估计。 解：似然函数 e x x n n n i xi L    −  = = ! ! ( ) 1 1  取对数 ln ( ) ln ln( ) 1 1 x x xi n i i n i i L n   = =  = −  +  − 对参数  求导 0 ln 1 1 = − + =   = n i xi n I   =  = n i xi n 1 1  为极大似然估计值

几1=5为极大似然估计量。 P2例6,85N(6) f(, 解:正态分布的似然函数 2丌8 hL=-mx2丌)--l620ax aIn l ∑(x-)=0 In l x x 解方程组得 可见11=5O,=Sn为极大似然估计量。 例3:xb(1,p)未知参数p∈H=[ 由容量为1样本求p的极大似然估计量。 (x, p)=p(I-p). InI=xInp+ ah/CxP2=x1+1-x有唯一解,但x0或1,不在[ P 4·d内,因而x不能 作为p的极大似然估计,此时只能用定义。 当x=0时L(x,P)=1-pp∈[ 当x=1时L(x,p)=p P 44p=为极大似然估计值: 44P=4为极大似然估计值 e > 求,的极大似然估计。 0(其他)

_  =   l 为极大似然估计量。 p269 例 6，8  ~ ( , ) 2 N   x e xi f i      2 2 2 2 ( ) 2 1 ( , , ) − = − . 解：正态分布的似然函数 ( , ; , ) 1 2 x xn L    = e n i xi n  − = − 1 2 2 ( ) 2 1 2 1 2 2      − = = − − − n i xi n n L 1 2 2 2 ( ) 2 1 ln 2 ln( 2 ) 2 ln     令        + = − =   = − =    −  = = n i n i i x x i I n I 1 2 2 2 2 1 2 0 2 1 2 ln ( ) 0 ln 1 ( )       解方程组得        = = =  −  =   1 2 2 _ 1 _ 1 i ( ) i x x x n i x n   可见 _ =   ul l sn 2 2 =   为极大似然估计量。 例 3： x~b(1,p) 未知参数 p  H= ] 4 3 , 4 1 [ 由容量为 1 样本求 p 的极大似然估计量。 (1 ) 1 ( , ) p p x x L x p − − = 。ln I = x • ln p + (1− x)ln(1− p) p I x p   ln (' , ) = p x p x − − • + 1 1 1 有唯一解 x,但 x=0 或 1，不在 ] 4 3 , 4 1 [ 内，因而 x 不能 作为 p 的极大似然估计，此时只能用定义。 当 x=0 时 L(x, p) = 1− p ] 4 3 , 4 1 p [ 4 1 =  p 为极大似然估计值； 当 x=1 时 L(x, p) = p ] 4 3 , 4 1 p [ 4 3 =  p 为极大似然估计值。 又如： f (x) =   ( )     − − 0 其他 ( ) 1     e x x 求 ， 的极大似然估计

解:样本( 51925n )的极大似然函数 x-A L05x1x“x)=e2 (x≥ 0(其他) 当x≥时有hA(,p)=-mh0-2(x-) aIn 1(0,u) 1(x )=0 令 0hL(6,)=+n=0 由方程(1)知0+H=∑x1=x但无法求出, 但在b恒定时,要使L(,O)最大,只须最大。 又H只能在x1x2…xn中取,且≤x,(i=12.m) H=minx=x)=x-xm° 6,=5-5为极大似然估计量。 Rao— -Cramer不等式 一有效性 Th3若参数的两个无偏估计1和62,它们的方差对一6切6∈H有 D(61)≤D2),则称估计61比估计2有效。 例1若5分布均匀U[0,6];=255为6的无偏, 62=(n)为的渐进无偏 n+1 62为无偏

解： 样本 )  1 2  n （  的极大似然函数 ( , ; , ) = x1 x2 xn L          = − − 0(其他） ( ) 1 1 ( ) 1     n e xi n i xi 当 x   i 时有 ( ) 1 ln ( , ) ln 1     = −  −  − = n i xi l n 令        = + =   = − + − =   = 0 ln ( , ) ( ) 0 ln ( , ) 1 1 2           L n I n n i xi 由方程（1）知 _ 1 1 x n n i xi + =  = =   但无法求出    ,  但在  恒定时，要使 L(, ) 最大，只须  最大。 又  只能在 x1 x2 xn , 中取，且 xi   (i = 1,2...n)  xj x j n (1) min 1 = =     x x(1) _ = −   。   (1) =  l    (1) _ = −  l 为极大似然估计量。 §6.3 Rao---Cramer 不等式 一 有效性 Th3 若参数  的两个无偏估计 1 ˆ  和  2 ，它们的方差对一  切   H 有 D（  1 ） ( )  D  2 ，则称估计  1 比估计  2 有效。 例 1 若  分布均匀 U[0， ]；  1 =2  为  的无偏， ( )  2 =  n 为  的渐进无偏   2 = 2 1  n n + 为无偏

D(61)=D(25)=4D5= (2)=y2 6n+2 n+2(n+1) (n+1)(n+2) D(。) n2 (n+DD2)=~1 n(n+2 当n≥2时6比θ有效 例1证明样本的一切线性组合中,X是EX=u的无偏估计中有效的估计量 证明:令Y=∑ax为u的无偏估计欲使E(Y)=u,则∑a=1 y=∑a2D(X)=∑a:i 由 Schwarz不等式知(∑xy)2≤∑x2)∑y2 1有n>a2≥1 所以x较y有效 方法二利用一元函数(或多元函数)求极值方法 例设有K台仪器,利用第i台仪器测量时,测定值总体的标准差为σ2(1=1 2,3,,,)用这些仪器独立地对某一物体量θ各观察一次,分别得 x1,x2,x设仪器无偏差(即EX1=0)

D（  1 ）=D（2  ）=4D  = 3n 2  E（ 2  2 ）=    1 ( ) 1 0 2 n y y n−  dy= 2 2 2   n + n D（  2 ）=[ 2 2 2 2 ( 1)  + − + n n n n ]= 2 2 (n +1)(n + 2) n D（   2 ）= ( ) ( 1) 2 2 2 D  n n + = 2 ( 2) 1  n n + 当 n  2 时   l 比  ˆ 有效。 例1 证明样本的一切线性组合中， X 是 EX=u 的无偏估计中有效的估计量 证明：令 Y = i n i i a x =1 为 u 的无偏估计 欲使 E（ Y ）=u， 则 1 1  = = n i ai D y = = n i ai D X i 1 2 ( ) = = n i ai 1 2 2  由 Schwarz 不等式知（ = n i i i x y 1 ） 2   = =  n i n i i i x y 1 1 2 2 ( ) 令 x i =a i yi =1 有 n  + n i i a ! 2  1 n a i 1  2  所以 x 较 y 有效 方法二 利用一元函数（或多元函数）求极值方法 例 设有 K 台仪器，利用第 i 台仪器测量时，测定值总体的标准差为 2  （I=1， 2，3，，，，，，） 用这些仪器独立地对某一物体量  各观察一次，分别得 k x , x ,,,,,, x 1 2 设仪器无偏差（即 EX i = ）

问aa2a32,.k应取何值时,使=∑ax,估计O时,O为无偏的,且D(O) 最小 解:由E(0)=0可知∑ 时(2)D(6)= 令 g(a,,a,,,;,,,a 归结为求多元函数g(a1ak)在∑a1-1条件下的最小值,作 Lagrange 函数L(a1 a1ak)=2∑a,-1) aL =2a2a,-=0 令 =2a2a4-1=0 OL a=2a-1=0 =∑则 当a 0时b为有效估计 二Rao- Cramer不等式, 设525n为取自具有概率函数f(x,O),O∈H=a0}与O无关

问 a a a aK , ,,,,,, 1 2 3 应取何值时，使  ˆ == n i i i a x 1 估计  时，  ˆ 为无偏的，且 D（  ˆ ） 最小。 解：由 E（  ˆ ）= 可知 1 1  = = n i ai 时（2）D（  ˆ ）== k i ai i 1 2 2  令 g（a 1 ，a 2 ，，，，，，a k ）=a 2 1 2 1 +，，，+a 2 2 k k 归结为求多元函数 g（a 1。。。。。。a k ）在 = − k i ai 1 1 条件下的最小值，作 Lagrange 函数 L（a 1。。。。。。a k ，  ）=g（a 1。。。。。。a k ）= = − k i ai 1  1 ） 令 = = − =   = − =   = − =   k i i k k a L a a L a a L 1 2 1 2 1 1 0 2 0 .............................. 2 0      2 1 2 2 ................. 2 k k a a     = = 令 1 1 2 2 0 ] 1 [ − = =  k i  i  则 2  = 2 0 当 a 1 = 2 2 0 2 1 2 0 ........ K aK     = 时  ˆ 为有效估计， 二 Rao---Cramer 不等式， 设    n ....... 1 2 为取自具有概率函数 f（x， ），   H=  a   b 的母体  的子样，又 ( , )  = u  1  n 是 g（  ）的一个无偏估计，满足正则条件： (1) 集合 S 0 = x f (x,)  0 与  无关

g(0)与 存在且对一切O∈h f(, e)dx 可(x,O) 品∫∫(x1x2…x,)∏(x,0)t 「-∫xx2-x)∏x,0) [g'(e) (3)令D2ml() 等式成立条件为:彐不倚赖于5525n但可能依赖于的常数k 使ybeg/(5:O) =k(7-g(6) 证:I(0)=+∞或Dn=+∞,不等式显然成立, En=「-xx2xn∏(xO),=g(,(的无偏性) 由正则条件(1),(2)知 g(O)=「-.「 f(xi, elx 由于f(x0)为5的密度函数,「f(x,O)dk,=1 「f(x2O)dhx,=0 r alog f(x, 0) 而 f(x, 0)dx a6L_5(x 0)dx, =0 且有g( relog f(x1,6) f(x,6)x1=0(i=1,2,,n) alog f(x, 0)

(2) g（  ）与  f 存在且对一切  h dx f x f x dx     =       ( , ) ( , ) .     ... u(  x 1 ,x 2 ,…x n ) = n i f xi dxi 1 ( , ) =   ... ( ... ) 1, 2, n u x x x   [ i n i f (xi , )]dx 1   = (3) 令 ( ) [ ( )] , 2    nI g D  等式成立条件为：  不倚赖于 2, , , ...    n 但可能依赖于的常数 k 使  = −   ( ( )) log ( ) ,      k g f i 证： I( ) = + 或 D = + ，不等式显然成立，   = = = n i E u x x xn f xi dxi g 1 1, 2, ) ,  ... ( ... (  ) ( )  ，（  的无偏性） 由正则条件（1），（2）知     =  = i n i g u x x xn f xi dx 1 1, 2, , ( ) ... ( ... ) [ ( , )]   ， 由于 ( ) f xi. 为  i 的密度函数， ( , ) = 1  + − i dxi f x   + − =    f (xi, )dxi 0  而    + − + − =   =   =   ( , ) 0 ( ) . ( ) log ( , ) , i i i i i i i dx f x dx f x f x dx f x        且有  + − =   ( , ) 0 log ( , ) ( ). i i i f x dx f x g     ( i = 1,2,...n) )   =  =  = n i i n i i f x f x 1 1 . ( , ) log ( , )   