浙江大学：《概率论与数理统计》课程教学资源（电子讲义，第三版）第十七讲 参数的点估计

第十七讲参数的点估计 重点:矩法估计、极大似然估计 难点:极大似然估计 在很多场合我们凭经验能知道总体的分布形式,但分布函数中的某些参数是未知的,这时我 们就要利用样本资料对这些参数进行估计,如何利用样本资料求这些参数的近似值,就是这讲课我 们要解决的问题。 、参数估计含义 假设总体的分布类型已知,但其所含的某些参数未知,利用样本资料,对这些未知参数进行 估计称为参数估计。参数估计又分为点估计和区间估计,这次课我们讲点估计及其评价标准 点估计含义 设总体X的分布函数F(x,O)形式已知,0是未知参数,x1,X2…,Xn是总体X的一个样本, x1,x2…,xn是相应的样本观测值,点估计就是构造一个适当的统计量(X1,X2,…,Xn),用它的观测 值(x1,x2…,xn)作为未知参数的近似值,称B(X1x2…,Xn)为0的估计量,称(x,x2,…,xn)为0的 估计值。点估计主要有矩法估计和极大似然估计,下面我们就依次学习这两种方法。 、矩估计法 矩估计法定义:设总体X的分布律为P{X=x=P(xO1,02…,Ok),x∈Rx或概率密度为 f(x,B1,02,…,k),61,2…,6k为待估未知参数,总体的前k阶矩 xp 出=E(X)=1x∈Rx xf(x,B1,2,…,k)

第十七讲 参数的点估计 重点：矩法估计、极大似然估计 难点：极大似然估计 在很多场合我们凭经验能知道总体的分布形式，但分布函数中的某些参数是未知的，这时我 们就要利用样本资料对这些参数进行估计，如何利用样本资料求这些参数的近似值，就是这讲课我 们要解决的问题。 一、参数估计含义 假设总体的分布类型已知，但其所含的某些参数未知，利用样本资料，对这些未知参数进行 估计称为参数估计。参数估计又分为点估计和区间估计，这次课我们讲点估计及其评价标准。 二、点估计含义 设总体 X 的分布函数 F(x, ) 形式已知，θ是未知参数， X X Xn , , , 1 2  是总体 X 的一个样本， n x , x , , x 1 2  是相应的样本观测值，点估计就是构造一个适当的统计量 ( , , , ) ˆ  X1 X 2  X n ，用它的观测 值 ( , , , ) ˆ 1 2 n  x x  x 作为未知参数的近似值，称 ( , , , ) ˆ  X1 X 2  X n 为θ的估计量，称 ( , , , ) ˆ 1 2 n  x x  x 为θ的 估计值。点估计主要有矩法估计和极大似然估计，下面我们就依次学习这两种方法。 三、矩估计法 1． 矩估计法定义：设总体 X 的分布律为 P{X = x} = P(x,1 , 2 ,  , k ), x  RX 或概率密度为 ( , , , , ) 1 2 k f x     ，   k , , , 1 2  为待估未知参数，总体的前 k 阶矩        = =  −  ( , , , , ) ( , , , , ) ( ) 1 2 1 2 k l x R k l l l x f x x P x E X X          ，l =1,2,  , k

存在,用样本矩4=x作为总体矩m=E(x)的估计量/=12,…,k,用样本矩的连续函数 g(4,A2,…,4k)作为总体矩的连续函数g(m1,2…,k)的估计量,这种估计方法称为矩估计法 2.做法: (1)找出待估参数6,02…,0k,写出总体分布,求出总体前k阶矩,l=12,…,k (2)令山=,1=12…k,得关于,2,…,的方程组。解方程组得61,a2,…,Ok的估计量 6=6(41…,4),称1=6(4,…,4k)为61的矩估计量,=12…k 注意:有几个要估计的参数就求出总体的前几阶矩。 3.例题 例1设总体X~(0-1)分布,参数为p,求p的矩估计量 解:X的分布律为PX=x}=p2(1-p)2x=0,1,E(X)=p,令E(X)=A,得p=F 应用1:口袋中的黑白棋子中黑子的比例为p,0,1,0,0,0,1,0,0,0,0为样本值,则p的矩估计值 为p=x=2/10=0.2 应用2:在池塘内捞1000条鱼做上记号放回,过一段时间再捞1000条鱼,已知其中有5条鱼有 记号,则p的矩估计值为p=x=5/1000=0005,从而鱼的尾数n的矩估计值为 n=1000÷p=1000÷0.005=20000 例2设总体的数学期望为μ,方差为σ2,但为未知参数,求μ和σ2矩估计量 解:山1=E(x)=,山2=E(x2)=2+a2,A1=∑X,A2=∑X2 解方程组{=4 u=X 得 12+a=A2 4.矩法估计的优缺点 优点:(1)方法简单(2)对大样本精度高 缺点:对小样本精度低 有没有无论样本容量大小,精度都比较好的参数估计方法呢?有。下面我们讲的极大似然估计就是 这样的方法 四、极大似然估计

存在，用样本矩 =  = n i l l Xi n A 1 1 作为总体矩 ( ) l  l = E X 的估计量 l =1,2,  , k ，用样本矩的连续函数 ( , , , ) g A1 A2  Ak 作为总体矩的连续函数 ( , , , ) g 1  2   k 的估计量，这种估计方法称为矩估计法 2． 做法： （1）找出待估参数    k , , , 1 2  ，写出总体分布，求出总体前 k 阶矩 l ， l =1,2,  , k （2）令  l = Al ， l =1,2,  , k ，得关于    k , , , 1 2  的方程组。解方程组得    k , , , 1 2  的估计量 ( , , ) ˆ ˆ  l = l A1  Ak ，称 ( , , ) ˆ ˆ  l = l A1  Ak 为  l 的矩估计量,l =1,2,  , k 注意：有几个要估计的参数就求出总体的前几阶矩。 3． 例题 例 1 设总体 X～(0-1)分布,参数为 p，求 p 的矩估计量 解：X 的分布律为 P{X=x}=px (1-p)1-x x=0,1,E(X)=p,令 E(X)=A1,得 p ˆ = X 应用 1：口袋中的黑白棋子中黑子的比例为 p，0,1,0,0,0,1,0,0,0,0 为样本值，则 p 的矩估计值 为 p ˆ = x = 2 /10 = 0.2 应用 2： 在池塘内捞 1000 条鱼做上记号放回，过一段时间再捞 1000 条鱼，已知其中有 5 条鱼有 记号， 则 p 的 矩 估 计 值 为 p ˆ = x = 5/1000 = 0.005 , 从而鱼的尾数 n 的矩估计值为 n ˆ =1000  p ˆ =1000  0.005 = 200000 例 2 设总体的数学期望为μ，方差为σ2，但为未知参数，求μ和σ2矩估计量   = = = = = = + = = n i i n i i X n X A n E x E X A 1` 2 2 1` 1 2 2 2 1 2 1 1 解： ( ) ,  ( )   , ，     − = =    + = = 2 2 2 2 2 1 1 ˆ ˆ S n n X A A      解方程组 ，得 4．矩法估计的优缺点 优点：（1）方法简单（2）对大样本精度高 缺点: 对小样本精度低 有没有无论样本容量大小，精度都比较好的参数估计方法呢？有。下面我们讲的极大似然估计就是 这样的方法。 四、极大似然估计

1.极大似然估计的统计思想 例3口袋中的黑棋子所占的比例为0.1或0.9,从中任取一个棋子为白子,问黑棋子的比例为多少? 解:设黑子比例为p,用A表示取白子,则取到白子的概率为P(A)=1-p,当p=0.1时P(A)=1p=0.9 当p=0.9时P(A)=1-p=0.1,由于作一次试验取白子事件A就发生了,所以A是大概率事件,因此p 应是使A概率很大的值,由此得到极大似然估计的统计思想:参数θ应该是使在一次试验中就发生 的事件概率很大的值 2.极大似然函数、极大似然估计定义 总体为X,ⅪY,…M是总体X的一个样本,xx2,…xn是相应的样本观测值, O=(0,O2,…O4)为待估参数,参数的可能取值全体称为参数空间。参数空间记为e 若总体X为离散型随机变量,分布律为P{X=x}=x,),x∈R则 PX1=x,X2=x2…,Xn=xn}=∏f(x,) 称6中使PX1=x,X2=x2,…,Xn=xn}达到最大的6=0(x1,…,xn)为0的极大似然估计值 若总体X为连续型随机变量,密度函数为fx,B),x∈R则 d d d d Pix <X,<x1+—,x <X2<x2+, Xn<xn+}=d∏f(x, 称e中使∏f(x,O)达到最大的a=(x,…x)为0的极大似然估计值 令L(x,…,x,O)=∏f(x,)称其为似然函数 称e中使L(x1…,xn,O)= (x,O)达到最大的=6(x…x)为θ的极大似然估计值,称 6=6(X1,…,xn)为0的估计量 3.极大似然估计的步骤 (1)写出总体的X的分布律或概率密度函数fx,日)

1． 极大似然估计的统计思想 例3 口袋中的黑棋子所占的比例为0.1或0.9，从中任取一个棋子为白子，问黑棋子的比例为多少？ 解：设黑子比例为 p，用 A 表示取白子，则取到白子的概率为 P(A)=1-p，当 p=0.1 时 P(A)=1-p=0.9； 当 p=0.9 时 P(A)=1-p =0.1,由于作一次试验取白子事件 A 就发生了，所以 A 是大概率事件，因此 p 应是使 A 概率很大的值，由此得到极大似然估计的统计思想：参数θ应该是使在一次试验中就发生 的事件概率很大的值 2． 极大似然函数、极大似然估计定义 总体为 X ， X1,X2,…,Xn 是总体 X 的一个样本， x1,x2,…,xn 是相应的样本观测值 , ( , , , )  = 1  2   k 为待估参数，参数的可能取值全体称为参数空间。参数空间记为  若总体 X 为离散型随机变量，分布律为 P{X=x}=f(x,θ),x∈R 则 = = = = = n i n n i P X x X x X x f x 1 1 1 2 2 { , ,, } ( , ) 称  中使 { , , , } 1 1 2 2 n n P X = x X = x  X = x 达到最大的 ( , , ) ˆ ˆ 1 n  = x  x 为θ的极大似然估计值 若总体 X 为连续型随机变量，密度函数为 f(x,θ), x∈R 则 = −   + −   + −   + = n i i n n n n d f x d X x d x d X x d x d X x d P x 1 1 1 1 2 2 2 } ( , ) 2 2 , , 2 2 , 2 2 {   称  中使 = n i i f x 1 ( , ) 达到最大的 ( , , ) ˆ ˆ 1 n  = x  x 为θ的极大似然估计值 令  称其为似然函数 = = n i n i L x x f x 1 1 ( ,, , ) ( , ) 称  中使 = = n i n i L x x f x 1 1 ( ,, , ) ( , ) 达到最大的 ( , , ) ˆ ˆ 1 n  = x  x 为θ的极大似然估计值，称 ( , , ) ˆ ˆ  = X1  X n 为θ的估计量 3． 极大似然估计的步骤 （1）写出总体的 X 的分布律或概率密度函数 f(x,θ)

2)写出似然函数L(x1…,xn,)=f(x,0) (3)对似然函数取对数hL(x,…x20O)=hn∏1f(x,O) (4)对hL(x1,…,xn,O)求(偏)导得似然方程 (5)解似然方程,得极大似然估计值6=6(x1,…,xn) 注意:最关键的一步就是写出极大似然函数,掌握写似然函数的窍门。 4.例题 例4设总体X~(0-1)分布,参数为p,求p的极大似然估计量 解:X的分布律为P{X=x}=p(1-p)x=0,1 ∑ 似然函数为L(x…,x,P)=∏P3(1-p)=p(1-p)=p(1-p) In L(x1,. , xn, p)=nx In p+(n-nx)In(1-p) 解似然方程hL(x1,…,xn,p) n-nxx 得p P 所以p的极大似然估计量为p=X 例5某批产品的寿命X服从参数为的指数分布,Ⅺ,石,…粉是总体X的一个样本,求λ的极大似 然估计量 解:X的密度函数为 x≥0 f(x,2)= 0x<0 似然函数为1(x…,==2=xe nL(x1,…,xn,A)=nn-nx 解似然方程解似然方程,hL(x1,…xn,1)=-mx=0,得λ 所以λ的极大似然估计量为A=1/X 例6全国所有成年男子的身高X-N(H,O2),1,Y,…H是总体X的一个样本,求,O2的极大似

= = n i n i L x x f x 1 1 （2）写出似然函数 ( ,, , ) ( , ) = = n i n i L x x f x 1 1 （3）对似然函数 取对数 ln ( ,, , ) ln ( , ) （4）对 ln ( , , , ) L x1  xn  求（偏）导得似然方程 （5）解似然方程，得极大似然估计值 ( , , ) ˆ ˆ  = X1  X n 注意：最关键的一步就是写出极大似然函数，掌握写似然函数的窍门。 4． 例题 例 4 设总体 X～(0-1)分布,参数为 p，求 p 的极大似然估计量 解：X 的分布律为 P{X=x}=px (1-p)1-x x=0,1 nx n nx n x n x i x x L x xn p p p p p p p n i i n i i i i − − = − = −  −  = − =  = = ( , , , ) (1 ) (1 ) (1 ) 1 1 1 1 似然函数为 1  ln ( , , , ) ln ( )ln(1 ) L x1  xn p = nx p + n − nx − p p x p n nx p nx L x x p dp d n 0 ˆ ˆ 1 ln ( , , , ) 1 = = − − 解似然方程  = − ，得 所以 p 的极大似然估计量为 p ˆ = X 例 5 某批产品的寿命 X 服从参数为  的指数分布，X1,X2,…,Xn 是总体 X 的一个样本，求  的极大似 然估计量 解：X 的密度函数为       = − 0 0 0 ( , ) x e x f x x   n n x x n n i x n L x x e e e n i i i        − − = − =  = =  =1 1 1 似然函数为 ( ,, , ) L x x n n x ln ( 1 ,  , n ,) = ln  −  解似然方程 x nx nx L x x dp d n 1 ˆ ln ( 1 , , , ) = − = 0  =  解似然方程   ，得 所以  的极大似然估计量为  ˆ =1/ X 例 6 全国所有成年男子的身高 X~N(μ,σ2 )，X1,X2,…,Xn 是总体 X 的一个样本，求μ,σ2 的极大似

然估计量 解:X的密度函数为 2丌G 做然函数为L(x元,)1=a2=g)2 hnL(x1…x,A2)=1(2z)2-ho2(x,-1)2 解似然方程组 ∑(x1-4) hL(x1,…,xn,A,a2)= ∑(x1-/)2 In L(x 0 得=xa2=n-s2 所以A口2的极大似然估计量为=XG2=n-1s 五、估计量的评价标准 1.无偏性 定义:0为待估参数,日=B(x1,X2,…,Xn)为0的估计量,若E(O)=0则称=6(x1X2…,Xn)为0的 无偏估计量 例7证明为总体数学期望E(X)的无偏估计量,S2为总体方差D(x)的无偏估计量 2.有效性 定义:61=61(X1,X2,…,Xn)和62=62(X1,X2…,Xn)为θ的两个无偏估计量,若D(G1)<DO2)则称 61=61(X1X2,…,Xn)是比a2=的2(Xx1,X2,…,xn)有效的无偏估计量 例8证明x是线性无偏估计量C1X1+C2X2+…+CnXn,∑C1=1中最有效的

然估计量 解：X 的密度函数为 2 2 2 ( ) 2 2 1 ( , , )      − − = x f x e 2 1 2 2 2 2 ( ) 2 2 2 1 2 ( ) 2 1 (2 ) ( ) 2 1 ( , , , , )           = = = − − − − = − −  n i i i x n n n i x n 似然函数为 L x  x e e 2 1 2 2 2 2 1 2 ( ) ln 2 ln ( , , , , ) ln( 2 )        − = − − = − n i i n n x n L x  x 解似然方程组          =  − = − +   =  − =   = = 0 2 ( ) 2 ln ( , , , , ) 0 ( ) ln ( , , , , ) 4 1 2 2 2 2 1 2 2 1 1            n i i n n i i n x n L x x x L x x   2 1 2 ˆ , ˆ s n n x − 得  =  = 2 2 1 2 , ˆ , ˆ S n n X − 所以   的极大似然估计量为  =  = 五、估计量的评价标准 1． 无偏性 定义：θ为待估参数， ( , , , ) ˆ ˆ  = X1 X2  Xn 为θ的估计量，若 ) = ˆ E( 则称 ( , , , ) ˆ ˆ  = X1 X2  Xn 为θ的 无偏估计量 例 7 证明 X 为总体数学期望 E(X) 的无偏估计量, 2 S 为总体方差 D(X) 的无偏估计量 2． 有效性 定义： ( , , , ) ˆ ˆ 1 =1 X1 X 2  X n 和 ( , , , ) ˆ ˆ  2 = 2 X1 X 2  X n 为θ的两个无偏估计量，若 ) ˆ ) ( ˆ ( D  1  D  2 则称 ( , , , ) ˆ ˆ 1 =1 X1 X 2  X n 是比 ( , , , ) ˆ ˆ  2 = 2 X1 X 2  X n 有效的无偏估计量 例 8 证明 X 是线性无偏估计量 C1X1 +C2X2 ++Cn Xn ， 1 1  = = n i Ci 中最有效的

3.一致性 定义:6=6(x1,x2,…,xn)为θ的估计量,若-P丶日则称6=(x1x2…,xn)为0的一致估计量

3． 一致性 定义： ( , , , ) ˆ ˆ  = X1 X2  Xn 为θ的估计量，若  ⎯⎯→ p ˆ 则称 ( , , , ) ˆ ˆ  = X1 X2  Xn 为θ的一致估计量