《概率论数理统计》课程PPT教学课件：§5 总体参数的估计

§5总体参数的估计

§5 总体参数的估计

从本章起我们开始介绍统计推断,它是数理统计的一个重要组 成部分。所谓统计推断就是利用样本(子样)提供的信息对总体的 某些统计特性进行估计和判断,从而认识总体。统计推断分为两大 类,一类是参数估计,另一类是假设检验。本章介绍参数估计。 设总体X的分布函数的类型已知,但是其中有一个或多个参数未 知。设X1,X2,Xn为总体X的容量为n的样本。参数估计就是讨论如 何由样本X1,X2,Xn提供的信息对未知参数作出估计,以及讨论如 何建立一些准则对作出的估计进行评价。一般是建立适当的统计量 (X12xX2,…,Xn),当样本观察值为x1,x2“,x时,如果以 (x12x2,…,xn)作为总体分布中未知参数的估计值,这样的 估计方法叫做点估计。并称(X12X2…,Xn)为0的估计 量。如果总体分布函数中有个未知参数,则要建立个统计量作为t 个未知参数的估计量 点估计的方法很多,本章介绍最常见的矩法估计与极大似然估 计

从本章起,我们开始介绍统计推断,它是数理统计的一个重要组 成部分。所谓统计推断就是利用样本（子样）提供的信息对总体的 某些统计特性进行估计和判断，从而认识总体。统计推断分为两大 类，一类是参数估计，另一类是假设检验。本章介绍参数估计。 设总体X的分布函数的类型已知，但是其中有一个或多个参数未 知。设X1 ,X2 ,┄,Xn为总体X的容量为n的样本。参数估计就是讨论如 何由样本X1 ,X2 ,┄,Xn提供的信息对未知参数作出估计，以及讨论如 何建立一些准则对作出的估计进行评价。一般是建立适当的统计量 ，当样本观察值为x1 ,x2 ,┄,xn时，如果以 作为总体分布中未知参数θ 的估计值，这样的 估计方法叫做点估计。并称 为θ 的估计 量。如果总体分布函数中有t个未知参数，则要建立t个统计量作为t 个未知参数的估计量。 点估计的方法很多，本章介绍最常见的矩法估计与极大似然估 计。( , , , ) ˆ  X1 X2  Xn ( , , , ) ˆ 1 2 n  x x  x ( , , , ) ˆ  X1 X2  Xn

§5.1点估计 本节要求理解参数的点估计、估计量与估计值的概 念;掌握矩估计法(一阶、二阶)和极大似然估计法; 了解估计量的无偏性,有效性(最小方差性)和一致性 (相合性)的概念,并会验证估计量的无偏性。 设总体X的分布函数的形式为已知,但它的 个或多个参数为未知,借助于总体X的一个样 本来估计总体未知参数的值的问题称为参数的点 估计问题。 例1电话总机在某一段时间内接到的呼唤次 数服从泊松分布,参数λ为未知。现观察一分钟内 接到的呼唤次数,如果观察40次,获得数据如下 呼唤叫次数/分k01234567 观察次数 5101283200 求泊松分布中未知参数入的估计

§5.1 点估计 本节要求理解参数的点估计、估计量与估计值的概 念；掌握矩估计法（一阶、二阶）和极大似然估计法； 了解估计量的无偏性，有效性（最小方差性）和一致性 （相合性）的概念，并会验证估计量的无偏性。 设总体X的分布函数的形式为已知，但它的 一个或多个参数为未知，借助于总体X的一个样 本来估计总体未知参数的值的问题称为参数的点 估计问题。 例1 电话总机在某一段时间内接到的呼唤次 数服从泊松分布,参数λ为未知。现观察一分钟内 接到的呼唤次数,如果观察40次,获得数据如下: 呼唤叫次数/分 k 0 1 2 3 4 5 6 7 观察次数 nk 5 10 12 8 3 2 0 0 求泊松分布中未知参数λ 的估计

点估计问题的一般提法如下:设总体X的分布 函数F(x,)的形式为已知,0是待估参数 X1,X2,Xn是X的一个样本,x1,x2,xn是相应 的一个样本值。点估计问题就是要构造一个适当 的统计量(X1X2…Xn)用它的观察值(x1,x2,…x) 作为未知参数的近似值。我们称O(X1,X2…Xn) 为θ的估计量,称θ(x1,x2…,xn)0的估计值。 由于估计量是样本的函数,因此对于不同的样本 值,0的估计值一般是不相同的。 如例1,我们用样本均值来估计总体均值。即有估计 量=A=n∑X,n=40估计值==n2x=2 下面介绍两种常用的构造估计量的方法:矩估计法和 最大似然估计法

点估计问题的一般提法如下:设总体X的分布 函数F(x,θ) 的形式为已知, θ 是待估参数。 X1 ,X2 ,┅,Xn 是X的一个样本，x1 ,x2 ,┅,xn 是相应 的一个样本值。点估计问题就是要构造一个适当 的统计量 ，用它的观察值 作为未知参数θ的近似值。我们称 为θ的估计量，称 为θ的估计值。 由于估计量是样本的函数，因此对于不同的样本 值， θ的估计值一般是不相同的。 如例1，我们用样本均值来估计总体均值。即有估计 量 估计值 下面介绍两种常用的构造估计量的方法：矩估计法和 最大似然 估计法。 ( , , , ) ˆ  X1 X2  Xn ( , , , ) ˆ  X1 X2  Xn ( , , , ) ˆ 1 2 n  x x  x ( , , , ) ˆ 1 2 n  x x  x , 40 1 ˆ ˆ 1 = =  = = X n n n k   k 2 1 ˆ ˆ 1 = =  = = n k k x n  

§5.1.1矩估计法 设X1X2,Xn是总体X的一个样本,假设总体X的 前k阶矩μ=E(X)存在。一般来说,它们是未知参数 01,02,0的函数。 X1+X+…X 基于样本矩A 依概率收敛于相 应的总体矩μ(i=1,2,,k),样本矩的连续函数依概率收 敛于相应的总体矩的连续函数,我们就用样本矩作为相 应的总体矩的估计量,而以样本矩的连续函数作为相应 的总体矩的连续函数的估计量。这种估计方法称为矩估 计法。由矩估计法得到的未知参数的估计量称为矩估计 量,矩估计量的观察值称为矩估计值。 例2设总体X服从泊松分布π(λ),λ是未知参数, X1,X2,Xn是总体X的一个样本,试求未知参数入的矩估 计量

§5.1.1 矩估计法 设X1 ,X2 ,┅,Xn 是总体X的一个样本，假设总体X的 前k阶矩μi=E(Xi ) 存在。一般来说，它们是未知参数 θ1 ,θ2 ,…,θk 的函数。 基于样本矩 依概率收敛于相 应的总体矩μi (i=1,2,…,k) ，样本矩的连续函数依概率收 敛于相应的总体矩的连续函数，我们就用样本矩作为相 应的总体矩的估计量，而以样本矩的连续函数作为相应 的总体矩的连续函数的估计量。这种估计方法称为矩估 计法。由矩估计法得到的未知参数的估计量称为矩估计 量，矩估计量的观察值称为矩估计值。 例2 设总体X服从泊松分布π(λ), λ是未知参数, X1 ,X2 ,┅,Xn 是总体X的一个样本,试求未知参数λ的矩估 计量。 n X X X A i n i i i + + = 1 2

例3设X1X2,Xn是总体X的随机样本,且总体的二 阶矩存在。试求总体均数u和总体方差02的矩估计量 解因为 ∫A=E(X)=H 2=E(X2)=V(X)+[E(X)2=a2+ 解得 =11 分别以A1,A2代替u1,2,得u和02的矩估计量分别 为 u=A=X ∑ X-X ∑ (X1-X) 所得结果表明,总体均值与方差的矩估计量不因不同的 总体分布而异

例3 设X1 ,X2 ,┅,Xn 是总体X的随机样本,且总体的二 阶矩存在。试求总体均数μ和总体方差σ2 的矩估计量。 解 因为 解得 分别以A1 ,A2 代替μ1 ,μ2 ，得μ和σ2 的矩估计量分别 为 所得结果表明，总体均值与方差的矩估计量不因不同的 总体分布而异 .    = = + = + = = 2 2 2 2 2 1 ( ) ( ) [ ( )] ( )      E X V X E X E X    = − = 2 2 1 2 1      2 1 2 1 2 2 2 1 2 1 ( ) 1 1 ˆ ˆ ,   = = = − = − = − = = n i i n i i X X n X X n A A A X  

矩估计法的基本思想是:如果总体中有k个未知参数可 以用前k阶样本矩估计相应的前k阶总体矩,然后利用未 知参数与总体矩的函数关系,求出参数的估计量,即为 矩估计量。 具体作法是:令总体矩μ=A(样本矩),i=1,2,…,k, 得到一个包含k个未知参数0,02…,01的联立方程,从中 解出θ1,02,…,01,则这组解 ,02就作0,2… 0的矩估计量。其观察值就是矩估计值。 点估计的矩估计法是由皮尔逊( Pearson提出的,它直观、简便, 特别对总体数学期望和方差进行估计时不需要知道总体的分布。但 是它要求总体原点矩存在,而有些随机变量(如柯西分布)的原点 矩不存在,因此就不能用此法进行参数估计。此外,矩法估计有时 不唯一(如泊松分布中参数λ的矩法估计按例3有 元=X,元=∑(X1-H) 因为E(X)=(xX)=A),有时不合理(如离散型均匀分布中参数N的矩 估计量为X-1不一定为正整数,推导略);再者,它常常没有 利用总体分布函数提供的信息,因此很难保证它有优良的性质

矩估计法的基本思想是：如果总体中有k个未知参数可 以用前k阶样本矩估计相应的前k阶总体矩，然后利用未 知参数与总体矩的函数关系，求出参数的估计量，即为 矩估计量。 具体作法是：令总体矩μi=Ai (样本矩) ，i =1,2, …,k， 得到一个包含k个未知参数 θ1 ,θ2 ,…, θk 的联立方程，从中 解出θ1 ,θ2 ,…, θk ，则这组解 就作为θ1 ,θ2 ,…, θk 的矩估计量。其观察值就是矩估计值。 点估计的矩估计法是由皮尔逊(Pearson)提出的，它直观、简便， 特别对总体数学期望和方差进行估计时不需要知道总体的分布。但 是它要求总体原点矩存在，而有些随机变量（如柯西分布）的原点 矩不存在，因此就不能用此法进行参数估计。此外，矩法估计有时 不唯一（如泊松分布中参数λ的矩法估计按例3有 因为E(X)=V(X)= λ),有时不合理（如离散型均匀分布中参数N的矩 估计量为 不一定为正整数，推导略）；再者，它常常没有 利用总体分布函数提供的信息，因此很难保证它有优良的性质。 = = = − n i Xi X n X 1 2 ( ) 1 ˆ ,  ˆ  2X −1    k ˆ , , ˆ , ˆ 1 2 

§5.12最大似然估计法 如果一事件发生的概率为p,且p只能取001或09。现在在连续 两次试验中该事件都发生了,显然认为p=0.9是合理的。两人向同 目标各打一枪,一人击中目标,另一人没击中目标,认为击中目标 者比没击中目标者射击技术好也是合理的,这些都是极大似然估 计法的基本思想。即使样本获得最大概率的参数值作为未知参数的 估 计值。 若总体X属于离散型,其分布律P{X=x}=p(x,0),0∈的形式为已 知,0为待估参数,是参数的可能取值范围。设X,Yx“yX是来 自总体X的样本,则X1X2,Xn的联合分布律为 P(x,0) 又设x1,x2,x是相应于样本X1,X2,Xn的一个样本值。易知样本 1x2-xn取到观察值x1x2;xn的概率,亦即事件 P{X=x1X2=x2…,xnxn}发生的概率为 L()=L(x1,x2…,xn:0)=∏P(x,),B∈ 这一概率随θ的取值而变化,它是0的函数,L(0)称为样本的似然函 数(注意,这里x1,x2“,x1是已知的样本值,它们都是常数)

§5.1.2 最大似然估计法 如果一事件发生的概率为p，且p只能取0.01或0.9。现在在连续 两次试验中该事件都发生了，显然认为p=0.9是合理的。两人向同一 目标各打一枪，一人击中目标，另一人没击中目标，认为击中目标 者比没击中目标者射击技术好也是合理的， 这些都是极大似然估 计法的基本思想。即使样本获得最大概率的参数值作为未知参数的 估 计值。 若总体X属于离散型，其分布律P{X=x}=p(x,θ),θ∈Θ 的形式为已 知，θ为待估参数，Θ是参数θ的可能取值范围。设X1 ,X2 ,┅,Xn是来 自总体X的样本，则X1 ,X2 ,┅,Xn的联合分布律为 又设x1 ,x2 ,┅,xn是相应于样本X1 ,X2 ,┅,Xn的一个样本值。易知样本 X1 ,X2 ,┅,Xn 取到观察值x1 ,x2 ,┅,xn的概率，亦即事件 P{X1=x1 ,X2=x2 ,…,Xn=xn } 发生的概率为 这一概率随θ的取值而变化，它是θ的函数，L(θ)称为样本的似然函 数（注意，这里x1 ,x2 ,┅,xn是已知的样本值，它们都是常数） = n i i P x 1 ( , ) = = =  n i n i L L x x x P x 1 1 2 ( ) ( , ,, ; ) ( , ) , 

关于最大似然估计法,我们有以下的直观想法:现在已经取到 样本值x1x2 这表明取到这一样本值的概率L(0)比较大 我们当然不会考虑那些不能使样本x1,x2,x1出现的0∈⊙作为0的估 计,再者,如果已知当0=∈时使L(0取很大值,而0中的其它0 值使L(O)取很小值,我们自然认为0作为未知参数0的估计值,较为 合理。由费希尔( R.A. Fisher)引进的最大似然估计法,就是固定样 本观察值x1,x2xn,在0取值的可能范围0内挑选使似然函数 L(x1,x2,x;)达到最大的参数值日,作为参数0的估计值。即使 L(x12x2,…,xn;6)=maxL(x1,x2…xn;) 6∈ 这样得到的O与样本值xx2“x有关,常记为(x1,x2,…x) 称为参数0的最大似然估计值,而相应的统计量 称为参数θ的最大似然估计量。 6(X1,X2…Xn) 这样,确定最大似然估计量的就归结为微分学中的求最大值的 问题了 在很多情形下,p(x,0)关于0可微,这时0可从方程 L(6)=0 解得。又因L(0)与nL(0)在同一0处 d

关于最大似然估计法，我们有以下的直观想法：现在已经取到 样本值x1 ,x2 ,┅,xn了，这表明取到这一样本值的概率L(θ)比较大。 我们当然不会考虑那些不能使样本x1 ,x2 ,┅,xn出现的θ∈Θ 作为θ的估 计，再者，如果已知当θ=θ0∈Θ 时使L(θ)取很大值，而Θ中的其它θ 值使L(θ)取很小值，我们自然认为θ0作为未知参数θ的估计值，较为 合理。由费希尔（R.A.Fisher)引进的最大似然估计法，就是固定样 本观察值x1 ,x2 ,┅,xn，在θ取值的可能范围Θ内挑选使似然函数 L(x1 ,x2 ,…,xn ;θ) 达到最大的参数值 ，作为参数θ的估计值。即使 这样得到的 与样本值x1 ,x2 ,┅,xn有关，常记为 ， 称为参数θ的最大似然估计值，而相应的统计量 称为参数θ的最大似然估计量。 这样，确定最大似然估计量的就归结为微分学中的求最大值的 问题了。 在很多情形下，p(x,θ)关于θ可微，这时θ可从方程 解得。又因L(θ)与ln L(θ)在同一θ处  ˆ max ( , , , ; ) ˆ ( , , , 1 2  1 2   n n L x x  x L x x  x  ； ）= ( , , , ) ˆ 1 2 n  x x  x ( , , , ) ˆ  X1 X2  Xn ( ) = 0  L d d  ˆ

取到极值,因此,的最大似然a 估计值0也可以从方程 nL()=0 de 求得,而从后一方程求解往往比较方便,上式称为对数似然方程 例4设X-B(1,p)。X1,X2,Xn是来自总体X的一个样本,试求 参数p的最大似然估计量 解设x1,x2x是相应于样本X1X2,Xn的一个样本值。X的分 布律为 P{X=x}=p(1-p),x=0,1 故似然函数为()=∏p(1-p)x=p2(1-)∑n 血L(p)=∑x)hp+(m-∑x)h(1-p) 而 令血L(p)=C∑x)P-(n-∑x)(1-p)=0 解得p的最大似然估计值 ∑x=x p的最大似然估计量P=∑X=X。它与矩估计量是相同的

取到极值，因此，θ的最大似然 估计值θ也可以从方程 求得，而从后一方程求解往往比较方便，上式称为对数似然方程。 例4 设X~B(1,p)。X1 ,X2 ,┅,Xn 是来自总体X的一个样本，试求 参数p的最大似然估计量。 解 设x1 ,x2 ,┅,xn是相应于样本X1 ,X2 ,┅,Xn的一个样本值。X的分 布律为 故似然函数为 而 令 解得p的最大似然估计值 p的最大似然估计量 。它与矩估计量是相同的。 ln ( ) = 0  L d d { } (1 ) , 0,1. 1 = = − = − P X x p p x x x  −  = − = = = − = −  n i i n i i i i x n x n i x x L p p p p p 1 1 ( ) (1 ) (1 ) 1 1 ln ( ) ( )ln ( )ln(1 ) 1 1 L p x p n x p n i i n i =  i + − − = =   = = = − − − = n i i n i L p xi p n x p dp d 1 1 ln ( ) ( )/ ( )/(1 ) 0 = = = n i i x x n p 1 1 ˆ = = = n i Xi X n p 1 1 ˆ