上饶师范学院：《概率论与数理统计》课程教学资源（电子教案）第六章点估计 6.2 极大似然估计.doc_大学文库

§6.2极大似然估计极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章中重新提出，并且证明了这个方法一些性质。极大似然估计龙名称也是费歇的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A,B,C,。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。我们来看一个例子。（例题略）下面我们对连续型与离散型母体两种情形阐述极大似然估计。设51,52，…，5n为取自具有概率函数{f(x):0∈⊙}的母体5的一个子样。子样51,52，…，5n的联合概率函数在5：取已知观测值X,1,n时的值f(x:f(x;)…xn:)是8的函数。我们用L(0)=L(0:X1,…,Xn) 表示，称作这个子样的似然函数。于是 L(0)=L(0:x,…,xn)=fx:0)fx2;0)…fxn0)(68) 如果是离散型母体，L(0:X1,…,Xn)给出观测到(X1,X2，…，Xm 的概率。因此，可以把L(O:X1,…,Xn)看成为了观测到(X,,X2,…,Xn) 时出现什么样日的可能性的一个测度。所以我们只要寻找这样的观测值(X,,X2,·, Xn)的函数日=日(X1,…,Xn),以日代日使 (6.9) 成立。满足(6.9)式的0(X1，…,Xn)就是最可能产生X,…,Xn的参数0的值。我们称0(X1,…,Xn)为参数0的极大似然估计值，其相应的统计量52…，5) 称作参数O的极大似然估计量。如果5是连续型，f(x;),日∈中表示密度函数。于是子样(5，…，5n)落入点 X1…,Xm)的邻城内的概率为门f,8)A,同样是的函数。既然(X1…, Xm)在一次抽样中出现，当然可以认为子样(5，…，5)落在(X1,…，X,)的邻域内的概率达到最大。所以我们只要找出使∏(x,:O)△x,达到最大的0的值0 (X,,…,Xn)。由于△x,是不依赖于日的增量，我们也只须求出使得

§6.2 极大似然估计极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在 1912 年的文章中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是：一个随机试验如有若干个可能的结果 A，B，C，…。若在一次试验中，结果 A 出现，则一般认为试验条件对 A 出现有利，也即 A 出现的概率很大。我们来看一个例子。（例题略）下面我们对连续型与离散型母体两种情形阐述极大似然估计。设  1 ，  2 ，…，  n 为取自具有概率函数 f (x;):  的母体  的一个子样。子样  1 ， 2 ，…，  n 的联合概率函数在  i 取已知观测值 x i ，i=1，…n 时的值 ( ; ) f x1  ( ; ) f x2  … ( ;) n f x 是  的函数。我们用 L（  ）= L（  ；x 1 ，… ，x n ）表示，称作这个子样的似然函数。于是 L（  ）= L（  ；x 1 ，… ，x n ）= ( ; ) f x1  ( ; ) f x2  … ( ;) n f x （6.8）如果是离散型母体，L（  ；x 1 ，… ，x n ）给出观测到（x 1 ，x 2 ，… ，x n ）的概率。因此，可以把 L（  ；x 1 ，… ，x n ）看成为了观测到（x 1 ，x 2 ，… ，x n ）时出现什么样  的可能性的一个测度。所以我们只要寻找这样的观测值（x 1 ，x 2 ，… ， x n ）的函数  i  = i  （x 1 ，… ，x n ），以   代  使 L（  ；x 1 ，… ，x n ）=  sup L（  ；x 1 ，… ，x n ）（6.9）成立。满足（6.9）式的   （x 1 ，… ，x n ）就是最可能产生 x 1 ，… ，x n 的参数  的值。我们称   （x 1 ，… ，x n ）为参数  的极大似然估计值，其相应的统计量 ( , ) 1， n      称作参数  的极大似然估计量。如果  是连续型， ( ; ) f x1  ， ∈  表示密度函数。于是子样 ( , )  1，   n 落入点（x 1 ，… ，x n ）的邻域内的概率为 i n i i  f x x =1 ( ; ) ，同样是  的函数。既然（x 1 ，… ， x n ）在一次抽样中出现，当然可以认为子样 ( , )  1，   n 落在（x 1 ，… ，x n ）的邻域内的概率达到最大。所以我们只要找出使 i n i i  f x x =1 ( ; ) 达到最大的  的值   （x 1 ，… ，x n ）。由于 i x 是不依赖于  的增量，我们也只须求出使得

L（  ；x 1 ，… ，x n ）= i n i i  f x x =1 ( ; ) 达到最大值的，便可得到极大似然估计。综上所述知道，连续型母体的参数的极大似然估计同样可以用（6.8）与（6.9）两式表示。由于 lnx 是 x 的单调增函数，使 lnL   （x 1 ，… ，x n ）=  sup lnL（x 1 ，… ，x n ）（6.10）成立的   也使（6.9）成立，所以有时我们只要从（6.10）中求   就好了。（例题略）极大似然估计有一简单而有用的性质。性质设   为 ( ) f x1；  中参数  的极大似然估计，并且函数 u=u(  )具有反函数  =  （u），则 u  = u (   )是 u(  )的极大似然估计。这里  ∈  ，u 为 u(  )的值域。（证明略）极大似然估计量还有一个重要性质—渐近正态性，这对以后在大子样情形求参数的区间估计和进行假设检验时很有用。杜克首先提出这一性质的证明。下面我们对连续型随机变量以定理的形式叙述这一性质。对离散型随机变量，只要以求和号代积分号，便可得到类似的定理。定理 6.1 设随机变量  具有密度函数 f (x, ) ，未知参数  ∈  ， 为非退化区间，假定（1）对于任何一个  ∈  和任一个数 x 偏导数   log f ， 2 2 log   f 和 3 3 log   f 存在；（2）对于  中每一个  值，不等式 ( ) 1 F x f     ， ( ) 2 2 2 F x f     ， ( ) 3 3 3 F x f     （6.19）成立，其中函数 F ( ) 1 x ，F ( ) 2 x 在整个数轴上（−，  ）可积，而函数 F ( ) 3 x 满足不等式  F x f x； dx  M  − ( ) ( ) 3  （6.20）其中 M 与  无关；（3）对于  中每一个  ， 0<E[ 2 ) log (   f ]=       − f x； dx f ) ( ) log ( 2   （6.21）于是若分布参数  的未知真值  0 为  的一个内点，则方程   log L =0

上饶师范学院：《概率论与数理统计》课程教学资源（电子教案）第六章 点估计 6.2 极大似然估计

上饶师范学院：《概率论与数理统计》课程教学资源（电子教案）第六章点估计 6.2 极大似然估计