福州大学：《数理统计学》第三章 抽样定理

复习 抽样定理两类 参数估计一一已知含有未知参数总体的分布函数为 F(x;O),利用总体的抽样样本X1,X2,…,Xn对参数或O的 某已知函数g()作出估计. 区间估计一设法得到参数空间⊙的一个取值范围,使待估参 数以较大的概率含于其内 点估计一一构造适当的统计量(X,X2…Xn)得到O的估计值 矩估计法一一用样本矩估计总体矩 极大似然法 EX=81(6,…,)=) (x62(,)2x, E(X)=8(O1,…,的)=∑X

复习 抽样定理 参数估计 —— 两类 利用总体的抽样样本X1, X2,…, Xn 对参数 或 的 某已知函数g( )作出估计. ——已知含有未知参数 总体的分布函数为 F(x ;  ), 区间估计 点估计      ——构造适当的统计量(X1, X2,…Xn )得到  的估计值 —— 设法得到参数空间 的一个取值范围, 使待估参 数以较大的概率含于其内. 矩估计法 极大似然法 ——用 样本矩 估计 总体矩 先求出总体k 阶原点矩E(Xk)        = = = ( ) ( , , ) ( ) ( , , ) ( , , ) 1 2 1 2 1 1 l l l l l E X g E X g EX g           , 1 , 1 , 1 1 1 2 1    = = = = = = n i l i n i i n i i X n X n X 极大似然法 n

二、极大似然法 在总体分布类型已知条件下使用的一种参数 估计方法.它首先由德国数学家高斯在1821年提出的 然而,这个方法常归功于英国统计学家费歇.他在 1922年重新发现了这一方法,并首先研究了这种方法 的一些性质 极大似然法的基本思想 先看一个简单例子:某位同学与一位猎人一 起外出打猎.一只野兔从前方窜过.只听一声枪 响,野兔应声倒下 如果让你推测是谁打中的你会如何想呢? 一般会想:只一枪就打中了,而猎人命中的概率一般 数大于这位同学命中的概率这一枪应是猎人射中的 此例所作的推断已经体现了极大似然法的基本思想 再看一个例子,以进一步体会极大似然法的基本思想

只听一声枪 响, 野兔应声倒下. 某位同学与一位猎人一 起外出打猎. 他在 1922年重新发现了这一方法, 并首先研究了这种方法 的一些性质. 极大似然法的基本思想 —— 在总体分布类型已知条件下使用的一种参数 估计方法 . 它首先由德国数学家高斯在1821年提出的. Fisher 然而, 这个方法常归功于英国统计学家费歇. 二、极大似然法 先看一个简单例子： 一只野兔从前方窜过. 如果让你推测是谁打中的, 你会如何想呢? 而猎人命中的概率一般 大于这位同学命中的概率. 这一枪应是猎人射中的. 再看一个例子, 以进一步体会极大似然法的基本思想. 此例所作的推断已经体现了极大似然法的基本思想. 一般会想: 只一枪就打中了

例1设袋中有黑球和白球共4个, 今有放回抽球3次 结果得到两次白球,试问如何估计袋中白球的个数?是待估参数 解设袋中有白球m个,则抽到白球的概率为p=m/4 记X为抽得的白球数,则X~B(3,p),P(X=k)=Cp(1-p)3k,k=0,1,2,3 抽到白球数X 袋中白球数P x=0x=1x=2‖x=3 0 0123 l/4|27/6427/649/64‖164 对不同的p, 2/44 8/64 24/(6424/648/64 B(n,p)的分布列 3/4|1649642764127164 对不同的p 事件P(X=x)发生的概率 上述估计思路体现的就是极大似然估计的思想方法: 在p所有可能的取值中选出能使样本观测值出现的概率为最 大的那一个来作为它的估计值

p是待估参数 在 p 所有可能的取值中选出能使样本观测值出现的概率为最 大的那一个来作为它的估计值. 今有放回抽球3 次, 结果得到两次白球, 试问如何估计袋中白球的个数? 解 设袋中有白球m 个, ( ) (1 ) , k=0,1,2,3. 3 3 k k k P X k C p p − 记X为抽得的白球数, = = − 袋中白球数 0 1 2 3 4 p 0 1/4 2/4 3/4 1 抽到白球数X x= 0 x=1 x=2 x=3 1 0 0 0 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64 1/64 9/64 27/64 27/64 0 0 0 1 例1 设袋中有黑球和白球共4 个, 对不同的p, 事件 P(X=x)发生的概率 对不同的p, B(n,p)的分布列 则X~B(3, p), 3/4 27/64 上述估计思路体现的就是极大似然估计的思想方法： 则抽到白球的概率为 p =m /4

再如,设总体X服从B(1,0)分布,即其分布列为 f(x;6)=P(X=x)=θ(1-0)x,x=0,1 其中6(0~0-1)为未知参数,样本为X,…,Xn,样本值为x1,…,xn, 则事件(X1=x1,X2=x2,…,Xn=xn)发生的概率为 L()=P(X1=x1,X2=x2,…,Xn=xn) 直(x;0)=e(1-0-x=02“(1-0y 对总体分布中的未知参数进行估计时,既然观察结果X1=x1, x,…,Xn=xn出现了,理应选取θ使得事件(Ⅺ1=x,X2=x,…, Xn=xn)发生的概率为最大.即用它作为的估计值可使观察结果 出现的可能性最大 这种选择参数的估计量使实验结果具有最大概率的思想就是极 大似然法的基本思想即选取的估计量包满足L(6)=maxL(O) 下面给出似然函数的定义和极大似然估计的求法

即用它作为的估计值可使观察结果 出现的可能性最大. 这种选择参数的估计量, 使实验结果具有最大概率的思想就是极 大似然法的基本思想. 理应选取  使得事件 (X1=x1, X2 =x2,…, Xn =xn ) 发生的概率为最大. 再如, 设总体X 服从 B(1, )分布, 下面给出似然函数的定义和极大似然估计的求法. 对总体分布中的未知参数 进行估计时, 即其分布列为 ( ) (1 ) , x 3 x P X x − f (x;) = = =  − x = 0, 1 其中(0<<1)为未知参数, 样本为 X1, …, Xn , 则事件 (X1=x1, X2 =x2,…, Xn =xn ) 发生的概率为 样本值为 x1 , …, xn , = = = = = n i i n n f x P X x X x X x 1 1 1 2 2 ( ; ) ( , , , )     = = − = − n i i n i i x n x   1 (1  ) 1 = − = − n i x xi i 1 1  (1  ) L( ) = 既然观察结果X1=x1, X2 =x2,…, Xn =xn 出现了, 即选取的估计量 ^ ^  应满足 L( )= max L( )

定义设总体X的密度为f(x;) (当X为离散型时 f(x;θ)为分布列),日=(B,B,…,1)是总体的未知参数,x1,x2,…xn 是样本X1,X2;…Xn的一组样木值,则称 L():=L(x,,;)nx;)转向 部导麻频∥ InL(0! 为样本的似然函数.若存在某个日=(6A,B2,…,),使得② L(x1x2,…,xn;日)=mnxL(x1x2,,xn;θ) 成立(其中回为参数空间),则称 即选取的估计量θ应满足 0=6(X1,X2,…,Xn)=(B1(X1,…,Xn),B2(X1,…,Xn),…,1(X1,…,Xn) 为θ的极大似然估计量.称 0=6(x1,x2,…,xn)=(B(x1,…,xn),O2(x1,…,xn),…,1(x1,…,xn), 为6的极大似然估计值③如何求? L()是6的函数,可用求导的方法找到使L(e)达到最大值的6 注意到lnL()为单增函数,故L()与MnL()达到最大值的自 变量相同,故问题可转化为求nL(O)的最大值点

故 L( )与 lnL( )达到最大值的自 变量相同, 故问题可转化为求lnL( )的最大值点. (当 X 为离散型时 f(x;  )为分布列), 定义 设总体X 的密度为 f (x; ) x1, x2,…xn 是样本X1,X2,…Xn 的一组样本值, 则称 为样本的似然函数.  =(1, 2,…,  l)是总体的未知参数,  f (xi ;) = n i 1 L( ) = L(x1 x2 ,  , xn ;) = 若存在某个 ), ˆ , , ˆ , ˆ ( ˆ  = 1 2  l 使得 ( , , ; ˆ) max ( , , ; ) 1 2  1 2    L x x  xn L x x  xn  = 成立(其中为参数空间), 则称 ( , , , ) ˆ ˆ  = X1 X2  Xn ( , , )), ˆ ( , , ), , ˆ ( , , ), ˆ ( = 1 X1  Xn 2 X1  Xn  l X1  Xn 为 的极大似然估计量. 称 ( , , )), ˆ ( , , ), , ˆ ( , , ), ˆ ( , , , ) ( ˆ ˆ  = x1 x2  xn = 1 x1  xn 2 x1  xn  l x1  xn 为 的极大似然估计值. 如 何 求 ？ 即选取的估计量 ^  应满足 L( )是 的函数, 可用求导的方法找到使L( )达到最大值的 . 求导麻烦!! 转向lnL( )!! 注意到lnL( )为单增函数, ① ② ③

求极大似然估计的一般步骤是: ①由总体分布建立似然函数L(0)=f(x;()一—把自变量x看 成常数,把未知参数=(6,…,6)看成自变量; ②求似然函数L()的最大值点——转化为求InL()的最大值 点,即 1建立似然方程组:mO)=0(i=1,2,…,D), 20解似然方程组得到L()的最大值点 ③将样本X1,X2,…‰n代入最大值点的表达式中,就得未知参数 的极大似然估计量,将样本值x1,x2,xn代入最大值点的表达式 中,就得未知参数的极大似然估计值6 是实数时,似然方程组就是方程dmL()=0 de 下面举例说明如何求极大似然估计

将样本值 x1, x2,…xn 代入最大值点的表达式 中, 就得未知参数的极大似然估计值  ˆ . ——把自变量x看 成常数, 把未知参数 =(1, 2,…,  l)看成自变量; —— 转化为求ln L( )的最大值 点, ①由总体分布建立似然函数 L( ) ② 求似然函数L( )的最大值点 求极大似然估计的一般步骤是： ③ 将样本 X1,X2,…Xn 代入最大值点的表达式中, 就得未知参数 的极大似然估计量  ˆ , = = n i f xi 1 ( ; ) 即 1 0 建立似然方程组： 0 ( 1 2 ) , ln ( ) i , , ,l L i = =      2 0 解似然方程组得到L( )的最大值点; 0 . ln ( ) =   d d L  是实数时, 似然方程组就是方程 下面举例说明如何求极大似然估计

例1设总体X~B(1,p), 其分布列为 P(x;p)=p(1-p)x,x=0, 1,0,0,1,0,0是取自总体的一组样本值,求参数p的极大似然估计 解样本的似然函数为:L(p)=P(x;p)=Ⅱp(1-p)2x 对数似然函数为:lmL(p)=∑xlnp+2(1-x)ln(1-p) xi In p+(n-2xi)In(1-p) 对p求导并令其为0得似然方程:4mP=几x-=1x)=0, 解之得p的极大似然估计量:=nx=x 代入样本值即得极大似然估计值为:=(+0+0+1+0+0=3

求参数 p 的极大似然估计.  = = n i L p P xi p 1 解 样本的似然函数为: ( ) ( ; ) ln ( ) ln (1 )ln(1 ) 1 1 L p x p xi p n i n i =  i +  − − = = ( ; ) (1 ) , 0, 1, 1 = − = − P x p p p x x x 例1 设总体 X ~ B(1, p), 1, 0, 0, 1, 0, 0 是取自总体的一组样本值, 其分布列为  = − = − n i xi xi p p 1 1 (1 ) 对数似然函数为： ln ( )ln(1 ) 1 1 x p n x p n i i n i =  i + −  − = = 对 p 求导并令其为0 得似然方程： ( ) 1 ln ( ) 1 1 1 1   = = − − = − n i i n i i n x p x dp p d L p = 0 , , 1 ˆ 1 X X n p n i =  i = = 解之得 p 的极大似然估计量： 代入样本值即得极大似然估计值为： . 3 1 (1 0 0 1 0 0) 6 1 p ˆ = + + + + + =

例2设总体X的密度为 f(x:a)sne-r x>0 其它, 其中>0为未知参数,X1,X,…,X是取自总体X的一组样本, 求的极大似然估计量与矩估计量 解(1)样本的似然函数为 L(A)=(x3)=M,>0,=1,,…,n 其他 当x1>0时,L(4)>0,1≤i≤n, 故有对数似然函数:mL()=mm-2x, 对花求导并令其为0可得似然方程:d)="-x=0. 解得极大似然估计量:=mx=是 (2)EX=xf(x;)x=1/,令 X;=X, = 解得矩估计量:元=

     = = = − 0 , . , 0, 1 2, , ; 1 其 他 e xi i , n n i  xi  解(1) 样本的似然函数为 = = n i xi L f 1 () ( ; ) , 1 = − n i n xi e   EX xf x dx  +  − = ( ; ) 当 xi>0 时, L()> 0, ( ) ln , ln 1 = = − n i L  n   xi 1  i  n， X1, X2, …, Xn 是取自总体X的一组样本,     = − 0, , , 0 ( ; ) 其它 e x ； f x x   求的极大似然估计量与矩估计量. 其中>0为未知参数, 例2 设总体X 的密度为 故有对数似然函数： = = − n i xi n d d L 1 ln ( )   对 求导并令其为0 可得似然方程：  = 0, 解得极大似然估计量： = = n i n Xi 1  ˆ 令 , 1 1 1 X X n n i =  i =  = (2) = 1/ , 解得矩估计量： . 1 ˆ X  = ; 1 X =

例3设总体X~N(p,a2), 其中p,2均未知,设 X1,X,Yn是取自X的一个样本.求μ与σ2的极大似然估计量 解样本的似然函数为 (x-)2 L (u,0) f∫(x;,G2) e 202 2兀o 故有对数似然函数hL(,)=-%hza2-nl28(x-2 对和a分别求偏导并令其为0得似然方程组 oIL(p可2)1 (x;-)=0, 估计的 儿 注意到a2是的函数! 不变性(OnL(p2) ao (x2-1)2=0 G2=( A=是EX1=X, 解之得极大似然估计量 a2=12(x-m=B,G=m 正态分布:极大似然估计量=矩估计量

设 X1,X2,…Xn 是取自 X 的一个样本. 解 样本的似然函数为 其中  , 2 均未知, 求  与  2 的极大似然估计量. = = n i xi L f 1 2 2 (,  ) ( ; , ) 例3 设总体X~ N(, 2), = − − = n i xi e 1 2 ( ) , 2 1 2 2    故有对数似然函数 = = − − − n i xi n L 1 2 2 2 2 ( ) 2 1 ln 2 2 ln ( , )           =  = = , 1 ˆ 1 X X n n i  i 解之得极大似然估计量 1 ( ) 0， ln ( , ) 1 2 2 = − =   = n i xi L      对 和 2 分别求偏导并令其为 0 得似然方程组： ( ) 0 , 2 1 2 ln ( , ) 1 2 2 2 4 2 = − + − =   = n i xi L n          = = − n i Xi n 1 2 2 ( ) 1  ˆ   2   3 , ( ) 1 ˆ 1 2 = = − n i xi n = B2 ,   2 2  ˆ = ( ˆ ) 估计的 不变性 注意到 2是 的函数 ! 正态分布：极大似然估计量 === 矩估计量

可证明极大似然估计具有下面的单调函数不变性: 若为未知参数的极大似然估计量,而g()为的单调函数 则g()也是g()的极大似然估计量 例4一罐中装有白球和黑球,有放回地抽取一个容量为m的样本, 其中有k个白球,求罐中黑球与白球之比R的极大似然估计 解设X,X,…,Mn为所取样本,X=「,取到白球 0,取到黑球 则X1,…,Xn~B(1,p),p是每次抽取时取到白球的概率,且p未知 容易求得p的极大似然估计为 n R 由极大似然估计的不变性知R的极大似然估计是R 上述解法是应用微积分中的技巧求似然函数L(的)的最大值点 但当似然函数L()不可微或偏导数不为零时,就不能用上述求导 方法求未知参数的极大似然估计了.这时要用极大似然原则来求

可证明极大似然估计具有下面的单调函数不变性： 而 g( )为 的单调函数, 则 ^ g( ) 也是 g( )的极大似然估计量. 若^ 为未知参数 的极大似然估计量, 例4 一罐中装有白球和黑球, Xi i 1,,n 0, 1, =    = 取到黑球 取到白球 解 设 X1, X2 , …, Xn 为所取样本, 则 X1,…, Xn ~B(1, p), 有放回地抽取一个容量为n的样本, 其中有k个白球, 求罐中黑球与白球之比R的极大似然估计. p是每次抽取时取到白球的概率, 且 p未知. ˆ , n k p = p p R ˆ 1 ˆ ˆ − = = −1 . k n 容易求得 p 的极大似然估计为： 由极大似然估计的不变性知R 的极大似然估计是 , 1 p p R −  = 就不能用上述求导 方法求未知参数的极大似然估计了. 上述解法是应用微积分中的技巧求似然函数L( )的最大值点. 但当似然函数L( )不可微 这时要用极大似然原则来求. 或偏导数不为零时