Lec5:点估计（二） 张伟平 September 29,2009 §1极大似然估计 一、引言及定义 极大似然法是在参数分布族场合下常用的参数估计方法.设有一参数分布族多={F。,0∈ 日)，此处日为参数空间.令X=(X1,…,X)为从多中抽取的简单随机样本，f(x,)=f(工，…，xn,)为 样本X的概率函数.即当总体分布为连续型时，f(x,)表示样本X的密度函数；当总体分布为 离散形时，f(x,)为样本X的概率分布，即f(x,)=P(X1=x,·,Xn=xn).首先引入似然 函数的概念 定义1.设f(x,)=f(z,…,x,)为样本X=(X1,…,Xn)的概率函数.当x固定时，把f(x,)看 成9的函数，称为似然函数（亿Likelihood function,记为 L(0,x)=fx,0),0∈Θ，x∈2 (1.1) 此处日为参数空间，②为样本空间.称1ogL(0,x)为对数似然函数，记为l(0,x) 注1.似然函数和概率函数是同一表达式1.1)，但表示两种不同含意.当把0固定，将其看成 定义在样本空间②上的函数时，称为概率函数；当把x固定，将其看成定义在参数空间日上的 函数时，称为似然函数.这是两个不同的概念 为解释极大似然原理，考虑下列一个简单的实例， 例1.设罐子里有许多黑球和红球.假定已知它们的比例是1：3，但不知道是黑球多还是红球 多.也就是说抽出一个黑球的概率或者是1/4或者是3/4.如果有放回地从罐子中抽个球，要 根据抽样数据，说明抽到黑球的概率是1/4，还是3/4. 解将此问题用统计模型来表述.令X:表示第次抽球的结果，即 了1抽出为黑球 X:={0香则. 记每次抽样中抽到黑球的概率为0，此处9只取可能的两个值01=1/4,02=3/4之一.记X= X,则X~bn,9).亦即样本分布族多-{m,F,其中F,为(m,1),F为b(n,2)要根据 1 抽样结果对9作出估计，即9取值为1/4还是3/4？或曰样本来自总体Fa,还是F42?
Lec5: :O() ‹ï² September 29, 2009 §1 4åq,O ò!⁄Û9½¬ 4åq,{¥3ÎÍ©Ÿx|‹e~^ÎÍOê{. kòÎÍ©ŸxF = {Fθ, θ ∈ Θ},d?ΘèÎÍòm. -X = (X1, · · · , Xn)èlF•ƒ{¸ëÅ , f(x, θ) = f(x1 , . . . , xn , θ)è XV«ºÍ. =oN©ŸèÎY.û,f(x, θ)L´ Xó›ºÍ; oN©Ÿè l—/û,f(x, θ)è XV«©Ÿ, =f(x, θ) = Pθ(X1 = x1 , · · · , Xn = xn ). ƒk⁄\q, ºÍVg. ½¬ 1. f(x, θ) = f(x1 , · · · , xn , θ)è X = (X1, · · · , Xn)V«ºÍ. x½û, rf(x, θ)w §θºÍ, °èq,ºÍ(Likelihood function),Pè L(θ, x) = f(x, θ), θ ∈ Θ, x ∈ X (1.1) d?ΘèÎÍòm, X è òm. °log L(θ, x)èÈÍq,ºÍ, Pèl(θ, x). 51. q,ºÍ⁄V«ºÍ¥”òLà™(1.1), L´¸´ÿ”¹ø. rθ½, ÚŸw§ ½¬3 òmX ˛ºÍû, °èV«ºÍ; rx½, ÚŸw§½¬3ÎÍòmΘ˛ ºÍû, °èq,ºÍ. ˘¥¸áÿ”Vg. è)º4åq,n, ƒeòá{¸¢~. ~1. -fpkNıÁ•⁄˘•. b½ÆßÇ'~¥1 : 3,ÿ¥Á•ıÑ¥˘• ı. è“¥`ƒ—òáÁ•V«½ˆ¥1/4½ˆ¥3/4. XJkò£/l-f•ƒná•, á 䂃͂, `²ƒÁ•V«¥1/4, Ñ¥3/4. ) ÚdØK^⁄O .5L„. -XiL´1igƒ•(J,= Xi = 1 ƒ—èÁ• 0 ƒK. Pzgƒ•ƒÁ•V«èθ,d?θ êåU¸áäθ1 = 1/4, θ2 = 3/4Éò. PX = Pn i=1 Xi ,KX ∼ b(n, θ).½= ©ŸxF = {Fθ1 , Fθ2 }, Ÿ•Fθ1èb(n, θ1), Fθ2èb(n, θ2).áä‚ ƒ(JÈθä—O, =θäè1/4Ñ¥3/4? ½ 5goNFθ1Ñ¥Fθ2 ? 1
显然，当样本X给定时，似然函数为 L(0,x)= 0(1-)n-,x=0,1,2,…,n. 为简单计，取n=3.当x=0,1,2,3时似然函数取值如下表： 0 1 2 3 L(01,x) 27/64 27/64 9/64 1/64 L(02,x)1/64 9/6427/6427/64 可见 当x=0,1时，L(01,x)>L(02,x), 当x=2,3时，L(02,x)>L(01,x) 因此我们得出结论：当样本观察值x=∑-1x取值为0,1时认为样本来自总体F,即取 参数0的估计值为91=1/4；当x=2,3时认为样本来自总体Fa2,即取0的估计值为02=3/4. 将此例模型化如下：若样本X=(X1,·,Xn)为从总体多={F6,0∈日}中抽取的简单 随机样本，其中日={01,02}.此即等价地说分布族多中只有两个总体Fa,F2.一旦获得了样 本x,如何用极大似然方法求出真参数的估计值呢？上例表明若 L(01,x)>L(02,x), 则我们倾向于认为样本X来自总体F4,(即真参数0为9)的理由比认为样本X来自总体F2(即 真参数0为2)的理由更充分些.或者说，真参数0为1的“似然性”更大些.这样，我们自然把 “似然性”最大（即看起来最像）的那个值作为真参数的估计值.这正是“极大似然”一词的 由来 更一般，若样本X的分布族多={Fa,0∈日}，参数空间日为R1的有限子集或无限子集.当 样本x给定时，若*使似然函数L(,x)为似然函数的集合{L(0,x),一切0∈Θ}中最大者，即 参数的真值为*的“似然性”比取日中其它值的“似然性”更大，则取“似然性”最大的 作为的估计值，这一方法得到参数的估计，称为“极大似然估计”.将这一直观想法用数学 语言来描述，得到如下定义： 定义2.设X=(X1,…,Xn)是从参数分布族多={Fa,0∈Θ}中抽取的简单随机样本， L(0,x)是似然函数，若存在统计量*(X)=产(X1,·,Xn),满足条件 L(日*(x),x)=supL(0,x),x∈2， (1.2) 0∈日 或等价地使得 1(0*(x),x)=supl(0,x),x∈2， (1.3) 0e日 则称0*(X)为8的极大似然估计(Ma:imum Likelihood Estimation,简记为MLE).若待估函数 是g(0),则定义g(*(x)为g(0)的MLE. 极大似然估计是R.A.Fisher在1912年的一项工作中提出来的.在正态分布这个特殊情况 下，这方法可追溯到Gauss在19世纪初关于最小二乘法的工作.Fisher后来在1922年工作中，尤 其l925年发表的《Theory of Statistical Estimation》一文中对这一估计作了许多研究.因此这 个方法应归功于R.A.Fisher.. 3
w,, Xâ½û, q,ºÍè L(θ, x) = n x θ x (1 − θ) n−x , x = 0, 1, 2, · · · , n. è{¸O, n = 3.x = 0, 1, 2, 3ûq,ºÍäXeL: x 0 1 2 3 L(θ1, x) 27/64 27/64 9/64 1/64 L(θ2, x) 1/64 9/64 27/64 27/64 åÑ x = 0, 1û, L(θ1, x) > L(θ2, x), x = 2, 3û, L(θ2, x) > L(θ1, x). œd·Ç—(ÿ: * äx = P3 i=1 xiäè0, 1 û@è 5goNFθ1 ,= ÎÍθOäèˆθ1 = 1/4;x = 2, 3û@è 5goNFθ2 , =θOäèˆθ2 = 3/4. Úd~ .zXe: e X = (X1, · · · , Xn)èloNF = {Fθ, θ ∈ Θ}•ƒ{¸ ëÅ , Ÿ•Θ = {θ1, θ2}. d= d/`©ŸxF•êk¸áoNFθ1 , Fθ2 . òº x,X¤^4åq,ê{¶—˝ÎÍθOäQ? ˛~L²e L(θ1, x) > L(θ2, x), K·Çñïu@è X 5goNFθ1 (=˝ÎÍθèθ1)nd'@è X5goNFθ2 (= ˝ÎÍθèθ2)ndçø© . ½ˆ`, ˝ÎÍθèθ1/q,50çå . ˘, ·Çg,r /q,50Åå(=wÂ5Åî)@áääè˝ÎÍθOä. ˘¥/4åq,0òc d5. çòÑ, e X©ŸxF = {Fθ, θ ∈ Θ}, ÎÍòmΘèR1kÅf8½ÃÅf8. xâ½û, eˆθ ∗¶q,ºÍL( ˆθ ∗ , x) èq,ºÍ8‹{L(θ, x),òÉ θ ∈ Θ}•Ååˆ, = ÎÍθ˝äèˆθ ∗/q,50'θΘ •Ÿßä/q,50çå, K/q,50Ååˆθ ∗ äèθOä, ˘òê{ÎÍθO,°è/4åq,O0. Ú˘òÜ*é{^ÍÆ äÛ5£„, Xe½¬: ½¬ 2. X = (X1, · · · , Xn)¥lÎÍ©ŸxF = {Fθ, θ ∈ Θ}•ƒ{¸ëÅ , L(θ, x)¥q,ºÍ, e3⁄O˛ˆθ ∗ (X) = ˆθ ∗ (X1, · · · , Xn), ˜v^á L ˆθ ∗ (x), x = sup θ∈Θ L(θ, x), x ∈ X , (1.2) ½ d/¶ l ˆθ ∗ (x), x = sup θ∈Θ l(θ, x), x ∈ X , (1.3) K°ˆθ ∗ (X)èθ 4åq,O (Maximum Likelihood Estimation,{PèMLE). eñºÍ ¥g(θ),K½¬g ˆθ ∗ (x) èg(θ)MLE. 4åq,O¥R.A. Fisher31912còëÛä•J—5. 3©Ÿ˘áAœú¹ e, ˘ê{åJàGauss319V–'uŶ{Ûä. Fisher531922cÛä•, c Ÿ1925cuL5Theory of Statistical Estimation6ò©•È˘òOä NıÔƒ. œd˘ áê{A8ıuR.A. Fisher. 2
二、极大似然估计的求法及例 获得参数的极大似然估计有下列两种方法： 1.用微积分中求极值的方法 若似然函数L(,x)是的连续可微函数，则我们可用微积分中求极值点的方法去求的MLE. 找使L(0,x)达到最大时的值.由于L(0,x)和1ogL(0,x)=l(0,x)具有相同的极值点，我们可 用(0，x)来代替L(0,x).因为L(0,x)一般是若干个函数的乘积，(0，x)为若干个函数之和而较 易于处理 设0=(01，·，0.)为参数向量（特别当k=1,0为参数）.若(0，x)的极大值在参数空间日的 内点处（而非边界点）达到，则此点必为似然方程组 a(0,x=0i=1,2,…,k 08. 的解。 因此求极大似然估计首先求似然方程的解8.但此解是否一定是9的MLE呢？满足似然 方程，只是LE的必要条件，而非充分条件.一般只有满足下列条件：（①）似然函数的极大值 在参数空间日内部达到，()似然方程只有唯一解，则似然方程之解必为的LE. 因此我们求出似然方程（或方程组）的解后，要验证它为的MLE,有时并非易事.但对样 本分布族是指数族的场合，有非常满意的结果，叙述如下： 设X=(X1,·,X)为从某总体中抽取的简单随机样本，X1的分布为指数族，即 f(x,0)=C(0)exp ∑a,T(a)}h(,0∈日 此处日为自然参数空间，日0为日之内点集，这时X的联合密度为 L(0,x刈=Cm(o)exp{∑a:∑T(a)}h(x) 1=1 其中h(x)=Ⅱh(x).对上式取对数得 1(0,x)=logL(0,x)=nlogC(0)+∑8，∑T() 1 定理1.若对任何样本X=(X1,…,Xn),方程组 n0C@=-∑I(X),i=1,2,…,k C(0)08: 在日o内有解，则解必唯一，且为0的MLE. 证明思路由于自然参数空间为一凸集，若方程组有两个不同的解，和1，则构造函数 H(t)=1(t0o+(1-t)91),0≤t≤1. 3
!4åq,O¶{9~ ºÎÍθ4åq,Oke¸´ê{: 1. ^ứ•¶4äê{ eq,ºÍL(θ, x)¥θÎYåáºÍ, K·Çå^ứ•¶4ä:ê{¶θMLE. ȶL(θ, x)àÅåûθä. duL(θ, x)⁄log L(θ, x) = l(θ, x)‰kÉ”4ä:, ·Çå ^l(θ, x)5ìOL(θ, x). œèL(θ, x)òÑ¥eZáºÍ¶», l(θ, x) èeZáºÍÉ⁄ ¥u?n. θ = (θ1, · · · , θk)èÎÍï˛(AOk = 1, θèÎÍ). el(θ, x)4åä3ÎÍòmΘ S:?( ö>.:)à, Kd:7èq,êß| ∂l(θ, x) ∂θi = 0, i = 1, 2, · · · , k ). œd¶4åq,Oƒk¶q,êß)ˆθ.d)¥ƒò½¥θ MLE Q? ˆθ˜vq, êß, ê¥MLE7á^á, öø©^á. òÑêk˜ve^á: (i) q,ºÍ4åä 3ÎÍòmΘS‹à, (ii) q,êßêkçò), Kq,êßÉ)ˆθ7èθMLE. œd·Ç¶—q,êß(½êß|)), áyßèθMLE, kûøö¥Ø. È ©Ÿx¥çÍx|‹, kö~˜ø(J, Q„Xe: X = (X1, · · · , Xn)èl,oN•ƒ{¸ëÅ , X1©ŸèçÍx, = f(x, θ) = C(θ) exp nX k i=1 θiTi(x) o h(x), θ ∈ Θ d?Θèg,ÎÍòm, Θ0èΘÉS:8, ˘ûXÈ‹ó›è L(θ, x) = C n (θ) exp nX k i=1 θi Xn j=1 Ti(xj ) o h(x), Ÿ•h(x) = Qn i=1 h(xi).È˛™ÈÍ l(θ, x) = log L(θ, x) = n log C(θ) +X k i=1 θi Xn j=1 Ti(xj ) ½n 1. eÈ?¤ X = (X1, · · · , Xn),êß| n C(θ) ∂C(θ) ∂θi = − Xn j=1 Ti(Xj ), i = 1, 2, · · · , k 3Θ0Sk), K)7çò, ÖèθMLE. y²g¥ dug,ÎÍòmèò‡8, eêß|k¸áÿ”), θ0⁄θ1, KEºÍ H(t) = l(tθ0 + (1 − t)θ1), 0 ≤ t ≤ 1. 3
由于0和01都是方程8(0)/80=0的解，因此H'(0)=H'(1)=0,所以存在00,0≤tH(0),即(o)>1(01),o为的极大点. 因此若样本分布为指数族，只要似然方程解属于自然参数空间的内点集（这点很容易验 证)，则其解必为的MLE.常见的分布族，如二项分布族、Poisson分布族、正态分布族、Gamma 分布族等都是指数族，定理3.3.1的条件皆成立.因此似然方程的解，就是有关参数的MLE 2.从定义出发 若似然函数L(0,x)不是的可微函数，特别当似然函数L(0,x)不是的连续函数时，我们不 能采用上述方法，必须直接从定义3.3.2出发去求参数0的极大似然估计. 下面我们分别用上述两种方法考察一些例子 例2.设X=(X1,…,X)是从两点分布族{b(1,p):00}中抽取的简单样本，求入和g(A)= e-入的MLE. 4
duθ0⁄θ1—¥êß∂l(θ)/∂θ = 0), œdH0 (0) = H0 (1) = 0, §±30 0, 0 ≤ t H(0), =l(θ0) > l(θ1), θ0èl4å:. œde ©ŸèçÍx, êáq,êß)·ug,ÎÍòmS:8(˘:ÈN¥ y), KŸ)7èθMLE. ~Ñ©Ÿx, Xë©Ÿx!Poisson©Ÿx!©Ÿx!Gamma ©Ÿx —¥çÍx, ½n3.3.1^᧷. œdq,êß), “¥k'ÎÍMLE. 2. l½¬—u eq,ºÍL(θ, x)ÿ¥θåáºÍ,AOq,ºÍL(θ, x)ÿ¥θÎYºÍû, ·Çÿ UÊ^˛„ê{, 7LÜl½¬3.3.2—u¶ÎÍθ4åq,O. e°·Ç©O^˛„¸´ê{ ò ~f. ~2. X = (X1, · · · , Xn)¥l¸:©Ÿx{b(1, p) : 0 0}•ƒ{¸ , ¶λ⁄g(λ) = e −λMLE. 4
解似然函数，即样本X=(X1,·,Xn)的分布为 L(A,x)=P(X1=z1;...,Xn=In)= …m入>0. 故对数似然函数为 1(入，x)= (sA--s 由对数似然方程 (入，x=1∑x-n=0, i=1 解得 ==x. n-1 由于Poisson分布族是指数族，故入*=为λ的MLE,它与入的矩估计量相同. 又由定义可知g()=e~入的MLE为 g(X)=e-x」 例4.设X=(X1,…,Xn)是从正态分布族{N(a,o2):o2>0,-∞<4<o}中抽取的简单 样本，求a,σ2和g(0)=a/σ2的MLE,此处0=(a,o2). 解样本X=(X1,·,Xn)的分布为 e-()”脚{品君-r 对数似然函数为 0a对=sfk=-号g-登%o2-x-以 由对数似然方程组 i=1 a(0,x) n,1 0o2 262+ 解得 a*=灭， -1∑(x-x2-s 1 由于正态分布族为指数族，故à*=和？=S号分别是a和σ的MLE,它们也分别是a和σ2的 矩估计量.前者是α的无偏估计，后者不是的无偏估计.可见极大似然估计不一定具有无偏 性 又由定义可知g(0)=a/a2的ME为 g(X)=/S品 5
) q,ºÍ,= X = (X1, · · · , Xn)©Ÿè L(λ, x) = P(X1 = x1, · · · , Xn = xn) = λ Pn i=1 xi e −nλ x1! · · · xn! , λ > 0. ÈÍq,ºÍè l(λ, x) = Xn i=1 xi log λ − nλ − Xn i=1 log xi ! . dÈÍq,êß ∂l(λ, x) ∂λ = 1 λ Xn i=1 xi − n = 0, ) λˆ∗ = X¯ = 1 n Xn i=1 Xi . duPoisson©Ÿx¥çÍx, λˆ∗ = X¯èλMLE, ßÜλ›O˛É”. qd½¬åg(λ) = e −λMLEè gˆ ∗ (X) = e −X¯ . ~4. X = (X1, · · · , Xn)¥l©Ÿx{N(a, σ2 ) : σ 2 > 0, −∞ < µ < ∞}•ƒ{¸ , ¶a, σ2⁄g(θ) = a/σ2MLE, d?θ = (a, σ2 ). ) X = (X1, · · · , Xn)©Ÿè f(x, θ) = 1 √ 2πσ n exp ( − 1 2σ 2 Xn i=1 (xi − a) 2 ) . ÈÍq,ºÍè l(θ, x) = log f(x, θ) = − n 2 log 2π − n 2 log σ 2 − 1 2σ 2 Xn i=1 (Xi − a) 2 . dÈÍq,êß| ∂l(θ, x) ∂a = 1 σ 2 Xn i=1 (Xi − a) = 0, ∂l(θ, x) ∂σ2 = − n 2σ 2 + 1 2σ 4 Xn i=1 (Xi − a) 2 = 0, ) aˆ ∗ = X, ¯ σˆ 2 ∗ = 1 n Xn i=1 (Xi − X¯) 2 = S 2 n . du©ŸxèçÍx, aˆ ∗ = X¯⁄σˆ 2 ∗ = S 2 n ©O¥a⁄σ 2MLE,ßÇè©O¥a⁄σ 2 ›O˛. cˆ¥aÆO, ˆÿ¥σ 2ÆO. åÑ4åq,Oÿò½‰kÆ 5. qd½¬åg(θ) = a/σ2MLEè gˆ ∗ (X) = X¯ S 2 n . 5
例5.设元件的寿命服从下列指数分布EP(),其密度函数为 f,= ∫Ae-Az 当x>0 0 当x≤0. 设X1,·,Xn分别表示接受试验的n个元件寿命.由于时间的限制，试验实际上只进行到 有r(r≤n)个元件失效时就停止了，以X)≤X(②≤…≤X记这r个元件的寿命.即，我 们只观察到了样本X1,…,Xn前r个次序统计量X),X(2,…,X()基于这前r个次序统计 量，求λ和g()=1/A的MLE. 解为叙述方便，记t=x句，i=1,2,…,r,则有t≤t2≤…≤t,·为确定似然函 数，我们要知道上述观察结果的概率.一个产品在t,t+△t内失效的概率为f(t)△t,i= 1,2,…,n其余n-r个产品寿命超过，的概率为[e-4,]”-,所以上述结果出现的概率近似为 k(Ae-At△t)(Ae-At△t2)…(Ae-tr△t,)[e-tr]m-T, 其中k为某一常数.忽略一个常数因子对求LE无影响.故取似然函数为 i)=re脚{-（空+a-p》 其对数似然函数为 a,@…ro=rlg入-∑0+-rro） 对入求导，得似然方程为 =-(2+a-)=0 解得 r=r/(EX+a-列x) 由于似然函数L(,x1,·,x)是指数族的形式，故*为入的MLE.由定义可知g()=1/A的MLE为 Xa…,x=(∑xo+-rx)/r 本例中所述产品寿命试验进行到第个产品失效时就终止，这种试验叫定数截尾试验. 另一种方式是，先定下一个时间T>0,当试验进行T时试验就终止，这种试验叫做定时截尾 试验. 例6.设X=(X1,·,Xn)是从均匀分布族{U(0,):0>0}中抽取的简单样本.(1)求9的MLE :(2)说明*是否为0的无偏估计.若不然，作适当修正获得9的无偏估计；（③）试将1与的 矩估计进行比较，看哪一个有效？(4)证明9的极大似然估计=X()是的弱相合估计. 解(1)样本X=(X1,…,Xn)的分布为 fx,)= 当0<x1,…,xn<0 (1.4) 0 其他. 6
~5. áÆ·—leçÍ©ŸEP(λ),Ÿó›ºÍè f(x, λ) = λe−λx x > 0 0 x ≤ 0. X1, · · · , Xn©OL´…£nááÆ·. duûmÅõ, £¢S˛ê?1 kr (r ≤ n)ááîû“ é , ±X(1) ≤ X(2) ≤ · · · ≤ X(r)P˘rááÆ·. =, · Çê* X1, · · · , XncrágS⁄O˛X(1), X(2), · · · , X(r) . ƒu˘crágS⁄O ˛, ¶λ⁄g(λ) = 1/λMLE. ) èQ„êB, Pti = x(i) , i = 1, 2, · · · , r,Kkt1 ≤ t2 ≤ · · · ≤ tr. è(½q,º Í, ·Çᲄ* (JV«. òá¨3[ti , ti + ∆ti ]SîV«èf(ti)∆ti , i = 1, 2, · · · , r.Ÿ{n − rá¨Æ·áLtrV«è e −λtr n−r ,§±˛„(J—yV«Cqè k(λe−λt1∆t1)(λe−λt2∆t2)· · ·(λe−λtr∆tr)[e −λtr ] n−r , Ÿ•kè,ò~Í. —òá~ÍœfȶMLEÃKè. q,ºÍè L λ, x(1), · · · , x(r) = kλr exp − λ Xr i=1 x(i) + (n − r)x(r) , ŸÈÍq,ºÍè l λ, x(1), · · · , x(r) = r log λ − λ Xr i=1 x(i) + (n − r)x(r) . Èλ¶, q,êßè ∂l ∂λ = r λ − Xr i=1 x(i) + (n − r)x(r) = 0, ) λˆ∗ = r .Xr i=1 X(i) + (n − r)X(r) . duq,ºÍL λ, x(1), · · · , x(r) ¥çÍx/™, λˆ∗èλMLE. d½¬åg(λ) = 1/λMLEè gˆ ∗ (X(1), · · · , X(r)) = Xr i=1 X(i) + (n − r)X(r) .r. ~•§„¨Æ·£?11rá¨îû“™é, ˘´£ ½Í ó£. ,ò´ê™¥, k½eòáûmT > 0, £?1Tû£“™é, ˘´£â½û ó £. ~6. X = (X1, · · · , Xn)¥l˛!©Ÿx{U(0, θ) : θ > 0}•ƒ{¸ . (1) ¶θMLE ˆθ ∗ ; (2) `²ˆθ ∗¥ƒèθÆO. eÿ,, ä·?ºθÆOˆθ ∗ 1 ; (3) £Úˆθ ∗ 1 Üθ ›O?1', w=òák? (4)y²θ4åq,Oˆθ ∗ = X(n)¥θfÉ‹O. ) (1) X = (X1, · · · , Xn)©Ÿè f(x, θ) = ( 1 θn 0 < x1, · · · , xn < θ 0 Ÿ ¶. (1.4) 6
因为均匀分布U(0,0)的支撑集依赖于0，似然函数L(0,x)=f(x,)作为9的函数不是连续函数， 因此不能用对然函数求微商的办法去求的MLE.只能从MLE的定义出发来讨论， 为使L(,x)达到极大，由(1.4)式可见，应使分母上的0尽可能地小，但0又不能太小，太小 了使似然函数变为0了.这个界限就取在 max(X1,...,Xn)=X(n). 因此*=Xm)就是的MLE. (2)为求E(Xm),就要算出T=Xm的密度函数，易求T的密度函数 ntn-i 当0≤t≤8 g(t,) (1.5) 0 其它， 故有 E(0*)=E(T)= ntn on dt=n *79 故*=Xm不是的无偏估计.显见 0=+1X() 为的无偏估计 (3)0的矩估计01=2X是0的无偏估计.由于 D(©)=92/n(n+2l, D(01)=02/3n, 所以在n≥2时比01有效.在n=1时1=1，即这两个估计是相同的. (4)已知T的密度函数由(1.5)给出，故有 P(I0*-l≥e)=1-P(I0-l
œè˛!©ŸU(0, θ)|†8ù6uθ,q,ºÍL(θ, x) = f(x, θ)äèθºÍÿ¥ÎYºÍ, œdÿU^È,ºÍ¶á˚ç{¶θMLE. êUlMLE½¬—u5?ÿ. è¶L(θ, x)à4å, d(1.4)™åÑ, A¶©1˛θ ¶åU/, θqÿU, ¶q,ºÍCè0 . ˘á.Å“3 ˆθ ∗ = max(X1, · · · , Xn) = X(n) . œdˆθ ∗ = X(n) “¥θMLE. (2) è¶E X(n) ,“áé—T = X(n)ó›ºÍ, ¥¶T ó›ºÍ g(t, θ) = ( ntn−1 θn 0 ≤ t ≤ θ 0 Ÿ ß, (1.5) k E( ˆθ ∗ ) = E(T) = Z θ 0 ntn θ n dt = n n + 1 θ, ˆθ ∗ = X(n)ÿ¥θÆO. wÑ ˆθ ∗ 1 = n + 1 n X(n) èθÆO. (3) θ›Oˆθ1 = 2X¯¥θÆO. du D( ˆθ ∗ 1 ) = θ 2 [n(n + 2)], D( ˆθ1) = θ 2 3n, §±3n ≥ 2ûˆθ ∗ 1'ˆθ1k. 3n = 1ûˆθ ∗ 1 = ˆθ1,=˘¸áO¥É”. (4) ÆTó›ºÍd(1.5)â—, k P (| ˆθ ∗ − θ| ≥ ε) = 1 − P(| ˆθ ∗ − θ| < ε) = 1 − P(θ − ε < T < θ + ε) = 1 − Z θ θ−ε ntn−1 θ n dt = 1 − 1 θ n θ n − (θ − ε) n = 1 − ε θ n . œdk limn→∞ P(| ˆθ ∗ − θ| ≥ ε) = limn→∞ 1 − ε/θn = 0, ˆθ ∗ = X(n)èθfÉ‹O. ~7. X = (X1, · · · , Xn)¥l˛!©Ÿx{U(θ, θ + 1) : −∞ < θ < +∞}•ƒ{¸ ,¶θMLE. ) â½ xû, θq,ºÍè L(θ, x) = ( 1 θ ≤ x(1) ≤ x(n) ≤ θ + 1 0 Ÿß, ˘û, q,ºÍê1⁄0¸áä, êáθ ≤ x(1)⁄θ + 1 ≥ x(n)—å¶Là4å. θMLEÿ éòá, X ˆθ ∗ 1 (X) = X(1), ˆθ ∗ 2 (X) = X(n) − 1 —¥θMLE.Ø¢˛È?â0 < λ < 1, ˆθ ∗ (X) = λˆθ ∗ 1 (X) + (1 − λ) ˆθ ∗ 2 (X) = λX(1) + (1 − λ) X(n) − 1 —¥θMLE, θMLEkðıá. 7
例8.设个事件A1,A2,A构成完备事件群事件A发生的概率为，i=1,…,k且它m= 1.将试验独立重复n次，以X记A发生的次数，i=1,2,·,k,则X=(X1,·,Xk)服从多项 分布M(n,p1,·,Pk)求p1,·,Pk的MLE. 解记p=(p1,·,P)给定样本x时，p的似然函数为 抑刘=n…爱=a…(-)” n! n! 对数似然函数为 《对=e-会e+宫e+a城(-言) (1.6) 对：求偏导数，得似然方程组 l(P,x=-k=0,i=1,2,…,k-1. Opi Pi Pk 若令 1=2==坠=入 P1 P2 Pk 则有 Ii=Xpi, i=1,2,·,k (1.7） 将这k个等式两边分别相加得 n=∑x4=A∑= i=I =1 因此由(1.7)可知p,的MLE如下： =X/m,i=1,2,…,k. 例9.设X1,·,Xn为从如下分布中抽取的简单样本，求9的MLE. f回）=2-e(1-2-+2-1-01.x=0,120e0,2 解：由题设知f(x)为离散型，其分布律为 0 2 P[(1-)2+]29(1-)[1-)2+] 若直接从此分布出发，则不能得到9的MLE的显式表达。为此，我们重新参数化，记7=2(1- 0).则由题设知0<)<1/2。则 X 0 1 2 P(1-)n(1-) 再记n,=#{X1,…,Xn中等于的个数}，i=0,1,2,则得到似然函数为 L(m)=(1-》n(1-》=(51-m》m-7m 8
~8. káØáA1, A2, · · · , Ak§Øá+, ØáAiu)V«èpi , i = 1, · · · , kÖ P k i=1 pi = 1.Ú£’·Eng, ±XiPAiu)gÍ, i = 1, 2, · · · , k,KX = (X1, · · · , Xk) —lıë ©ŸM(n, p1, · · · , pk).¶p1, · · · , pkMLE. ) Pp = (p1, · · · , pk).â½ xû, pq,ºÍè L(p, x) = n! x1! · · · xk! p x1 1 · · · p xk k = n! x1! · · · xk! p x1 1 · · · p xk−1 k−1 1 − k X−1 i=1 pi xk . ÈÍq,ºÍè l(p, x) = log n! − X k i=1 log xi ! + k X−1 i=1 xi log pi + xk log 1 − k X−1 i=1 pi . (1.6) Èpi¶†Í, q,êß| ∂l(p, x) ∂pi = xi pi − xk pk = 0, i = 1, 2, · · · , k − 1. e- x1 p1 = x2 p2 = · · · = xk pk = λ, Kk xi = λpi , i = 1, 2, · · · , k. (1.7) Ú˘ká ™¸>©OÉ\ n = X k i=1 xi = λ X k i=1 pi = λ. œdd(1.7)åpiMLEXe: pˆ ∗ i = Xi/n, i = 1, 2, · · · , k. ~9. X1, · · · , XnèlXe©Ÿ•ƒ{¸ ߶θMLE. f(x) = 1 x!(2 − x)![θ x (1 − θ) 2−x + θ 2−x (1 − θ) x ], x = 0, 1, 2; θ ∈ (0, 1 2 ) ): dKf(x)èl—.ߟ©ŸÆè X 0 1 2 P 1 2 [(1 − θ) 2 + θ 2 ] 2θ(1 − θ) 1 2 [(1 − θ) 2 + θ 2 ] eÜld©Ÿ—ußKÿUθMLEw™Là"èdß·Ç#ÎÍzßPη = 2θ(1− θ). KdK0 < η < 1/2"K X 0 1 2 P 1 2 (1 − η) η 1 2 (1 − η) 2Pni = #{X1, · · · , Xn• uiáÍ}, i = 0, 1, 2, Kq,ºÍè L(η) = (1 2 (1 − η))n0 η n1 ( 1 2 (1 − η))n2 = (1 2 (1 − η))n−n1 η n1 8
求解并注意的下界即得到n的MLE为 方=max, n 再由8=1-=五得到的MLE为 2 6=1-1-2场 2 ▣ 例10.设从总体 X012 P0/2039/21-389 抽取的一个简单样本X1,·,X10的观察值为(0,3,1,1,0,2,0,0,3,0) (1)求9的矩估计量日M和极大似然估计量9L,并求出估计值。 (2)上述估计量是否为无偏的？若不是，请作修正 (③)比较修正后的两个估计量，指出那个更有效. 在有些问题中，p1,…,pk都是另一些参数01，·，，(r≤)的函数，这时去掉(1.6)中 与01，·，0，无关的部分后，得对数似然函数为 101,…,0r:x)=x,logp.(01,·,0,) i▣1 对0：求偏导数得似然方程组 0=0,i=1,2…,r al (1.8) 若似然方程之解1，·，为01，·，0n的MLE,则p1,…,p的MLE分别是1(1，…，)…， pk(©1，…，).但有时似然方程组(1.8)无显式解，就只能用数值方法。 三、极大似然估计的性质 前面例子中已指出极大似然估计不一定是无偏的.至于相合性问题，远没有矩估计那么 简单.极大似然估计的相合性问题，引起许多统计学者的兴趣，直到现在都不能说己彻底解决 了.1946年Cramer在一些条件下，证明了似然方程有一根是参数0的弱相合估计.由于似然方 程的根不一定是极大似然估计，这个结果还是没有解决似然估计的相合性问题.直到1949年， Wald才首次证明了极大似然估计的强相合性，但所要求的条件很复杂.此后有一些学者继续 进行研究，希望在较少的条件下证明相合性.这些结果，不便在此一一细述. 存在反例，说明极大似然估计可以不相合，有兴趣的读者可查看参考文献[②]Ps1的反例. 下面来介绍极大似然估计的几条性质： 1.极大似然估计与充分统计量 设X=(X1,…,Xn)为自总体{f(x,),0∈Θ}中抽出的简单随机样本，T=T(X1,…,Xn)是 参数的充分统计量，如果的极大似然估计存在，则它必为T的函数， 由因子分解定理可知样本X的概率函数，亦即似然函数可表为 L(0,x)=f(z,)=g(T(x),)h(x). 9
¶)ø5øηe.=ηMLEè ηˆ = max{ n1 n , 1 2 } 2dθ = 1− √ 1−2η 2 θMLEè ˆθ = 1 − √ 1 − 2ˆη 2 ~10. loN X 0 1 2 3 P θ/2 θ 3θ/2 1 − 3θ ƒòá{¸ X1, · · · , X10* äè(0, 3, 1, 1, 0, 2, 0, 0, 3, 0)ß (1) ¶θ›O˛ˆθM⁄4åq,O˛ˆθLßø¶—Oä" (2) ˛„O˛¥ƒèƺeÿ¥ßûä?. (3) '?¸áO˛ßç—@áçk. 3k ØK•, p1, · · · , pk—¥,ò ÎÍθ1, · · · , θr (r ≤ k)ºÍ, ˘ûK(1.6)• Üθ1, · · · , θrÃ'‹©, ÈÍq,ºÍè l(θ1, · · · , θr; x) = X k i=1 xi log pi(θ1, · · · , θr) Èθi¶†Íq,êß| ∂l ∂θi = 0, i = 1, 2, · · · , r. (1.8) eq,êßÉ)ˆθ ∗ 1 , · · · , ˆθ ∗ r èθ1, · · · , θrMLE, Kp1, · · · , pkMLE©O¥pˆ1( ˆθ ∗ 1 , · · · , ˆθ ∗ r )· · · , pˆk( ˆθ ∗ 1 , · · · , ˆθ ∗ r ). kûq,êß|(1.8)Ãw™), “êU^Íäê{. n!4åq,O5ü∗ c°~f•Æç—4åq,Oÿò½¥Ã†. ñuÉ‹5ØK, vk›O@o {¸. 4åq,OÉ‹5ØK, ⁄ÂNı⁄Oƈ,, Üy3—ÿU`Æî.)˚ . 1946cCramer3ò ^áe, y² q,êßkòä¥ÎÍθfÉ‹O. duq,ê ßäÿò½¥4åq,O, ˘á(JÑ¥vk)˚q,OÉ‹5ØK. Ü1949c, Wald‚ƒgy² 4åq,OrÉ‹5, §á¶^áÈE,. dkò ƈUY ?1Ôƒ, F"3^áey²É‹5. ˘ (J, ÿB3dòò[„. 3á~, `²4åq,Oå±ÿÉ‹, k,÷ˆåwΩz[2] P81á~. e°50 4åq,OA^5ü: 1. 4åq,OÜø©⁄O˛ X = (X1, · · · , Xn)ègoN{f(x, θ), θ ∈ Θ} •ƒ—{¸ëÅ , T = T(X1, · · · , Xn)¥ ÎÍθø©⁄O˛, XJθ4åq,O3, Kß7èTºÍ. dœf©)½nå XV«ºÍ, ½=q,ºÍåLè L(θ, x) = Yn i=1 f(xi , θ) = g(T(x), θ)h(x). 9
因此使spL(0,x)达到上确界之点*，即为使supg(T(x),)达到上确界之点，它必为T(x)的函 数 此性质说明的极大似然估计=*(X1,…,Xn)可表为T(X)的函数即=*(T(X1,…,X) 如例3.3.2一例3.3.8中的极大似然估计皆为充分统计量的函数. 2.极大似然估计与有效估计 设X=(X1,…,Xn)为自分布族{f(z,),0∈Θ}抽取的简单随机样本，若g(0)的有效 估计(X)=(X1,…,Xn)存在，则g(0)的MLEg*(X)=g*(X1,…,Xn)必与(X)重合， 即g(X)=(X): 这一性质的证明放在$3.5，即介绍了有效估计的概念之后，其证明将由例3.5.11给出 3.相合渐近正态性 我们只考虑参数0为一维的情形.设多={f(x),0∈Θ}为一概率函数族，日=(a,b)为R1上 开区间.设f(x,)满足下列条件： (1)对一切0∈日，偏导数 0 log fo(x） 02l0g fo(r)03 log fo(r) 00 002 083 存在 (2)存在定义于实轴上的函数F(z)、F2(x)和H(x),使对一切0∈日和x∈R1有 0f(x)1 <F(z), 82f(x 002 <F2(c), 103fa(x) 003. ≤H(z), 其中 Fi(x)dx oo,i=1,2; H(z)fa(x)dx<M,0∈Θ， 这里M与无关 (3)对一切9∈日有 0<I(0)= fo(r)dr<oo. 关于极大似然估计的相合渐近正态(CAN)性，有下列结果： 定理2.设X=(X1,·,X)为自满足上述条件(1)-(3)的总体中抽取的简单随机样本，且设 对数似然方程 olog fo(i0 0 有唯一根0=(X1,·,Xn),0o为真值，则0为0o的CAN估计.即 va6-w名v(7)月 且9为0o的弱相合估计. 10
œd¶sup θ L(θ, x)à˛(.É:ˆθ ∗ , =è¶sup θ g(T(x), θ)à˛(.É:, ß7èT(x)º Í. d5ü`²θ4åq,Oˆθ ∗ = ˆθ ∗ (X1, · · · , Xn) åLèT(X)ºÍ=ˆθ ∗ = ˆθ ∗ (T(X1, · · · , Xn)). X~3.3.2—~3.3.8•4åq,Oèø©⁄O˛ºÍ. 2. 4åq,OÜkO X = (X1, · · · , Xn)èg©Ÿx{f(x, θ), θ ∈ Θ} ƒ{¸ëÅ , eg(θ)k O gˆ(X) = ˆg(X1, · · · , Xn)3, Kg(θ)MLE ˆg ∗ (X) = ˆg ∗ (X1, · · · , Xn) 7Ügˆ(X)‹, =gˆ ∗ (X) = ˆg(X). ˘ò5üy²ò3§3.5,=0 kOVgÉ, Ÿy²Úd~3.5.11â—. 3. É‹ÏC5 ·ÇêƒÎÍθèòëú/. F = {fθ(x), θ ∈ Θ} èòV«ºÍx, Θ = (a, b)èR1˛ m´m. f(x, θ)˜ve^á: (1) ÈòÉθ ∈ Θ,†Í ∂ log fθ(x) ∂θ , ∂ 2 log fθ(x) ∂θ2 , ∂ 3 log fθ(x) ∂θ3 3. (2) 3½¬u¢¶˛ºÍF1(x)!F2(x)⁄H(x), ¶ÈòÉθ ∈ Θ⁄x ∈ R1k ∂fθ(x) ∂θ < F1(x), ∂ 2fθ(x) ∂θ2 < F2(x), ∂ 3fθ(x) ∂θ3 ≤ H(x), Ÿ• Z ∞ −∞ Fi(x)dx < ∞, i = 1, 2; Z ∞ −∞ H(x)fθ(x)dx < M, θ ∈ Θ, ˘pMÜθÃ'. (3) ÈòÉθ ∈ Θk 0 < I(θ) = E h∂ log fθ(x) ∂θ 2i = Z ∞ −∞ ∂ logfθ(x) ∂θ 2 fθ(x)dx < ∞. 'u4åq,OÉ‹ÏC(CAN)5, ke(J: ½n 2. X = (X1, · · · , Xn)èg˜v˛„^á(1)-(3)oN•ƒ{¸ëÅ , Ö ÈÍq,êß Xn i=1 ∂ log fθ(xi) ∂θ = 0 kçòäˆθ = ˆθ(X1, · · · , Xn), θ0è˝ä, Kˆθèθ0CANO. = √ n( ˆθ − θ0) L −→ N 0, 1 I(θ0) , Öˆθèθ0fÉ‹O. 10