Lec6:点估计（三） 张伟平 2011年3月24日 1一致最小方差无偏估计 一、引言及定义 设有一参数分布族多={F6,0∈日}，其中日为参数空间.设g()是定义在日上的函数， X=(X1,·,Xn)为自总体F6中抽取的简单样本，(X)=g(X1,·,Xn)为g(9)的一个估计量， 如何评价(X)的优劣？一般用(X)-g)作为其偏差，为消除(X)-g()取值出现“+，-”可 能抵消的影响，一般用（©(X)-9()2来代替.由于这个量是随机的，将其平均，即计算其均值，以 得到一个整体性的指标E(©(X)-g(0)2,这就是估计量g(X)的均方误差. 定义1.设g(X)为g(0)的估计，则称Eg(G(X)-g(0)2为g(X)的均方误差(Mean Square Error,简 记MSE) 设1(X)和2(X)为g(0)的两个不同的估计，若 Ea(©(X)-g(0)2≤Eg(2(X)-9(0)2,对一切0∈日， 则称在MSE准则下1(X)优于2(X). 若存在g(X),使得对g(0)的任一估计量(X),都有 E(g(X)-9(0)2≤E(G(X)-9(0)2,对-切0∈6， 则称(X)为g()的一致最小均方误差估计. 可惜的是一致最小均方误差估计常不存在.解决这个问题的办法之一，是把最优性准则放 宽一些，使适合这种最优性准则的估计一般能存在.从直观上想，在一个大的估计量的类中找 一致最优的估计不存在，把估计量的类缩小，就有可能存在一致最优的估计量.因此我们把估 计类缩小为无偏估计类来考虑.在无偏估计类中，估计量的均方误差就变为其方差.即当©(X) 为g()的无偏估计时，MSE(g(X)=D(G(X),此处D(G(X)表示g(X)的方差. 存在这样的情形，对参数g()它的无偏估计不存在.请看下例： 例1.设样本X~二项分布b(n,p),n已知而p未知.令g(p)=1/p,则参数g(p)的无偏估计不存在 证采用反证法：若不然，g(p)有无偏估计(X)由于X只取0,1，·，n这些值，令(X)的取值 用g()=a:表示，i=0,1,·,n.由g(X)的无偏性，应有 Ex》-2(O)--=p,0<p<1
Lec6: :O(n) ‹ï² 2011 c 3 24 F 1 òóÅê ÆO ò!⁄Û9½¬ kòÎÍ©ŸxF = {Fθ, θ ∈ Θ},Ÿ•ΘèÎÍòm. g(θ)¥½¬3Θ˛ºÍ, X = (X1, · · · , Xn)ègoNFθ •ƒ{¸ , ˆg(X) = ˆg(X1, · · · , Xn)èg(θ) òáO˛, X¤µdgˆ(X)`? òÑ^gˆ(X) − g(θ) ä蟆 , èûÿgˆ(X) − g(θ)ä—y/+, −0å U-ûKè, òÑ^(ˆg(X) − g(θ))25ìO. du˘á˛¥ëÅ, ÚŸ²˛, =OéŸ˛ä, ± òáN5çIEθ(ˆg(X) − g(θ))2 , ˘“¥O˛gˆ(X)˛êÿ . ½¬ 1. gˆ(X)èg(θ)O, K°Eθ(ˆg(X)−g(θ))2 ègˆ(X)˛êÿ (Mean Square Error,{ PMSE) gˆ1(X)⁄gˆ2(X)èg(θ)¸áÿ”O, e Eθ gˆ1(X) − g(θ) 2 ≤ Eθ gˆ2(X) − g(θ) 2 , ÈòÉ θ ∈ Θ, K°3MSEOKegˆ1(X)`ugˆ2(X). e3gˆ ∗ (X),¶Èg(θ)?òO˛gˆ(X),—k Eθ gˆ ∗ (X) − g(θ) 2 ≤ Eθ gˆ(X) − g(θ) 2 , ÈòÉ θ ∈ Θ, K°gˆ ∗ (X)èg(θ)òóÅ˛êÿ O. åJ¥òóÅ˛êÿ O~ÿ3. )˚˘áØKç{Éò, ¥rÅ`5OKò °ò , ¶·‹˘´Å`5OKOòÑU3. lÜ*˛é, 3òáåO˛a•È òóÅ`Oÿ3, rO˛a†, “kåU3òóÅ`O˛. œd·Çr Oa†èÆOa5ƒ. 3ÆOa•, O˛˛êÿ “CèŸê . =gˆ(X) èg(θ)ÆOû, MSE(ˆg(X)) = Dθ(ˆg(X)), d?Dθ(ˆg(X))L´gˆ(X)ê . 3˘ú/, ÈÎÍg(θ)ßÆOÿ3. ûwe~: ~1. X ∼ ë©Ÿ b(n, p), nÆ pô. -g(p) = 1/p,KÎÍg(p)ÆOÿ3. y Ê^áy{: eÿ,, g(p)kÆOgˆ(X).duXê0, 1, · · · , n˘ ä, -gˆ(X)ä ^gˆ(i) = aiL´, i = 0, 1, · · · , n.dgˆ(X)Æ5,Ak Ep(ˆg(X)) = Xn i=0 ai n i p i (1 − p) n−i = 1/p, 0 < p < 1. 1
于是有 a(）p1-m--1=00<p<1 -0 但上式左端是p的n+1次多项式，它最多在(0,1)区间有n+1个实根，可无偏性要求对(0,1)中的 任一实数p上式都成立.这个矛盾说明g(p)=1/p无的偏估计不存在 今后我们把不存在无偏估计的参数除外.参数的无偏估计若存在，则此参数为可估参数：若 参数函数的无偏估计存在，则称此函数为可估函数(Estimable function).因此可估函数的无偏 估计类是非空的 假如可估函数的无偏估计类中的无偏估计不止一个，怎样比较它们的优劣？故引入下列的 定义 定义2.设多={F6,0∈日]}是一个参数分布族，其中日为参数空间，g(0)为定义在日上的可 估函数.设g*(X)=g(X1,·,Xn)为g()的一个无偏估计，若对g()的任一无偏估计(X)= (X1,…,Xn),都有 Da(g*(X)≤Da(g(X),对一切0∈Θ， 则称g(X)是g(0)的一致最小方差无偏估计(Uniformly Minimum Variance Unbiased Estima- tion,简记为UMVUE)】 对给定参数分布族，如何寻找可估参数的UMVUE呢？本节以下将介绍两种方法：零无偏估 计法和充分完全统计量法，下一节的Cramer-Rao不等式法也是寻找JMVUE的一种方法， 在前面我们曾介绍过Rao-Blackwell定理，这一定理提供了一个改进无偏估计的方法，它在 本节以下寻找UMVUE中，起到简化问题的作用.重新表述此定理如下 定理1(Rao-Blackwel).设T=T(X)是一个充分统计量，而g(X)是g(0的一个无偏估计，则 h(T)=E(g(X)T) 是g(0)的无偏估计，并且 De(h(T)≤De(g(X),一切8∈Θ， (1.1) 其中等号当且仅当P(g(X)=h(T)=1,即g(X)=h(T),a.e.Pg成立. 这个引理提供了一个改进无偏估计的方法，即一个无偏估计(X)对充分统计量T(X)的条 件期望E{(X)T}将能导出一个新的无偏估计，且它的方差不会超过原估计量©(X)的方差.若 原估计(X)不是T(X)的函数，则新的无偏估计E((X)T)一定比原估计(X)具有更小的方差. 这个定理还表明一致最小方差无偏估计一定是充分统计量的函数，否则可以通过充分统计量构 造出一个具有更小方差的无偏估计来. 例2.设X=(X1,·,X)是从两点分布族{b(1,p)：0<p<1}中抽取的简单样本.显 然，X1是即的一个无偏估计，T(X)=∑=1X,是p的充分统计量，试利用T=T(X)构造一个具有 比X1方差更小的无偏估计. 解由引理3.4.1可知，容易构造p的一个无偏估计如下： h(T)=E(XT=t)=1·P(X1=1T=t)+0.P(X1=0T=t)
u¥k Xn i=0 ai n i p i+1(1 − p) n−i − 1 = 0, 0 < p < 1. ˛™Ü‡¥pn + 1gıë™, ßÅı3(0, 1)´mkn + 1á¢ä, åÆ5á¶È(0, 1)• ?ò¢Íp˛™—§·. ˘ágÒ`²g(p) = 1/pÆOÿ3. 8·Çrÿ3ÆOÎÍÿ . ÎÍÆOe3, KdÎÍèåÎÍ; e ÎͺÍÆO3, K°dºÍèåºÍ (Estimable function). œdåºÍÆ Oa¥öò. bXåºÍÆOa•Ã†Oÿéòá, N'ßÇ`? ⁄\e ½¬. ½¬ 2. F = {Fθ, θ ∈ Θ}¥òáÎÍ©Ÿx, Ÿ•ΘèÎÍòm,g(θ)转3Θ˛å ºÍ. gˆ ∗ (X) = ˆg ∗ (X1, · · · , Xn)èg(θ)òáÆO, eÈg(θ)?òÆOgˆ(X) = gˆ(X1, · · · , Xn),—k Dθ(ˆg ∗ (X)) ≤ Dθ(ˆg(X)), ÈòÉ θ ∈ Θ, K°gˆ ∗ (X)¥g(θ)òóÅê ÆO (Uniformly Minimum Variance Unbiased Estimation, {PèUMVUE). Èâ½ÎÍ©Ÿx, X¤œÈåÎÍUMVUEQ? !±eÚ0 ¸´ê{: "Æ O{⁄ø© ⁄O˛{, eò!Cramer-Raoÿ ™{襜ÈUMVUEò´ê{. 3c°·ÇQ0 LRao-Blackwell½n, ˘ò½nJ¯ òáU?ÆOê{, ß3 !±eœÈUMVUE•,Â{zØKä^. #L„d½nXe ½n 1 (Rao-Blackwell). T = T(X)¥òáø©⁄O˛, gˆ(X)¥g(θ) òáÆO, K h(T) = E(ˆg(X)|T) ¥g(θ)ÆO, øÖ Dθ(h(T)) ≤ Dθ(ˆg(X)), òÉ θ ∈ Θ, (1.1) Ÿ• “Ö=Pθ gˆ(X) = h(T) = 1,=gˆ(X) = h(T), a.e. Pθ§·. ˘á⁄nJ¯ òáU?ÆOê{, =òáÆOgˆ(X) Èø©⁄O˛T(X)^ áœ"E{gˆ(X)|T} ÚU—òá#ÆO, Ößê ÿ¨áLO˛gˆ(X)ê . e Ogˆ(X)ÿ¥T(X)ºÍ, K#ÆOE(ˆg(X)|T)ò½'Ogˆ(X)‰kçê . ˘á½nÑL²òóÅê ÆOò½¥ø©⁄O˛ºÍ, ƒK屜Lø©⁄O˛ E—òá‰kçê ÆO5. ~2. X = (X1, · · · , Xn)¥l¸:©Ÿx{b(1, p) : 0 < p < 1}•ƒ{¸ . w ,,X1¥pòáÆO, T(X) = Pn i=1 Xi¥p ø©⁄O˛, £|^T = T(X)Eòá‰k 'X1ê çÆO. ) d⁄n3.4.1å,N¥EpòáÆOXeµ h(T) = E(X1|T = t) = 1 · P(X1 = 1|T = t) + 0 · P(X1 = 0|T = t) 2
=PX1=1,T==PX1=1,X2+…+Xn=t-1) P(T=t) P(T=t) p()p-1(1-p)m-t t 9㎡0-pn-—=元=2 显然样本均值h(T)=的方差为(1-p)/m,而X1的方差为p(1-p,当n≥2时x的方差更小. 二、零无偏估计法 本段介绍一个一般性的定理，用以判断某一估计量是否为UMVUE 定理2.设(X)是g()的一个无偏估计，D(G(X)Do(g(x). 另一方面，如果6=g(X)为g(0)的UMVUE,则对任意的零无偏估计量(x),令 6=6+l(X) 则6仍为g()的无偏估计，且 Var(6')=Var(6+XI(X))=X2Var(I(X))+2XCou(6,1(X))+Var(6)>Var(6). 对所有的成立.等价于 X2Var((X)+2ACo(6,l(X)≥0，Hλ. 左边有两个根λ=0和入=-Cou(6,l(X)/Var(l(X),推出Cow(6,l(X)=0. 这就证明了所要的结果 从定理的内容看，它是一个验证某个特定的估计量(X)为UMVUE的方法.至于这个特 定的估计g(X)从何而来，定理3.4.1不能提供任何帮助，它不是UMVUE的构造性定理.g(X)可 以从直观的想法提出，如由矩估计或极大似然估计等方法获得，然后利用此定理验证它是否
= P(X1 = 1, T = t) P(T = t) = P(X1 = 1, X2 + · · · + Xn = t − 1) P(T = t) = p · n−1 t−1 p t−1 (1 − p) n−t n t p t(1 − p) n−t = t n = ¯x. w, ˛äh(T) = X¯ê èp(1 − p)/n, X1ê èp(1 − p),n ≥ 2ûX¯ê ç. !"ÆO{ „0 òáòÑ5½n, ^±‰,òO˛¥ƒèUMVUE. ½n 2. gˆ(X)¥g(θ)òáÆO, Dθ(ˆg(X)) k¸áäλ = 0⁄λ = −Cov(δ, l(X))/V ar(l(X)), Ì—Cov(δ, l(X)) = 0. ˘“y² §á(J. l½nSNw, ߥòáy,áA½O˛gˆ(X)èUMVUEê{. ñu˘áA ½Ogˆ(X)l¤ 5, ½n3.4.1ÿUJ¯?¤êœ, ßÿ¥UMVUEE5½n. ˆg(X)å ±lÜ*é{J—, Xd›O½4åq,O ê{º, ,|^d½nyߥƒ 3
为g()的UMVUE.条件(1.2)的验证也不容易，因为零无偏估计很多.下面的几个例子说明，本章 前面一些例子中提到的几个常用估计，都可以用此法验证其为UMVUE. 例求上例中g(p)=p的UMVUE, 解由上例已知T=∑=1X,为充分统计量，X)=T/n,故只要验证它满足定理的条件. 显然g(X)是p的无偏估计.且D(gX)=p(1-p)/n0 0 当t≤0， 其中入>0.取g(X)=T/m,显然E(G(X)=1/入，即g(X)为g()=1/A的无偏估计，且D(©(X)= 1/(n入2)0
èg(θ)UMVUE. ^á(1.2)yèÿN¥, œè"ÆOÈı. e°Aá~f`², Ÿ c°ò ~f•JAá~^O, —å±^d{yŸèUMVUE. ~ ¶˛~•g(p) = pUMVUE. ) d˛~ÆT = Pn i=1 Xièø©⁄O˛, ˆg(X) = T /n,êáyߘv½n^á. w,gˆ(X)¥pÆO. ÖDθ(ˆg(X)) = p(1 − p)/n ¥ϕıë™, ᶟè0, 7kai n i = 0,=ai = 0, i = 1, 2, · · · , n.l(T)3Ÿ½¬ç •??è0, œ kl(T) ≡ 0.l k Covp g, l ˆ (T) = E gˆ · l(T) = 0. =½n^᧷, gˆ(X) = X¯ = T /nèpUMVUE. ~ X = (X1, · · · , Xn)èlçÍ©ŸEP(λ) •ƒ{¸ , ¶oN˛äg(λ) = 1/λUMVUE. ) du3çÍ©Ÿx•T = Pn i=1 Xièλø©⁄O˛, KT ∼ Γ(n, λ),Ÿó›ºÍè φ(t, λ) = ( λ n (n−1)!t n−1 e −λt t > 0 0 t ≤ 0, Ÿ•λ > 0.gˆ(X) = T /n, w,E(ˆg(X)) = 1/λ,=gˆ(X) èg(λ) = 1/λÆO, ÖDλ(ˆg(X)) = 1 (nλ2 ) Èλ¶ Z ∞ 0 l(t)t n e −λtdt = 0, d™ duEλ T /n · l(T) = Eλ(ˆg · l(T)) = Covλ(ˆg · l) = 0,=½n^᧷. œdgˆ(X) = T /n èg(λ) = 1/λUMVUE. ~ X = (X1, · · · , Xn)èl˛!©ŸU(0, θ)•ƒ{¸ , ¶θUMVUE. ) dT = T(X) = X(n)¥ÎÍθø©⁄O˛, qgˆ(X) = n+1 n T¥θÆO, ÖDθ(ˆg(T)) = 1 n(n+2) θ 2 0, 4
于是有 l(t)tn-1dt=0,一切8>0. 将上式两边对9求导得(0)9m-1=0,一切0>0.故有1(0)三0对一切9>0.可见Cow(g,l(T)= E(g·l(T)=0,即定理条件成立.因此g(X)=tX(m为g()=的JMVUE. 例设X=(X1,·,Xn)为从正态分布N(a,o)中抽取的简单随机样本，求a和o的UMVUE. 解由T=(T1,T2)为9=(a,o2)的充分统计量其中T1=元，T2=∑”1(X-)2, 又T和T2独立，且T1心N(a,σ2/m),T2/o2X品-1.因此(T1,T2)的联合密度为 a女=0(r）会 当-000;其它处为0. (1.3) 先考虑a的JMVUE,令g,(X)=T1,显然g(X)为g(g)=a的无偏估计，且Dg(g,(X)= σ2/n0.将上式两边对a求导数，得 p+ada -0. 按(1.3)，此即 Cog(g,l(T)=Eg(g1·l(T,T2)）=0,-o0, 故定理3.4.1的条件满足.所以g,(X)=T为g(0)=a的UMVUE. 同理可验证T2=S2为g2(0)=σ的JMVUE,这一验证留为练习. 三、充分完全统计量法 下列定理给出的求JMVUE的方法，即充分完全统计量法是由E.L.Lehmann和H.Scheffe给 出的，完全统计量的概念也是由他们在1950年提出的. 定理(Lehmann-Scheffe定理)设T(X)为一个充分完全统计量，若(T(X)为g(0)的 一个无偏估计，则g(T(X)是g()的唯一的UMVUE(唯一性是在这样的意义下：若g和g,都 是g(0)的JMVUE,则Pa(g≠g)=0,对一切9∈Θ). 证先证唯一性.设g1(T(X)为g()的任一无偏估计，令6(T(X)=(T(X)-1(T(X), 则E6(T(X)=E(T(X)-E1(T(X)=0,对一切0∈日.由T(X)为完全统计量，可 知6(T(X)=0,a.e.Pg.即g(T(X)=1(T(X),a.e.Pg,故唯一性成立. 设p(X)为g()的任一无偏估计.令h(T(X)=E(p(X)T),由T(X)为充分统计量，故知h(T(X)与0无 关，因此是统计量，可知 Ea(h(T(X))=g(): 一切9∈Θ， De(h(T(X))≤Dg(p(X),一切0∈O. 5
u¥k Z θ 0 l(t)t n−1 dt = 0, òÉ θ > 0. Ú˛™¸>Èθ ¶l(θ)θ n−1 = 0, òÉ θ > 0.kl(θ) ≡ 0 ÈòÉθ > 0.åÑCov(ˆg, l(T)) = E(ˆg · l(T)) = 0,=½n^᧷. œdgˆ(X) = n+1 n X(n)èg(θ) = θUMVUE. ~ X = (X1, · · · , Xn)èl©ŸN(a, σ2 )•ƒ{¸ëÅ , ¶a⁄σ 2UMVUE. ) dT = (T1, T2)èθ = (a, σ2 ) ø©⁄O˛.Ÿ•T1 = X, T ¯ 2 = Pn i=1(Xi − X¯) 2 , qT1⁄T2’·, ÖT1 ∼ N a, σ2/n , T2/σ2 ∼ χ 2 n−1 . œd(T1, T2)È‹ó›è f(t1, t2) = √ n √ 2πσ2 e − n(t1−a) 2 2σ2 · 2 n−1 2 Γ n − 1 2 σ n−1 −1 t n−3 2 2 e − t2 2σ2 , − ∞ 0; Ÿß?è 0. (1.3) kƒaUMVUE, -gˆ1 (X) = T1,w,gˆ1(X) èg1(θ) = aÆO, ÖDθ(ˆg1 (X)) = σ 2/n 0.Ú˛™¸>Èa¶Í, Z ∞ 0 Z ∞ −∞ l(t1, t2)(t1 − a) · t n−3 2 2 exp n − 1 2σ 2 n(t1 − a) 2 + t2 o dt1dt2 = 0, U(1.3),d= Covθ gˆ1 , l(T) = Eθ gˆ1 · l(T1, T2) = 0, −∞ 0, ½n3.4.1^á˜v. §±gˆ1 (X) = T1èg1 (θ) = aUMVUE. ”nåyT2 = S 2èg2(θ) = σ 2UMVUE, ˘òy3èˆS. n!ø© ⁄O˛{ e½nâ—¶UMVUEê{, =ø© ⁄O˛{¥dE.L. Lehmann⁄H. Scheffeâ —, ⁄O˛Vgè¥d¶Ç31950cJ—. ½n (Lehmann-Scheffe½n) T(X)èòáø© ⁄O˛, egˆ(T(X))èg(θ) òáÆO, Kgˆ(T(X))¥g(θ) çòUMVUE (çò5¥3˘ø¬e: egˆ⁄gˆ1— ¥g(θ)UMVUE, KPθ(ˆg 6= ˆg1 ) = 0,ÈòÉθ ∈ Θ). y kyçò5. gˆ1(T(X))èg(θ)?òÆO, -δ(T(X)) = ˆg(T(X)) − gˆ1(T(X)), KEθδ(T(X)) = Eθgˆ(T(X)) − Eθgˆ1(T(X)) = 0,ÈòÉθ ∈ Θ. dT(X)è ⁄O˛, å δ(T(X)) = 0, a.e. Pθ.=gˆ(T(X)) = ˆg1(T(X)), a.e. Pθ, çò5§·. ϕ(X)èg(θ)?òÆO. -h(T(X)) = E(ϕ(X)|T),dT(X)èø©⁄O˛, h(T(X))Üθà ', œd¥⁄O˛, å Eθ(h(T(X))) = g(θ), òÉ θ ∈ Θ, Dθ(h(T(X))) ≤ Dθ(ϕ(X)), òÉ θ ∈ Θ. 5
由唯一性得(T(X)=h(T(X),a.e.Pa故有 Dg(G(T(X)≤Da(p(X),一切8∈6， 所以g(T(X)为g(O)的UMVUE,且唯一. 推论设样本X=(X1,·,Xn)的分布为指数族 fx,60)=C(0)ep{∑6，T(x)}h(x,0=(0,…,s)∈6. =1 令T(X)=(T1(X),·,Tk(X),若自然参数空间日作为Rk的子集有内点，且h(T(X)为g()的无 偏估计，则h(T(X)为g(0)的唯一的JMVUE. 证在推论的条件下，由指数族的性质可知T(X)为充分完全统计量.故由Lehmann- Scheffe定理（简记为L-S定理），得知h(T(X)为g()的唯一的UMVUE. 例证明两点分布的p的无偏估计g(X)=T/n=X为p的UMVUE. 证由因子分解定理可知T(X)=上X:为两点分布(1，p)中参数即的充分统计量， 由例2.8.1知T(X)也是完全统计量，故(X)=T/m=是充分完全统计量T(X)的函数， 且Epg(X)=p,对0<p<1.因此由L-S定理可知g(X)为p的唯一的JMVUE. 在上例中，已知T=∑X:服从二项分布m,p叭，且TX)为充分完全统计量，求g回 p(1-p)的JMVUE. 解设6(T)为g(p)=p(1-p)的一个无偏估计，要导出(T)的表达式.按无偏估计的定义 及T~b(n,p),可得 三（份0u-=-队-0<p<1 令p=p/(1-p故有p=p/(1+p),1-p=1/1+p),将它们代入上式得 2()0p=AI+p-?0<ps 将1+p)n-2展开得a1+)=三(0p+1=写（但=，将其代入上式右边得 三（日0t-三(-） ,0<p<o. 上式两边为p的多项式，比较其系数得 6t)=0,当t=0,n @一找， n(n-1)' 当t=1,2,…,n-1. 综合上述两式得 6(T)=I(n-T) n(n-1)' t=0,1,…,n 6
dçò5gˆ(T(X)) = h(T(X)), a.e. Pθk Dθ(ˆg(T(X)) ≤ Dθ(ϕ(X)), òÉ θ ∈ Θ, §±gˆ(T(X)) èg(θ)UMVUE, Öçò. Ìÿ X = (X1, · · · , Xn)©ŸèçÍx f(x, θ) = C(θ) exp nX k j=1 θjTj (x) o h(x), θ = (θ1, · · · , θk) ∈ Θ. -T(X) = (T1(X), · · · , Tk(X)), eg,ÎÍòmΘäèRkf8kS:, Öh(T(X))èg(θ)à †O, Kh(T(X))èg(θ)çòUMVUE. y 3Ìÿ^áe, dçÍx5üåT(X)èø© ⁄O˛. dLehmannScheffe½n ({PèL-S½n), h(T(X))èg(θ)çòUMVUE. ~ y²¸:©ŸpÆOgˆ(X) = T /n = X¯ èpUMVUE. y dœf©)½nåT(X) = Pn i=1 Xiè¸:©Ÿb(1, p)•ÎÍp ø©⁄O˛, d~2.8.1T(X)è¥ ⁄O˛, gˆ(X) = T /n = X¯¥ø© ⁄O˛T(X)ºÍ, ÖEp gˆ(X) = p,È0 Xn t=0 n t δ(t)ρ t = nX−1 t=1 n − 2 t − 1 ρ t , 0 èρıë™, 'ŸXÍ δ(t) = 0, t = 0, n; δ(t) = n − 2 t − 1 , n t = t(n − t) n(n − 1), t = 1, 2, · · · , n − 1. n‹˛„¸™ δ(T) = T(n − T) n(n − 1) , t = 0, 1, · · · , n 6
为9p)=(1-p)的无偏估计，它又是充分完全统计量T=∑1X,的函数，由L-S定理可 知6(T)为g(p)的JMVUE. 例设X=(X1,·,Xn)为从Poisson分布P()中抽取的简单随机样本，求(1)91()=X (2)92()=X',r>0为自然数：(3)g3(A)=P(X1=x)的JMVUE. 解由$2.7和2.8可知T(X)=∑1X,为关于Poisson分布的充分完全统计量. (1)令1(T)=T(X)/n,E(g1(T)=E()=入，故©1(T)是分完全统计量T的函数，且 是入的无偏估计，故由L-S定理可知g1(T)是入的JMVUE. (2)由于T(X)=∑=1X:~P(n),令6(T)为92()=r的无偏估计，故有E6T)= 92(A),即 gy=x t=0 t! 此式等价于 阳g=e 人0 将上式右边作展开得 将其代入上式右边得 如管-含 1=0 上述等式两边是入的幂级数，比较其系数得 6(t)=0,当t=0,1,…,r-1, nc=-1)…t-r+山 i()=-r)m 当t=r,r+1,… 综合上述两式得 6m）=TT-…(T-r+1, T=0,1,2,… n 为g2()=入'的无偏估计，6(T)是充分完全统计量T的函数，故由L-S定理可知6(T)为g2()的UMVUE. (3)由P(X1=x)=e-入入/x!,可见它是参数入的函数，故可用g3()表示.令(X1)= x=则E(X】=乃(X1=x).因此(X)为g(A)的无偏估计，注意到T=∑=1X:~ P(n)和∑=2X:~P(n-1)),故有 6i(T)=61(T(X))=E((X1)IT=t)=P(X1=.T=t) P(T=t) =B(X1=)P(X2++Xn=t-四=n-1-利 P(X1+…+Xn=t) nt(t-x)!x! -(份a-(0）-.2 d1(T)为g(A)的无偏估计，它又是充分完全统计量T(X)的函数，所以 ax》=(因）（周）(-)
èg(p) = p(1 − p)ÆO, ßq¥ø© ⁄O˛T = Pn i=1 XiºÍ, dL-S½nå δ(T)èg(p)UMVUE. ~ X = (X1, · · · , Xn)èlPoisson©ŸP(λ) •ƒ{¸ëÅ , ¶ (1) g1(λ) = λ; (2) g2(λ) = λ r , r > 0 èg,Í; (3) g3(λ) = Pλ(X1 = x)UMVUE. ) d§2.7⁄§2.8åT(X) = Pn i=1 Xi è'uPoisson©Ÿø© ⁄O˛. (1) -gˆ1(T) = T(X)/n, E(ˆg1(T)) = E(X¯) = λ, gˆ1(T)¥© ⁄O˛TºÍßÖ ¥λÆO,dL-S½någˆ1(T)¥λUMVUE. (2) duT(X) = Pn i=1 Xi ∼ P(nλ),-δ(T)èg2(λ) = λ rÆO, kEλδ(T) = g2(λ),= X∞ t=0 δ(t) e −nλ(nλ) t t! = λ r . d™ du X∞ t=0 δ(t) n tλ t t! = λ r e nλ . Ú˛™m>ä–m λ r e nλ = X∞ l=0 n lλ l+r l! = X∞ t=r n t−rλ t (t − r)!. ÚŸì\˛™m> X∞ t=0 δ(t) n tλ t t! = X∞ t=r n t−rλ t (t − r)!. ˛„ ™¸>¥λò?Í, 'ŸXÍ δ(t) = 0, t = 0, 1, · · · , r − 1, δ(t) = t! n t−r (t − r)!nt = t(t − 1)· · ·(t − r + 1) nr , t = r, r + 1, · · · n‹˛„¸™ δ(T) = T(T − 1)· · ·(T − r + 1) nr , T = 0, 1, 2, · · · èg2(λ) = λ rÆO, δ(T)¥ø© ⁄O˛TºÍ, dL-S½nåδ(T)èg2(λ)UMVUE. (3) dPλ(X1 = x) = e −λλ x x! ,åÑߥÎÍλºÍ,å^g3(λ)L´. -ϕ(X1) = I[X1=x] , KEλ[ϕ(X1)] = Pλ(X1 = x).œdϕ(X1) èg3(λ)ÆO, 5øT = Pn i=1 Xi ∼ P(nλ)⁄ Pn i=2 Xi ∼ P((n − 1)λ),k δ1(T) = δ1(T(X)) = E(ϕ(X1)|T = t) = Pλ(X1 = x, T = t) Pλ(T = t) = Pλ(X1 = x)Pλ(X2 + · · · + Xn = t − x) Pλ(X1 + · · · + Xn = t) = (n − 1)t−x t! nt(t − x)!x! = t x (n − 1)t−x nt = t x 1 n x 1 − 1 n t−x , t ≥ x δ1(T)èg3 (λ)ÆO, ßq¥ø© ⁄O˛T(X)ºÍ, §± δ1(T(X)) = T x 1 n 1 − 1 n T −x 7
为g3(A)的JMVUE. 例设X=(X1,·,Xn)为从指数分布EP(A)中抽取的简单随机样本，求g(A)=A的JMVUE, 由TX)=合X的充分完全统计量，以及TX)~Tn,即参数为n和入的Gamna分 解 布，故有 分)== n-1 因此g(T(X)=(n-1)/T(X)为入的无偏估计，由L-S定理可知它是λ的JMVUE 例设X=(X1,…,Xn)为从正态分布N(a,σ)中抽取的简单随机样本，记9=(a,o2): (1)求a和a2的JMVUE,(2)求g(0)=σ的UMVUE. 解由T(X)=(伍(X),12(X),其中T(X)=,12(X)=(K:-)2,为充分完全统计 1 量 (1)由于g,(X)==T和2(X)=T2/(n-1)分别为a和σ2的无偏估计，它们又是充分完全 统计量，故由L-S定理可知它们分别是a和o的UMVUE. (2)由于T2/a2心X品-1，故σ的无偏估计与T2的幂函数有关.先计算下式： (周=(-广 2r2T() () Kn-1.r 由上式可知 E(Kn-1r·T)=a 因此估计量 aTX》=K-1w5-2r2TT Tr/2 是的无偏估计，又是充分完全统计量T=(T,T2)的函数，故由LS定理可知它是g()= r的UMVUE. 例用Lehmann-Scheffe定理再考虑均匀分布U(0,0),0>0,中的参数e的JMVUE. 解由T(X)=max(X1,…,Xn)-Xm为充分完全统计量，和gT(X)="+出T(X) 为的无偏估计，故由L-S定理立得(T(X)为的JMVUE.可见此处证明要简单的多. 例考虑均匀分布U(0,),0>1,中的参数0的UMVUE. 解由因子分解定理知道T(X)=max(X1,…,Xn)=X(m为充分统计量，但它并不为完 全统计量。实际上对任意满足E(T)=0,即 -t+ l(t)tn-1dt=0(*) 因此可取 了(n+1)t-n,0<t<1 0,1<t<0 8
èg3(λ)UMVUE. ~ X = (X1, · · · , Xn)èlçÍ©ŸEP(λ)•ƒ{¸ëÅ , ¶g(λ) = λUMVUE. ) dT(X) = Pn i=1 Xiø© ⁄O˛, ±9T(X) ∼ Γ(n, λ),=ÎÍèn⁄λGamma© Ÿ, k E 1 T = Z ∞ 0 1 t · λ n (n − 1)!t n−1 e −λtdt = λ n − 1 . œdgˆ(T(X)) = (n − 1)/T(X) èλÆO, dL-S½nåߥλUMVUE. ~ X = (X1, · · · , Xn)èl©ŸN(a, σ2 )•ƒ{¸ëÅ , Pθ = (a, σ2 ). (1)¶a⁄σ 2UMVUE, (2)¶g(θ) = σ rUMVUE. ) dT(X) = (T1(X), T2(X)), Ÿ•T1(X) = X, T ¯ 2(X) = Pn i=1 (Xi − X¯) 2 ,èø© ⁄O ˛. (1)dugˆ1 (X) = X¯ = T1⁄gˆ2(X) = T2 (n − 1)©Oèa⁄σ 2ÆO, ßÇq¥ø© ⁄O˛, dL-S½nåßÇ©O¥a⁄σ 2UMVUE. (2)duT2/σ2 ∼ χ 2 n−1 ,σ rÆOÜT2òºÍk'. kOée™: E T2 σ 2 r/2 = 1 σ r E T r 2 2 = Z ∞ 0 t r 2 · 1 2 n−1 2 Γ n−1 2 t n−1 2 −1 e − t 2 dt = 2 r/2Γ n+r−1 2 Γ n−1 2 , 1 Kn−1,r . d˛™å E(Kn−1,r · T r 2 2 ) = σ r . œdO˛ gˆ3 (T(X)) = Kn−1,r T r/2 2 = Γ n−1 2 2 r/2Γ n+r−1 2 T r/2 ¥σ rÆO, q¥ø© ⁄O˛T = (T1, T2)ºÍ, dL-S½nåߥg(θ) = θ rUMVUE. ~ ^Lehmann-Schef fe½n2ƒ˛!©ŸU(0, θ), θ > 0, •ÎÍθUMVUE. ) dT(X) = max(X1, · · · , Xn) = X(n) èø© ⁄O˛, ⁄gˆ(T(X)) = n+1 n T(X) èθÆO, dL-S½n·gˆ(T(X)) èθUMVUE.åÑd?y²á{¸ı. ~ ƒ˛!©ŸU(0, θ), θ > 1, •ÎÍθUMVUE. ) dœf©)½nT(X) = max(X1, · · · , Xn) = X(n)èø©⁄O˛ßßøÿè ⁄O˛"¢S˛È?ø˜vEl(T) = 0,= Z 1 0 l(t)t n−1 dt + Z θ 1 l(t)t n−1 dt = 0 (∗) œdå l0(t) = ( (n + 1)t − n, 0 < t < 1 0, 1 < t < θ 8
因而存在非恒为零的函数(T)=l(T)满足E(T）)=0.所以T不是完全统计量，从而不能利 用Lehmann-Scheffe?定理验证基于T的无偏估计为UMVUE,但是我们可以使用零无偏方法.注 意到欲使Eg(T)1(T)=0,即 g(t)l(t)t"-'dt+ g(t)l(t)t"-1dt =0 1 结合(*)式从而可取 0<t<1 g(t)= bt,1<t<0 由无偏性有 Bm)=dr0+et=+六n1-)=0 从而可取 c=1,b=n+1 n 因此 1. 0<T<1 g(T +1T,1<T<0 为参数0的UMVUE. 注可以证明统计量 iT.1<T<。 0<T<1 为完全统计量. 2 Cramer-.Rao不等式 一、引言 Cramer-Rao不等式（简称C-R不等式）是判别一个无偏估计量是否为UMVUE的方法之一. 这一方法的思想如下：设乳，是g()的一切无偏估计构成的类.乳，中的估计量的方差有一个下界， 这个下界称为C-R下界.因此，如果g()的一个无偏估计的方差达到这个下界，则g就是g()的 一个UMVUE,当然样本分布族和©要满足一定的正则条件.这个不等式是由C.R.Rao和H. Cramer在1945和1946年分别证明的.以后一些统计学者将条件作了一些改进和精确化，但结果 的基本形式并无重大变化. 这一方法的缺陷是：由于CR不等式确定的下界常比真下界为小.在一些场合，虽 然g()的JMVUE存在，但其方差大于C-R下界.在这一情况下，用C-R不等式就无法判 定g()的JMVUE存在.因此这一方法的适用范围不广.C-R不等式除了用于判别g(O)的UMVUE之 外，它在数理统计理论上还有其它的用处，如估计的效率和有效估计的概念以及Fisher信息量都 与之有关 CR不等式成立需要样本分布族满足一些正则条件，适合这些条件的分布族称为C-R正则分 布族，下面给出其定义 9
œ 3öðè"ºÍl(T) = l0(T)˜vEl(T) = 0.§±Tÿ¥ ⁄O˛, l ÿU| ^Lehmann-Schef fe½nyƒuTÆOèUMVUE, ¥·Ç屶^"Æê{. 5 øñ¶Eg(T)l(T) = 0, = Z 1 0 g(t)l(t)t n−1 dt + Z θ 1 g(t)l(t)t n−1 dt = 0 (‹(∗)™l å g(t) = ( c, 0 < t < 1 bt, 1 < t < θ dÆ5k Eg(T) = Z 1 0 cfT (t)dt + Z θ 1 btfT (t)dt = c θ n + b θ n n n + 1 (θ n+1 − 1) = θ l å c = 1, b = n + 1 n œd g(T) = ( 1, 0 < T < 1 n+1 n T, 1 < T < θ èÎÍθUMVUE. 5 å±y²⁄O˛ T˜ = ( 1, 0 < T < 1 T, 1 < T < θ è ⁄O˛. 2 Cramer-Raoÿ ™ ò!⁄Û Cramer-Raoÿ ™({°C-Rÿ ™)¥OòáÆO˛¥ƒèUMVUEê{Éò. ˘òê{géXe: Ug¥g(θ)òÉÆO§a. Ug•O˛ê kòáe., ˘áe.°èC-Re.. œd, XJg(θ)òáÆOgˆê à˘áe., Kgˆ “¥g(θ) òáUMVUE, , ©Ÿx⁄gˆá˜vò½K^á. ˘áÿ ™¥dC.R. Rao⁄H. Cramer31945⁄1946c©Oy². ±ò ⁄OƈÚ^áä ò U?⁄°(z, (J ƒ /™øÃåCz. ˘òê{"Ä¥: duC-Rÿ ™(½e.~'˝e.è. 3ò |‹, è ,g(θ)UMVUE ˆg3, Ÿê åuC-Re.. 3˘òú¹e, ^C-Rÿ ™“Ã{ ½g(θ)UMVUE3. œd˘òê{·^âåÿ2. C-Rÿ ™ÿ ^uOg(θ)UMVUEÉ , ß3Ín⁄Onÿ˛ÑkŸß^?, XO«⁄kOVg±9Fisher&E˛— ÜÉk'. C-Rÿ ™§·Iá ©Ÿx˜vò K^á, ·‹˘ ^á©Ÿx°èC-RK© Ÿx, e°â—Ÿ½¬. 9
定义若单参数概率函数族多={f(x,),0∈Θ}满足下列条件： ()参数空间日是直线上的某个开区间： ()导数巴对一切0∈6存在： ()概率函数的支撑集{x:f(x,)>0}与无关 (v)概率函数f(x,)的积分与微分运算可交换，即 品∫e,t= 品北.ou 若f(x,)为离散随机变量的概率分布，上述条件改为无穷级数和微分运算可交换： (~)下列数学期望存在，且 0<I(0)=Eg ologf(X,0)]2 00 <00 则称该分布族为C-R正则分布族.其中（①）-(w)称为C-R正则条件.I(0)称为该分布的Fisher信息量 (或称为Fisher信息函数). 二、单参数C-R不等式 1.C-R不等式及例 定理设多={f(x,),0∈Θ}是C-R正则分布族，g()是定义于参数空间日上的可微函 数.设X=(X1,·,Xn)是由总体f(x,)∈多中抽取的简单随机样本，(X)是g(0)的任一无偏 估计，且满足下列条件： (vi)积分 g(x)f(x,0)dx 可在积分号下对求导数，此处dx=dx1…dxn,则有 DGX1≥g(O2 nI(0), 一切0∈Θ. (2.1) 特别当g(0)=时(2.1)即为 Da(X】≥nIo' 1 一切0∈日. (2.2) 当f(x,0)为离散r.v.X的概率分布时，(2.1)变为 De[g(X)】≥ Lg'(0)12 一切0∈日. n∑{[o]f,0)} (2.3) 证由于X1,…,Xn为ii.d样本，故有fx,0)=1f,0).记 5x,)=0 log()-乃8logf, i=1 10
½¬ e¸ÎÍV«ºÍxF = {f(x, θ), θ ∈ Θ}˜ve^á: (i)ÎÍòmΘ¥ÜDz,ám´m; (ii)Í∂f(x,θ) ∂θ ÈòÉθ ∈ Θ3; (iii)V«ºÍ|†8{x : f(x, θ) > 0}ÜθÃ'; (iv)V«ºÍf(x, θ)»©Üá©$éåÜ, = ∂ ∂θ Z f(x, θ)dx = Z ∂ ∂θ f(x, θ)dx. ef(x, θ)èl—ëÅC˛V«©Ÿ, ˛„^áUèð?Í⁄á©$éåÜ; (v)eÍÆœ"3, Ö 0 < I(θ) = Eθ ∂ log f(X, θ) ∂θ 2 < ∞, K°T©ŸxèC-RK©Ÿx. Ÿ•(i)-(v)°èC-RK^á. I(θ)°èT©ŸFisher&E˛ (½°èFisher&EºÍ). !¸ÎÍC-Rÿ ™ 1. C-Rÿ ™9~ ½n F = {f(x, θ), θ ∈ Θ}¥C-RK©Ÿx, g(θ) ¥½¬uÎÍòmΘ˛åẠÍ. X = (X1, · · · , Xn) ¥doNf(x, θ) ∈ F•ƒ{¸ëÅ , ˆg(X) ¥g(θ)?òÆ O, Ö˜ve^á: (vi) »© Z · · · Z gˆ(x)f(x, θ)dx å3»©“eÈθ¶Í, d?dx = dx1 · · · dxn, Kk Dθ[ˆg(X)] ≥ (g 0 (θ))2 nI(θ) , òÉ θ ∈ Θ. (2.1) AOg(θ) = θû(2.1)=è Dθ[ˆg(X)] ≥ 1 nI(θ) , òÉ θ ∈ Θ. (2.2) f(x, θ)èl—r.v. XV«©Ÿû, (2.1)Cè Dθ[ˆg(X)] ≥ [g 0 (θ)]2 n P i ∂ log f(xi,θ) ∂θ 2 f(xi , θ) , òÉ θ ∈ Θ. (2.3) y duX1, · · · , Xnèi.i.d. , kf(x, θ) = Qn i=1 f(xi , θ). P S(x, θ) = ∂ log f(x, θ) ∂θ = Xn i=1 ∂ log f(xi , θ) ∂θ , 10
