第六章 参数估计 总体是由总体分布来刻画的， 总体分布类型的判断一在实际问题中，我们根据问题本身的专业知识或以往的经 验或适当的统计方法，有时可以判断总体分布的类型， 总体分布的未知参数的估计一总体分布的参数往往是未知的，需要通过样本来估 计.通过样本来估计总体的参数，称为参数估计，它是统计推断的一种重要形式， 本章讨论： 1.参数估计的常用方法 2.估计的优良性准则 3.若干重要总体的参数估计问题. 6.1点估计 设总体分布的形式已知，但它的一个或多个参数未知，借助于从这个总体中抽取 的一些样本来估计这些未知参数或者其函数的值，这种问题称为参数估计问题。 例如假设设总体分布F(x)的形式已知，0为待估参数，X1,·,Xn为从此总体中 抽取的一个样本，而x1,·,xn为样本的观察值.为此，构造适当的统计量(X1,·,Xn)( 称其为0的估计量，Estimator),在有了样本的观察值后，带入到0(X1,·,Xn)得到0的 估计值(Estimate)(x1,·,xn) 常见的参数估计方法有： (1)矩估计法 (2)极大似然法 (3)贝叶斯方法 这里我们主要介绍前面两种方法。 6.1.1矩估计方法 矩是基于一种简单的“替换”思想建立起来的一种估计方法.其基本思想是用样本 矩估计总体矩.由大数律，如果未知参数和总体的某个（些）矩有关系，我们很自然的构 造未知参数的估计。 1
18Ÿ ÎÍO oN¥doN©Ÿ5èx. oN©Ÿa.‰3¢SØK•, ·Çä‚ØK ;í£½± ² ½·⁄Oê{, kû屉oN©Ÿa.. oN©ŸôÎÍOoN©ŸÎÍ ¥ô,IáœL 5 O. œL 5OoNÎÍ, °èÎÍO, ߥ⁄Ỏò´á/™. Ÿ?ÿ: 1. ÎÍO~^ê{. 2. O`˚5OK. 3. eZáoNÎÍOØK. 6.1 :O oN©Ÿ/™Æßßòá½ıáÎÍôß/œul˘áoN•ƒ ò 5O˘ ôÎͽˆŸºÍäߢ´ØK°èÎÍOØK" ~XboN©ŸFθ(x)/™ÆßθèñÎÍßX1, · · · , XnèldoN• ƒòá ß x1, · · · , xnè * ä. èdßE·⁄O˛ˆθ(X1, · · · , Xn)( °ŸèθO˛, Estimator)ß3k * äßë\ˆθ(X1, · · · , Xn)θ Oä(Estimate) ˆθ(x1, · · · , xn)" ~ÑÎÍOê{k: (1) ›O{ (2) 4åq,{ (3) ìdê{ ˘p·ÇÃá0 c°¸´ê{. 6.1.1 ›Oê{ ›¥ƒuò´{¸/OÜ0géÔ·Â5ò´Oê{. Ÿƒ gé¥^ ›OoN›. dåÍÆßXJôÎÍ⁄oN,á( )›k'Xß·ÇÈg, EôÎÍO" 1
2 第六章参数估计 同以前的记法： 样本k阶矩： u=∑xm=2x- 总体阶矩：a4=EXk Hk=E(X-EX)2 因此在阶矩存在的情况下，有 akak,mka以 从而我们可以使用ak,mk分别估计ak,k。设总体F包含k个未知参数01，·，0：F(x;01,·,0), 若方程组 a1=f1(01,…,0k) ag=f(01,·,0k) 可以反解得到 01=91(a1,·,ak) 0k=gk(a1,·,ak) 由大数律，我们可以得到参数01，·，0的一个估计： 01=g1(a1,·,ak) 0k=9k(a1,·,ak) 这里我们用的都是原点矩，当然也可以使用中心矩，或者两个都使用。在这 种情况下，只需要把相应的总体矩换成样本矩。我们称这种估计方法为矩估计法，得 到的估计量称为矩估计量。矩估计方法应用的原则是：能用低阶矩处理的就不用高阶 矩。 矩估计法的优点是简单易行，并不需要事先知道总体是什么分布.缺点是，当总体 类型已知时，没有充分利用分布提供的信息.一般场合下，矩估计量不具有唯一性 例6.1.设X1,·,Xn为从总体X心B(n,p)中抽取的样本，求参数p的矩估计量。 解：由于EX=np,因此p的一个矩估计量为 p=. 例6.2.设X1,·,Xn为从总体X~N(a,o2)中抽取的样本，求参数a,o2的矩估计量
2 18Ÿ ÎÍO ”±cP{µ k ›: ak = 1 n Xn i=1 Xk i mk = 1 n Xn i=1 (Xi − X¯) k oNk ›: αk = EXk µk = E(X − EX) 2 œd3k ›3ú¹eßk ak a.s → αk, mk a.s → µk l ·Ç屶^ak, mk©OOαk, µk"oNFù¹káôÎÍθ1, · · · , θkµF(x; θ1, · · · , θk)ß eêß| α1 = f1(θ1, · · · , θk) . . . αk = fk(θ1, · · · , θk) å±á) θ1 = g1(α1, · · · , αk) . . . θk = gk(α1, · · · , αk) dåÍÆß·Çå±ÎÍθ1, · · · , θkòáO: ˆθ1 = g1(a1, · · · , ak) . . . ˆθk = gk(a1, · · · , ak) ˘p·Ç^—¥:›αkß,è屶^•%›µkß½ˆ¸á—¶^"3˘ ´ú¹eßêIárÉAoN›Ü§ ›"·Ç°˘´Oê{è›O{ß O˛°è›O˛"›Oê{A^K¥µU^$ ›?n“ÿ^p ›" ›O{`:¥{¸¥1,øÿIáØkoN¥üo©Ÿ. ":¥ßoN a.Æûßvkø©|^©ŸJ¯&E. òÑ|‹e, ›O˛ÿ‰kçò5. ~6.1. X1, · · · , XnèloNX ∼ B(n, p)•ƒ ߶ÎÍp›O˛" ): duEX = npßœdpòá›O˛è pˆ = X. ¯ ~6.2. X1, · · · , XnèloNX ∼ N(a, σ2 )•ƒ ߶ÎÍa, σ2›O˛
6.1点估计 3 解：由于 EX =a,D(X)=o2 所以a,g2的一个矩估计量为 a=,2=m2= X-X)2 i=1 我们知道ES2=2,因此，σ2的另一个矩估计量为2=S2.口 6.1.2极大似然估计方法(MLE) 这种方法是基于如下的看法： 定义6.1.1.设样本X(不一定是简单样本)有概率函数f(x,0),这里参数0∈日，而当固 定x时把f(x,)看成为0的函数，称为似然函数。 当固定参数时，f(x,)可以看成是得到样本观察值x的可能性，这样，当把参数0 看成变动时，也就得到了”在不同的值下能观察到x的可能性大小”：由于我们已经观 察到了x,所以我们要寻求在哪一个0的值下，使得能观察到x的可能性最大。这个的 值我们称为极大似然估计值。即 定义6.1.2.设X1,·,Xn为从具有概率函数f的总体中抽取的样本，x=(c1,…,工n)为 样本的观察值。若0=(X1,·,Xn)为一个统计量，满足 f(,0)=sup f(x,0) 0e日 则称0为参数0的极大似然估计量(MLE。若待估参数为0的函数g(0),则g()的极大似 然估计量为g(0)。 求极大似然估计量相当于求似然函数的极大值。我们称 L(0)=f(x1,…,xn;0) 为似然函数。在简单样本的情况下， L(0) Πf(,0) i-1 而把似然函数的对数称为对数似然函数：（在一些情况下，处理对数似然函数更方便） 1(0)=logL(0) 当似然函数为非单调函数时，我们可以求其聚点： d(0) do =0(或者L(@ 二0
6.1 :O 3 ): du EX = a, D(X) = σ 2 §±a, σ2òá›O˛è aˆ = X, ¯ σˆ 2 = m2 = 1 n Xn i=1 (Xi − X¯) 2 ·ÇES2 = σ 2ßœdßσ 2,òá›O˛èσˆ 2 = S 2 . 6.1.2 4åq,Oê{(MLE) ˘´ê{¥ƒuXew{: ½¬ 6.1.1. X(ÿò½¥{¸ )kV«ºÍf(x, θ)ߢpÎÍθ ∈ Θß ½xûrf(x, θ)w§èθºÍß°èq,ºÍ" ½ÎÍθûßf(x, θ)å±w§¥ * äxåU5ߢßrÎÍθ w§Cƒûßè“ ”3ÿ”θäeU* xåU5唶du·ÇƲ* xߧ±·Ç᜶3=òáθäe߶U* xåU5Åå"˘áθ ä·Ç°è4åq,Oä"= ½¬ 6.1.2. X1, · · · , Xnèl‰kV«ºÍfoN•ƒ ßx = (x1, · · · , xn)è * ä"eˆθ = ˆθ(X1, · · · , Xn)èòá⁄O˛ß˜v f(x, ˆθ) = sup θ∈Θ f(x, θ) K°ˆθèÎÍθ4åq,O˛(MLE)"eñÎÍèθºÍg(θ)ßKg(θ) 4åq ,O˛èg( ˆθ)" ¶4åq,O˛Éu¶q,ºÍ4åä"·Ç° L(θ) = f(x1, · · · , xn; θ) èq,ºÍ"3{¸ ú¹e, L(θ) = Yn i=1 f(xi , θ) rq,ºÍÈÍ°èÈÍq,ºÍ:(3ò ú¹eß?nÈÍq,ºÍçêB) l(θ) = logL(θ) q,ºÍèö¸NºÍûß·Ç屶Ÿ‡:: dl(θ) dθ = 0 (½ˆ dL(θ) dθ = 0)
第六章参数估计 然后判断此聚点是否是最大值点。简单总结为 求极大似然估计(LE)的一般步骤是： (1)由总体分布导出样本的联合概率函数（或联合密度）： (2)把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数看作 自变量，得到似然函数L(0): (3)求似然函数L(0)的最大值点（常常转化为求lnL(0)最大值点），即得MLE: (④)在最大值点的表达式中，用样本值代入就得参数的极大似然估计值 例6.3.设X1,·,Xn为从总体X~N(a,o2)中抽取的样本，求参数a,o的极大似然估 计量。 解：易得对数似然函数为 a,=e-22a4-02-2 n log(o2) i=1 令 a(a,g2）=0 0a aag2）=0 8o2 得到 a=元=员∑2-1c o2=-2 =1 容易验证此聚点是唯一的最大值点，因此得到α，σ的极大似然估计量： a=X 2=(x-2 n 例6.4.设X1,·,Xn为从具有如下形式密度的总体中抽取的样本： f(x;a,b)={ exp{-云}，x>a 0 x≤a 求参数a,b的极大似然估计量. 解：易得似然函数为 a.=faia,=cl-若∑,-o 1
4 18Ÿ ÎÍO ,‰d‡:¥ƒ¥Ååä:"{¸o(è ¶4åq,O(MLE)òÑ⁄½¥µ (1) doN©Ÿ— È‹V«ºÍ(½È‹ó›); (2) r È‹V«ºÍ(½È‹ó›)•gC˛w§Æ~Í, rÎÍwä gC˛, q,ºÍL(θ); (3) ¶q,ºÍL(θ)Ååä:(~~=zè¶lnL(θ)Ååä:)ß=MLE; (4) 3Ååä:Là™•, ^ äì\“ÎÍ4åq,Oä. ~6.3. X1, · · · , XnèloNX ∼ N(a, σ2 )•ƒ ߶ÎÍa, σ24åq, O˛" ): ¥ÈÍq,ºÍè l(a, σ2 ) = c − 1 2σ 2 Xn i=1 (xi − a) 2 − n 2 log(σ 2 ) - ( ∂l(a,σ2 ) ∂a = 0 ∂l(a,σ2 ) ∂σ2 = 0 a = ¯x = 1 n Pn i=1 xi σ 2 = 1 n Pn i=1 (xi − a) 2 N¥yd‡:¥çòÅåä:ßœda, σ24åq,O˛: aˆ = X¯ σˆ 2 = 1 n Pn i=1 (Xi − X¯) 2 . ~6.4. X1, · · · , Xnèl‰kXe/™ó›oN•ƒ : f(x; a, b) = ( 1 b exp{−x−a b } , x > a 0 x ≤ a ¶ÎÍa, b4åq,O˛. ): ¥q,ºÍè L(a, b) = Yn i=1 f(x1; a, b) = 1 b n exp{−1 b Xn i=1 (xi − a)}Ix(1)>a
6.1点估计 5 在固定b时，显然似然函数为a的单调增函数，因此L(a)的聚点为à=x再令%D= 0,得到b=是∑(：-x口)，容易验证此解是最大值点。从而得到a,b的极大似然估计 TL i=1 量 a=X(1) =a∑(X-X 1=1 ▣ 例6.5.设X1,·,Xn为从如下分布中抽取的简单样本，求0的MLE. 2-0(1-0)2-+02-1-8)1,x=0,120e0, 1 f(x)= 解：由题设知f(x)为离散型，其分布律为 0 1 2 P [(1-0)2+2]20(1-0) 2[(1-0)2+21 若直接从此分布出发，则不能得到的MLE的显式表达。为此，我们重新参数化， 记n=20(1-0).则由题设知n>1/2。则 0 2 (1-) (1-) 再记n=#{X1,…,Xn中等于的个数}，i=0,1,2,则得到似然函数为 L()=(与1-》7（与1-》=(1-》严- 求解并注意n的下界即得到n的MLE为 再由0=1-五得到0的MLE为 6=1-V1-2场 2 ▣ 6.1.3 估计量的评选标准 我们看到对同一个参数，有多个不同的估计量，因此，评选不同估计量的优劣性 是需要考虑的。 1.无偏性
6.1 :O 5 3½bûßw,q,ºÍèa¸NOºÍßœdL(a)‡:èaˆ = x(1)"2-∂L(a,b) ∂b = 0ßb = 1 n Pn i=1 (xi − x(1))ßN¥yd)¥Ååä:"l a, b4åq,O ˛: aˆ = X(1) ˆb = 1 n Pn i=1 (Xi − X(1)). ~6.5. X1, · · · , XnèlXe©Ÿ•ƒ{¸ ߶θMLE. f(x) = 1 x!(2 − x)![θ x (1 − θ) 2−x + θ 2−x (1 − θ) x ], x = 0, 1, 2; θ ∈ (0, 1 2 ) ): dKf(x)èl—.ߟ©ŸÆè X 0 1 2 P 1 2 [(1 − θ) 2 + θ 2 ] 2θ(1 − θ) 1 2 [(1 − θ) 2 + θ 2 ] eÜld©Ÿ—ußKÿUθMLEw™Là" èdß·Ç#ÎÍzß Pη = 2θ(1 − θ). KdKη > 1/2"K X 0 1 2 P 1 2 (1 − η) η 1 2 (1 − η) 2Pni = #{X1, · · · , Xn• uiáÍ}, i = 0, 1, 2, Kq,ºÍè L(η) = (1 2 (1 − η))n0 η n1 ( 1 2 (1 − η))n2 = (1 2 (1 − η))n−n1 η n1 ¶)ø5øηe.=ηMLEè ηˆ = min{ n1 n , 1 2 } 2dθ = 1− √ 1−2η 2 θMLEè ˆθ = 1 − √ 1 − 2ˆη 2 6.1.3 O˛µ¿IO ·ÇwÈ”òáÎÍßkıáÿ”O˛ßœdßµ¿ÿ”O˛`5 ¥Iáƒ" 1. Æ5
第六章参数估计 设(X1,·,Xn)为待估参数函数g(0)的一个估计量，若 Eg(X1,·,Xn)=g(0) 则称g(X1,·,Xn)为g(0)的无偏估计量(Unbiased Estimator)。无偏性是对一个估计量 的最基本的要求。无偏性能够消除系统误差，因此在有多个估计量可供选择时，我们 优先考虑无偏估计量。 2.有效性(Efficiency) 设1(X1,·,Xn)和g2(X1,·,Xn)为待估参数函数g(0)的两个不同的无偏估计量， 若对任意的0∈日，有 Var(g1(X1,·,Xn)≤Var(g2(X1,·,Xn) 而且至少对某个00∈Θ使得严格不等式成立。则称g1较g2有效。 3.相合性和渐近正态性 定义6.1.3.设总体分布依赖于参数01，…，0，g(01,·,0k)是待估参数函数。设X1,·,Xn为 自该总体中抽取的样本，T(X1,…,Xn)为g(01,…,0k)的一个估计量，如果对任意 的e>0和01，·，0的一切可能值都有 limP91,…,k(T(X1,·,Xn)-g(0,…,0k川≥e)=0 n→0 我们则称T(X1,·,Xn)为g(01,·,0k)的一个（弱）相合估计量(Consistent Estimator). 相合性是对一个估计量的最基本的要求，如果一个估计量没有相合性，那么无论 样本大小多大，我们也不能把未知参数估计到任意预定的精度。这种估计量显然是不 可取的。 矩估计量是满足相合性的，极大似然估计量在很一般的条件下也是满足相合性 的。 估计量是样本X1,·,X的函数，其确切的分布一般不是容易得到。但是，许多 形式很复杂的统计量（未必是和），当很大时，其分布都渐近于正态分布，这个性质称 为统计量的“渐近正态性”。 无偏性和有效性都是对固定的样本大小而言的，这种性质称为估计量的“小样本 性质”，而相合性和渐近正态性都是考虑在样本大小趋于无穷时的性质，这种性质称为 “大样本性质”。 例6.6.设从总体 0 1 2 3 P 0/2030/21-30
6 18Ÿ ÎÍO gˆ(X1, · · · , Xn)èñÎͺÍg(θ)òáO˛ße Egˆ(X1, · · · , Xn) = g(θ) K°gˆ(X1, · · · , Xn)èg(θ)ÆO˛(Unbiased Estimator)"Æ5¥ÈòáO˛ Ń á¶"Æ5U ûÿX⁄ÿ ßœd3kıáO˛å¯¿Jûß·Ç `kƒÃ†O˛" 2. k5(Efficiency) gˆ1(X1, · · · , Xn)⁄gˆ2(X1, · · · , Xn)èñÎͺÍg(θ)¸áÿ”ÆO˛ß eÈ?øθ ∈ Θ,k V ar(ˆg1(X1, · · · , Xn)) ≤ V ar(ˆg2(X1, · · · , Xn)) ÖñÈ,áθ0 ∈ Θ¶ÓÇÿ ™§·"K°gˆ1gˆ2k" 3. É‹5⁄ÏC5 ½¬ 6.1.3. oN©Ÿù6uÎÍθ1, · · · , θk, g(θ1, · · · , θk)¥ñÎͺÍ"X1, · · · , Xnè gToN•ƒ ßT(X1, · · · , Xn)èg(θ1, · · · , θk)òáO˛ßXJÈ?ø > 0⁄θ1, · · · , θkòÉåUä—k limn→∞ Pθ1,··· ,θk (|T(X1, · · · , Xn) − g(θ1, · · · , θk)| ≥ ) = 0 ·ÇK°T(X1, · · · , Xn)èg(θ1, · · · , θk)òá(f)É‹O˛(Consistent Estimator)" É‹5¥ÈòáO˛Åƒ á¶ßXJòáO˛vkÉ‹5ß@oÃÿ åıåß·ÇèÿUrôÎÍO?ø˝½°›"˘´O˛w,¥ÿ å" ›O˛¥˜vÉ‹5ß4åq,O˛3ÈòÑ^áe襘vÉ‹5 " O˛¥ X1, · · · , XnºÍߟ(É©ŸòÑÿ¥N¥"¥ßNı /™ÈE,⁄O˛(ô7¥⁄)ßnÈåûߟ©Ÿ—ÏCu©Ÿß˘á5ü° è⁄O˛/ÏC50" Æ5⁄k5—¥È½ ån Ûߢ´5ü°èO˛/ 5ü0ß É‹5⁄ÏC5—¥ƒ3 å™uðû5üߢ´5ü°è /å 5ü0" ~6.6. loN X 0 1 2 3 P θ/2 θ 3θ/2 1 − 3θ
6.1点估计 抽取的一个简单样本X1,·,X10的观察值为(0,3,1,1,0,2,0,0,3,0)， (1)求0的矩估计量0M和极大似然估计量0L,并求出估计值。 (2)上述估计量是否为无偏的？若不是，请作修正 (3)比较修正后的两个估计量，指出那个更有效. 解：略 6.1.4最小方差无偏估计(MVUE)* 由有效性的定义，我们自然会问在一起可能的无偏估计里，能否找到具有最小方 差的无偏估计量？如果存在这样的估计量，我们称其为最小方差无偏估计量，即 定义6.1.4.设g(X1,·,Xn)为待估参数函数g(0)的一个无偏估计量，若对g(0)的任一 无偏估计量f(X1,·,Xn),都有 Var(g(X1,·,Xn)≤Var(f(X1,·,Xn)0∈Θ 则称g为g()的最小方差无偏估计(MVUE)。 这里我们介绍一种求MVUE的方法： Cramer-Rao不等式法 设样本有概率函数f(c,0),为确定计，设f(x,)为pdf(离散的情况类似)。参数9为 一维的，在0=(a,b)(a,b可为无穷)上取值，g(0)为待估函数。设(X)为g(0)的一个无 偏估计量，则有（假定以下推导所需的条件都满足） Eg(X)= g(x)f(x,0)da=g(0)V0∈Θ 两边求导数，得到 ())d=d0) 80 注意到∫f(x,0)d=1,对0求导得到 af(,0)dr=0 00 所以有 ∫5a-o12r%女=o 「5-govc在0 1 ∂fz,0]dr=g（0 由Cauchy-Schwarz不等式得到 ars∫sa-∫l2s]'1,0a 1 =Var(g(X).(.) 00
6.1 :O 7 ƒòá{¸ X1, · · · , X10* äè(0, 3, 1, 1, 0, 2, 0, 0, 3, 0)ß (1) ¶θ›O˛ˆθM⁄4åq,O˛ˆθLßø¶—Oä" (2) ˛„O˛¥ƒèƺeÿ¥ßûä?. (3) '?¸áO˛ßç—@áçk. )µ—. 6.1.4 Åê ÆO(MVUE)∗ dk5½¬ß·Çg,¨Ø3òÂåUÆOpßUƒÈ‰kÅê ÆO˛ºXJ3˘O˛ß·Ç°ŸèÅê ÆO˛ß= ½¬ 6.1.4. gˆ(X1, · · · , Xn)èñÎͺÍg(θ)òáÆO˛ßeÈg(θ)?ò ÆO˛ ˆf(X1, · · · , Xn), —k V ar(ˆg(X1, · · · , Xn)) ≤ V ar( ˆf(X1, · · · , Xn)) ∀ θ ∈ Θ K°gˆèg(θ)Åê ÆO(MVUE)" ˘p·Ç0 ò´¶MVUEê{: Cramer-Raoÿ ™{ kV«ºÍf(x, θ)ßè(½Oßf(x, θ)èpdf(l—ú¹aq)"ÎÍθè òëß3Θ = (a, b)(a, båèð)˛äßg(θ)èñºÍ"gˆ(X)èg(θ)òáà †O˛ßKk(b½±ȩI^á—˜v) Egˆ(X) = ˆ gˆ(x)f(x, θ)dx = g(θ) ∀ θ ∈ Θ ¸>¶Íß ˆ gˆ(x) ∂f(x, θ) ∂θ dx = g 0 (θ) 5ø ´ f(x, θ)dx = 1ßÈθ¶ ˆ ∂f(x, θ) ∂θ dx = 0 §±k ˆ [ˆg(x) − g(θ)]∂f(x, θ) ∂θ dx = g 0 (θ) ⇐⇒ ˆ [ˆg(x) − g(θ)]p f(x, θ) h 1 p f(x, θ) ∂f(x, θ) ∂θ i dx = g 0 (θ) dCauchy-Schwarzÿ ™ [g 0 (θ)]2 ≤ ˆ [ˆg(x) − g(θ)]2 f(x, θ)dx · ˆ h 1 f(x, θ) ∂f(x, θ) ∂θ i2 f(x, θ)dx = V ar(ˆg(X)) · E[ ∂logf(X, θ) ∂θ ] 2
第六章参数估计 即 arW0)≥gor/a8cGo4r 00 此即为Cramer-Rao不等式。 特别， ●当g(0)=时， Vam0x≥/aG-0r 00 ·当样本为简单样本时，X,,X。心(，则f,0)=店红小容易得到 0o6op=nE0wP 于是 Var((x))[g(0)2/nI(0) 其中I(0)=EloX]2 在以上的推导中，需要满足很多条件，总计如下： 定理6.1.1.设X1,…,Xn为简单样本，总体有概率函数f(x),参数0∈日=(a,b)(a,b可 为无穷).g(0)为（α，b)上的可微函数。设存在函数G(t,),使得 1.EG2(X1,0)0,使得当b-0<e0时，有 alog@1≤Gt,0) ∂b 则当(X)为g()的一个无偏估计时，有 Var((x))=[g(0)2/nI(0) 利用C-R不等式求MVUE的方法：首先由直观或者其他途径找一个可能是最好的无 偏估计，然后计算其方差，看是否达到了C-R不等式的下界，若达到了，就是MVUE。 同时，还要仔细验证不等式推导中的所有条件都要满足。 4.估计的效率 若g为g(0)的一个无偏估计，其方差为Var(g),则称 (0-012 /Var(g) nI(0)
8 18Ÿ ÎÍO = V ar(ˆg(X)) ≥ [g 0 (θ)]2 . E[ ∂logf(X, θ) ∂θ ] 2 d=èCramer − Raoÿ ™" AOß •g(θ) = θûß V ar(ˆg(X)) ≥ 1 . E[ ∂logf(X, θ) ∂θ ] 2 • è{¸ ûßX1, · · · , Xn ∼ fθ(x)ßKf(x, θ) = Qn i=1 fθ(xi)ßN¥ E[ ∂logf(X, θ) ∂θ ] 2 = nE[ ∂logfθ(X1) ∂θ ] 2 u¥ V ar(ˆg(X)) ≥ [g 0 (θ)]2 . nI(θ) Ÿ•I(θ) = E[ ∂logfθ(X1) ∂θ ] 2 . 3±˛Ì•ßIá˜vÈı^áßoOXeµ ½n 6.1.1. X1, · · · , Xnè{¸ ßoNkV«ºÍfθ(x)ßÎÍθ ∈ Θ = (a, b)(a, bå èð). g(θ)è(a, b)˛åáºÍ"3ºÍG(t, θ)߶ 1. EG2 (X1, θ) 0߶|ψ − θ| < θûßk | ∂logfψ(t) ∂ψ | ≤ G(t, θ) Kgˆ(X)èg(θ)òáÆOûßk V ar(ˆg(X)) ≥ [g 0 (θ)]2 . nI(θ) |^C-Rÿ ™¶MVUEê{: ƒkdÜ*½ˆŸ¶ÂªÈòáåU¥Å–à †Oß,OéŸê ßw¥ƒà C-Rÿ ™e.ßeà ß“¥MVUE" ”ûßÑác[yÿ ™Ì•§k^á—á˜v" 4. O« egˆèg(θ)òáÆOߟê èV ar(ˆg)ßK° egˆ(θ) = [g 0 (θ)]2 nI(θ) . V ar(ˆg)
6.2区间估计 9 为无偏估计的效率。一般有e(0)≤1。当e(0)=1时，称g为有效估计。 若©为g()的一个相合渐近正态估计，有渐近方差c2(0),则称 ae(0)= [g(0)]2 a2(0) I(0) 为（在处）的渐近效率。极大似然估计的渐近效率为1，而矩估计除了几个常见的例子 外，渐近效率一般都远抵于1。通常人们所说的矩估计不如似然估计，大抵上就是指这 个。 例6.7.设X1,·,Xn为从总体N(0,1)里抽取的简单样本，则X为0的MVUE。 解：因为 1(0)=E[Ologfo(X1)2=1 00 所以由C-R不等式知0的任一无偏估计的方差都不小于1/n,而Var()=1/m,因 此文为0的一个MVUE。口 还有其他一些求MVUE的方法，详细地可以参考陈希孺的《数理统计教程》。 6.2 区间估计 6.2.1置信区间 区间估计是用一个区间去估计未知的参数。其好处是把可能的误差用明显的形式 表达出来。不难看出，这里要满足两个条件： ·估计的可靠性，即0要以很大的概率落在区间但，可里，i.e., Pa(g≤0≤0=1-a ·估计的精度要尽可能高，即要求区间但，可要尽可能的短。 但这两个要求是相互矛盾的，因此区间估计的原则是在已有的样本资源限制下， 找出更好的估计方法以尽量提高可靠性和精度。Neyman提出了广泛接受的准则：先 保证可靠性，在此前提下尽可能提高精度。为此，引入如下定义： 定义6.2.5.设总体分布F(x,0)含有一个或多个未知的参数0,0∈日，对给定的 值a,(0<a<a),若由样本X1,·,Xn确定的两个统计量0=(X1,·,Xn)和0= (X1,·,Xn),满足 P(0≤0≤可=陆1-a 10∈Θ 有时候，不能证明对一切0等式成立，但知道不会小于1-a.此时1-a称为置信水平(Confidence level)。这两个术语并不严格区分
6.2 ´mO 9 èÆOgˆ«"òÑkegˆ(θ) ≤ 1"egˆ(θ) = 1ûß°gˆèkO" egˆèg(θ)òáÉ‹ÏCOßkÏCê σ 2 (θ)ßK° aegˆ(θ) = [g 0 (θ)]2 I(θ) . σ 2 (θ) ègˆ(3θ?)ÏC«"4åq,OÏC«è1ß ›Oÿ Aá~Ñ~f ßÏC«òÑ—-u1"œ~<ǧ`›OÿXq,Oßå-˛“¥ç˘ á" ~6.7. X1, · · · , XnèloNN(θ, 1)pƒ{¸ ßKX¯èθMVUE" ): œè I(θ) = E[ ∂logfθ(X1) ∂θ ] 2 = 1 §±dC-Rÿ ™θ?òÆOê —ÿu1/nß V ar(X¯) = 1/nßœ dX¯èθòáMVUE" ÑkŸ¶ò ¶MVUEê{ßç[/å±ÎùFW5Ín⁄Oß6" 6.2 ´mO 6.2.1 ò&´m ´mO¥^òá´mOôÎÍ"Ÿ–?¥råUÿ ^²w/™ Là—5"ÿJw—ߢpá˜v¸á^áµ • OåÇ5ß=θá±ÈåV«·3´m[θ, ¯θ]pßi.e.ß Pθ(θ ≤ θ ≤ ¯θ) = 1 − α • O°›á¶åUpß=ᶴm[θ, ¯θ]á¶åU·" ˘¸áᶥÉpgÒßœd´mOK¥3Æk ] Åõeß È—ç–Oê{±¶˛JpåÇ5⁄°›"Neyman J— 2ç…OKµk yåÇ5ß3dcJe¶åUJp°›"èdß⁄\Xe½¬: ½¬ 6.2.5. oN©ŸF(x, θ)¹kòá½ıáôÎÍθßθ ∈ ΘßÈâ½ äα,(0 < α < a)ßed X1, · · · , Xn(½¸á⁄O˛¯θ = ¯θ(X1, · · · , Xn) ⁄θ = θ(X1, · · · , Xn)ߘv Pθ(θ ≤ θ ≤ ¯θ) = [51]1 − α ∀ θ ∈ Θ [51]kûˇßÿUy²ÈòÉθ ™§·ßÿ¨u1 − α. dû1 − α°èò&Y²(Confidence level)"˘¸á‚äøÿÓÇ´©"
10 第六章参数估计 称1-a为置信系数(Confidence coefficient),而称[但，可为0的置信水平为1-a的置信区 (Confidence Interval) 区间估计就是在给定的置信水平之下，去寻找有优良精度的区间。 一般，我们首先寻求参数的一个估计（多数是基于其充分统计量构造的），然后基 于此估计量构造参数0的置信区间，介绍如下： 1.枢轴变量法设待估参数为g(), 1.找一个与待估参数g()有关的统计量T,一般是其一个良好的点估计（多数是基于 充分统计量构造或者是通过MLE构造： 2.设法找出T与g()的某一函数S(T,g(0)的分布，其分布F要与参数0无关(S即为枢 轴变量： 3.对任何常数a<b,不等式a≤S(T,g(0)≤b要能表示成等价的形式A≤g()≤ B,其中A,B只与T,a,b有关而与参数无关： 4.取分布F的上a/2分位数wa/2和上(1-a/2)分位数w1-a/2,有F(wa/2)-F(w1-a/2)= 1-a.因此 P(w1-a2≤S(T,g(0)≤wa/2)=1-a 由3我们就可以得到所求的置信区间， 例6.8.设X1,·,Xn为从正态总体N(4,σ2)中抽取得样本，求参数，o的1-a置信区 间。 解：由于4，σ2的估计元，S2而且满足注2到 T =vn(X-)/S~tn-1 T2=(n-1)S2/a2~X品-1 所以T1,T2就是我们所要寻求的枢轴变量，从而易的参数4，σ的1-α置信区间分别为 云swea-式+an-刊胸 02 (n-1)S2(m-1)S2 注4 Xa/2(n-1)'X7-a/2n-1)】 注习参见定理？ 住到由于t分布对称，因此不难证明此区间就是最短的区间。 注4由于X分布不对称，因此此区间只是习惯的一个取法。另外，当μ已知时，需要修改样本方差S2为 s2=1∑(x-2 n i=1 此时，nS2/a2~X2
10 18Ÿ ÎÍO °1 − αèò&XÍ(Confidence coefficient)ß °[θ, ¯θ]èθò&Y²è1 − αò&´ m(Confidence Interval)" ´mO“¥3â½ò&Y²ÉeßœÈk`˚°›´m" òÑ߷ǃkœ¶ÎÍθòáO(ıÍ¥ƒuŸø©⁄O˛E)ß,ƒ udO˛EÎÍθò&´mß0 Xe: 1. Õ¶C˛{ ñÎÍèg(θ)ß 1. ÈòáÜñÎÍg(θ)k'⁄O˛TßòÑ¥Ÿòá˚–:O(ıÍ¥ƒu ø©⁄O˛E½ˆ¥œLMLEE)¶ 2. {È—TÜg(θ),òºÍS(T, g(θ))©ŸßŸ©ŸFáÜÎÍθÃ'(S=èÕ ¶C˛); 3. È?¤~Ía < bßÿ ™a ≤ S(T, g(θ)) ≤ báUL´§ d/™A ≤ g(θ) ≤ Bߟ•A, BêÜT, a, bk' ÜÎÍÃ'¶ 4. ©ŸF˛α/2©†Íωα/2⁄˛(1−α/2)©†Íω1−α/2ßkF(ωα/2 )−F(ω1−α/2 ) = 1 − α. œd P(ω1−α/2 ≤ S(T, g(θ)) ≤ ωα/2 ) = 1 − α d3·Ç“屧¶ò&´m. ~6.8. X1, · · · , XnèloNN(µ, σ2 )•ƒ ߶Î͵, σ21 − αò&´ m" )µduµ, σ2OX, S ¯ 2 Ö˜v[52] T1 = √ n(X¯ − µ)/S ∼ tn−1 T2 = (n − 1)S 2 /σ2 ∼ χ 2 n−1 §±T1, T2“¥·Ç§áœ¶Õ¶C˛ßl ¥Î͵, σ21 − αò&´m©Oè µ : X¯ − 1 √ n Stα/2 (n − 1), X¯ + 1 √ n Stα/2 (n − 1) [53] , σ 2 : " (n − 1)S 2 χ 2 α/2 (n − 1), (n − 1)S 2 χ 2 1−α/2 (n − 1)# [54] . [52]Îѽn?? [53]dut©ŸÈ°ßœdÿJy²d´m“¥Å·´m" [54]duχ 2©ŸÿÈ°ßœdd´mê¥S.òá{", ßµÆûßIá?U ê S 2è S 2 = 1 n Xn i=1 (Xi − µ) 2 dûßnS2 /σ2 ∼ χ 2 n