北京大学：《概率论引论》第二章 点估计法

第2章点估计法 2.1基本概念 问题的一般提出: 设总体X的分布函数F(x;)为已知,O是 待估计的参数,X1,…,Kn是X的一个样本, x1,…,x,是相应的一个样本值。点估计问题就是 要构造一个适当的统谁θ(X1,…,X),用它的观察 值θ(x1,…,x)来估计未知参数O。称(X1,…,X,) 为θ的估计量、O(x1,…,xn)为的估计值。 统称为估计,简记为 2-1

2 - 1 第 2 章 点 估 计 法 2.1 基本概念 问题的一般提出: 统称为估计，简记为 。 为 的估计量、 （ ）为 的估计值。 值 （ ）来估计未知参数 。称 （ ） 要构造一个适当的统计量 （ ），用它的观察 是相应的一个样本值。点估计问题就是 待估计的参数， 是 的一个样本， 设总体 的分布函数 为已知， 是           ˆ , , ˆ , , ˆ , , ˆ , , ˆ , , , , ( ; ) 1 1 1 1 1 1 n n n n n n x x x x X X X X x x X X X X F x      

点估计的基本思想是: 总体X~F(x;)或∫(x;0) 抽取 去估计 样本X1…,X,构造一统计量(x1,…,X) 2.1.1点估计的定义 定义2.1.1设为总体分布的(维或多维)未知参数, 6为一统计量,与0有相同的维数与取值范围。 如果用θ去估计θ的真值,则就称为的一个点估计。 当给定样本的值时,的值就称为的估计值。 2-2

2 - 2 总体 X～F(x ; )或 f (x ; ) 2.1.1 点估计的定义 定义2.1.1 当给定 样本的值时， 的值就称为 的估计值。 如果用 去估计 的真值，则 就称为 的一个点估计。 为一统计量，与 有相同的维数与取值范围 。 设 为总体分布的（ 维或多维）未知参数，          ˆ ˆ ˆ ˆ 1 样本 X1 ，，Xn 抽 取 去 估 计 ( ) ˆ 统计量 X1 ，，Xn 构造 点估计的基本思想是：

即设X1;…,Xn是总体的一个样本, 其分布函数为F(X;O)。 其中b为未知参数,Q为参数空间, 若统计量g(X1,…,X,)可作为O的一个估计 则称其为6的一个估计量 记为b=g(X1,…,Xn) 若 是样本的一个观察值 0=g(x1,…,xn)称为0的估计值 注:F(X;O)也可用分布律或密度函数代替 2-3

2 - 3 g( , , ). ˆ g( , , ) ( ; ) , , 1 1 1 n n n X X X X F X X X    =       记 为 则 称其为 的一个估计量， 若统计量 可作为 的一个估计， 其 中 为未知参数， 为参数空间， 其分布函数为 。 即 设 是总体的一个样本， ( , , ) , ˆ , , 1 1 称 为 的估计值 若 是样本的一个观察值。  n  n g x x x x   = 注： F(X ; )也可用分布律或密度函数代替

2.1.2无偏估计量 对同一参数可以构造多个不同的点估计量去估计, 如何评价估计量的优劣,需要建立评价估计量优劣的标 准。估计量是随机变量,对于不同的样本值就会得到不 同的估计值,希望估计值在未知参数真值左右徘徊,即 使它的数学期望等于未知参数的真值,这就导致了无偏 性这个标准。 定义2.1.2设O=6(X1,…,X,)为的估计量 若E(0)=日,θ∈⊙,则称θ是θ的无偏估计量 (E(0)-称为估计的系统误差 即估计量的数学期望等于被估计的参数。 2-4

2 - 4 2.1.2 无偏估计量 对同一参数可以构造多个不同的点估计量去估计， 如何评价估计量的优劣，需要建立评价估计量优劣的标 准。估计量是随机变量，对于不同的样本值就会得到不 同的估计值，希望估计值在未知参数真值左右徘徊，即 使它的数学期望等于未知参数的真值,这就导致了无偏 性这个标准。 即 估计量的数学期望等于被估计的参数。 定义2.1.2 ) ) ˆ ( ( . ˆ ) , , ˆ ( ( , , ) , ˆ ˆ 1 称为估计的系统误差 若 则 称 是 的无偏估计量 设 为 的估计量           − =  = E E X  Xn

例1.设总体X的k阶矩μ=E(X)(k21存在,又设 X1,X2…,Xn是总体X的一个样本, 试证明不论总体服从什么分布,k阶样本矩A=-∑X 是k阶总体矩的无偏估计。 证明:X1,X2…,Xn与X同分布,故有 E(X})=E(X)=μk,i=1,2 即有E(A1)=∑E(x)=μ4。 n i=l 特别,不论总体服从什么分布,总是E(X 无偏估计。 2-5

2 - 5 无偏估计。 特别，不论总体X服从什么分布，X总 是E(X)的 例1.设总体 X的k阶矩mk = E(X k ) (k  1)存在，又设 X1 , X2 ,..., Xn是总体 X 的一个样本， n 1 是k阶总体矩的无偏估计。 论总体服从什么分布， 阶样本矩  = = i 1 k k Xi n 试证明不 k A 证明： X1 , X 2 ,..., Xn与X同分布，故有 E(X ) E(X ) , i 1,2,..., n. k k k i = = m = 即有 E(X ) 。 n 1 E(A ) k n i 1 k k i =  = m =

例2.证明S2是ar(X)的无偏估计量。 证明:E∑(X1-X)=E∑x2-mx2 =川ar(X)+E(X)-川Var(X)+E2(X), ∑E(X2)-nE(x2) 而E(X)=E(X),Ⅷr(X)=r(X)/n, E2(x-x)1=(-1)r(x) E(S2)=hr(X),S2是r(X)的无偏估计量。 2-6

2 - 6 例2. 证明 是 Var(X ) 的无偏估计量。 2 S [ ( ) ] [ ] 1 2 2 1 2   = = − = − n i i n i 证明： E Xi X E X nX = = − n i E Xi nE X 1 2 2 ( ) ( ) [ ( ) ( )] [ ( ) ( )], 2 2 = n Var X + E X − n Var X + E X \ E(S 2 ) =Var (X) , S 2 是Var (X)的无偏估计量。 而 E(X) = E(X) , Var (X) =Var (X) n , [ ( ) ] ( 1) ( ) 1 2 E X X n Var X n i i \  − = − =

又由E(B2) ar(X)知, 如果用B2作为vmr(X)的估计量, 要使其变为无偏估计,只需要用一“,乘以B2即可。 n 这种方法称为无偏化。 般地,若6是θ的估计量,且有E()=C, (C≠0为常数),要将其化为无偏估计时只需将θ乘 以就可化为无偏估计,即16为的无偏估计量 注:(1)无偏估计不一定总存在 Q2对可估参数无偏估计般不唯 3)无偏估计不一定是好估计 2-7

2 - 7 （） 无偏估计不一定是好 估 计 。 （） 对可估参数无偏估计一般不唯一。 注 无偏估计不一定总存在。 3 2 : (1) 这种方法称为无偏化。 要使其变为无偏估计，只需要用 乘 以 2 即可。 1 B n n − 如果用 作 为 的估计量， 又 由 知 ， ( ) ( ) 1 ( ) 2 2 B Var X Var X n n E B − = ˆ 以 就可化为无偏估计，即 为 的无偏估计量。 为常数 ，要将其化为无偏估计 时只需将 乘 一般地，若 是 的估计量，且有       =  ˆ C 1 C 1 ˆ (C 0 )  ˆ E( ) C

2.1.3均方误差准则 假设用估计b,评价该估计好坏的一个自然度量 是6-6,由于6是未知的,样本又具有随机性 直接使用这种自然度量在实际中是不可行的, 为排除样本随机性的景响向,可以对它求期望, 由于数学处理上的方考虑,最常用的标准 是由下式给出的均方谜差。 定义2.1,3设O为一个一维未知参数 6为的一个估计,6的均方误差定义为 MSE(,0)=E(6-0)2 2-8

2 - 8 2.1.3 均方误差准则 是由下式给出的均方误差 。 由于数学处理上的方便考虑，最常用的标准 为排除样本随机性的影响，可以对它求期望， 直接使用这种自然度量在实际中是不可行的， 是 由 于 是未知的，样本又具有随机性， 假设用 估 计 ，评价该估计好坏的一个自然度量      , ˆ ˆ − 定义2.1.3 2 ) ˆ , ) ( ˆ ( ˆ ˆ ,         MSE = E − 为 的一个估计， 的均方误差定义为 设 为一个一维未知参数

MSE(,的)=E(O-0)2 E[-E()+E()-0] E[a-E(e)+2E6-E(6)E(e)-6+E(0)-6 2E[6-E()[e(e)-e] =2E()-E()E()-6」=0 MSE(0,0)=vam(O)+[E(0)-0 MSE(,0)是由两个量迭加而成一个是估计量的方差 另一个是估计的偏差的平方如果是的无偏估计, 则后一项为0则有MSE(6,0)=Var(6 2-9

2 - 9   2 2 ) ˆ ) ( ˆ ( ˆ ) ˆ , ) ( ˆ (         = − + − = − E E E MSE E ) ˆ , ) ( ˆ . ( ˆ . , ) , ˆ (        MSE Var MSE 则后一项为 则 有 = 另一个是估计的偏差的平 方 如 果 是 的无偏估计， 是由两个量迭加而成一个是估计量的方差， 0        2 2 ) ˆ ) ( ˆ ) ( ˆ ( ˆ ) 2 ˆ ( ˆ = E  − E  + E  − E  E  − + E  −    2 ) ˆ ) ( ˆ (  2E  ˆ − E  E  −   =  +   ) −  ˆ ) ( ˆ , ) ( ˆ MSE( Var E   )  0 ˆ ) ( ˆ ) ( ˆ = 2 E( − E  E  − =

2.1.4相合估计及相合渐近正态估计 估计量是与样本容量荐的假设用 n=0n(X1,…,Xn)估计,就不可能做到对 某一n,MSE(对所有∈任意小 但当n→时通常可以做到这一点 这就是相合性概念 定义2.1.4估计量e称为待估参数O的相合估计, 若对给定样本分布族中的任一分布 当n→>时,依概率收敛到 2-10

2 - 10 2.1.4 相合估计及相合渐近正态估计 . , ) , ˆ , ( ( , , ) , ˆ ˆ , 1 这就是相合性概念 但 当 时通常可以做到这一点 某 一 对所有 任意小 估 计 就不可能做到对 估计量是与样本容量有关 的 假设用 →   = n n MSE X X n n n n       定义 2.1.4 . ˆ ˆ     当 时 ， 依概率收敛到 若对给定样本分布族中的任一分布 ， 估计量 称为待估参数 的相合估计， n n n → 