第七章参数估计 引言 参数估计:当总体的某些参数未知(一般要求分布类型已知)时, 从样本出发构造适当的统计量,作为未知参数的估计量。当取 得一组观察值后,以相应的统计量的观察值作为未知参数的估 计值,并讨论估计值对真值进行估计的可靠性。 参数估计方法是处理实际问题时最常用的方法。 预备概念:当总体X中含有未知参数0(可以是向量)时,可用 F(x;0)来表示X的分布函数,当θ取不同的值,就会得到不 同的分布函数。我们称0所有可能取值的集合为参数空间,记 为⊙。把{F(x;0),θ∈}称为X的分布函数族。 若Ⅹ为连续型随机变量,和分布函数族对应的是密度函数 族{f(x;θ),0∈}
第七章 参数估计 引言 参数估计：当总体的某些参数未知(一般要求分布类型已知)时， 从样本出发构造适当的统计量，作为未知参数的估计量。当取 得一组观察值后，以相应的统计量的观察值作为未知参数的估 计值，并讨论估计值对真值进行估计的可靠性。 参数估计方法是处理实际问题时最常用的方法。 预备概念：当总体X中含有未知参数 (可以是向量)时，可用 F(x； )来表示X的分布函数，当取不同的值，就会得到不 同的分布函数。我们称所有可能取值的集合为参数空间，记 为。把{F(x； )， }称为X的分布函数族。 若X为连续型随机变量，和分布函数族对应的是密度函数 族{ f (x； )， }
若X是离散型随机变量,和分布函数族对应的是概率分布 函数族{P(k)=P(X=xk),6∈O} 第一节点估计 点估计用样本(X1,X2,…,Xn)构造适当的统 计量b=0(X,X2,…,Xn),作为未知参数e的估计量。 当取得一组样本观察值(x1,x2…,xn)后,用相应的 0(x,x2…,xn)作为未知参数θ的估计值。 说明:1.在统计推断中,当不致混淆时,通常对样本和样本 观察值的表示法不加区分,均表成(x1,x2,…,xn) 2.对于两组不同的样本观察值,可得到未知参数θ的两个 估计值,但θ的估计量是同一个
若X是离散型随机变量，和分布函数族对应的是概率分布 函数族{ p (k) = P(X = xk )， }。 第一节 点估计 点估计 用样本 构造适当的统 计量 ，作为未知参数 的估计量。 ( ) X1 ，X2 ，，Xn ( ) X1 ，X2 ，，Xn = 当取得一组样本观察值 后，用相应的 作为未知参数 的估计值。 ( ) 1 2 n x，x ，，x ( ) 1 2 n x，x ，，x 说明：1. 在统计推断中，当不致混淆时，通常对样本和样本 观察值的表示法不加区分，均表成 (x1 ，x2 ，，xn )。 2. 对于两组不同的样本观察值 ，可得到未知参数 的两个 估计值，但 的估计量是同一个
、矩估计 矩估计法原理:用样本k阶原点矩(中心矩)作为总体k阶原点 矩(中心矩)的估计量,用样本k+m阶混合矩作为总体k+m阶混 合矩的估计量。 特别,用作为EX的估计量,用B2作为D(X的估计量, 用样本协方差(相关系数作为covX,Y)和的估计量 定义71设总体X中含有未知参数6=(,2,…,6) 若对每个(i=1,2,k),存在连续函数g(x,x2…,xk),使 日=g(E(X),E(X2),…,E(X),i=1,2,…,k, 则称日=g(a1,a2…,a)为61的矩估计量,其中 ∑/n,1=1,2,…,k 称O=(O1,02,…,0n)为0=(O,O2,…,O)的矩估计量
一、矩估计 矩估计法原理：用样本k阶原点矩(中心矩)作为总体k阶原点 矩(中心矩)的估计量，用样本k+m阶混合矩作为总体k+m阶混 合矩的估计量。 特别，用 作为E(X)的估计量，用 作为D(X)的估计量， 用样本协方差(相关系数)作为cov(X，Y)和 的估计量。 X B2 XY r 定义7.1 设总体X中含有未知参数 若对每个i( i=1，2，k)，存在连续函数 ，使 ( ) = 1， 2，， k ( ) i 1 2 k g x，x ，，x i = gi (E(X )，E(X 2 )，，E(X k ))，i =1，2，，k， ( ) i 1 2 k i = g ， ，， 则称 为 i 的矩估计量，其中 / 1 2 . 1 X n i k n j i i = j ， = ，，， = 称 = ( 1， 2，， n )为 = (1 ， 2 ，， n ) 的矩估计量。
如何求O=g(E(X,E(X2),…,E(X),i=1,2,…,k? 设总体X的密度函数为f(x;日1,日2,,) 由总体原点矩的定义,有 E(X)=|xf(x;,,…,0),1=12,…,k 从理论上来说,由上面k个方程,可以解出 6=g(E(X,E(X2),…,E(X),i=1,2,…,k 矩估计的优越性:当总体分布类型未知时仍可对总体各阶矩进 行估计。 矩估计的缺陷:当总体分布类型已知时,未能充分利用总体 分布提供的信息
如何求 i = gi (E(X )，E(X 2 )，，E(X k ))，i =1，2，，k？ 设总体X的密度函数为 f (x；1 ， 2 ，， k )， 由总体原点矩的定义，有 ( ) ( ) 1 2 . 1 2 E X x f x dx i k k i = i ； ， ，， ， = ，，， + − 从理论上来说，由上面k个方程，可以解出 ( ( ) ( ) ( )) 1 2 . 2 g E X E X E X i k k i = i ， ，， ， = ，，， 矩估计的优越性：当总体分布类型未知时仍可对总体各阶矩进 行估计。 矩估计的缺陷：当总体分布类型已知时，未能充分利用总体 分布提供的信息
、极大似然估计 引例:罐中有许多白球和黑球,已知两色球的比例为3:1,但 不知哪种颜色的球多。今有放回连抽两球均取岀黑球,问:罐 中黑球多还是白球多? 解:设抽出黑球的概率为p,抽得黑球数为X,则Ⅹ~B(2,p)。 P(Ⅹ=2)=P。根据题意,知p=3/4或p=1/4。 若p=/4,则P(X=2)1/16; 若p=3/4,则P(X=2)=9/16。 (或者说样本来自总体B(2,3/4)的可能性比来自总体B(2 的可能性大得多) 这说明当黑球多时事件(X=2)发生的概率大得多, 根据“概率越大的事件越可能发生”的实际推断原理,应选 3/4作为p的估计值。 若p的可供选择的估计值有许多,仍应选择发生概率最大的p 作为p的估计,这就是极大似然估计的思想
二、极大似然估计 引例：罐中有许多白球和黑球，已知两色球的比例为3：1，但 不知哪种颜色的球多。今有放回连抽两球均取出黑球，问：罐 中黑球多还是白球多？ 解：设抽出黑球的概率为p，抽得黑球数为X，则X～B(2，p)。 P(X=2)= 2 p 。 根据题意，知 p=3/4 或 p=1/4 。 若 p=1/4，则 P(X=2)=1/16； 若 p=3/4，则 P(X=2)=9/16。 这说明当黑球多时事件 (X=2) 发生的概率大得多， (或者说样本来自总体B(2，3/4)的可能性比来自总体B(2，1/4) 的可能性大得多) 根据“概率越大的事件越可能发生”的实际推断原理，应选 3/4作为p的估计值。 若p的可供选择的估计值有许多，仍应选择发生概率最大的 作为p的估计，这就是极大似然估计的思想。 p
极大似然估计的原理 设总体X的概率密度函数族为(x;0)(或概率分布函数族为 P(X=x)=p(X;0)),θ∈⊙。 设(x,x2…,xn)为任一组样本观察值(一组抽象的数),则 样本的密度函数(或概率分布)为 L(0)=(x,x2…,x;O)=∏f(x;) 或LO)=1P(x;) 注意,当X是离散型随机变量,因样本观察值是取定的,故 I(0),θ∈⊙仅是θ的函数,对连续型随机变量,仍将L(0) 0∈仅看作0的函数。 若有θ=θ(x,x2,…,x),使L(O)=maxL(O)对几乎所有样 6∈⊙ 本观察值都成立,则称O=B(X1,X2,,Xn)为0的极大似然估 计量,称θ=θ(x,x1,…,xn)为0的极大似然估计值
极大似然估计的原理 设总体X的概率密度函数族为f(x； ) (或概率分布函数族为 P(X=x)=p(x ； ) )，。 设 为任一组样本观察值(一组抽象的数)，则 样本的密度函数(或概率分布)为 ( ) 1 2 n x，x ，，x = = = n i n i L L x x x f x 1 1 2 ( ) ( ， ，， ； ) ( ； ). = = n i i L p x 1 (或 ( ) ( ； ) ). 注意，当X是离散型随机变量，因样本观察值是取定的，故 L()， 仅是的函数，对连续型随机变量，仍将L()， 仅看作的函数。 若有 ，使 对几乎所有样 本观察值都成立，则称 为的极大似然估 计量，称 为的极大似然估计值。 ( ) 1 2 n x，x ，，x = ( ) X1，X2，，Xn = ( ) 1 2 n x，x ，，x = ( ) max ( ) L L =
说明:在求极大似然估计量时,先用一组抽象的样本观察值 来求,因而得到的是待估参数θ的极大似然估计值,再用样本 代换样本观察值,才能得到待估参数θ的极大似然估计量。若 用一组具体的样本观察值代入,便可得到待估参数0的具体极 大似然估计值。 求L(0)的极大值日:通过 d n L(o) 0,求出 说明:1.因为I(0)是样本观察值的函数(此时样本观察值不变), 故求出的日一般也是样本观察值的函数。 2.由于 dn l(o) =0只是lnL(O)取极值的必要条件,从理论上 来说,还应验证n(O)lnL(0),θ∈6对所有样本观察值都 成立。但这种验证通常是非常困难的,故多不进行验证。 3.若不只一个参数需要估计,也采用同样的方法,只是这时似 然函数是多元函数,要通过令偏导数等于零求出驻点。(具体步 骤见教材p182-183)
说明：在求极大似然估计量时，先用一组抽象的样本观察值 来求，因而得到的是待估参数的极大似然估计值，再用样本 代换样本观察值，才能得到待估参数的极大似然估计量。若 用一组具体的样本观察值代入，便可得到待估参数的具体极 大似然估计值。 通过 ，求出 。 0 ln ( ) = d 求 d L L()的极大值 ： 说明：1. 因为L()是样本观察值的函数(此时样本观察值不变)， 故求出的 一般也是样本观察值的函数。 2. 由于 只是lnL()取极值的必要条件，从理论上 来说，还应验证lnL( ) lnL()， 对所有样本观察值都 成立。但这种验证通常是非常困难的，故多不进行验证。 0 ln ( ) = d d L 3. 若不只一个参数需要估计，也采用同样的方法，只是这时似 然函数是多元函数，要通过令偏导数等于零求出驻点。(具体步 骤见教材p182-183)
例1.设某炸药厂一天中发生着火现象的次数X服从参数为入的 泊松分布,设有以下样本观察值, 着火次数0123456 k 从次着火天数75905422621∑ k 250 1)试用矩估计法估计参数λ; 2)试用极大似然估计法估计参数入; 3)试求P(X=0)的极大似然估计值
例1. 设某炸药厂一天中发生着火现象的次数X服从参数为的 泊松分布，设有以下样本观察值， = 250 75 90 54 22 6 2 1 k次着火天数 着火次数 0 1 2 3 4 5 6 k nk 1) 试用矩估计法估计参数； 2) 试用极大似然估计法估计参数； 3) 试求P(X=0)的极大似然估计值
例2(2002年数学三考研试题填空题) 设总体X的概率密度为(x;:0)=/e(x0),若x≥ 0 右x<. 而X1,X2,…,Xn是来自总体X的简单随机样本,则未知 参数θ的矩估计量为 注:本题是盛骤等编《概率论与数理统计》(第二版)第七章习 题2-4的特例。 例3(2002年数学一考研试题十二题)设总体X的概率分布为 0 02|2(1-0)6 1-20 其中0(0<0<1/2)是未知参数,利用总体X得如下样本值 求θ的矩估计值和极大似然估计值
例2(2002年数学三考研试题填空题) 设总体X的概率密度为 = − − 0 . ( ) ( ) x e x f x x ， 若 ， 若 ， ； 而 是来自总体X的简单随机样本，则未知 参数的矩估计量为______ 。 X1 ，X2 ，，Xn 注：本题是盛骤等编《概率论与数理统计》(第二版)第七章习 题2-4的特例。 例3(2002年数学一考研试题十二题) 设总体X的概率分布为 p 2(1-) 1-2 X 0 1 2 3 2 2 其中 (0<<1/2)是未知参数，利用总体X得如下样本值 3 ， 1 ， 3 ， 0 ， 3 ， 1 ， 2 ， 3 求的矩估计值和极大似然估计值
说明:1.本题中因P(X=x1)无一般表达式,故不能先求极大 似然估计量,再将样本观察值代入求极大似然估计值 2.本题处理思想在解决实际问题时很有用。 极大似然估计的性质:若b为总体X中未知参数θ的极大似 然估计量,叫=u(6)有单值反函数=(u),则uO)是u0)的 极大似然估计量。 若a2是DX)=2的极大似然估计,因=l(a2)=V2 有单值反函数o=1(视O为一个整体),则O便是 标准差、D(X)=o的极大似然估计
说明：1. 本题中因 P(X= )无一般表达式，故不能先求极大 似然估计量，再将样本观察值代入求极大似然估计值。 i x 2. 本题处理思想在解决实际问题时很有用。 极大似然估计的性质：若 为总体X中未知参数的极大似 然估计量，u=u( ) 有单值反函数 = (u)，则u( )是u( ) 的 极大似然估计量。 若 是D(X)= 的极大似然估计，因 有单值反函数 (视 为一个整体)，则 便是 标准差 的极大似然估计。 2 2 2 2 u = u( ) = 2 2 = u 2 D(X) =