§7.1点估计
第七章参数估计 数理统计的基本问题之一是根据样本所提供 的信息,对总体的分布以及分布的数字特征做出 统计推断.统计推断的主要内容分为两大类:一 类是参数估计间题,另二类是假设检验间题,本 章主要讨论参数估计问题.这里的参数可以是总 体分布中的未知参数,也可以是总体的某个数字 特征.若总体分布形式已知,但它的一个或多个 参数未知或总体的某个数字特征未知时,就需借 总体x的样本来估计未知参数.以下主要讨论 总体参数的点估计和区间估计 §7.1点估计 上页
第七章 参数估计 数理统计的基本问题之一是根据样本所提供 的信息，对总体的分布以及分布的数字特征做出 统计推断．统计推断的主要内容分为两大类：一 类是参数估计问题，另一类是假设检验问题．本 章主要讨论参数估计问题．这里的参数可以是总 体分布中的未知参数，也可以是总体的某个数字 特征．若总体分布形式已知，但它的一个或多个 参数未知或总体的某个数字特征未知时，就需借 助总体X的样本来估计未知参数．以下主要讨论 总体参数的点估计和区间估计． §7.1 点估计
参数的点估计( Point estimation),就是 利用样本的信息对总体分布中的未知参数 王作定值估计.设总体X的分布函数形式为已 知,但它的一个或多个参数为未知,我们 的目的是构造一个相应的统计量=x,X2…,kn 去估计该未知参数,即借助于总体X的一个 样本来估计总体的未知参数,这种估计称 为参数的点估计.下面给出两种点估计量 的求法 矩估计 上页
参数的点估计(Point Estimation)，就是 利用样本的信息对总体分布中的未知参数 作定值估计．设总体X的分布函数形式为已 知，但它的一个或多个参数为未知，我们 的目的是构造一个相应的统计量 去估计该未知参数，即借助于总体X的一个 样本来估计总体的未知参数，这种估计称 为参数的点估计．下面给出两种点估计量 的求法． ( , , , ) ˆ ˆ X1 X2 Xn = 一．矩估计
王矩估计 Moment Estimation)又称数字特征 法估计,它的基本思想是用样本矩估计总 体的相应矩,用样本的数字特征估计总体 生相应的数字特征若总体x包含个末知 9 9 日4444,则由样本原点矩A可建立如 庄下个方程的方程组,x=A(x (1,02…4) i=1 A2=/2(,62,…,6) X=EX 即n (7-1) A=A(1,62…6k) k ElX 上页
矩估计(Moment Estimation) 又称数字特征 法估计，它的基本思想是用样本矩估计总 体的相应矩，用样本的数字特征估计总体 相应的数字特征．若总体X中包含k个未知 参数θ1，θ2，…，θk，记总体原点矩 ，则由样本原点矩 可建立如 下k个方程的方程组． 即 （7-1） ( , , , ) i i 1 2 k = Ai = = = ( , , , ) ( , , , ) ( , , , ) 1 2 2 2 1 2 1 1 1 2 k k k k k A A A ( ) ( ) ( ) = = = = = = n i k k i n i i n i i X E X n X E X n X E X n 1 2 1 2 1 1 1 1
注意:上述方程的右端实际上包含有未知参 数O1,2,…,,因此,(7-1)是k个未 知量、k个方程的一个方程组,一般来说, 我们可以从中解得(=0(x,x2…,xn 62(x1,X2…,Xn) k X k41,42…A1n 它们就是未知参数01,m,…,6矩估 庄计法另知(7)也可用相应的中矩 生#,这种求计量的方法称为法 上页
注意：上述方程的右端实际上包含有未知参 数θ1，θ2，…，θ，因此，（7-1）是k个未 知量、k个方程的一个方程组，一般来说， 我们可以从中解得 它们就是未知参数θ1，θ2，…，θ的矩估 计．另外，（7-1）中也可用相应的中心矩 代替．利用矩估计求出的估计量称为矩估 计量，这种求估计量的方法称为矩法． ( ) ( ) ( ) = = = k k n n n X X X X X X X X X , , , ˆ ˆ , , , ˆ ˆ , , , ˆ ˆ 1 2 2 2 1 2 1 1 1 2
可以看出,无论总体X服从什么分布,只要 王EX=H,DX2存在,它们的矩估计量总是 矩估直观简便特别是在估计 王总体的均值、方差等数字特征时,不必知 王道总体的分布类型,这是矩估计的优 点矩估计的不足之处是要求总体存在所 9 矩估计也未充分利用总体分布类型提供的 牛信息,这时它的精度可能比别的估计法 低. 上页
可以看出，无论总体X服从什么分布，只要 EX=μ，DX=σ2存在，它们的矩估计量总是 矩估计既直观又简便，特别是在估计 总体的均值、方差等数字特征时，不必知 道总体的分布类型，这是矩估计的优 点．矩估计的不足之处是要求总体存在所 需的矩，在总体分布类型已知的情形下， 矩估计也未充分利用总体分布类型提供的 信息，这时它的精度可能比别的估计法 低． 2 2 ˆ , ˆ = X = Sn
最大似然估计 矩估计不涉及总体的分布类型,而实 王际间题中总体的分布类型常常是已知的 这正是估计总体参数的一个有用信息 在 估计参数时,我们应充分利用这些信息 \ S 庄以下给出在总体分布类型已知时的最大似 然估计( Maximum likelihood Estimation) 1.最大似然估计法的基本思想 上页
二．最大似然估计 矩估计不涉及总体的分布类型，而实 际问题中总体的分布类型常常是已知的， 这正是估计总体参数的一个有用信息．在 估计参数时，我们应充分利用这些信息， 以下给出在总体分布类型已知时的最大似 然估计(Maximum Likelihood Estimation)． 1. 最大似然估计法的基本思想：
在随机抽样中,对于随机样本(X1,X2…,X) 记它的取值为x,x2,…,xn),由于(x1,X2…,X) 是随机的,在一次抽样中居然取到x,x2…,x) 王则我们有理由认为该随机样本取到(,“x) 的概率最大.从而可选取适当的参数,使 午其取到该样本值的概率达到最大,这就是 工工工 最大似然估计的基本思想.先看一个例子, 然后分别讨论高散情形和连续情形 上页
在随机抽样中，对于随机样本 记它的取值为 ，由于 是随机的，在一次抽样中居然取到 则我们有理由认为该随机样本取到 的概率最大．从而可选取适当的参数，使 其取到该样本值的概率达到最大，这就是 最大似然估计的基本思想．先看一个例子， 然后分别讨论离散情形和连续情形． ( , , , ) X1 X2 Xn ( , , , ) 1 2 n x x x ( , , , ) X1 X2 Xn ( , , , ) 1 2 n x x x ( , , , ) 1 2 n x x x
42最大似然估计的基本步骤 (1)总体分布为离散的情形 总体x的概率分布==,=,x=x“x 上其中叭,,…,0是总体分布中的未知参 午数,这时样本值(x-)x出现的概率是 Px=xx2=x…,x,=x}=(=x jEl (7-2) 王记此概率为 ∏nh…94) p L(6,62…6) 上页
2.最大似然估计的基本步骤 （1）总体分布为离散的情形 总体X的概率分布 ， 其中θ1，θ2，…，θ是总体分布中的未知参 数，这时样本值（ ）出现的概率是 （7-2） 记此概率 为 ，即 ( ) k P X x p x; , , , = = 1 2 n x x , x , , x = 1 2 n x ,x , ,x 1 2 ( ) = = = = = = = = n i i k n i n n i i p x P X x X x X x p X x 1 1 2 1 1 1 2 2 ; , , , , , , ( , , , ) L 1 2 k
L1,2,…,)=p(x;6202,…0)(7-3) 它是参数a,O2…的函数,选择参数值,a2, 使l0,a2,O)=mL(n,a2…9)(7-4) 王并用日作为=12-的估计值,这种求估 计值的方法称为最大似然估计法;用这种 方法求得的估计值6叫做的最大似然估 计值;而称l(G,2,)为参数的似然函数 7) ikelihood Function) 如果似然函数0,02…9)对的导数或 牛偏导数存在,那么根据多元函数极值理论 上页
（7-3） 它是参数 的函数，选择参数值 使 （7-4） 并用 作为 的估计值，这种求估 计值的方法称为最大似然估计法；用这种 方法求得的估计值 叫做 的最大似然估 计值；而称 为参数 的似然函数 (Likelihood Function)． 如果似然函数 对 的导数或 偏导数存在，那么根据多元函数极值理论 ( , , , ) ( ; , , , ) 1 2 k i 1 2 k L = p x k , , , 1 2 k ˆ , , ˆ , ˆ 1 2 ( ) ( ) L k L k max , , , ˆ , , ˆ , ˆ 1 2 = 1 2 i ˆ (i k) i =1,2, , i ˆ i ( ) L k , , , 1 2 ( ) k L , , , 1 2 i