第二节点估计的常用方法 分布图示 ★矩估计法 ★求矩估计的方法 ★例2★例 ★例4 ★最大似然估计法 ★求最大似然估计的一般方法 ★例5★例6 例7 ★例8 关于有k个未知参数的最大似然估计 内容小结 课堂练习 ★习题6-2 ★返回 内容要点 、矩估计法 矩估计法的基本思想是用样本矩估计总体矩.因为由在数定理知,当总体的k阶矩存在 时样本的k阶矩依概率收敛于总体的k阶矩例如,可用样本均值x作为总体均值E(X)的估 计量,一般地,记 总体k阶矩=E(X) 样本k阶矩4=∑x n 总体k阶中心矩V=EX-E(X); 样本k阶中心矩B (X-X) 矩估计量相应的估计值称为据估计值矩估计量与矩估计值统称为矩估的估计量称为 用相应的样本矩去估计总体矩的方法就称为矩估计法.用矩估计法确 求矩估计的方法 设总体X的分布函数F(x,B2…,O)中含有k个未知参数B1…,Ok,则 (1)求总体X的前k阶矩A1…,从4,一般都是这k个未知参数的函数,记为 共=g,(O1,…,日4),i=1,2,…,k(*) (2)从(*)中解得日=h(A,…),j=12…k (3)再用1(i=12,…,k)的估计量A分别代替上式中的,即可得O,(=1,2,…,k)的矩估 计量 0,=h(4,…4),J=12…k 注:求V…,类似于上述步骤,最后用B1;…Bk代替…V,求出矩估计b 最大似然估计法 引例某同学与一位猎人一起去打猎,一只野兔从前方窜过,只听一声枪响,野兔应声 倒下,试猜测是谁打中的? 由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率,故一般会猜测 这一枪是猎人射中的 最大似然估计法的思想:在已经得到实验结果的情况下,应该寻找使这个结果出现的可 能性最大的那个θ作为θ的估计b 注:最大似然估计法首先由德国数学家高斯于1821年提出,英国统计学家费歇于192 年重新发现并作了进一步的研究
第二节 点估计的常用方法 分布图示 ★ 矩估计法 ★ 求矩估计的方法 ★ 例 1 ★ 例 2 ★ 例 3 ★ 例 4 ★ 最大似然估计法 ★ 求最大似然估计的一般方法 ★ 例 5 ★ 例 6 ★ 例 7 ★ 例 8 ★ 关于有 k 个未知参数的最大似然估计 ★ 内容小结 ★ 课堂练习 ★ 习题 6-2 ★ 返回 内容要点 一、矩估计法 矩估计法的基本思想是用样本矩估计总体矩. 因为由在数定理知, 当总体的 k 阶矩存在 时,样本的k阶矩依概率收敛于总体的k阶矩.例如, 可用样本均值 X 作为总体均值 E(X) 的估 计量, 一般地, 记 总体 k 阶矩 ( ); k k = E X 样本 k 阶矩 = = n i k k Xi n A 1 1 ; 总体 k 阶中心矩 [ ( )] ; k Vk = E X − E X 样本 k 阶中心矩 ( ) . 1 1 = = − n i k k Xi X n B 用相应的样本矩去估计总体矩的方法就称为矩估计法. 用矩估计法确定的估计量称为 矩估计量. 相应的估计值称为据估计值. 矩估计量与矩估计值统称为矩估计. 求矩估计的方法： 设总体 X 的分布函数 ( ; , , ) 1 k F x 中含有 k 个未知参数 k , , 1 , 则 (1) 求总体 X 的前 k 阶矩 k , , 1 ，一般都是这 k 个未知参数的函数, 记为 g i k i i k ( , , ), 1,2, , = 1 = （*） (2) 从（*）中解得 h j k j j k ( , , ), 1,2, , = 1 = (3) 再用 (i 1,2, ,k) i = 的估计量 Ai 分别代替上式中的 i ,即可得 (i 1,2, ,k) j = 的矩估 计量: ( , , ), 1,2, , . ˆ 1 h A A j k j = j k = 注：求 , , , V1 Vk 类似于上述步骤，最后用 B Bk , , 1 代替 V Vk , , 1 ，求出矩估计 j ˆ (I =1,2, , k)。 二、最大似然估计法 引例 某同学与一位猎人一起去打猎,一只野兔从前方窜过, 只听一声枪响, 野兔应声 倒下, 试猜测是谁打中的? 由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率, 故一般会猜测 这一枪是猎人射中的. 最大似然估计法的思想: 在已经得到实验结果的情况下, 应该寻找使这个结果出现的可 能性最大的那个 作为 的估计 ˆ . 注: 最大似然估计法首先由德国数学家高斯于 1821 年提出, 英国统计学家费歇于 1922 年重新发现并作了进一步的研究
下面分别就离散型总体和连续型总体情形作具体讨论 离散型总体的情形:设总体X的概率分布为 P{X=x}=p(x,O),其中为未知参数 如果X1,X2,…,Xn是取自总体X的样本,样本的观察值为x,x2,…,xn,则样本的联合分布律 PX1=x,…,X=x}=∏P(x, 对确定的样本观察值x1,x2,…,xn,它是未知参数的函数 记为L(O)=L(x,x2…,x,0)=∏f(x,0),并称其为似然函数 连续型总体的情形:设总体X的概率密度为f(x,O),其中θ为未知参数,此时定义似然函 数 L(O)=L(x1,x2,…,x,O)=f(x,) 似然函数L(θ)的值的大小意味着该样本值出现的可能性的大小,在已得到样本值 x1,x2,…,xn的情况下,则应该选择使L()达到最大值的那个作为0的估计O.这种求点估 计的方法称为最大似然估计法 定义若对任意给定的样本值x,x2…,xn,存在 使 L(6)=maxL(6), 则称O=0(x1,x2,…x)为O的最大似然估计值称相应的统计量(X1,X2…,Xn)为0最大似 然估计量.它们统称为的最大似然估计(MLE) 求最大似然估计的一般方法 求未知参数θ的最大似然估计问题,归结为求似然函数L(O)的最大值点的问题当似 然函数关于未知参数可微时,可利用微分学中求最大值的方法求之.其主要步骤 (1)写出似然函数L()=L(x1,x2,…,x,O) (2)令“()=0或(e 1b=0,求出驻点 注:因函数hL是L的单调增加函数,且函数hL()与函数L()有相同的极值点故常转 化为求函数hnL(θ)的最大值点较方便 (3)判断并求出最大值点,在最大值点的表达式中,用样本值代入就得参数的最大似然 估计值 注:()当似然函数关于未知参数不可微时,只能按最大似然估计法的基本思想求出最 大值点 (i)上述方法易推广至多个未知参数的情形 例题选讲 求矩估计的方法 例1(E01)设总体X的概率密度为 (a+1)xa,0-1是未知数,X1X2,…,X是取自X的样本,求参数a的矩估计 解数学期望是一阶原点矩 A=E(X)=[(a+1xa=(a+1)[x+=a+ a+2
下面分别就离散型总体和连续型总体情形作具体讨论. 离散型总体的情形: 设总体 X 的概率分布为 P{X = x} = p(x,), 其中 为未知参数. 如果 X X Xn , , , 1 2 是取自总体 X 的样本,样本的观察值为 n x , x , , x 1 2 ,则样本的联合分布律 { ,, , } ( , ), 1 1 1 = = = = n i n n i P X x X x p x 对确定的样本观察值 n x , x , , x 1 2 ,它是未知参数 的函数, 记为 = = = n i n i L L x x x f x 1 1 2 ( ) ( , ,, , ) ( , ) ,并称其为似然函数. 连续型总体的情形: 设总体 X 的概率密度为 f (x,) ,其中 为未知参数,此时定义似然函 数 = = = n i n i L L x x x f x 1 1 2 ( ) ( , ,, , ) ( , ) . 似然函数 L( ) 的值的大小意味着该样本值出现的可能性的大小, 在已得到样本值 n x , x , , x 1 2 的情况下, 则应该选择使 L( ) 达到最大值的那个 作为 的估计 ˆ . 这种求点估 计的方法称为最大似然估计法. 定义 若对任意给定的样本值 n x , x , , x 1 2 , 存在 ( , , , ) ˆ ˆ 1 2 n = x x x , 使 ) max ( ), ˆ ( L = L 则称 ( , , , ) ˆ ˆ 1 2 n = x x x 为 的最大似然估计值.称相应的统计量 ( , , , ) ˆ X1 X2 Xn 为 最大似 然估计量. 它们统称为 的最大似然估计(MLE). 求最大似然估计的一般方法 求未知参数 的最大似然估计问题, 归结为求似然函数 L( ) 的最大值点的问题. 当似 然函数关于未知参数可微时, 可利用微分学中求最大值的方法求之. 其主要步骤: (1) 写出似然函数 ( ) ( , , , , ) L = L x1 x2 xn ; (2) 令 0 ( ) = d dL 或 0 ln ( ) = d d L , 求出驻点; 注: 因函数 ln L 是 L 的单调增加函数,且函数 ln L( ) 与函数 L( ) 有相同的极值点,故常转 化为求函数 ln L( ) 的最大值点较方便. (3) 判断并求出最大值点, 在最大值点的表达式中, 用样本值代入就得参数的最大似然 估计值. 注：(i) 当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最 大值点。 (ii) 上述方法易推广至多个未知参数的情形. 例题选讲 求矩估计的方法 例 1 (E01) 设总体 X 的概率密度为 , 0, ( 1) , 0 1 ( ) + = 其它 x x f x 其中 a −1 是未知数， X X Xn , , , 1 2 是取自 X 的样本, 求参数 的矩估计. 解 数学期望是一阶原点矩 = = + 1 0 1 E(X ) ( 1)x dx , 2 1 ( 1) 1 0 1 + + = + = + x dx
其样本矩为F=a+1,而a=2X=,即为a的矩估计 a+2 例2设总体X在[ab上服从均匀分布,a,b未知x1x2…,Xn是来自X的样本 试求a,b的矩估计量 E(X)=(a+b)/2,p2=E(X2)=D(X+[E(X)=(b-a)212+(a+b)2/4 即a+b=2A1,b-a=y12( 解得 √32-1),b=+V2-) 注意到∑x2-x2=1∑(x,-x),以A,4代替1,到ab的矩估计量分别为 4-x4一4)=x-1∑(x,-x n =A+3(42-42)= X 例3(E02)设总体X的均值及方差a2都存在,且有σ2>0,但山,a2均为未知,又 设X1,X2…,X是来自X的样本试求,a2的矩估计量 解1=E(X)=A,p2=E(X2)=D(X)+E(X)2 得到=A1,a2=p2 以A,A2代替,2,得和σ2的矩估计量分别为 X,G2=A2-A12 (X1-x)2 注:本例表明,总体均值与方差的矩估计量的表达式不因不同的总体公布而异.如 x~N(Ao2),Aa2未知,则2的矩估计量为=x,a2=∑(x1-x) 例4(E03)设总体X的概率分布为 P|e22(1-0)(1-0)2 其中θ为未知参数现抽得一个样本x1=1,x2=2,x3=L,求θ的矩估计值 求最大似然估计的一般方法 例5(E04)设X~b(1,p),X1,X2,…,Xn是取自总体X的一个样本,试求参数p的最大 似然估计 解先求总体一阶原点矩 E(X)=1×62+2×26(1-6)+3(1-6)2=3
其样本矩为 , 2 1 + + = X 而 , 1 2 1 ˆ X X − − = 即为 的矩估计. 例 2 设总体 X 在 [a,b] 上服从均匀分布， a,b 未知. X X Xn , , , 1 2 是来自 X 的样本, 试求 a,b 的矩估计量. 解 ( ) ( )/ 2, 1 = E X = a + b 2 2 2 = E(X ) = D(X) +[E(X)] ( ) /12 ( ) / 4, 2 2 = b − a + a + b 即 2 , a + b = 1 12( ). 2 b − a = 2 − 1 解得 3( ), 2 a = 1 − 2 − 1 3( ). 2 b = 1 + 2 − 1 注意到 = = − = − n i i n i i X X n X X n 1 2 2 1 2 ( ) , 1 1 以 1 2 A , A 代替 , , 1 2 到 a,b 的矩估计量分别为 = = − − = − − n i Xi X n a A A A X 1 2 2 1 2 1 ( ) , 3 ˆ 3( ) ( ) . 3 3( ) ˆ 1 2 2 1 2 1 = = + − = + − n i Xi X n b A A A X 例 3 (E02) 设总体 X 的均值 及方差 2 都存在, 且有 0 2 , 但 2 , 均为未知, 又 设 X X Xn , , , 1 2 是来自 X 的样本. 试求 2 , 的矩估计量. 解 ( ) , 1 = E X = ( ) ( ) [ ( )] , 2 2 2 2 2 = E X = D X + E X = + 得到 , = 1 . 2 2 1 2 = − 以 1 2 A , A 代替 , , 1 2 得 和 2 的矩估计量分别为 ˆ , = A1 = X = = = − = − = − n i i n i i X X n X X n A A 1 2 2 1 2 2 2 1 2 ( ) . 1 1 ˆ 注: 本例表明, 总体均值与方差的矩估计量的表达式不因不同的总体公布而异. 如, ~ ( , ), 2 X N 2 , 未知, 则 2 , 的矩估计量为 ˆ = X, ( ) . 1 ˆ 2 1 2 X X n n i = i − = 例 4 (E03) 设总体 X 的概率分布为 2 2 2 (1 ) (1 ) 1 2 3 Pi − − X 其中 为未知参数.现抽得一个样本 1, 2, 1, x1 = x2 = x3 = 求 的矩估计值. 求最大似然估计的一般方法 例 5(E04) 设 X ~ b(1, p)， X X Xn , , , 1 2 是取自总体 X 的一个样本，试求参数 p 的最大 似然估计. 解 先求总体一阶原点矩 ( ) 1 2 2 (1 ) 3(1 ) 3 2 , 2 2 E X = + − + − = −
阶样本矩x=(1+2+1) 由E(X)=,得3-20=4,推出6=5,所以的矩估计值6=5 例6设总体X服从0]上的均匀分布,未知X1,…,Xn为x的样本,x1,…,xn为样 本值,试求O的最大似然估计 解似然函数L(0)={a 其它 因L(θ)不可导,可按最大似然法的基本思想确定θ.欲使L(θ)最大,θ应尽量小但又不 能太小,它必须同时满足θ≥x1(=1,…n),即θ≥max(x1…xn),否则L(O)=0,而0不可能 是L()的最大值.因此,当=max{x…,xn}时,L(O)可达最大 所以θ的最大似然估计值与最大似然估计量分别为 =max{x12…,xn},O=max{X12…,Xn} 例7(E05)设总体X服从指数分布,其概率密度函数 e f(x,)=0, x≤0 其中λ>0,是未知参数x1,x2,…,xn是来自总体X的样本观察值,求参数A的最大似然估 计值 解似然函数L(x1x2…,x;)={ze-,x>0 其它 显然L(x1,x2…xn;1)的最大值点一定是L1(x1,x2…,xn;)=e的最大值点,对其 取对数hL1(x,x2,…xn;)=mh2-2∑x mL(x2:x1少分0,可得参数的最大似然估计值=n= x 例8设x1,x2,…,xn是正态总体N(4,a2)的样本观察值,其中a2是未知参数,试求 和σ2的最大似然估计值 解记似然函数L(x1,x2,…xn;,02)=L(A,a2)
一阶样本矩 . 3 4 (1 2 1) 3 1 x = + + = 由 E(X) = x, 得 , 3 4 3 − 2 = 推出 , 6 5 ˆ = 所以 的矩估计值 . 6 5 ˆ = 例 6 设总体 X 服从 [0,] 上的均匀分布, 未知. X X n , , 1 为 X 的样本, n x , , x 1 为样 本值, 试求 的最大似然估计. 解 似然函数 = . 0, , 0 , , 1 ( ) 1 其它 n n x x L 因 L( ) 不可导, 可按最大似然法的基本思想确定 . ˆ 欲使 L( ) 最大, 应尽量小但又不 能太小, 它必须同时满足 x (i 1, ,n), i = 即 max( , ), 1 n x x 否则 L( ) = 0, 而 0 不可能 是 L( ) 的最大值. 因此,当 max{ , , } 1 n = x x 时, L( ) 可达最大. 所以 的最大似然估计值与最大似然估计量分别为 max{ , , }, ˆ 1 n = x x max{ , , }. ˆ = X1 Xn 例 7 (E05) 设总体 X 服从指数分布, 其概率密度函数 = − 0, 0 , 0 ( , ) x e x f x x 其中 0 , 是未知参数. n x , x , , x 1 2 是来自总体 X 的样本观察值, 求参数 的最大似然估 计值. 解 似然函数 = = − 0, 其它 ( , , , ; ) , 0 1 1 2 i x n n L x x x e x n i i 显然 ( , , ; ) L x1 x2 xn 的最大值点一定是 = − = n i i x n n L x x x e 1 ( , , , ; ) 1 1 2 的最大值点, 对其 取对数 = = − n i n i L x x x n x 1 1 1 2 ln ( , ,, ;) ln 由 = = − = n i i n x n d d L x x x 1 1 1 2 0 ln ( , , , ; ) , 可得参数 的最大似然估计值 . 1 ˆ 1 x x n n i i = = = 例 8 设 n x , x , , x 1 2 是正态总体 ( , ) 2 N 的样本观察值, 其中 2 , 是未知参数, 试求 和 2 的最大似然估计值. 解 记似然函数 ( , , ; , ) ( , ), 2 2 L x1 x2 xn = L
则L(,.2) =(√2z)”(a2)-m2e 2To InL(u,o2)=-nIn V2T-Ina-2 aIn L ∑(x-)=0 oa2=2a2(x1-p)- aInL 1 由此可得参数和2的最大似然估计值为正=1 x;=x, 最大似然估计量为=∑x=,2=∑x-x)2 与例3中的矩估计量相同 课堂练习 1.设总体X具有概率概率密度 f(x,,6)= ≤b 其中A>0,0为未知参数.X1,X2,…,Xn是来自总体X的样本,求O,2的矩估计量 2.设总体X在[ab上服从均匀分布,a,b未知,x1,x2,…,xn是一个样本值.试求a,b 的最大值似然估计量
则 = − − = n i xi L e 1 2 ( ) 2 2 2 2 1 ( , ) = − − = − − n i n n x 1 2 2 1 2 / 2 ( ) 2 1 ( 2 ) ( ) exp = = − − − − n i x n L n 1 2 2 1 2 2 ( ) 2 1 ln 2 ln ( , ) ln 2 = = − = n i i x L 1 2 ( ) 0, ln 1 0 2 ( ) 2 ln 1 2 1 2 2 4 = − − = = n x L n i i 由此可得参数 和 2 的最大似然估计值为 = = = n i i x x n 1 , 1 ˆ = = − n i i x x n 1 2 2 ( ) 1 ˆ 最大似然估计量为 , 1 ˆ 1 X X n n i = i = = = = − n i Xi X n 1 2 2 ( ) 1 ˆ 与例 3 中的矩估计量相同. 课堂练习 1. 设总体 X 具有概率概率密度 = − − x e x f x x 0, , ( , , ) ( ) 其中 0, 为未知参数. X X X n , , , 1 2 是来自总体 X 的样本, 求 , 的矩估计量. 2. 设总体 X 在 [a,b] 上服从均匀分布， a,b 未知， n x , x , , x 1 2 是一个样本值. 试求 a,b 的最大值似然估计量
