《概率论与数理统计》典型教案 教学内容:极大似然估计法 教学目的: 通过本节内容的教学,使学生 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法; 2、理解极大似然思想; 3、掌握求极大似然估计值的一般步骤,会求常见分布参数的极大似 然估计值 教学重点: 1、对极大似然思想阐述; 2、极大似然估计值的求解 教学难点 对不能通过求导方法获得极大似然估计的值的确定 教学时数:2学时 教学过程: 引例:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只 听一声枪响,野兔应声到下,如果要你推测,这一发命中的子弹是谁打 的?你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同 学命中的概率,看来这一枪是猎人射中的 这个例子所作的推断就体现了极大似然法的基本思想 、极大似然思想 一般地说,事件A与参数θ∈日有关,θ取值不同,则P(A)也不同.若 A发生了,则认为此时的θ值就是θ的估计值.这就是极大似然思想.看 一例子:例1、设袋中装有许多黑、白球,不同颜色球的数量比为3:1, 试设计一种方法,估计任取一球为黑球的概率P 分析:易知P的值无非是114或34.为估计P的值,现从袋中有放 回地任取3只球,用X表示其中的黑球数,则X~b(3,P).按极大似然 估计思想,对P的取值进行估计 解:对P的不同取值,X取k=01,2,3的概率可列表如下
1 《概率论与数理统计》典型教案 教学内容:极大似然估计法 教学目的: 通过本节内容的教学,使学生: 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法; 2、理解极大似然思想; 3、掌握求极大似然估计值的一般步骤,会求常见分布参数的极大似 然估计值. 教学重点: 1、对极大似然思想阐述; 2、极大似然估计值的求解. 教学难点: 对不能通过求导方法获得极大似然估计的值的确定. 教学时数:2学时. 教学过程: 引例:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只 听一声枪响,野兔应声到下,如果要你推测,这一发命中的子弹是谁打 的?你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同 学命中的概率,看来这一枪是猎人射中的. 这个例子所作的推断就体现了极大似然法的基本思想. 一、极大似然思想 一般地说,事件 A 与参数 有关, 取值不同,则 P(A) 也不同.若 A 发生了,则认为此时的 值就是 的估计值.这就是极大似然思想.看 一例子:例1、设袋中装有许多黑、白球,不同颜色球的数量比为 3:1, 试设计一种方法,估计任取一球为黑球的概率 P . 分析:易知 P 的值无非是 1/4 或 3/4.为估计 P 的值,现从袋中有放 回地任取 3 只球,用 X 表示其中的黑球数,则 X ~ b(3,P) .按极大似然 估计思想,对 P 的取值进行估计. 解:对 P 的不同取值, X 取 k = 0,1,2,3 的概率可列表如下:
3 P=k242764%4%64 P=%4 k=0,1 故根据极大似然思想即知:P= B34.k 上面的例子中,P是分布中的参数,它只能取两个值:14或314, 需要通过抽样来决定分布中参数究竟是14还是3/4.在给定了样本观测 值后去计算该样本出现的概率,这一概率依赖于P的值,为此需要用14 34分别去计算此概率,在相对比较之下,哪个概率大,则P就最象那个 、似然函数与极大似然估计 1、离散分布场合 设总体X是离散型随机变量,其概率函数为p(x,O),其中θ是未知 参数.设x1,H2…Xn为取自总体X的样本.X1X2…Xn的联合概率函 数为∏P(X;),这里,是常量,X1,X2,…,X是变量 若我们已知样本取的值是x1,x2…xn,则事件 {X1=x12x2=x2,…,xn=xn}发生的概率为∏p(x;0),这一概率随θ的 值而变化.从直观上来看,既然样本值x1,x2…xn出现了,它们出现的 概率相对来说应比较大,应使∏p(x;)取比较大的值.换句话说,日应 使样本值x1,x2…x的出现具有最大的概率.将上式看作的函数,并用 L(O)表示,就有
2 X 0 1 2 3 4 P = 1 64 27 64 27 64 9 64 1 4 P = 3 64 1 64 9 64 27 64 27 故根据极大似然思想即知: = = = , 2,3 4 3 , 0,1 4 1 ˆ k k P . 在上面的例子中, P 是分布中的参数,它只能取两个值:1/4 或 3/4, 需要通过抽样来决定分布中参数究竟是 1/4 还是 3/4.在给定了样本观测 值后去计算该样本出现的概率,这一概率依赖于 P 的值,为此需要用 1/4、 3/4 分别去计算此概率,在相对比较之下,哪个概率大,则 P 就最象那个. 二、似然函数与极大似然估计 1、离散分布场合: 设总体 X 是离散型随机变量,其概率函数为 p(x;) ,其中 是未知 参数.设 X X Xn , , , 1 2 为取自总体 X 的样本. X X Xn , , , 1 2 的联合概率函 数为 = n i p Xi 1 ( ; ) ,这里, 是常量, X X Xn , , , 1 2 是变量. 若我们已知样本取的值是 n x , x , , x 1 2 ,则事件 { , , , } 1 1 2 2 n n X = x X = x X = x 发生的概率为 = n i i p x 1 ( ; ) .这一概率随 的 值而变化.从直观上来看,既然样本值 n x , x , , x 1 2 出现了,它们出现的 概率相对来说应比较大,应使 = n i i p x 1 ( ; ) 取比较大的值.换句话说, 应 使样本值 n x , x , , x 1 2 的出现具有最大的概率.将上式看作 的函数,并用 L( ) 表示,就有:
L()=L(x1,x2,…,xn;0)=p(x1;0 称L()为似然函数.极大似然估计法就是在参数θ的可能取值范围⊙内, 选取使L(O)达到最大的参数值,作为参数θ的估计值.即取θ,使 L()=L(x1,x2…,xn;)=maxL(x1,x2…,xn;0)(2) 因此,求总体参数θ的极大似然估计值的问题就是求似然函数L(O) 的最大值问题.这可通过解下面的方程 d()=0 (3) 来解决.因为hL是L的增函数,所以hL与L在θ的同一值处取得最大 值.我们称l(O)=hL(O)为对数似然函数.因此,常将方程(3)写成 dIn l(0) (4) d 方程(4)称为似然方程.解方程(3)或(4)得到的O就是参数O的 极大似然估计值 如果方程(4)有唯一解,又能验证它是一个极大值点,则它必是 所求的极大似然估计值.有时,直接用(4)式行不通,这时必须回到 原始定义(2)进行求解. 2、连续分布场合: 设总体X是连续离散型随机变量,其概率密度函数为∫(x,),若取 得样本观察值为x1,x2…x,则因为随机点(X1,X2,…,Xn)取值为 (x2x2…,x)时联合密度函数值为∏f(x:0),所以,按极大似然法,应 选择θ的值使此概率达到最大.我们取似然函数为 L()=∏f(x:0),再按前述方法求参数6的极大似然估计值 三、求极大似然估计的方法
3 = = = n i n i L L x x x p x 1 1 2 ( ) ( , ,, ; ) ( ; ) (1) 称 L( ) 为似然函数.极大似然估计法就是在参数 的可能取值范围 内, 选取使 L( ) 达到最大的参数值 ˆ ,作为参数 的估计值.即取 ,使 ) max ( , , , ; ) ˆ ( ) ( , , , ; 1 2 1 2 n n L L x x x L x x x = = (2) 因此,求总体参数 的极大似然估计值的问题就是求似然函数 L( ) 的最大值问题.这可通过解下面的方程 0 ( ) = d dL (3) 来解决.因为 ln L 是 L 的增函数,所以 ln L 与 L 在 的同一值处取得最大 值.我们称 l( ) = ln L( ) 为对数似然函数.因此,常将方程(3)写成: 0 ln ( ) = d d L (4) 方程(4)称为似然方程.解方程(3)或(4)得到的 ˆ 就是参数 的 极大似然估计值. 如果方程(4)有唯一解,又能验证它是一个极大值点,则它必是 所求的极大似然估计值.有时,直接用(4)式行不通,这时必须回到 原始定义(2)进行求解. 2、连续分布场合: 设总体 X 是连续离散型随机变量,其概率密度函数为 f (x; ) ,若取 得 样 本观 察值 为 n x , x , , x 1 2 , 则因 为随 机 点 ( , , , ) X1 X2 Xn 取值为 ( , , , ) 1 2 n x x x 时联合密度函数值为 = n i i f x 1 ( ; ) .所以,按极大似然法,应 选择 的值使此概率达到最大.我们取似然函数为 = = n i i L f x 1 ( ) ( ; ) ,再按前述方法求参数 的极大似然估计值. 三、求极大似然估计的方法
1、可通过求导获得极大似然估计: 当函数关于参数可导时,常可通过求导方法来获得似然函数极大值 对应的参数值 例2、设某工序生产的产品的不合格率为p,抽n个产品作检验, 发现有T个不合格,试求p的极大似然估计 分析:设X是抽查一个产品时的不合格品个数,则X服从参数为p 的二点分布b(p).抽查n个产品,则得样本X1x2,…Xn,其观察值为 x,x2,…,xn,假如样本有T个不合格,即表示x1,x2,…,xn中有T个取值为 1,n-T个取值为0.按离散分布场合方法,求p的极大似然估计 解:(1)写出似然函数:L(p)=∏p3(1-P (2)对L(p)取对数,得对数似然函数(p): l(p)=∑[xhp+(1-x)h(1-p=nh(1-p)+∑xhp-m1-p (3)由于(p)对p的导数存在,故将l(p)对p求导,令其为0, 得似然方程:4p少1PP1-p1Pmm+=0 (4)解似然方程得:p=∑x=x (5)经验证,在b=adp)∠0,这表明p=x可使似然函数 达到最大 (6)上述过程对任一样本观测值都成立,故用样本代替观察值便
4 1、可通过求导获得极大似然估计: 当函数关于参数可导时,常可通过求导方法来获得似然函数极大值 对应的参数值. 例2、设某工序生产的产品的不合格率为 p ,抽 n 个产品作检验, 发现有 T 个不合格,试求 p 的极大似然估计. 分析:设 X 是抽查一个产品时的不合格品个数,则 X 服从参数为 p 的二点分布 b(1, p) .抽查 n 个产品,则得样本 X X Xn , , , 1 2 ,其观察值为 n x , x , , x 1 2 ,假如样本有 T 个不合格,即表示 n x , x , , x 1 2 中有 T 个取值为 1, n −T 个取值为0.按离散分布场合方法,求 p 的极大似然估计. 解:(1)写出似然函数: = − = − n i x x i i L p p P 1 1 ( ) (1 ) (2)对 L( p) 取对数,得对数似然函数 l( p) : = = = + − − = − + − − n i i n i l p xi p xi p n p x p p 1 1 ( ) [ ln (1 )ln(1 )] ln(1 ) [ln ln(1 )] (3)由于 l( p) 对 p 的导数存在,故将 l( p) 对 p 求导,令其为0, 得似然方程: 0 (1 ) 1 1 ) 1 1 1 ( 1 ( ) 1 1 = − + − = − − + + − = − = = n i i n i i x p p p n p p x p n dp dl p (4)解似然方程得: x x n p n i = i = =1 1 ˆ (5)经验证,在 p ˆ = x 时, 0 ( ) 2 2 dp d l p ,这表明 p ˆ = x 可使似然函数 达到最大 (6)上述过程对任一样本观测值都成立,故用样本代替观察值便
得p的极大似然估计为:p=X 将观察值代入,可得p的极大似然估计值为:p=x T ,其中 x 若总体X的分布中含有多个未知参数1,02…时,似然函数L是 这些参数的多元函数L(2…O).代替方程(3),我们有方程组 a(n L) 0(i=1,2,…k),由这个方程组解得,B2,…,O分别是参数 G,2,…,O的极大似然估计值 例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 N(A,a2),其中μ,σ2未知,为估计μσ2,从中随机抽取n=100根轴, 测得其偏差为x,x2…,x0,试求,a2的极大似然估计 分析:显然,该问题是求解含有多个(两个)未知参数的极大似然 估计问题,通过建立关于未知参数po2的似然方程组,从而进行求解 解:(1)写出似然函数 ()=-1c2 =(tOe (2)写出对数似然函数: l(,a2)=-h(2xa2) 2 (3)将(H,a2)分别对、σ2求偏导,并令它们都为0,得似然方
5 得 p 的极大似然估计为: p ˆ = X 将观察值代入,可得 p 的极大似然估计值为: n T p ˆ = x = ,其中 = = n i i T x 1 . 若总体 X 的分布中含有多个未知参数 k , , , 1 2 时,似然函数 L 是 这些参数的多元函数 ( , , ) L 1 k .代替方程(3),我们有方程组 0( 1,2, , ) (ln ) i k L i = = ,由这个方程组解得 k ˆ , , ˆ , ˆ 1 2 分别是参数 k , , , 1 2 的极大似然估计值. 例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 ( , ) 2 N ,其中 2 , 未知.为估计 2 , ,从中随机抽取 n =100 根轴, 测得其偏差为 1 2 100 x , x , , x .试求 2 , 的极大似然估计. 分析:显然,该问题是求解含有多个(两个)未知参数的极大似然 估计问题.通过建立关于未知参数 2 , 的似然方程组,从而进行求解. 解:(1)写出似然函数: 2 1 2 2 2 2 ( ) 2 2 1 2 ( ) 2 (2 ) 2 1 ( , ) = = = − − − = − − n i i i x n n i x L e e (2)写出对数似然函数: 2 1 2 2 2 ( ) 2 1 ln( 2 ) 2 ( , ) = = − − − n i i x n l (3)将 ( , ) 2 l 分别对 2 、 求偏导,并令它们都为0,得似然方
dl(4,a2) ∑(x-)2 程组为: al(4,a2) 几+\S(x-H)=0 (4)解似然方程组得: ∑(x (5)经验证,G2使l(o2)达到极大, (6)上述过程对一切样本观察值成立,故用样本代替观察值,便 得,a2的极大似然估计分别为 X x)2=S2 n 2、不可通过求导方法获得极大似然估计: 当似然函数的非零区域与未知参数有关时,通常无法通过解似然方 程来获得参数的极大似然估计,这时可从定义(2)出发直接求L(0)的 极大值点 例4、设总体X服从均匀分布U(0.,0),从中获得容量为n的样本 x1,X2…,Xn,其观测值为x,x2,…x,试求O的极大似然估计 分析:当写出其似然函数L(O)时,我们会发现L(0)的非零区域与θ有 关,因而无法用求导方法来获得b的极大似然估计,从而转向定义(2) 直接求L(O)的极大值 解:写出似然函数 L()=0-0≤xn≤xn≤O 10其它场合 为使L(O)达到极大,就必须使θ尽可能小,但是θ不能小于xn),因
6 程组为: = − + − = = − = = = ( ) 0 2 1 2 ( , ) ( ) 0 ( , ) 1 1 2 2 2 4 2 1 2 2 2 n i i n i i x l n x l (4)解似然方程组得: ˆ = x , = = − n i i x x n 1 2 2 ( ) 1 ˆ (5)经验证 2 ˆ , ˆ 使 ( , ) 2 l 达到极大, (6)上述过程对一切样本观察值成立,故用样本代替观察值,便 得 2 , 的极大似然估计分别为: ˆ = X , 2 1 2 2 ( ) 1 ˆ n n i Xi X S n = − = = . 2、不可通过求导方法获得极大似然估计: 当似然函数的非零区域与未知参数有关时,通常无法通过解似然方 程来获得参数的极大似然估计,这时可从定义(2)出发直接求 L( ) 的 极大值点. 例 4、设总体 X 服从均匀分布 U (0, ) ,从中获得容量为 n 的样本 X X Xn , , , 1 2 ,其观测值为 n x , x , , x 1 2 ,试求 的极大似然估计. 分析:当写出其似然函数 L( ) 时,我们会发现 L( ) 的非零区域与 有 关,因而无法用求导方法来获得 的极大似然估计,从而转向定义(2) 直接求 L( ) 的极大值. 解:写出似然函数: = − 0,其它场合 ,0 ( ) (1) ( ) n n x x L 为使 L( ) 达到极大,就必须使 尽可能小,但是 不能小于 (n) x ,因
而0取xm时使L(O)达到极大,故的极大似然估计为: X 进一步,可讨论估计b的无偏性: 由于总体X~U(0,0),其密度函数与分布函数分别为: 0.x≤0 p(x)=1a<x<6,Fx)={x0<x<,从而b=xm)的概率密度函数 0,其它 1,x≥ i: Po=n[F()r-P(v)=ny,0<yso E(O)=E(Xo)=hyP (dy=5 ondy=0x0 这说明θ的极大似然估计O=X(不是的无偏估计,但对θ作一修正可 得的无偏估计为:的≈n+ 通过修正获得未知参数的无偏估计,这是一种常用的方法.在二次 世界大战中,从战场上缴获的纳粹德国的枪支上都有一个编号,对最大 编号作一修正便获得了德国生产能力的无偏估计 综上,可得求极大似然估计值的一般步骤 l、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数(或联合密度); 2、把样本联合概率函数(或联合密度)中自变量看成已知常数,而 把参数θ看作自变量,得到似然函数L(O) 3、求似然函数L(O)的最大值点(常转化为求对数似然函数l(O)的最 大值点) 4、在最大值点的表达式中,用样本值代入就得参数的极大似然估计 值
7 而 取 (n) x 时使 L( ) 达到极大,故 的极大似然估计为: ( ) ˆ = X n . 进一步,可讨论估计 ˆ 的无偏性: 由于总体 X ~ U(0, ) ,其密度函数与分布函数分别为: = 0,其它 ,0 1 ( ) x p x , = x x x x F x 1, ,0 0, 0 ( ) ,从而 ( ) ˆ = X n 的概率密度函数 为: = = − − y ny p n F y p y n n n [ ( )] ( ) ,0 1 1 ˆ + = = = = 1 ) ( ) ( ) ˆ ( 0 0 ( ) ˆ n n dy ny E E X yp y dy n n n 这说明 的极大似然估计 ( ) ˆ = X n 不是 的无偏估计,但对 ˆ 作一修正可 得 的无偏估计为: 1 ( ) 1 ˆ X n n n + = . 通过修正获得未知参数的无偏估计,这是一种常用的方法.在二次 世界大战中,从战场上缴获的纳粹德国的枪支上都有一个编号,对最大 编号作一修正便获得了德国生产能力的无偏估计. 综上,可得求极大似然估计值的一般步骤. 四、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数(或联合密度); 2、把样本联合概率函数(或联合密度)中自变量看成已知常数,而 把参数 看作自变量,得到似然函数 L( ) ; 3、求似然函数 L( ) 的最大值点(常转化为求对数似然函数 l( ) 的最 大值点); 4、在最大值点的表达式中,用样本值代入就得参数的极大似然估计 值.
五、极大似然估计的不变性 求未知参数的某种函数g(O)的极大似然估计可用极大似然估计的 不变原则,证明从略. 定理(不变原则)设O是O的极大似然估计,g(O)是的连续函数, 则g(O)的极大似然估计为g(O) 例5、设某元件失效时间服从参数为的指数分布,其密度函数为 f(x,)=e-,x≥0,λ未知.现从中抽取了n个元件测得其失效时间为 x1,x2,…,xn,试求及平均寿命的极大似然估计 分析:可先求λ的极大似然估计,由于元件的平均寿命即为X的期 望值,在指数分布场合,有E(X)=-,它是λ的函数,故可用极大似然 估计的不变原则,求其极大似然估计 解:(1)写出似然函数:L(x)=e=e (2)取对数得对数似然函数:l(4)=mh2-2∑x (3)将l(4)对λ求导得似然方程为 dl(n)n -∑x1=0 d (4)解似然方程得:元=n=1 点x 经验证,λ能使l(4)达到最大,由于上述过程对一切样本观察值成 立,故λ的极大似然估计为:元 X 根据极大似然估计的不变原则,元件的平均寿命的极大似然估计为
8 五、极大似然估计的不变性 求未知参数 的某种函数 g( ) 的极大似然估计可用极大似然估计的 不变原则,证明从略. 定理(不变原则)设 ˆ 是 的极大似然估计, g( ) 是 的连续函数, 则 g( ) 的极大似然估计为 ) ˆ g( . 例 5、设某元件失效时间服从参数为 的指数分布,其密度函数为 ( ; ) = , 0 − f x e x x , 未知.现从中抽取了 n 个元件测得其失效时间为 n x , x , , x 1 2 ,试求 及平均寿命的极大似然估计. 分析:可先求 的极大似然估计,由于元件的平均寿命即为 X 的期 望值,在指数分布场合,有 1 E(X ) = ,它是 的函数,故可用极大似然 估计的不变原则,求其极大似然估计. 解:(1)写出似然函数: = = = − = − n i i i x n n i x L e e 1 1 ( ) (2)取对数得对数似然函数: = = − n i i l n x 1 () ln (3)将 l() 对 求导得似然方程为: 0 ( ) 1 = − = = n i i x n d dl (4)解似然方程得: x x n n i i 1 ˆ 1 = = = 经验证, ˆ 能使 l() 达到最大,由于上述过程对一切样本观察值成 立,故 的极大似然估计为: X 1 ˆ = ; 根据极大似然估计的不变原则,元件的平均寿命的极大似然估计为:
E( 五、小结 1、极大似然估计的思想 2、求解未知参数极大似然估计的一般步骤 3、极大似然估计的不变原则 五、作业 见参考文献1的第278页第4,5,6页. 参考文献: 1、苏均和主编:概率论与数理统计,上海财经大学出版社.1999年1版 2、茆诗松等编著:概率论与数理统计,中国统计出版社.1999年1版 3、魏振军编:概率论与数理统计三十三讲,中国统计出版社.2000年1版. 4、唐生强主编:概率论与数理统计复习指导,科学出版社.1999年1版
9 E X = = X ˆ 1 ( ) . 五、小结 1、极大似然估计的思想; 2、求解未知参数极大似然估计的一般步骤; 3、极大似然估计的不变原则. 五、作业 见参考文献 1 的第 278 页第 4,5,6 页. 参考文献: 1、苏均和主编:概率论与数理统计,上海财经大学出版社.1999 年 1 版. 2、茆诗松等编著:概率论与数理统计,中国统计出版社.1999 年 1 版. 3、魏振军编:概率论与数理统计三十三讲,中国统计出版社.2000 年 1 版. 4、唐生强主编:概率论与数理统计复习指导,科学出版社.1999 年 1 版.