《概率论与数理统计》典型教案 教学内容:极大似然估计法 教学目的: 通过本节内容的教学,使学生 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法; 2、理解极大似然思想; 3、掌握求极大似然估计值的一般步骤,会求常见分布参数的极大似 然估计值 教学重点: 1、对极大似然思想阐述; 2、极大似然估计值的求解 教学难点 对不能通过求导方法获得极大似然估计的值的确定 教学时数:2学时 教学过程: 引例:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只 听一声枪响,野兔应声到下,如果要你推测,这一发命中的子弹是谁打 的?你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同 学命中的概率,看来这一枪是猎人射中的 这个例子所作的推断就体现了极大似然法的基本思想 、极大似然思想 一般地说,事件A与参数θ∈日有关,θ取值不同,则P(A)也不同.若 A发生了,则认为此时的θ值就是θ的估计值.这就是极大似然思想.看 一例子:例1、设袋中装有许多黑、白球,不同颜色球的数量比为3:1, 试设计一种方法,估计任取一球为黑球的概率P 分析:易知P的值无非是114或34.为估计P的值,现从袋中有放 回地任取3只球,用X表示其中的黑球数,则X~b(3,P).按极大似然 估计思想,对P的取值进行估计 解:对P的不同取值,X取k=01,2,3的概率可列表如下
1 《概率论与数理统计》典型教案 教学内容：极大似然估计法 教学目的： 通过本节内容的教学，使学生： 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用 的参数估计方法； 2、理解极大似然思想； 3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似 然估计值． 教学重点： 1、对极大似然思想阐述； 2、极大似然估计值的求解． 教学难点： 对不能通过求导方法获得极大似然估计的值的确定． 教学时数：２学时． 教学过程： 引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只 听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打 的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同 学命中的概率，看来这一枪是猎人射中的． 这个例子所作的推断就体现了极大似然法的基本思想． 一、极大似然思想 一般地说，事件 A 与参数 有关， 取值不同，则 P(A) 也不同．若 A 发生了，则认为此时的 值就是 的估计值．这就是极大似然思想．看 一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为 3:1， 试设计一种方法，估计任取一球为黑球的概率 P ． 分析：易知 P 的值无非是 1/4 或 3/4．为估计 P 的值，现从袋中有放 回地任取 3 只球，用 X 表示其中的黑球数，则 X ~ b(3,P) ．按极大似然 估计思想，对 P 的取值进行估计． 解：对 P 的不同取值， X 取 k = 0,1,2,3 的概率可列表如下:
3 P=k242764%4%64 P=%4 k=0,1 故根据极大似然思想即知:P= B34.k 上面的例子中,P是分布中的参数,它只能取两个值:14或314, 需要通过抽样来决定分布中参数究竟是14还是3/4.在给定了样本观测 值后去计算该样本出现的概率,这一概率依赖于P的值,为此需要用14 34分别去计算此概率,在相对比较之下,哪个概率大,则P就最象那个 、似然函数与极大似然估计 1、离散分布场合 设总体X是离散型随机变量,其概率函数为p(x,O),其中θ是未知 参数.设x1,H2…Xn为取自总体X的样本.X1X2…Xn的联合概率函 数为∏P(X;),这里,是常量,X1,X2,…,X是变量 若我们已知样本取的值是x1,x2…xn,则事件 {X1=x12x2=x2,…,xn=xn}发生的概率为∏p(x;0),这一概率随θ的 值而变化.从直观上来看,既然样本值x1,x2…xn出现了,它们出现的 概率相对来说应比较大,应使∏p(x;)取比较大的值.换句话说,日应 使样本值x1,x2…x的出现具有最大的概率.将上式看作的函数,并用 L(O)表示,就有
2 X ０ １ ２ ３ 4 P = 1 64 27 64 27 64 9 64 1 4 P = 3 64 1 64 9 64 27 64 27 故根据极大似然思想即知： = = = , 2,3 4 3 , 0,1 4 1 ˆ k k P ． 在上面的例子中， P 是分布中的参数，它只能取两个值：1/4 或 3/4， 需要通过抽样来决定分布中参数究竟是 1/4 还是 3/4．在给定了样本观测 值后去计算该样本出现的概率，这一概率依赖于 P 的值，为此需要用 1/4、 3/4 分别去计算此概率，在相对比较之下，哪个概率大，则 P 就最象那个． 二、似然函数与极大似然估计 1、离散分布场合： 设总体 X 是离散型随机变量，其概率函数为 p(x;) ，其中 是未知 参数．设 X X Xn , , , 1 2 为取自总体 X 的样本． X X Xn , , , 1 2 的联合概率函 数为 = n i p Xi 1 ( ; ) ，这里， 是常量， X X Xn , , , 1 2 是变量． 若我们已知样本取的值是 n x , x , , x 1 2 ，则事件 { , , , } 1 1 2 2 n n X = x X = x X = x 发生的概率为 = n i i p x 1 ( ; ) ．这一概率随 的 值而变化．从直观上来看，既然样本值 n x , x , , x 1 2 出现了，它们出现的 概率相对来说应比较大，应使 = n i i p x 1 ( ; ) 取比较大的值．换句话说， 应 使样本值 n x , x , , x 1 2 的出现具有最大的概率．将上式看作 的函数，并用 L( ) 表示，就有：
L()=L(x1,x2,…,xn;0)=p(x1;0 称L()为似然函数.极大似然估计法就是在参数θ的可能取值范围⊙内, 选取使L(O)达到最大的参数值,作为参数θ的估计值.即取θ,使 L()=L(x1,x2…,xn;)=maxL(x1,x2…,xn;0)(2) 因此,求总体参数θ的极大似然估计值的问题就是求似然函数L(O) 的最大值问题.这可通过解下面的方程 d()=0 (3) 来解决.因为hL是L的增函数,所以hL与L在θ的同一值处取得最大 值.我们称l(O)=hL(O)为对数似然函数.因此,常将方程(3)写成 dIn l(0) (4) d 方程(4)称为似然方程.解方程(3)或(4)得到的O就是参数O的 极大似然估计值 如果方程(4)有唯一解,又能验证它是一个极大值点,则它必是 所求的极大似然估计值.有时,直接用(4)式行不通,这时必须回到 原始定义(2)进行求解. 2、连续分布场合: 设总体X是连续离散型随机变量,其概率密度函数为∫(x,),若取 得样本观察值为x1,x2…x,则因为随机点(X1,X2,…,Xn)取值为 (x2x2…,x)时联合密度函数值为∏f(x:0),所以,按极大似然法,应 选择θ的值使此概率达到最大.我们取似然函数为 L()=∏f(x:0),再按前述方法求参数6的极大似然估计值 三、求极大似然估计的方法
3 = = = n i n i L L x x x p x 1 1 2 ( ) ( , ,, ; ) ( ; ) （１） 称 L( ) 为似然函数．极大似然估计法就是在参数 的可能取值范围 内， 选取使 L( ) 达到最大的参数值 ˆ ，作为参数 的估计值．即取 ，使 ) max ( , , , ; ) ˆ ( ) ( , , , ; 1 2 1 2 n n L L x x x L x x x = = （２） 因此，求总体参数 的极大似然估计值的问题就是求似然函数 L( ) 的最大值问题．这可通过解下面的方程 0 ( ) = d dL （３） 来解决．因为 ln L 是 L 的增函数，所以 ln L 与 L 在 的同一值处取得最大 值．我们称 l( ) = ln L( ) 为对数似然函数．因此，常将方程（３）写成： 0 ln ( ) = d d L （４） 方程（４）称为似然方程．解方程（３）或（４）得到的 ˆ 就是参数 的 极大似然估计值． 如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是 所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到 原始定义（２）进行求解． ２、连续分布场合： 设总体 X 是连续离散型随机变量，其概率密度函数为 f (x; ) ，若取 得 样 本观 察值 为 n x , x , , x 1 2 ， 则因 为随 机 点 ( , , , ) X1 X2 Xn 取值为 ( , , , ) 1 2 n x x x 时联合密度函数值为 = n i i f x 1 ( ; ) ．所以，按极大似然法，应 选择 的值使此概率达到最大．我们取似然函数为 = = n i i L f x 1 ( ) ( ; ) ，再按前述方法求参数 的极大似然估计值． 三、求极大似然估计的方法
1、可通过求导获得极大似然估计: 当函数关于参数可导时,常可通过求导方法来获得似然函数极大值 对应的参数值 例2、设某工序生产的产品的不合格率为p,抽n个产品作检验, 发现有T个不合格,试求p的极大似然估计 分析:设X是抽查一个产品时的不合格品个数,则X服从参数为p 的二点分布b(p).抽查n个产品,则得样本X1x2,…Xn,其观察值为 x,x2,…,xn,假如样本有T个不合格,即表示x1,x2,…,xn中有T个取值为 1,n-T个取值为0.按离散分布场合方法,求p的极大似然估计 解:(1)写出似然函数:L(p)=∏p3(1-P (2)对L(p)取对数,得对数似然函数(p): l(p)=∑[xhp+(1-x)h(1-p=nh(1-p)+∑xhp-m1-p (3)由于(p)对p的导数存在,故将l(p)对p求导,令其为0, 得似然方程:4p少1PP1-p1Pmm+=0 (4)解似然方程得:p=∑x=x (5)经验证,在b=adp)∠0,这表明p=x可使似然函数 达到最大 (6)上述过程对任一样本观测值都成立,故用样本代替观察值便
4 1、可通过求导获得极大似然估计： 当函数关于参数可导时，常可通过求导方法来获得似然函数极大值 对应的参数值． 例２、设某工序生产的产品的不合格率为 p ，抽 n 个产品作检验， 发现有 T 个不合格，试求 p 的极大似然估计． 分析：设 X 是抽查一个产品时的不合格品个数，则 X 服从参数为 p 的二点分布 b(1, p) ．抽查 n 个产品，则得样本 X X Xn , , , 1 2 ，其观察值为 n x , x , , x 1 2 ，假如样本有 T 个不合格，即表示 n x , x , , x 1 2 中有 T 个取值为 １， n −T 个取值为０．按离散分布场合方法，求 p 的极大似然估计． 解：（１）写出似然函数： = − = − n i x x i i L p p P 1 1 ( ) (1 ) （２）对 L( p) 取对数，得对数似然函数 l( p) ： = = = + − − = − + − − n i i n i l p xi p xi p n p x p p 1 1 ( ) [ ln (1 )ln(1 )] ln(1 ) [ln ln(1 )] （３）由于 l( p) 对 p 的导数存在，故将 l( p) 对 p 求导，令其为０， 得似然方程： 0 (1 ) 1 1 ) 1 1 1 ( 1 ( ) 1 1 = − + − = − − + + − = − = = n i i n i i x p p p n p p x p n dp dl p （４）解似然方程得： x x n p n i = i = =1 1 ˆ （５）经验证，在 p ˆ = x 时， 0 ( ) 2 2 dp d l p ，这表明 p ˆ = x 可使似然函数 达到最大 （６）上述过程对任一样本观测值都成立，故用样本代替观察值便
得p的极大似然估计为:p=X 将观察值代入,可得p的极大似然估计值为:p=x T ,其中 x 若总体X的分布中含有多个未知参数1,02…时,似然函数L是 这些参数的多元函数L(2…O).代替方程(3),我们有方程组 a(n L) 0(i=1,2,…k),由这个方程组解得,B2,…,O分别是参数 G,2,…,O的极大似然估计值 例3、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 N(A,a2),其中μ,σ2未知,为估计μσ2,从中随机抽取n=100根轴, 测得其偏差为x,x2…,x0,试求,a2的极大似然估计 分析:显然,该问题是求解含有多个(两个)未知参数的极大似然 估计问题,通过建立关于未知参数po2的似然方程组,从而进行求解 解:(1)写出似然函数 ()=-1c2 =(tOe (2)写出对数似然函数: l(,a2)=-h(2xa2) 2 (3)将(H,a2)分别对、σ2求偏导,并令它们都为0,得似然方
5 得 p 的极大似然估计为： p ˆ = X 将观察值代入，可得 p 的极大似然估计值为： n T p ˆ = x = ，其中 = = n i i T x 1 ． 若总体 X 的分布中含有多个未知参数 k , , , 1 2 时，似然函数 L 是 这些参数的多元函数 ( , , ) L 1 k ．代替方程（３），我们有方程组 0( 1,2, , ) (ln ) i k L i = = ，由这个方程组解得 k ˆ , , ˆ , ˆ 1 2 分别是参数 k , , , 1 2 的极大似然估计值． 例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 ( , ) 2 N ，其中 2 , 未知．为估计 2 , ，从中随机抽取 n =100 根轴， 测得其偏差为 1 2 100 x , x , , x ．试求 2 , 的极大似然估计． 分析：显然，该问题是求解含有多个（两个）未知参数的极大似然 估计问题．通过建立关于未知参数 2 , 的似然方程组，从而进行求解． 解：（１）写出似然函数： 2 1 2 2 2 2 ( ) 2 2 1 2 ( ) 2 (2 ) 2 1 ( , ) = = = − − − = − − n i i i x n n i x L e e （２）写出对数似然函数： 2 1 2 2 2 ( ) 2 1 ln( 2 ) 2 ( , ) = = − − − n i i x n l （３）将 ( , ) 2 l 分别对 2 、 求偏导，并令它们都为０，得似然方
dl(4,a2) ∑(x-)2 程组为: al(4,a2) 几+\S(x-H)=0 (4)解似然方程组得: ∑(x (5)经验证,G2使l(o2)达到极大, (6)上述过程对一切样本观察值成立,故用样本代替观察值,便 得,a2的极大似然估计分别为 X x)2=S2 n 2、不可通过求导方法获得极大似然估计: 当似然函数的非零区域与未知参数有关时,通常无法通过解似然方 程来获得参数的极大似然估计,这时可从定义(2)出发直接求L(0)的 极大值点 例4、设总体X服从均匀分布U(0.,0),从中获得容量为n的样本 x1,X2…,Xn,其观测值为x,x2,…x,试求O的极大似然估计 分析:当写出其似然函数L(O)时,我们会发现L(0)的非零区域与θ有 关,因而无法用求导方法来获得b的极大似然估计,从而转向定义(2) 直接求L(O)的极大值 解:写出似然函数 L()=0-0≤xn≤xn≤O 10其它场合 为使L(O)达到极大,就必须使θ尽可能小,但是θ不能小于xn),因
6 程组为： = − + − = = − = = = ( ) 0 2 1 2 ( , ) ( ) 0 ( , ) 1 1 2 2 2 4 2 1 2 2 2 n i i n i i x l n x l （４）解似然方程组得： ˆ = x ， = = − n i i x x n 1 2 2 ( ) 1 ˆ （５）经验证 2 ˆ , ˆ 使 ( , ) 2 l 达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便 得 2 , 的极大似然估计分别为： ˆ = X ， 2 1 2 2 ( ) 1 ˆ n n i Xi X S n = − = = ． ２、不可通过求导方法获得极大似然估计： 当似然函数的非零区域与未知参数有关时，通常无法通过解似然方 程来获得参数的极大似然估计，这时可从定义（２）出发直接求 L( ) 的 极大值点． 例 4、设总体 X 服从均匀分布 U (0, ) ，从中获得容量为 n 的样本 X X Xn , , , 1 2 ，其观测值为 n x , x , , x 1 2 ，试求 的极大似然估计． 分析：当写出其似然函数 L( ) 时，我们会发现 L( ) 的非零区域与 有 关，因而无法用求导方法来获得 的极大似然估计，从而转向定义（２） 直接求 L( ) 的极大值． 解：写出似然函数： = − 0,其它场合 ,0 ( ) (1) ( ) n n x x L 为使 L( ) 达到极大，就必须使 尽可能小，但是 不能小于 (n) x ，因
而0取xm时使L(O)达到极大,故的极大似然估计为: X 进一步,可讨论估计b的无偏性: 由于总体X~U(0,0),其密度函数与分布函数分别为: 0.x≤0 p(x)=1a<x<6,Fx)={x0<x<,从而b=xm)的概率密度函数 0,其它 1,x≥ i: Po=n[F()r-P(v)=ny,0<yso E(O)=E(Xo)=hyP (dy=5 ondy=0x0 这说明θ的极大似然估计O=X(不是的无偏估计,但对θ作一修正可 得的无偏估计为:的≈n+ 通过修正获得未知参数的无偏估计,这是一种常用的方法.在二次 世界大战中,从战场上缴获的纳粹德国的枪支上都有一个编号,对最大 编号作一修正便获得了德国生产能力的无偏估计 综上,可得求极大似然估计值的一般步骤 l、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数(或联合密度); 2、把样本联合概率函数(或联合密度)中自变量看成已知常数,而 把参数θ看作自变量,得到似然函数L(O) 3、求似然函数L(O)的最大值点(常转化为求对数似然函数l(O)的最 大值点) 4、在最大值点的表达式中,用样本值代入就得参数的极大似然估计 值
7 而 取 (n) x 时使 L( ) 达到极大，故 的极大似然估计为： ( ) ˆ = X n ． 进一步，可讨论估计 ˆ 的无偏性： 由于总体 X ~ U(0, ) ，其密度函数与分布函数分别为： = 0,其它 ,0 1 ( ) x p x ， = x x x x F x 1, ,0 0, 0 ( ) ，从而 ( ) ˆ = X n 的概率密度函数 为： = = − − y ny p n F y p y n n n [ ( )] ( ) ,0 1 1 ˆ + = = = = 1 ) ( ) ( ) ˆ ( 0 0 ( ) ˆ n n dy ny E E X yp y dy n n n 这说明 的极大似然估计 ( ) ˆ = X n 不是 的无偏估计，但对 ˆ 作一修正可 得 的无偏估计为： 1 ( ) 1 ˆ X n n n + = ． 通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次 世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大 编号作一修正便获得了德国生产能力的无偏估计． 综上，可得求极大似然估计值的一般步骤． 四、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数（或联合密度）； 2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而 把参数 看作自变量，得到似然函数 L( ) ； 3、求似然函数 L( ) 的最大值点（常转化为求对数似然函数 l( ) 的最 大值点）； 4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计 值．
五、极大似然估计的不变性 求未知参数的某种函数g(O)的极大似然估计可用极大似然估计的 不变原则,证明从略. 定理(不变原则)设O是O的极大似然估计,g(O)是的连续函数, 则g(O)的极大似然估计为g(O) 例5、设某元件失效时间服从参数为的指数分布,其密度函数为 f(x,)=e-,x≥0,λ未知.现从中抽取了n个元件测得其失效时间为 x1,x2,…,xn,试求及平均寿命的极大似然估计 分析:可先求λ的极大似然估计,由于元件的平均寿命即为X的期 望值,在指数分布场合,有E(X)=-,它是λ的函数,故可用极大似然 估计的不变原则,求其极大似然估计 解:(1)写出似然函数:L(x)=e=e (2)取对数得对数似然函数:l(4)=mh2-2∑x (3)将l(4)对λ求导得似然方程为 dl(n)n -∑x1=0 d (4)解似然方程得:元=n=1 点x 经验证,λ能使l(4)达到最大,由于上述过程对一切样本观察值成 立,故λ的极大似然估计为:元 X 根据极大似然估计的不变原则,元件的平均寿命的极大似然估计为
8 五、极大似然估计的不变性 求未知参数 的某种函数 g( ) 的极大似然估计可用极大似然估计的 不变原则，证明从略． 定理（不变原则）设 ˆ 是 的极大似然估计， g( ) 是 的连续函数， 则 g( ) 的极大似然估计为 ) ˆ g( ． 例 5、设某元件失效时间服从参数为 的指数分布，其密度函数为 ( ; ) = , 0 − f x e x x ， 未知．现从中抽取了 n 个元件测得其失效时间为 n x , x , , x 1 2 ，试求 及平均寿命的极大似然估计． 分析：可先求 的极大似然估计，由于元件的平均寿命即为 X 的期 望值，在指数分布场合，有 1 E(X ) = ，它是 的函数，故可用极大似然 估计的不变原则，求其极大似然估计． 解：（１）写出似然函数： = = = − = − n i i i x n n i x L e e 1 1 ( ) （２）取对数得对数似然函数： = = − n i i l n x 1 () ln （３）将 l() 对 求导得似然方程为： 0 ( ) 1 = − = = n i i x n d dl （４）解似然方程得： x x n n i i 1 ˆ 1 = = = 经验证， ˆ 能使 l() 达到最大，由于上述过程对一切样本观察值成 立，故 的极大似然估计为： X 1 ˆ = ； 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：
E( 五、小结 1、极大似然估计的思想 2、求解未知参数极大似然估计的一般步骤 3、极大似然估计的不变原则 五、作业 见参考文献1的第278页第4,5,6页. 参考文献: 1、苏均和主编:概率论与数理统计,上海财经大学出版社.1999年1版 2、茆诗松等编著:概率论与数理统计,中国统计出版社.1999年1版 3、魏振军编:概率论与数理统计三十三讲,中国统计出版社.2000年1版. 4、唐生强主编:概率论与数理统计复习指导,科学出版社.1999年1版
9 E X = = X ˆ 1 ( ) ． 五、小结 1、极大似然估计的思想； 2、求解未知参数极大似然估计的一般步骤； 3、极大似然估计的不变原则． 五、作业 见参考文献 1 的第 278 页第 4，5，6 页． 参考文献： 1、苏均和主编：概率论与数理统计，上海财经大学出版社．1999 年 1 版． 2、茆诗松等编著：概率论与数理统计，中国统计出版社．1999 年 1 版． 3、魏振军编：概率论与数理统计三十三讲，中国统计出版社．2000 年 1 版． 4、唐生强主编：概率论与数理统计复习指导，科学出版社．1999 年 1 版．
