Lec5:点估计（二） 张伟平 September 29,2009 §1极大似然估计 一、引言及定义 极大似然法是在参数分布族场合下常用的参数估计方法.设有一参数分布族多={F。,0∈ 日)，此处日为参数空间.令X=(X1,…,X)为从多中抽取的简单随机样本，f(x,)=f(工，…，xn,)为 样本X的概率函数.即当总体分布为连续型时，f(x,)表示样本X的密度函数；当总体分布为 离散形时，f(x,)为样本X的概率分布，即f(x,)=P(X1=x,·,Xn=xn).首先引入似然 函数的概念 定义1.设f(x,)=f(z,…,x,)为样本X=(X1,…,Xn)的概率函数.当x固定时，把f(x,)看 成9的函数，称为似然函数（亿Likelihood function,记为 L(0,x)=fx,0),0∈Θ，x∈2 (1.1) 此处日为参数空间，②为样本空间.称1ogL(0,x)为对数似然函数，记为l(0,x) 注1.似然函数和概率函数是同一表达式1.1)，但表示两种不同含意.当把0固定，将其看成 定义在样本空间②上的函数时，称为概率函数；当把x固定，将其看成定义在参数空间日上的 函数时，称为似然函数.这是两个不同的概念 为解释极大似然原理，考虑下列一个简单的实例， 例1.设罐子里有许多黑球和红球.假定已知它们的比例是1：3，但不知道是黑球多还是红球 多.也就是说抽出一个黑球的概率或者是1/4或者是3/4.如果有放回地从罐子中抽个球，要 根据抽样数据，说明抽到黑球的概率是1/4，还是3/4. 解将此问题用统计模型来表述.令X:表示第次抽球的结果，即 了1抽出为黑球 X:={0香则. 记每次抽样中抽到黑球的概率为0，此处9只取可能的两个值01=1/4,02=3/4之一.记X= X,则X~bn,9).亦即样本分布族多-{m,F,其中F,为(m,1),F为b(n,2)要根据 1 抽样结果对9作出估计，即9取值为1/4还是3/4？或曰样本来自总体Fa,还是F42?Lec5: :O() ‹ï² September 29, 2009 §1 4åq,O ò!⁄Û9½¬ 4åq,{¥3ÎÍ©Ÿx|‹e~^ÎÍOê{. kòÎÍ©ŸxF = {Fθ, θ ∈ Θ},d?ΘèÎÍòm. -X = (X1, · · · , Xn)èlF•ƒ{¸ëÅ, f(x, θ) = f(x1 , . . . , xn , θ)è XV«ºÍ. =oN©ŸèÎY.û,f(x, θ)L´Xó›ºÍ; oN©Ÿè l—/û,f(x, θ)èXV«©Ÿ, =f(x, θ) = Pθ(X1 = x1 , · · · , Xn = xn ). ƒk⁄\q, ºÍVg. ½¬ 1. f(x, θ) = f(x1 , · · · , xn , θ)èX = (X1, · · · , Xn)V«ºÍ. x½û, rf(x, θ)w §θºÍ, °èq,ºÍ(Likelihood function),Pè L(θ, x) = f(x, θ), θ ∈ Θ, x ∈ X (1.1) d?ΘèÎÍòm, X èòm. °log L(θ, x)èÈÍq,ºÍ, Pèl(θ, x). 51. q,ºÍ⁄V«ºÍ¥”òLà™(1.1), L´¸´ÿ”¹ø. rθ½, ÚŸw§ ½¬3òmX ˛ºÍû, °èV«ºÍ; rx½, ÚŸw§½¬3ÎÍòmΘ˛ ºÍû, °èq,ºÍ. ˘¥¸áÿ”Vg. è)º4åq,n, ƒeòá{¸¢~. ~1. -fpkNıÁ•⁄˘•. b½ÆßÇ'~¥1 : 3,ÿ¥Á•ıÑ¥˘• ı. è“¥`ƒ—òáÁ•V«½ˆ¥1/4½ˆ¥3/4. XJkò£/l-f•ƒná•, á 䂃Í‚, `²ƒÁ•V«¥1/4, Ñ¥3/4. ) ÚdØK^⁄O.5L„. -XiL´1igƒ•(J,= Xi =  1 ƒ—èÁ• 0 ƒK. Pzgƒ•ƒÁ•V«èθ,d?θ êåU¸áäθ1 = 1/4, θ2 = 3/4Éò. PX = Pn i=1 Xi ,KX ∼ b(n, θ).½=©ŸxF = {Fθ1 , Fθ2 }, Ÿ•Fθ1èb(n, θ1), Fθ2èb(n, θ2).áä‚ ƒ(JÈθä—O, =θäè1/4Ñ¥3/4? ½5goNFθ1Ñ¥Fθ2 ? 1