显然，当样本X给定时，似然函数为 L(0,x)= 0(1-)n-,x=0,1,2,…,n. 为简单计，取n=3.当x=0,1,2,3时似然函数取值如下表： 0 1 2 3 L(01,x) 27/64 27/64 9/64 1/64 L(02,x)1/64 9/6427/6427/64 可见 当x=0,1时，L(01,x)>L(02,x), 当x=2,3时，L(02,x)>L(01,x) 因此我们得出结论：当样本观察值x=∑-1x取值为0,1时认为样本来自总体F,即取 参数0的估计值为91=1/4；当x=2,3时认为样本来自总体Fa2,即取0的估计值为02=3/4. 将此例模型化如下：若样本X=(X1,·,Xn)为从总体多={F6,0∈日}中抽取的简单 随机样本，其中日={01,02}.此即等价地说分布族多中只有两个总体Fa,F2.一旦获得了样 本x,如何用极大似然方法求出真参数的估计值呢？上例表明若 L(01,x)>L(02,x), 则我们倾向于认为样本X来自总体F4,(即真参数0为9)的理由比认为样本X来自总体F2(即 真参数0为2)的理由更充分些.或者说，真参数0为1的“似然性”更大些.这样，我们自然把 “似然性”最大（即看起来最像）的那个值作为真参数的估计值.这正是“极大似然”一词的 由来 更一般，若样本X的分布族多={Fa,0∈日}，参数空间日为R1的有限子集或无限子集.当 样本x给定时，若*使似然函数L(,x)为似然函数的集合{L(0,x),一切0∈Θ}中最大者，即 参数的真值为*的“似然性”比取日中其它值的“似然性”更大，则取“似然性”最大的 作为的估计值，这一方法得到参数的估计，称为“极大似然估计”.将这一直观想法用数学 语言来描述，得到如下定义： 定义2.设X=(X1,…,Xn)是从参数分布族多={Fa,0∈Θ}中抽取的简单随机样本， L(0,x)是似然函数，若存在统计量*(X)=产(X1,·,Xn),满足条件 L(日*(x),x)=supL(0,x),x∈2， (1.2) 0∈日 或等价地使得 1(0*(x),x)=supl(0,x),x∈2， (1.3) 0e日 则称0*(X)为8的极大似然估计(Ma:imum Likelihood Estimation,简记为MLE).若待估函数 是g(0),则定义g(*(x)为g(0)的MLE. 极大似然估计是R.A.Fisher在1912年的一项工作中提出来的.在正态分布这个特殊情况 下，这方法可追溯到Gauss在19世纪初关于最小二乘法的工作.Fisher后来在1922年工作中，尤 其l925年发表的《Theory of Statistical Estimation》一文中对这一估计作了许多研究.因此这 个方法应归功于R.A.Fisher.. 3w,, Xâ½û, q,ºÍè L(θ, x) =  n x  θ x (1 − θ) n−x , x = 0, 1, 2, · · · , n. è{¸O, n = 3.x = 0, 1, 2, 3ûq,ºÍäXeL: x 0 1 2 3 L(θ1, x) 27/64 27/64 9/64 1/64 L(θ2, x) 1/64 9/64 27/64 27/64 åÑ x = 0, 1û, L(θ1, x) > L(θ2, x), x = 2, 3û, L(θ2, x) > L(θ1, x). œd·Ç—(ÿ: * äx = P3 i=1 xiäè0, 1 û@è5goNFθ1 ,= ÎÍθOäèˆθ1 = 1/4;x = 2, 3û@è5goNFθ2 , =θOäèˆθ2 = 3/4. Úd~.zXe: eX = (X1, · · · , Xn)èloNF = {Fθ, θ ∈ Θ}•ƒ{¸ ëÅ, Ÿ•Θ = {θ1, θ2}. d=d/`©ŸxF•êk¸áoNFθ1 , Fθ2 . ò￾º  x,X¤^4åq,ê{¶—˝ÎÍθOäQ? ˛~L²e L(θ1, x) > L(θ2, x), K·Çñïu@èX 5goNFθ1 (=˝ÎÍθèθ1)nd'@èX5goNFθ2 (= ˝ÎÍθèθ2)ndçø© . ½ˆ`, ˝ÎÍθèθ1/q,50çå . ˘, ·Çg,r /q,50Åå(=wÂ5Åî)@áääè˝ÎÍθOä. ˘¥/4åq,0òc d5. çòÑ, eX©ŸxF = {Fθ, θ ∈ Θ}, ÎÍòmΘèR1kÅf8½ÃÅf8.  xâ½û, eˆθ ∗¶q,ºÍL( ˆθ ∗ , x) èq,ºÍ8‹{L(θ, x),òÉ θ ∈ Θ}•Ååˆ, = ÎÍθ˝äèˆθ ∗/q,50'θΘ •Ÿßä/q,50çå, K/q,50Ååˆθ ∗ äèθOä, ˘òê{ÎÍθO,°è/4åq,O0. Ú˘òÜ*é{^ÍÆ äÛ5£„, Xe½¬: ½¬ 2. X = (X1, · · · , Xn)¥lÎÍ©ŸxF = {Fθ, θ ∈ Θ}•ƒ{¸ëÅ, L(θ, x)¥q,ºÍ, e3⁄O˛ˆθ ∗ (X) = ˆθ ∗ (X1, · · · , Xn), ˜v^á L ￾ ˆθ ∗ (x), x
= sup θ∈Θ L(θ, x), x ∈ X , (1.2) ½d/¶ l ￾ ˆθ ∗ (x), x
= sup θ∈Θ l(θ, x), x ∈ X , (1.3) K°ˆθ ∗ (X)èθ 4åq,O (Maximum Likelihood Estimation,{PèMLE). eñºÍ ¥g(θ),K½¬g ￾ ˆθ ∗ (x)
èg(θ)MLE. 4åq,O¥R.A. Fisher31912còëÛä•J—5. 3©Ÿ˘áAœú¹ e, ˘ê{åJàGauss319­V–'uŶ{Ûä. Fisher￾531922cÛä•, c Ÿ1925cuL5Theory of Statistical Estimation6ò©•È˘òOä NıÔƒ. œd˘ áê{A8ıuR.A. Fisher. 2