第六章：参数估计 6.1点估计.. 2 6.1.1矩估计方法 2 6.1.2 最大似然估计方法 7 6.1.3点估计的优良准则 20 Previous Next First Last Back Forward 1
第六章: 参数估计 6.1 点估计 . . . . . . . . . . . . . . . . . . . . . . 2 6.1.1 矩估计方法 . . . . . . . . . . . . . . . 2 6.1.2 最大似然估计方法 . . . . . . . . . . . 7 6.1.3 点估计的优良准则 . . . . . . . . . . . 20 Previous Next First Last Back Forward 1
参数估计问题： ·总体：X~fa(x),f形式已知，0=(0，，0k) 为未知参数 。 样本：Xi,,Xn 利用样本对参数0的作出估计或估计它们的某个已知函数g() ·点估计：用样本的一个函数T(X1,,Xn)去估计g(0) ·区间估计：用一个区间（区域）去估计g() Previous Next First Last Back Forward 1
参数估计问题: • 总体: X ∼ fθ(x),f 形式已知, θ = (θ1, . . . , θk) 为未知参数 • 样本: X1, . . . , Xn 利用样本对参数 θ 的作出估计或估计它们的某个已知函数 g(θ). • 点估计: 用样本的一个函数 T(X1, . . . , Xn) 去估计 g(θ) • 区间估计: 用一个区间 (区域) 去估计 g(θ) Previous Next First Last Back Forward 1
6.1 点估计 根据样本X1,·,Xm来估计参数0，就是要构造适当的统计 量0=(X1,…,Xn).当有了样本X1,…,Xn的值后，就代入 0=(X1,·,Xn)中算出一个值，用来作为0的估计值.为这样特 定目的而构造的统计量0叫做0的估计量.由于参数0是数轴上的 一个点，用估计0，等于用一个点去估计另一个点，所以这样的估计 叫做点估计. 求点估计的方法有多种，下面介绍两种点估计方法： 6.1.1矩估计方法 矩方法追溯到19世纪的Karl Pearson.矩方法是基于一种简 单的“替换”思想建立起来的一种估计方法.其基本思想是用样本矩 估计总体矩.由大数律，如果未知参数和总体的某个（些）矩有关系， 我们很自然的来构造未知参数的估计。 Previous Next First Last Back Forward 2
6.1 点估计 根据样本 X1, · · · , Xn 来估计参数 θ, 就是要构造适当的统计 量 ˆθ = ˆθ(X1, · · · , Xn). 当有了样本 X1, · · · , Xn 的值后, 就代入 ˆθ = ˆθ(X1, · · · , Xn) 中算出一个值, 用来作为 θ 的估计值. 为这样特 定目的而构造的统计量 ˆθ 叫做 θ 的估计量. 由于参数 θ 是数轴上的 一个点, 用 ˆθ 估计 θ, 等于用一个点去估计另一个点, 所以这样的估计 叫做点估计. 求点估计的方法有多种, 下面介绍两种点估计方法: 6.1.1 矩估计方法 矩方法追溯到 19 世纪的Karl Pearson. 矩方法是基于一种简 单的 “替换” 思想建立起来的一种估计方法. 其基本思想是用样本矩 估计总体矩. 由大数律，如果未知参数和总体的某个 (些) 矩有关系， 我们很自然的来构造未知参数的估计。 Previous Next First Last Back Forward 2
回忆一下以前关于矩的记法： 样本k阶矩： a=∑X m=∑x:-) =1 1 总体k阶矩：ak=EX Hk=E(X-EX) 因此在k阶矩存在的情况下，根据大数律有 akP ak:mk P uk 从而我们可以使用ak,mk分别估计ak,k,进而得到0的估计.介 绍如下：假设总体X包含k个未知参数0=(01，·，0k),由方程组 a1=fi(0,…,0e） ak=fk(01,·,0k) Previous Next First Last Back Forward 3
回忆一下以前关于矩的记法： 样本k阶矩: ak = 1 n ∑n i=1 X k i mk = 1 n ∑n i=1 (Xi − X¯) k 总体k阶矩: αk = EXk µk = E(X − EX) k 因此在 k 阶矩存在的情况下，根据大数律有 ak p −→ αk, mk p −→ µk 从而我们可以使用 ak, mk 分别估计 αk, µk, 进而得到 θ 的估计. 介 绍如下: 假设总体 X 包含 k 个未知参数 θ = (θ1, · · · , θk), 由方程组 α1 = f1(θ1, · · · , θk) . . . αk = fk(θ1, · · · , θk) Previous Next First Last Back Forward 3
反解得到 01=9(a1,·,ak)） 0k=gk(a1,··,0k） 将其中的总体矩用相应的样本矩代替，则我们可以得到参数01，·，0x 的一个估计： 01=g(a1,…,ak) 0k=gk(a1,·,ak）】 若要估计参数01，…，0k的某函数g(01,…,0k),则用g(01,…·,0) 去估计它 这里我们用的都是原点矩αk,当然也可以使用中心矩k,或者 两个都使用。在这种情况下，只需要把相应的总体矩换成样本矩。我 们称这种估计方法为矩估计法，得到的估计量称为矩估计量。矩估计 方法应用的原则是：能用低阶矩处理的就不用高阶矩。 Previous Next First Last Back Forward 4
反解得到 θ1 = g1(α1, · · · , αk) . . . θk = gk(α1, · · · , αk) 将其中的总体矩用相应的样本矩代替，则我们可以得到参数 θ1, · · · , θk 的一个估计: ˆθ1 = g1(a1, · · · , ak) . . . ˆθk = gk(a1, · · · , ak) 若要估计参数 θ1, · · · , θk 的某函数 g(θ1, · · · , θk), 则用 g( ˆθ1, · · · , ˆθk) 去估计它. 这里我们用的都是原点矩 αk，当然也可以使用中心矩 µk，或者 两个都使用。在这种情况下，只需要把相应的总体矩换成样本矩。我 们称这种估计方法为矩估计法，得到的估计量称为矩估计量。矩估计 方法应用的原则是：能用低阶矩处理的就不用高阶矩。 Previous Next First Last Back Forward 4
矩估计法的优点是简单易行，有些情况下不需要事先知道总体是 什么分布.缺点是，当总体类型已知时，没有充分利用分布提供的信 息.一般场合下，矩估计量不具有唯一性 投掷一枚硬币，为了解正面出现的概率，现独立重复的投掷n次， TExample 用X1,·,Xm表示投掷结果.显然此时总体X的分布为B(1,p),p 为感兴趣的量.而X1,…,Xn为样本，则求参数p的矩估计量。 ↓Example 解：由于EX=p,而样本均值收敛到总体均值EX,因此p的 一个矩估计量为=下. Previous Next First Last Back Forward
矩估计法的优点是简单易行, 有些情况下不需要事先知道总体是 什么分布. 缺点是，当总体类型已知时，没有充分利用分布提供的信 息. 一般场合下, 矩估计量不具有唯一性. ↑Example 投掷一枚硬币, 为了解正面出现的概率, 现独立重复的投掷 n 次, 用 X1, · · · , Xn 表示投掷结果. 显然此时总体 X 的分布为 B(1, p), p 为感兴趣的量. 而 X1, · · · , Xn 为样本, 则求参数 p 的矩估计量。 ↓Example 解: 由于 EX = p，而样本均值 X¯ 收敛到总体均值 EX, 因此 p 的 一个矩估计量为 pˆ = X. ¯ Previous Next First Last Back Forward 5
为考察某种考试成绩分布情况，使用正态分布N(a,σ)来作为总 TExample 体X的分布.现在从中随机调查n个人，即样本为X1,·,Xn.试 求参数a,g2的矩估计量。 ↓Example Previous Next First Last Back Forward 6
↑Example 为考察某种考试成绩分布情况, 使用正态分布 N(a, σ2 ) 来作为总 体 X 的分布. 现在从中随机调查 n 个人, 即样本为 X1, · · · , Xn. 试 求参数 a, σ2 的矩估计量。 ↓Example 解: 由于 EX = a, V ar(X) = σ 2 所以 a, σ2 的一个矩估计量为 aˆ = X, ¯ σˆ 2 = m2 = 1 n ∑n i=1 (Xi − X¯) 2 我们知道 ES2 = σ 2，因此，σ 2 的另一个矩估计量为 σˆ 2 = S 2 . Previous Next First Last Back Forward 6
6.1.2 最大似然估计方法 最大似然方法到目前为止应用最广的的点估计方法.这种方法是 基于如下的看法： 设样本X=(X1,,Xn)有概率函数 f(x;0)=f(x;0,…,0e) Definition 这里参数0=(0，…，0k)∈日，x=(x1,·,xn)为样本X 的观察值.当固定x时把(x:)看成为0的函数，称为 似然函数，常记为L(x;)或L() 当固定参数0时，f(x:)可以看成是得到样本观察值x的可能 性，这样，当把参数0看成变动时，也就得到“在不同的0值下能观 察到x的可能性大小，即L(:)”；由于我们已经观察到了x,所以 Previous Next First Last Back Forward
6.1.2 最大似然估计方法 最大似然方法到目前为止应用最广的的点估计方法. 这种方法是 基于如下的看法: 设样本 X = (X1, . . . , Xn) 有概率函数 f(x; θ) = f(x; θ1, · · · , θk) 这里参数 θ = (θ1, · · · , θk) ∈ Θ, x = (x1, . . . , xn) 为样本 X 的观察值. 当固定 x 时把 f(x; θ) 看成为 θ 的函数，称为 似然函数, 常记为 L(x; θ) 或 L(θ). Definition 当固定参数 θ 时，f(x; θ) 可以看成是得到样本观察值 x 的可能 性，这样，当把参数 θ 看成变动时，也就得到 “在不同的 θ 值下能观 察到 x 的可能性大小, 即 L(x; θ)”；由于我们已经观察到了 x，所以 Previous Next First Last Back Forward 7
使得能观察到x的可能性L(x:)最大的0值，看起来应该最像未知 的0。这个0的值即称为0最大似然估计值（看上去最有可能的）。我 们先看一个例子： 从鱼池里随机捕捞500条鱼，做好记号后重新放入鱼池中，待充 TExample 分混合后再捕捞1000条鱼，结果发现其中有72条带有记号.试问鱼 池中可能有多少条鱼 ↓Example Previous Next First Last Back Forward
使得能观察到 x 的可能性 L(x; θ) 最大的 θ 值, 看起来应该最像未知 的 θ。这个 θ 的值即称为 θ 最大似然估计值(看上去最有可能的)。我 们先看一个例子: ↑Example 从鱼池里随机捕捞 500 条鱼, 做好记号后重新放入鱼池中, 待充 分混合后再捕捞 1000 条鱼, 结果发现其中有 72 条带有记号. 试问鱼 池中可能有多少条鱼. ↓Example 解: 先将问题一般化. 设池中有 N 条鱼, 其中 r 条做好记号. 鱼在鱼 池里均匀. 随机捕捞 s 条, 发现 x 条有记号. 用上述信息来估计 N. 用 X 表示捕捞的 s 条鱼中带记号鱼的数目, 则 P(X = x) = C s−x N−rC x r Cs N . Previous Next First Last Back Forward 8
Previous Next First Last Back Forward 9
目前发现在捕捞的 s 条鱼中有记号的鱼 x 条, 要寻求 N 取何值时, 使得观察到这个事件 {X = x} 的可能性最大. 即 x 是固定的, N 是 变化的, 记 p(x; N) = P(X = x). 因为 g(N) := p(x; N) p(x; N − 1) = (N − s)(N − r) N(N − r − s + x) = N 2 − N(s + r) + rs N2 − N(r + s) + Nx, 当 rs > Nx 时, g(N) > 1; rs < Nx 时, g(N) < 1. 所以 P(X = x) 在 N = rs x 附近达到最大, 注意到 N 只能取正整数, 故 N 的最可能 的估计即最大似然估计为 Nˆ = ⌈ rs x ⌉ . 其中 ⌈ ⌉ 表示下取整, 即小于该值的最大整数. 将题目中的数字代入, Nˆ = ⌈ 500 × 1000 72 ⌉ = 6944. 即鱼池中的总的鱼数为 6694 条. Previous Next First Last Back Forward 9