第四章大数定律和中心极限定理 4.1大数定律 1 4.2中心极限定理 5 Previous Next First Last Back Forward 1
第四章大数定律和中心极限定理 4.1 大数定律 . . . . . . . . . . . . . . . . . . . . 1 4.2 中心极限定理 . . . . . . . . . . . . . . . . . . 5 Previous Next First Last Back Forward 1
极限定理是概率论的重要内容，也是数理统计学的基石之一，大 数定律，是概率论中讨论随机变量和的平均值的收敛情况，是数理统 计学中参数估计的理论基础.中心极限定理，是概率论中讨论随机变 量和的分布以正态分布为极限的一组定理，这组定理是数理统计学和 误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。 4.1大数定律 如果对任何e>0,都有 limP(ln-l≥e)=0, n-oc Definition 那么我们就称随机变量序列{m,n∈N}依概率收敛到随机 变量5，记为En马 Previous Next First Last Back Forward
极限定理是概率论的重要内容, 也是数理统计学的基石之一. 大 数定律, 是概率论中讨论随机变量和的平均值的收敛情况, 是数理统 计学中参数估计的理论基础. 中心极限定理, 是概率论中讨论随机变 量和的分布以正态分布为极限的一组定理, 这组定理是数理统计学和 误差分析的理论基础, 指出了大量随机变量近似服从正态分布的条件. 4.1 大数定律 如果对任何 ε > 0, 都有 limn→∞ P(|ξn − ξ| ≥ ε) = 0, 那么我们就称随机变量序列 {ξn, n ∈ N} 依概率收敛到随机 变量 ξ, 记为 ξn p→ ξ. Definition Previous Next First Last Back Forward 1
定理1.设{Xn}是一列独立同分布亿.i.d.)的随机变量序列，具有 公共的数学期望4和方差σ2.则 x=∑xh, 1 即{Xm}服从（弱）大数定律。 [注：实际上，我们只需要均值存在即有大数定律成立，上述定理中 加上了方差存在的条件，只是为了证明的方便。 作为上述定理的一个特例，我们有 Previous Next First Last Back Forward 2
定理 1. 设 {Xn} 是一列独立同分布 (i.i.d.) 的随机变量序列，具有 公共的数学期望 µ 和方差 σ 2 . 则 X = 1 n ∑n k=1 Xk p→ µ, 即 {Xn} 服从 (弱) 大数定律。 [注]: 实际上，我们只需要均值存在即有大数定律成立，上述定理中 加上了方差存在的条件，只是为了证明的方便。 作为上述定理的一个特例，我们有 Previous Next First Last Back Forward 2
如果以(m表示n重Bernoulli试验中的成功次数，则有 TExample n B p. n ⊥Example 如果用fn=(m/n表示成功出现的频率，则上例说明∫n马p,即频 率（依概率）收敛到概率 为证明定理1，我们需要如下的Chebyshev不等式： 引理1(Chebyshev不等式).设随机变量X的方差存在，则 PIX-EX≥e)sar .e>0. E2 我们可以用Chebyshev不等式来估计X与EX的偏差，但是 Chebyshev不等式作为一个理论工具比作为估计的实际方法要恰当 Previous Next First Last Back Forward 3
↑Example 如果以 ζn 表示 n 重 Bernoulli 试验中的成功次数, 则有 ζn n p→ p. ↓Example 如果用 fn = ζn/n 表示成功出现的频率, 则上例说明 fn p→ p, 即频 率 (依概率) 收敛到概率. 为证明定理1, 我们需要如下的 Chebyshev不等式: 引理 1 (Chebyshev 不等式). 设随机变量 X 的方差存在，则 P(|X − EX| ≥ ε) ≤ Var (X) ε 2 , ∀ ε > 0. 我们可以用 Chebyshev 不等式来估计 X 与 EX 的偏差, 但是 Chebyshev不等式作为一个理论工具比作为估计的实际方法要恰当 Previous Next First Last Back Forward 3
一些，其重要性在于它的应用普遍性，但是不能希望很普通的命题对 一些个别情况给了深刻的结果.如令X为掷一个均匀的骰子所得到 的点数，则4=EX=7/2,a2=Var(X)=35/12.X与4的最 大偏差为2.5≈3a/2.X-4大于这个偏差的概率为0，然而利用 Chebyshev不等式仅仅断定这个概率少于0.47.这时就需要找更精确 的估计. 定理l的证明.利用Chebyshev不等式，并注意到Ex=4,Varx= o2/m,我们有， P(r-4l≥e)≤a2/(ne2)→0，n→o∞e>0. 定理得证 Previous Next First Last Back Forward 4
一些, 其重要性在于它的应用普遍性, 但是不能希望很普通的命题对 一些个别情况给了深刻的结果. 如令 X 为掷一个均匀的骰子所得到 的点数, 则 µ = EX = 7/2, σ2 = Var(X) = 35/12. X 与 µ 的最 大偏差为 2.5 ≈ 3σ/2. |X − µ| 大于这个偏差的概率为 0, 然而利用 Chebyshev 不等式仅仅断定这个概率少于 0.47. 这时就需要找更精确 的估计. 定理1的证明. 利用 Chebyshev不等式，并注意到 EX = µ, VarX = σ 2 /n, 我们有, P(|X − µ| ≥ ε) ≤ σ 2 /(nε 2 ) → 0, n → ∞ ∀ε > 0. 定理得证. Previous Next First Last Back Forward 4
4.2 中心极限定理 中心极限定理是概率论中讨论随机变量序列的分布收敛于正态分 布的一类定理.它是概率论中最重要的一类定理，有广泛的实际应用 背景. 定理2.设{Xn}为.i.d的随机变量序列，具有公共的数学期望μ 和方差o2.则X1+…+Xn的标准化形式点(X1+…+Xn-4） 满足中心极限定理.即对任意x∈R,有 lim Fn(x)=Φ(x), 2→。 其中Fn()为品(X+…+Xn-n四的分布函数，而(m)为标 准正态分布N(0,1)的分布函数.记为 aX++Xa-n)号N0,1) 1 Previous Next First Last Back Forward 5
4.2 中心极限定理 中心极限定理是概率论中讨论随机变量序列的分布收敛于正态分 布的一类定理. 它是概率论中最重要的一类定理, 有广泛的实际应用 背景. 定理 2. 设 {Xn} 为 i.i.d 的随机变量序列，具有公共的数学期望 µ 和方差 σ 2 . 则 X1 +· · ·+Xn 的标准化形式 √1 nσ (X1 +· · ·+Xn −nµ) 满足中心极限定理. 即对任意 x ∈ R，有 limn→∞ Fn(x) = Φ(x), 其中 Fn(x) 为 √1 nσ (X1 + · · · + Xn − nµ) 的分布函数, 而 Φ(x) 为标 准正态分布 N(0, 1) 的分布函数. 记为 1 √ nσ (X1 + · · · + Xn − nµ) d→ N(0, 1). Previous Next First Last Back Forward 5
Previous Next First Last Back Forward 6
Proof. 由于标准正态分布的特征函数为 f(t) = e −t 2/2，因此我们只 需证明 ηn = ∑n i=1 Xi−µ σ 的特征函数的极限是 f(t) 就可以了。 记 {Xi − µ} 的共同特征函数为 g(t)，则 g ( t σ √ n ) = 1 − t 2 2n + o ( t 2 n ) 而 ηn 的特征函数为 g n ( t σ √n ). 由于 g n ( t σ √ n ) − ( 1− t 2 2n )n ≤ n g ( t σ √ n ) − ( 1− t 2 2n ) = no( t 2 n ) −→ 0 所以 limn→∞ g n ( t σ √ n ) = e −t 2/2 即 limn→∞ P(ηn ≤ x) = Φ(x) Previous Next First Last Back Forward 6
定理2的令人吃惊之处就是任何独立同分布的随机变量序列，不 论它的分布是什么，只要存在有限的方差，那么它们的标准化部分和 都渐近于标准正态分布.这也说明了正态分布的普遍性. 由定理2，我们很容易得到如下推论 定理3.设X1,·,Xn相互独立且具有相同的分布 P(X1=1)=1-P(X1=0)=p,0<p<1. 则有 X1+…+Xn-迎4N(0,1). Vnp(1-p) 即 mP(++X-吧≤)=，YxR n-o Vnp(1-p) 定理2称为棣莫弗拉普拉斯定理，是历史上最早的中心极限定理 Previous Next First Last Back Forward
定理2的令人吃惊之处就是任何独立同分布的随机变量序列, 不 论它的分布是什么, 只要存在有限的方差, 那么它们的标准化部分和 都渐近于标准正态分布. 这也说明了正态分布的普遍性. 由定理2, 我们很容易得到如下推论 定理 3. 设 X1, · · · , Xn 相互独立且具有相同的分布 P(X1 = 1) = 1 − P(X1 = 0) = p, 0 < p < 1. 则有 X1 + · · · + Xn − np √ np(1 − p) d→ N(0, 1). 即 limn→∞ P (X1 + · · · + Xn − np √ np(1 − p) ≤ x ) = Φ(x), ∀ x ∈ R. 定理2称为棣莫弗 -拉普拉斯定理, 是历史上最早的中心极限定理. Previous Next First Last Back Forward 7
因为定理2中随机变量X1,…,Xn的和X1+…+Xn心B(n,p),我 们利用正态分布近似地估计二项分布 设t1<t2是两个正整数，则当n相当大时，由定理2，近似地有 P(t1≤X1++Xn≤t2)≈Φ()-Φ(h), 其中 :=(t-np)/Vnp(1-p),i=1,2. 为提高精度，我们可把h1,2修正为 n=(t-1/2-np)/vVnp(1-p),2=(t2+1/2-np)/Vnp(1-p) Previous Next First Last Back Forward 8
因为定理2中随机变量 X1, · · · , Xn 的和 X1 + · · · + Xn ∼ B(n, p), 我 们利用正态分布近似地估计二项分布. 设 t1 < t2 是两个正整数, 则当 n 相当大时, 由定理2, 近似地有 P(t1 ≤ X1 + · · · + Xn ≤ t2) ≈ Φ(y2) − Φ(y1), 其中 yi = (ti − np)/√ np(1 − p), i = 1, 2. 为提高精度, 我们可把 y1, y2 修正为 y1 = (t1 − 1/2 − np)/√ np(1 − p), y2 = (t2 + 1/2 − np)/√ np(1 − p). Previous Next First Last Back Forward 8
设一考生参加100道题的英语标准化考试（每道题均为有两个备 TExample 选答案的选择题，有且仅有一个答案是正确的)，每道题他都随机地 选择一个答案，假设评分标准为：选对得一分，选错或不选不得分。 试给出该考生最终得分大于等于50的概率， ↓Example Previous Next First Last Back Forward 9
↑Example 设一考生参加 100 道题的英语标准化考试 (每道题均为有两个备 选答案的选择题，有且仅有一个答案是正确的)，每道题他都随机地 选择一个答案，假设评分标准为：选对得一分，选错或不选不得分。 试给出该考生最终得分大于等于 50 的概率. ↓Example 解: 记 Xi 表示第 i 题的得分, i = 1, 2 · · · , 100. 则 X1, · · · , Xn 是一 列独立同分布的随机变量具有共同的分布 P(X1 = 0) = P(X1 = 1) = 0.5. 利用中心极限定理, 有 P(X1 + · · · + X100 ≥ 50) = P (X1 + · · · + X100 − 100 ∗ 0.5 √ 100 ∗ 0.5 ∗ 0.5 ≥ 0 ) = 1 − Φ(0) = 1/2. Previous Next First Last Back Forward 9