上海交通大学：《概率论与数理统计》课程教学资源（课件讲稿）12、大数定律和中心极限定理

第五章大数定律和 中心极限定理

第五章 大数定律和 中心极 限 定 理

概率论与数理统计是研究随机现象统计规律性的学科. 只有在相同的条件下进行大量重复试验时，随机现象的规律性 才会呈现出来.也就是说，要从随机现象中 寻求必然的法则，应该研究大量随机现象. 研究大量的随机现象，极限工具无疑 是最有效的方法.这导致了对极限定理的 研究. 极限定理包含的内容很广泛，其中最重要的有两类： 大数定律与中心极限定理 我们先介绍

极限定理包含的内容很广泛, 只有在相同的条件下进行大量重复试验时, 随机现象的规律性 才会呈现出来. 概率论与数理统计是研究随机现象统计规律性的学科. 研究大量的随机现象, 极限工具无疑 是最有效的方法. 大数定律 与 中心极限定理 我们先介绍 也就是说,要从随机现象中 寻求必然的法则, 应该研究大量随机现象. 这导致了对极限定理的 研究. 其中最重要的有两类:

§5.1大数定律 大量抛掷硬币 正面出现频率 生产中的废品率 字母使用频率 n次重复测量的结果的平均值不，会X, n越大，X对真值a的偏差就越小 大量随机现象中平均结果的稳定性：由于大量的随机现象中， 个别随机现象所引起的偏差会相互抵消和补偿，致使大量随机现 象的共同作用的总平均结果趋于稳定一大数定律的客观背景 大数定律以严格的数学形式表达了算术平均值及频率稳定性的 确切含义.表达方式：研究一些概率接近以1（或0）的事件的规律 即对独立随机序列极限理论中的必然事件的一种概率描述. 先介绍两个基本概念

大数定律以严格的数学形式表达了算术平均值及频率稳定性的 确切含义. 表达方式: 研究一些概率接近以 1(或 0 )的事件的规律. 致使大量随机现 象的共同作用的总平均结果趋于稳定 由于大量的随机现象中, 个别随机现象所引起的偏差会相互抵消和补偿, 大量抛掷硬币 正面出现频率 生产中的废品率 字母使用频率 …… §5.1 大 数 定 律 大量随机现象中平均结果的稳定性： 先介绍两个基本概念   n i Xn n Xi 1 1 n 次重复测量的结果的平均值 n 越大, X 对真值 a 的偏差就越小 即对独立随机序列极限理论中的必然事件的一种概率描述. ——大数定律的客观背景

定义1 设X,X,…是一随机变量序列，若存在常数C, 3V8>0,总有 iP(IX。-C10，总有 常取为EXn lim P(IX-aka=1, 则称随机变量序列X服从大数定律.是对同一 客观事物的不同表述 Xm服从大数定律台 Xn-an- P→0 将有关以概率收敛的结论统称为大数定律

若存在常数C, 将有关以概率收敛的结论统称为大数定律 若存在常数列 an, 使得对任意的  > 0, 总有 lim ( |  | )  1,  P Xn C  n 则称随机变量序列{Xn} 以概率收敛于C , X C, P 记为 n  ( ). lim Xn C P n  当  n 足够大时, Xn几乎总取接近 C 的值, 定义2(P.126 ) 设X1,X2,… 是随机变量序列, , 1 1   n i n Xi n 令 X 总有 lim (|  | )  1,  n n  n P X a 则称随机变量序列 Xn 服从大数定律. 常取为 EXn Xn服从大数定律   0 P Xn an 是对同一客观事物的不同表述 即 若 X a, Y b, P n P n   且函数 g(x,y)在点(a,b)连续, g(X ,Y ) g(a,b), P n n  则 n=1,2,… 连续保持以概 率收敛性 P.126 定义1    > 0, 设 X1,X2,… 是一随机变量序列

例1设X是一个相互独立的随机变量序列，且 P(Xn=1)=Pn(00,总有 ≤1/4 P(Xn-EXn|≥E)≤ 合DX: 4pnn≤(pn+qn)2=1 2 n282 应用中经常 4n2e2 4nε2 将Ln取为EXm → IimP(|Xm-EXm|<)=L,所以Xn服从大数定律 1→o0 我们关心的是： 随机变量序列X具有什么特性时，它就服 从大数定律. 相应于这些不同的特性，大数定律也有其不同的表现形式. 我们只介绍三个最著名的大数定律

 1/4 例1 设 Xn 是一个相互独立的随机变量序列, (  1)  ( 0 1), P Xn pn pn 且 证明 Xn 服从大数定律. 证 Xn ～ B(1, pn), , 1 1   n i 令 Xn n Xi 由Chebyschev不等式知, 对任意的  > 0, 总有 2 (| | )   n n n DX P X EX   2 2 1 n  DXi n i    2 2 4 2 1 4n  n n   0,    n  lim (|  | )  1,  n n  n P X EX 2 2 1 n  p qi n i  i   所以 Xn 服从大数定律. 我们关心的是: 随机变量序列 Xn 具有什么特性时, 它就服 从大数定律. 我们只介绍三个最著名的大数定律. 相应于这些不同的特性, 大数定律也有其不同的表现形式. 1, 2, , P( Xn  0)  qn , (qn 1 pn), n   应用中经常 将 an 取为 EXn 4 ( ) 1 2 pn qn  pn qn 

定理1(Chebyschevi切比雪夫大数定律) 设X是相互独立的随机变量序列，它们的方差 都存在，且有共公上界，即存在常数C,使得 DXi≤C,i=1,2,…, 则X服从大数定律.即对任意的ε>0，有 mPI会X-E名X0，有四P0名X二4川<a)=L. 当n充分大时几乎 1→00 不再是随机的了 在独立和同期望、方差的条件下，个随机变量的算术 平均值当n→oo时，以概率收敛于它的期望u

它们的方差 都存在, 设 Xn 是相互独立的随机变量序列, 则 Xn 服从大数定律. 定理1(Chebyschev切比雪夫大数定律 ) )| ) 1. 1 ( 1 lim (| 1 1         n i n i i i n X n X E n P  且有共公上界, 即对任意的  > 0, 有 证明切比雪夫大数定律主要的数学工具是 切比雪夫不等式 证 由Chebyschev不等式, 2 1 1 1 ) 1 ( )| ) 1 1 ( 1 (|             n i n i i n i i i X n D X n X E n P 2 2 1 1 n  DX n i  i    2 1 n C   1,    n 1  任意事件的概率 1 由极限夹逼准则知结论成立. 特别地, 改方差的限定条件为: 设Xn独立且有相同的期望  和方差 2 , 则  > 0, 有 ) 1. | 1 lim (| 1       n i i n X n P   在独立和同期望、方差的条件下, n 个随机变量的算术 平均值当 n →∞时, 以概率收敛于它的期望  . 即存在常数 C , 使得 DX i ≤ C , i =1, 2, …, 当n 充分大时几乎 不再是随机的了 Chebyschev 大数定律给出了 算术平均值稳定性的科学描述 Y Y P166推论

若定理1中的Xm服从(0一1)分布，于是有下面的定理 定理2(Bernoulli贝努利大数定律P切比雪夫大数律的特例 设4n是n重贝努利试验中事件A发生的次数，p (00，有 imP(I分-p0，有imP(-pl<)=1. Bernoulliz大数定律表明，当重复试验次数n充分大时，事件A 发生的频率山，/n与事件A的概率p有较大偏差的概率很小. 在n重Bernoulli独立试验中，当试验次数n→oo时，事件A的 频率依概率收敛于事件A的概率.Bernoulliz大数定律提供了通过 试验来确定事件概率方法的理论依据，即用频率估计概率是合理的

在 n 重Bernoulli独立试验中, 当试验次数 n →∞时, 事件 A 的 频率依概率收敛于事件 A 的概率. Bernoulli大数定律提供了通过 试验来确定事件概率方法的理论依据, 设  n 是n 重贝努利试验中事件A 发生的次数, p ( 0 0, 有 ——是事件A 发生的频率 , 4 1  则  > 0, 有 n Bernoulli大数定律表明 n , 当重复试验次数 n 充分大时, lim (|  | ) 1.    p n P n n 显然  n  X1 X2 Xn , 事件 A 发生的频率 n /n 与事件A 的概率 p 有较大偏差的概率 很小. 即用频率估计概率是合理的

独立同分布条件下大数定律的表现形式： 定理3（辛钦大数定律伯努利大数律是辛钦大数律的特例 设随机变量序列X,X,·独立且同分布，具有有限 的数学期望EX,=山，i=1,2,,则对8>0， m言X:uke)=1. 辛钦大数定律为寻找随机变量的期望值，提供了 辛软 一条实际可行的途径： 若视X:为重复试验中对随机变量X的 第i次观察，则当no时，对X的n次观察结果的算术平均值 以概率收敛于X的期望值EX=4.这为在不知分布的情形下， 取多次重复观测的算术平均值X作为EX的较为精确的估计提供 了理论保证. 例如，有一批产品，不知其寿命X的分布，为评价其质量，需确 定其平均寿命X,随机地从中抽取件产品并测得其寿命分别为 ,,,则可用n名x,作为EX的一个估计值，且n越大，越精确

这为在不知分布的情形下, 取多次重复观测的算术平均值 作为 EX 的较为精确的估计提供 了理论保证. X 为评价其质量, 需确 定其平均寿命 X , 具有有限 的数学期望 EXi =μ, i =1, 2, …， 则对  > 0, 设随机变量序列X1 , X2 , … 独立且同分布, 定理3(辛钦大数定律 P167) | ) 1. 1 lim (| 1         n i i n X n P 辛钦大数定律为寻找随机变量的期望值, 提供了 辛钦 一条实际可行的途径: 独立同分布条件下大数定律的表现形式: 伯努利大数律是辛钦大数律的特例 若视 X i 为重复试验中对随机变量 X 的 第 i 次观察, 则当 n → 时, 对X 的 n 次观察结果的算术平均值 以概率收敛于 X 的期望值 EX =  . X 例如, 有一批产品, 不知其寿命X 的分布, 随机地从中抽取 n 件产品并测得其寿命分别为 , , , , x1 x2  xn 则可用  作为EX 的一个估计值,  n i n xi 1 1 且n 越大, 越精确

例如要估计某地区的平均亩产量，可收割某些有代表 性的地块，例如n块.计算其平均亩产量，当n较大时， 可用它作为整个地区平均亩产量的一个估计 下面我们再举一例说明大数定律的应用 定积分的概率计算法

可收割某些有代表 性的地块，例如 n 块. 计算其平均亩产量， 下面我们再举一例说明大数定律的应用 ——定积分的概率计算法 例如要估计某地区的平均亩产量， 当 n 较大时， 可用它作为整个地区平均亩产量的一个估计

例2求定积分I=∫g(x)c的值.应如何近似计算？ 我们介绍均值法，步骤是： 1)产生在(01)上均匀分布的随机数rm,n=1,2,,N; 2)计算g(n),n=1,2,,N; 3)用平均值近似积分值，即7-太之，)1. 原理是什么呢？ 设x~U0,1),X~fw)=0,其它 n=1 1,00，mP之g)-gx)kK)=1 因此，当N充分大时，之)6g(x)

我们介绍均值法，步骤是： 1) 产生在(0, 1)上均匀分布的随机数 rn , 2) 计算 g(rn)， n =1, 2, …, N ; n = 1, 2, …, N ; 即 ( ) . 1 1 g r I N I N n   n   3) 用平均值近似积分值, 的值.   1 0 I g(x)dx 原理是什么呢？ 设X ~ U(0, 1),       0, 其它 1, 0 1 ~ ( ) x X f x    E[g(X)]  g(x) f (x)dx   1 0 g(x)dx 由大数定律知,   0, ( ) ( ) | ) 1 1 lim (| 1 0 1        g r g x dx  N P N n n n 因此，当 N 充分大时， ( ) ( ) . 1 1 0 1     g r g x dx N N n n 例2 求定积分 应如何近似计算？