西安电子科技大学：《概率论与数理统计》课程教学课件（讲稿）第五章 大数定律及中心极限定理

第五章大数定律及中心极限定理 9§5.1大数定律 9§5.2中心极限定理 1/41

1/41 第五章 大数定律及中心极限定理  §5.1 大数定律  §5.2 中心极限定理

§5.1大数定律 9 大数定律(law of large numbers),又称大数定理， 是一种描述当试验次数很大时所呈现的概率性质 的定律。但是大数定律并不是经验规律，而是严 格证明了的定理。 9在前面我们接触了两个重要的概念 ●大量试验后事件发生的频率n稳定于一个常数，即概 率 大量试验的算术平均值稳定于数学期望 9大数定律就是以确切的数学形式表达了大量重复 出现的随机现象的统计规律性 即频率的稳定性和算术平均值的稳定性 2141

2/41 §5.1 大数定律  大数定律(law of large numbers)，又称大数定理， 是一种描述当试验次数很大时所呈现的概率性质 的定律。但是大数定律并不是经验规律，而是严 格证明了的定理。  在前面我们接触了两个重要的概念  大量试验后事件发生的频率nA /n稳定于一个常数，即概 率  大量试验的算术平均值稳定于数学期望  大数定律就是以确切的数学形式表达了大量重复 出现的随机现象的统计规律性  即频率的稳定性和算术平均值的稳定性

§5.1大数定律 弱大数定理1（契比雪夫定理的特殊情况） 设随机变量X,X2,Xm相互独立，且具有相同 的数学期望和方差：E(X=4D(X)=o2(K=1,2,.),作 前n个随机变量的算术平均值 定理的解释：当-→oo时， 则对于任意正数8，有 X-μK这一随机 n k= 事件的概率趋近于1 lim P{X-uk<s) 即对任意的正数，当n充分 =lim 2,-45-l大时，不等式1x-水成 立的概率很大 3/41

3/41 弱大数定理 1(契比雪夫定理的特殊情况) 设随机变量X1 , X2 ,., Xn ,.相互独立, 且具有相同 的数学期望和方差: E(Xk )=m, D(Xk )=s2 (k=1,2,.), 作 前n个随机变量的算术平均值 , 1 1   n k Xk n X 1. 1 lim lim {| | } 1                m  m  n k k n n X n P P X 则对于任意正数, 有 §5.1 大数定律 定理的解释：当n时， 这一随机 事件的概率趋近于1 即对任意的正数ε，当n充分 大时，不等式 成 立的概率很大 | } 1 {| 1   m    n k Xk n | X  m | 

证 由随机变量X1,X2,X.相互独立，且具有 相同的数学期望和方差，有 k= 由契比雪夫不等式可得 2-4小小14 在上式中令n-→∞，并注意到概率不能大于1，即得 mP2x-4-1 n-→ 4/41

4/41 证 , 1 ( ) 1 1 , 1 ( ) 1 1 2 2 2 1 2 1 1 1 n n n D X n X n D n n E X n X n E n k k n k k n k k n k k s s m m                             2 2 1 / 1 1  s m  n X n P n k k              由契比雪夫不等式可得 由随机变量X1 ,X2 ,.,Xn ,.相互独立，且具有 相同的数学期望和方差，有 在上式中令n, 并注意到概率不能大于1, 即得 1. 1 lim 1             m  n k k n X n P

§5.1大数定律 9定理的实际含义：令充分小，当n充分大 时，随机变量X1,X2,.,Xm的算术平均值无限 接近数学期望EX)=E(X2)=.=E(X),即 当n无限增加时n个随机变量的算术平均值 X-I2X. n k=1 将几乎变成一个常数。这种接近是概率意 义上的接近 5/41

5/41  定理的实际含义：令ε充分小，当n充分大 时，随机变量X1 ,X2 ,.,Xn的算术平均值无限 接近数学期望E(X1 )= E(X2 )=.= E(Xn )，即 当n无限增加时n个随机变量的算术平均值 将几乎变成一个常数。这种接近是概率意 义上的接近   n k Xk n X 1 1 §5.1 大数定律

§5.1大数定律 。概率中的几种收敛 。依概率收敛 ·依分布收敛（弱收敛，只在连续点保证收敛） 。几乎必然收敛，也叫几乎处处收敛 6/41

6/41 §5.1 大数定律  概率中的几种收敛  依概率收敛  依分布收敛(弱收敛，只在连续点保证收敛)  几乎必然收敛，也叫几乎处处收敛

§5.1大数定律 定义已知随机变量序列Y,Y2,Ym.与随机变量 Y。如果对Vε>0，都有iPY,-Y长}=1， 1)00 那么我们就称随机变量序列{Ym,n∈Z}依概率收 敛到随机变量Y,记为YnP→Y. 依概率收敛的本质是Y,对Y的绝对偏差小于任一给 定量的可能性将随着的增大而增大. 特别当Y为退化分布时，即P{Y=}=1,则称序列依概 率收敛于a,即Y,P→ 如果把极限放到绝对值上，即差值的极限小于任意正数的概率为1则称 为几乎处处收敛 7/41

7/41 §5.1 大数定律  定义 已知随机变量序列Y1 ,Y2 ,.,Yn ,. 与随机变量 Y。如果对 ，都有 那么我们就称随机变量序列{Yn，nZ+ }依概率收 敛到随机变量Y ，记为 依概率收敛的本质是Yn对Y的绝对偏差小于任一给 定量的可能性将随着n的增大而增大.  特别当Y为退化分布时,即P{Y=a}=1,则称序列依概 率收敛于a,即   0 lim {|  | }  1,  P Y Y  n n Y Y. P n  Y a P n  如果把极限放到绝对值上，即差值的极限小于任意正数的概率为1则称 为几乎处处收敛

§5.1大数定律 依概率收敛序列的性质 ●（只考虑收敛于常数a的情况）： 若XnP→a,YnP→b,又设函数g)在点(a,b)连续， 则 g(Xn,Yn）-P→g(a,b) 这样上述弱大数定理可以描述为 定理一设随机变量X1,X2,X.相互独立，且具有相同 的数学期望和方差：E(X=4,D(X=o(k=1,2,.),则序 列灭-，∑X依概率收敛于μ， n k=1 即P→4 8/41

8/41 §5.1 大数定律  依概率收敛序列的性质  (只考虑收敛于常数a的情况)：  若 ， ，又设函数g(x,y)在点(a,b)连续， 则  这样上述弱大数定理可以描述为  定理一 设随机变量X1 ,X2 ,.,Xn ,.相互独立，且具有相同 的数学期望和方差：E(Xk )=μ，D(Xk )=σ 2 (k=1,2,.)，则序 列 依概率收敛于μ， 即 X a P n  Y b P n  g(X ,Y ) g(a,b) P n n    n k Xk n X 1 1  m P X

§5.1大数定律 在概率极限理论中，研究随机变量序列收敛性的同时当然也 要研究相应的分布函数序列的收敛性 如：中心极限定理，第六章的经验分布函数F,(x)等 p定义3设{Fm(心)，n∈N}是一列定义在R上的有界非减右连续 函数，如果存在一个满足同样条件的函数Fx)使得 limF (x)=F(x),VxEC(F), 1c0 则称{Fm(,nEN弱收敛到F),记为Fn(x)。→F(x) 93 如果F(X)是一列分布函数，并且存在分布函数Fx),使 得F,(x)。→F(x,那么我们就称F()依分布收敛到F), 记为Fn(x)A→F(x)。 9/41

9/41 §5.1 大数定律  在概率极限理论中,研究随机变量序列收敛性的同时当然也 要研究相应的分布函数序列的收敛性 如：中心极限定理，第六章的经验分布函数Fn (x)等  定义3 设 {Fn (x),nN}是一列定义在R上的有界非减右连续 函数，如果存在一个满足同样条件的函数F(x)使得  则称{Fn (x),nN}弱收敛到F(x)，记为  如果Fn (x)是一列分布函数，并且存在分布函数F(x) ，使 得 ，那么我们就称Fn (x)依分布收敛到F(x) ， 记为 。 limF (x) F(x), x C(F), n n     F (x) F(x) n   F (x) F(x) n   F (x) F(x) d n 

§5.1大数定律 一依概率收敛包含了依分布收敛，反之不成 立，依分布收敛是弱收敛 所谓“弱大数定律”，是指上述收敛为依 概率收敛(in probability), 9所谓“强大数定律”，是指上述收敛为 “几乎必然收敛”(almost surely/with probability one) 10/41

10/41 §5.1 大数定律  依概率收敛包含了依分布收敛，反之不成 立，依分布收敛是弱收敛  所谓“弱大数定律”，是指上述收敛为依 概率收敛(in probability)，  所谓“强大数定律”，是指上述收敛为 “几乎必然收敛”(almost surely/with probability one)