第五章大数定律及中心极限定理 9§5.1大数定律 ⊙§5.2中心极限定理 2/41
2/41 第五章 大数定律及中心极限定理 §5.1 大数定律 §5.2 中心极限定理
§5.1大数定律 9大数定律(law of large numbers),又称大数定理 是一种描述当试验次数很大时所呈现的概率性质 的定律。但是大数定律并不是经验规律，而是严 格证明了的定理。 在前面我们接触了两个重要的概念 大量试验后事件发生的频率n/n稳定于一个常数，即概 率 ·大量试验的算术平均值稳定于数学期望 大数定律就是以确切的数学形式表达了大量重复 出现的随现象的统计规律性 即频率的稳定性和算术平均值的稳定性 3/41
3/41 §5.1 大数定律 大数定律(law of large numbers)，又称大数定理， 是一种描述当试验次数很大时所呈现的概率性质 的定律。但是大数定律并不是经验规律，而是严 格证明了的定理。 在前面我们接触了两个重要的概念 ⚫ 大量试验后事件发生的频率nA/n稳定于一个常数，即概 率 ⚫ 大量试验的算术平均值稳定于数学期望 大数定律就是以确切的数学形式表达了大量重复 出现的随机现象的统计规律性 ⚫ 即频率的稳定性和算术平均值的稳定性
§5.1大数定律 弱大数定理1（契比雪夫定理的特殊情况） 设随机变量X1,X2,,X…相互独立，且具有相同 的数学期望和方差：EXk)=山，D(X=o2(k=1,2,…),作 前n个随机变量的算术平均值 灭=1 定理的解释：当n-→oo时， =1 则对于任意正数6，有 ∑X-K这一随机 n k= 事件的概率趋近于1 lim PX-u<a) 1→00 即对任意的正数E,当n充分 -2刘-小 大时，不等式|X-K成 立的概率很大 4141
4/41 弱大数定理 1(契比雪夫定理的特殊情况) 设随机变量X1 , X2 ,..., Xn ,...相互独立, 且具有相同 的数学期望和方差: E(Xk )=m, D(Xk )=s2 (k=1,2,...), 作 前n个随机变量的算术平均值 , 1 1 = = n k Xk n X 1. 1 lim lim {| | } 1 = = − − = → → m m n k k n n X n P P X 则对于任意正数, 有 §5.1 大数定律 定理的解释：当n→时， 这一随机 事件的概率趋近于1 即对任意的正数ε，当n充分 大时，不等式 成 立的概率很大 | } 1 {| 1 − m = n k Xk n | X − m |
证 由随机变量X1,X2,…,Xw…相互独立，且具有 相同的数学期望和方差，有 E x]-2W-w=h k=1 由契比雪夫不等式可得 P2.-4小12 在上式中令→o,并注意到概率不能大于1，即得 ▣P2双--t n->0 5/41
5/41 证 , 1 ( ) 1 1 , 1 ( ) 1 1 2 2 2 1 2 1 1 1 n n n D X n X n D n n E X n X n E n k k n k k n k k n k k s s m m = = = = = = = = = = 2 2 1 / 1 1 s m n X n P n k k − − = 由契比雪夫不等式可得 由随机变量X1 ,X2 ,…,Xn ,…相互独立，且具有 相同的数学期望和方差，有 在上式中令n→, 并注意到概率不能大于1, 即得 1. 1 lim 1 = − = → m n k k n X n P
§5.1大数定律 定理的实际含义：令充分小，当充分大 时，随机变量X1,X2,Xm的算术平均值无限 接近数学期望EX)=EX2)=..=EX),即 当n无限增加时个随机变量的算术平均值 X-I2X k=1 将几乎变成一个常数。这种接近是概率意 义上的接近 6/41
6/41 定理的实际含义：令ε充分小，当n充分大 时，随机变量X1 ,X2 ,…,Xn的算术平均值无限 接近数学期望E(X1 )= E(X2 )=…= E(Xn )，即 当n无限增加时n个随机变量的算术平均值 将几乎变成一个常数。这种接近是概率意 义上的接近 = = n k Xk n X 1 1 §5.1 大数定律
§5.1大数定律 概率中的几种收敛 。依概率收敛 。依分布收敛（弱收敛，只在连续点保证收敛） 。几乎必然收敛，也叫几乎处处收敛 7/41
7/41 §5.1 大数定律 概率中的几种收敛 ⚫ 依概率收敛 ⚫ 依分布收敛(弱收敛，只在连续点保证收敛) ⚫ 几乎必然收敛，也叫几乎处处收敛
§5.1大数定律 定义已知随机变量序列Y,Y2,,Y…与随机变量 Y。如果对Vε>0，都有lim P(Y-Yk}=1, 1)o0 那么我们就称随机变量序列{Yn,n∈Z}依概率收 敛到随机变量Y,记为Y。P→Y. 依概率收敛的本质是Y对Y的绝对偏差小于任一给 定量的可能性将随着的增大而增大. 特别当为退化分布时，即P{==1,则称序列依概 率收敛于，即Y,- a 如果把极限放到绝对值上，即差值的极限小于任意正 数的概率为1则称为几乎处处收敛 8/41
8/41 §5.1 大数定律 定义 已知随机变量序列Y1 ,Y2 ,...,Yn ,... 与随机变量 Y。如果对 ，都有 那么我们就称随机变量序列{Yn，nZ+ }依概率收 敛到随机变量Y ，记为 依概率收敛的本质是Yn对Y的绝对偏差小于任一给 定量的可能性将随着n的增大而增大. 特别当Y为退化分布时,即P{Y=a}=1,则称序列依概 率收敛于a,即 0 lim {| − | } = 1, → P Y Y n n Y Y. P n ⎯→ Y a P n ⎯→ 如果把极限放到绝对值上，即差值的极限小于任意正 数的概率为1则称为几乎处处收敛
§5.1大数定律 ⊙依概率收敛序列的性质 。(只考虑收敛于常数a的情况)： 若XnP→a,YnP→b,又设函数gc在点(a,b)连续， 则 g(Xm,Yn)P→g(a,b) 这样上述弱大数定理可以描述为 定理一设随机变量X1,X2,X,…相互独立，且具有相同 的数学期望和方差：EX=4,D(X)=o2(k=1,2,),则序 列又=之X依概率收敛于“， 1k=1 即P→4 9/41
9/41 §5.1 大数定律 依概率收敛序列的性质 ⚫ (只考虑收敛于常数a的情况)： 若 ， ，又设函数g(x,y)在点(a,b)连续， 则 这样上述弱大数定理可以描述为 定理一 设随机变量X1 ,X2 ,…,Xn ,…相互独立，且具有相同 的数学期望和方差：E(Xk )=μ，D(Xk )=σ 2 (k=1,2,…)，则序 列 依概率收敛于μ， 即 X a P n ⎯→ Y b P n ⎯→ g(X ,Y ) g(a,b) P n n ⎯→ = = n k Xk n X 1 1 ⎯→ m P X
§5.1大数定律 ⊙在概率极限理论中，研究随机变量序列收敛性的同时当然也 要研究相应的分布函数序列的收敛性 如：中心极限定理，第六章的经验分布函数F(x)等 9定义3设{Fmx),n∈N是一列定义在R上的有界非减右连续 函数，如果存在一个满足同样条件的函数Fx)使得 lim F (x)=F(x),VxEC(F), 则称{F(x),n∈N弱收敛到Fx),记为F,(x)。→F(x) 9如果F(x)是一列分布函数，并且存在分布函数Fx),使 得Fn(x)。→F(x)那么我们就称F(x)依分布收敛到Fx), 记为Fn(x)4→F(x)。 10/41
10/41 §5.1 大数定律 在概率极限理论中,研究随机变量序列收敛性的同时当然也 要研究相应的分布函数序列的收敛性 如：中心极限定理，第六章的经验分布函数Fn (x)等 定义3 设 {Fn (x),nN}是一列定义在R上的有界非减右连续 函数，如果存在一个满足同样条件的函数F(x)使得 则称{Fn (x),nN}弱收敛到F(x)，记为 如果Fn (x)是一列分布函数，并且存在分布函数F(x) ，使 得 ，那么我们就称Fn (x)依分布收敛到F(x) ， 记为 。 lim F (x) F(x), x C(F), n n = → F (x) F(x) n ⎯ → F (x) F(x) n ⎯ → F (x) F(x) d n ⎯→
§5.1大数定律 依概率收敛包含了依分布收敛，反之不成 立，依分布收敛是弱收敛 9所谓“弱大数定律”，是指上述收敛为依 概率收敛(in probability), 所谓“强大数定律”，是指上述收敛为 “几乎必然收敛”(almost surely/with probability one) 11/41
11/41 §5.1 大数定律 依概率收敛包含了依分布收敛，反之不成 立，依分布收敛是弱收敛 所谓“弱大数定律”，是指上述收敛为依 概率收敛(in probability)， 所谓“强大数定律”，是指上述收敛为 “几乎必然收敛”(almost surely/with probability one)