第五章大数定律及中心极限定理 §51大数定律 ≥§52中心极限定理 2/41
2/41 第五章 大数定律及中心极限定理 §5.1 大数定律 §5.2 中心极限定理
§5.1大数定律 大数定律( law of large numbers),又称大数定理, 是一种描述当试验次数很大时所呈现的概率性质 的定律。但是大数定律并不是经验规律,而是严 格证明了的定理。 ●在前面我们接触了两个重要的概念 大量试验后事件发生的频率nn稳定于一个常数,即概 率 大量试验的算术平均值稳定于数学期望 ≥大数定律就是以确切的数学形式表达了大量重复 出现的随机现象的统计规律性 即频率的稳定性和算术平均值的稳定性 3/41
3/41 §5.1 大数定律 大数定律(law of large numbers)，又称大数定理， 是一种描述当试验次数很大时所呈现的概率性质 的定律。但是大数定律并不是经验规律，而是严 格证明了的定理。 在前面我们接触了两个重要的概念 ⚫ 大量试验后事件发生的频率nA/n稳定于一个常数，即概 率 ⚫ 大量试验的算术平均值稳定于数学期望 大数定律就是以确切的数学形式表达了大量重复 出现的随机现象的统计规律性 ⚫ 即频率的稳定性和算术平均值的稳定性
§5.1大数定律 弱大数定理1(契比雪夫定理的特殊情况) 设随机变量X1,X2y,Xn,相互独立,且具有相同 的数学期望和方差:E(X)=D(X)=a(k=1,2,作 前n个随机变量的算术平均值 X=∑X, 定理的解释:当n→>∞时, =1 则对于任意正数有 ∑Xk-ke}这一随机 n 事件的概率趋近于1 imP{X-母 n→ 即对任意的正数E,当n充分 =mP∑X-A<=1大时,不等式X-kE成 立的概率很大 4/41
4/41 弱大数定理 1(契比雪夫定理的特殊情况) 设随机变量X1 , X2 ,..., Xn ,...相互独立, 且具有相同 的数学期望和方差: E(Xk )=m, D(Xk )=s2 (k=1,2,...), 作 前n个随机变量的算术平均值 , 1 1 = = n k Xk n X 1. 1 lim lim {| | } 1 = = − − = → → m m n k k n n X n P P X 则对于任意正数, 有 §5.1 大数定律 定理的解释：当n→时， 这一随机 事件的概率趋近于1 即对任意的正数ε，当n充分 大时，不等式 成 立的概率很大 | } 1 {| 1 − m = n k Xk n | X − m |
证由随机变量X,X2,X…相互独立,且具有 相同的数学期望和方差,有 ∑X|=∑E(X)=n;mn=H, ∑X=∑D(X)= 2o“ k=1 n k= 由契比雪夫不等式可得 n ∑X-川0,并注意到概率不能大于1,即得 lim p Xk-u<8 n→0 k=1 5/41
5/41 证 , 1 ( ) 1 1 , 1 ( ) 1 1 2 2 2 1 2 1 1 1 n n n D X n X n D n n E X n X n E n k k n k k n k k n k k s s m m = = = = = = = = = = 2 2 1 / 1 1 s m n X n P n k k − − = 由契比雪夫不等式可得 由随机变量X1 ,X2 ,…,Xn ,…相互独立，且具有 相同的数学期望和方差，有 在上式中令n→, 并注意到概率不能大于1, 即得 1. 1 lim 1 = − = → m n k k n X n P
§51大数定律 ≥定理的实际含义:令8充分小,当n充分大 时,随机变量X1,X2,,X的算术平均值无限 接近数学期望E(X=E(X2)==E(X),即 当m无限增加时m个随机变量的算术平均值 X=∑X k=1 将几乎变成一个常数。这种接近是概率意 义上的接近 6/41
6/41 定理的实际含义：令ε充分小，当n充分大 时，随机变量X1 ,X2 ,…,Xn的算术平均值无限 接近数学期望E(X1 )= E(X2 )=…= E(Xn )，即 当n无限增加时n个随机变量的算术平均值 将几乎变成一个常数。这种接近是概率意 义上的接近 = = n k Xk n X 1 1 §5.1 大数定律
§51大数定律 概率中的几种收敛 ●依概率收敛 ●依分布收敛(弱收敛,只在连续点保证收敛) ●几乎必然收敛,也叫几乎处处收敛 141
7/41 §5.1 大数定律 概率中的几种收敛 ⚫ 依概率收敛 ⚫ 依分布收敛(弱收敛，只在连续点保证收敛) ⚫ 几乎必然收敛，也叫几乎处处收敛
§51大数定律 定义已知随机变量序列Y,H2,,Ym与随机变量 Y。如果对VE>0,都有imP{Yn-yK}=1, n→0 那么我们就称随机变量序列{Vn;n∈Z}依概率收 敛到随机变量Y,记为YPY. 依概率收敛的本质是Yn对Y的绝对偏差小于任一给 定量的可能性将随着n的增大而增大 ≥特别当为退化分布时,即P{Y=a}=1,则称序列依概 率收敛于a即Yn>a 如果把极限放到绝对值上,即差值的极限小于任意正 数的概率为1则称为几乎处处收敛 8141
8/41 §5.1 大数定律 定义 已知随机变量序列Y1 ,Y2 ,...,Yn ,... 与随机变量 Y。如果对 ，都有 那么我们就称随机变量序列{Yn，nZ+ }依概率收 敛到随机变量Y ，记为 依概率收敛的本质是Yn对Y的绝对偏差小于任一给 定量的可能性将随着n的增大而增大. 特别当Y为退化分布时,即P{Y=a}=1,则称序列依概 率收敛于a,即 0 lim {| − | } = 1, → P Y Y n n Y Y. P n ⎯→ Y a P n ⎯→ 如果把极限放到绝对值上，即差值的极限小于任意正 数的概率为1则称为几乎处处收敛
§51大数定律 ●依概率收敛序列的性质 (只考虑收敛于常数a的情况): 若 n,y一P>b,又设函数g(xy)在点(a,b)连续, 则g(Xn,Y)->g(a,b) ●这样上述弱大数定理可以描述为 ●定理一设随机变量X1X2, 相互独立,且具有相同 的数学期望和方差:E(X)=,D(X)=02(k=1,2,),则序 列X=∑X依概率收敛于H, 即X 9/41
9/41 §5.1 大数定律 依概率收敛序列的性质 ⚫ (只考虑收敛于常数a的情况)： 若 ， ，又设函数g(x,y)在点(a,b)连续， 则 这样上述弱大数定理可以描述为 定理一 设随机变量X1 ,X2 ,…,Xn ,…相互独立，且具有相同 的数学期望和方差：E(Xk )=μ，D(Xk )=σ 2 (k=1,2,…)，则序 列 依概率收敛于μ， 即 X a P n ⎯→ Y b P n ⎯→ g(X ,Y ) g(a,b) P n n ⎯→ = = n k Xk n X 1 1 ⎯→ m P X
§51大数定律 ●在概率极限理论中研究随机变量序列收敛性的同时当然也 要研究相应的分布函数序列的收敛性 如:中心极限定理,第六章的经验分布函数Fx)等 ≥定义3设{Fn(x),∈N是一列定义在R上的有界非减右连续 函数,如果存在一个满足同样条件的函数F(x)使得 imF(x)=F(x),x∈C(F), °则称{F(x),∈N弱收敛到F(x),记为F(x)0>F(x) 如果Fn(x)是一列分布函数,并且存在分布函数F(x),使 得F(x)0F(x)那么我们就称F1(x)依分布收敛到F(x), 记为Fn(x)-dyF(x) 10141
10/41 §5.1 大数定律 在概率极限理论中,研究随机变量序列收敛性的同时当然也 要研究相应的分布函数序列的收敛性 如：中心极限定理，第六章的经验分布函数Fn (x)等 定义3 设 {Fn (x),nN}是一列定义在R上的有界非减右连续 函数，如果存在一个满足同样条件的函数F(x)使得 则称{Fn (x),nN}弱收敛到F(x)，记为 如果Fn (x)是一列分布函数，并且存在分布函数F(x) ，使 得 ，那么我们就称Fn (x)依分布收敛到F(x) ， 记为 。 lim F (x) F(x), x C(F), n n = → F (x) F(x) n ⎯ → F (x) F(x) n ⎯ → F (x) F(x) d n ⎯→
§51大数定律 依概率收敛包含了依分布收敛,反之不成 立,依分布收敛是弱收敛 ●所谓“弱大数定律”,是指上述收敛为依 概率收敛( n probability), ●所谓“强大数定律”,是指上述收敛为 “几乎必然收敛”( almost surely/with probability one 11/41
11/41 §5.1 大数定律 依概率收敛包含了依分布收敛，反之不成 立，依分布收敛是弱收敛 所谓“弱大数定律”，是指上述收敛为依 概率收敛(in probability)， 所谓“强大数定律”，是指上述收敛为 “几乎必然收敛”(almost surely/with probability one)