s5.1大数定律 一。切管(8)不 >三,数定 页页
第五章大数定律和中心极限定理 大数定律和中心极限定理是概率论的重要基本理 平论,它们揭示了随机现象的重要统计规律,在概率 论与数理统计的理论研究和实际应用中都具有重要 的意义。本章将介绍这方面的主要内容。 上页
第五章 大数定律和中心极限定理 大数定律和中心极限定理是概率论的重要基本理 论，它们揭示了随机现象的重要统计规律，在概率 论与数理统计的理论研究和实际应用中都具有重要 的意义。本章将介绍这方面的主要内容
§5.1大数定律 迄今为止人们已发现很多大数定律( aws of large numbers 所谓大数定律,简单地说,就是大量数目的随机变量所呈现 A出的规律,这种规律一般用随机变量序列的某种收敛性来刻 画。本章仅介绍几个最基本的大数定律。下面,先介绍一个 重要的不等式。 切比雪夫( Chebyshev)不等式 A对于任一随机变量X,若EX与DX均存在则对任意> 广恒有 DX P(X-EX|≥E}≤-2 (5-1) 上页
§5.1 大数定律 迄今为止,人们已发现很多大数定律(laws of large numbers) 所谓大数定律，简单地说，就是大量数目的随机变量所呈现 出的规律，这种规律一般用随机变量序列的某种收敛性来刻 画。本章仅介绍几个最基本的大数定律。下面，先介绍一个 重要的不等式。 一、切比雪夫（Chebyshev）不等式 对于任一随机变量X ,若EX与DX均存在,则对任意ε＞0, 恒有 . (5-1) 2 {| | } DX P X − EX
证明我们仅给出X为连续型随机变量情形下的证明。设f(x) r"为连续型随机变量λ的密度函数,则有 P(X-EX128)=f(x)dx x-EX≥E Ix-EX f(xda +oo I f(x)dx DX 王(51)式的等价形试为 P{|X=EX|1 DX 2 (5-2) 王页下
证明 我们仅给出X为连续型随机变量情形下的证明。设 为连续型随机变量X的密度函数，则有 （5-1）式的等价形式为 . (5-2) f (x) P{| X − EX | } − = ( )d x EX f x x − − 2 2 ( )d | | x EX f x x x EX + − − 2 2 ( )d | | f x x x EX DX 2 1 = P{| X − EX | } 2 1 DX −
王切比雪夫不等式说明,D越小,则Px=EX|≥a 不越小門x-EX<以越大,也就是说,随机变量X取值 基本上集中在EX附近,这进一步说明了方差的意义。 同时当EX和D已知时,切比雪夫不等式给出了概率 王x-Ex≥e:的一个上界,该上界并不涉及随机变x 千的具体概率分布,而只与其方差D和有关,因此, 切比雪夫不等式在理论和实际中都有相当广泛的应 二用。需要指出的是,虽然切比雪夫不等式应用广泛, 上但在一个具体问题中,由它给出的概率上界通常比较 保守。 上页
切比雪夫不等式说明，DX越小，则 越小， 越大， 也就是说，随机变量X取值 基本上集中在EX附近，这进一步说明了方差的意义。 同时当EX和DX已知时，切比雪夫不等式给出了概率 的一个上界，该上界并不涉及随机变X 的具体概率分布，而只与其方差DX和ε有关，因此， 切比雪夫不等式在理论和实际中都有相当广泛的应 用。需要指出的是，虽然切比雪夫不等式应用广泛， 但在一个具体问题中，由它给出的概率上界通常比较 保守。 P{| X − EX | } P{| X − EX | } P{| X − EX | }
二、大数定律 在叙述大数定律之前,首先介绍两个基本概念 定义5.设,X2…X为一个随机变量序列,记为 x,若对任何2,随机变量xx嘟相互独立 庄则称X是相互独立的随机变量序列 c定义52设x为一随机变量序列,x为随机变量 斗或常数,若对任意>0,有 lim PX,-X<8= n- 中则称{x依概率收敛于X记为,→或,x→0→ 牛下面是一个带普遍性结果的大数定律 上页
二、大数定律 在叙述大数定律之前，首先介绍两个基本概念。 定义5.1 设 为一个随机变量序列，记为 ，若对任何n≥2，随机变量 都相互独立 ，则称 是相互独立的随机变量序列。 定义5.2 设 为一随机变量序列，X为一随机变量 或常数，若对任意ε＞0，有 则称 依概率收敛于X,记为 或 ， . 下面是一个带普遍性结果的大数定律。 X1 , X2 , , Xn , { } Xn X X Xn , , , 1 2 { } Xn { } Xn lim { − } =1 → P X X n n Xn X X P n ⎯→ − ⎯→0 P Xn X n →
定理51(切比雪夫大数定律)设x是相互独立的随机变 量序列,并且E和DX均存在=1,2,…,同时,存在常数C,使 DX;≤C,i=1,2, 上则对任意的>0,有 血Px EX 0(m→∞) n 证明因{xn为独立随机变量序列,故 ∑x,|=∑D 根据切比雪夫不等式可得 X EM<6}=P∑x-b∑X<
定理5.1 （切比雪夫大数定律）设 是相互独立的随机变 量序列，并且 和 均存在， ,同时，存在常数C，使 则对任意的ε＞0，有 （5-3） 即， . 证明 因 为独立随机变量序列，故 . 根据切比雪夫不等式可得 , { } Xn EXi DX i i = 1, 2, DXi C, i =1, 2, 1 1 1 lim 1 1 = − = = → n i n i i i n EX n X n P 0 ( ) 1 1 1 1 − ⎯→ → = = EX n n X n P n i i n i i { } Xn n C DX n X n D n i i n i i = = =1 2 1 1 1 = − − = = = = n i n i i i n i n i i i X n X E n EX P n X n P 1 1 1 1 1 1 1 1
nE r所以 C P X EX0,有 mP∑X 叫<E}=1 n→0 5 王页贡返回
所以 利用计算极限的夹逼准则可知，（5-3）式成立。 本结果由俄国数学家切比雪夫于1866年证明，是关于大数 定律的普遍结果，许多大数定律的古典结果都是它的特例。 推论1 设 是独立同分布的随机变量序列，且 则对任意ε＞0，有 . （5-4） 2 2 1 1 1 1 n C X n D n i i − − = 1 1 1 1 1 1 2 − − = = n i n i i EXi n X n P n C { } Xn EXi = , DX i = 2 , i = 1, 2, 1 1 lim 1 = − = → n i i n X n P
证明只需将∑E=∑=代入(53)即证(54).口 推论1使我们关于算术平均值的法则有了理论上的依据。如 斗我们要测量某段距离,在相同条件下重复进行m次,得n个测 量值X1X2X,它们可以看成是n个相互独立的随机变量, H具有相同的分布、相同的数学期望和方差o2由推论的大 上数定律知,只要充分大,则以接近于的概率保证 X 这便是在n较大情况下反映出的客观规律,故称为“大数"定律。 A比推论1条件更宽的一个大数定律是辛钦( Khintchine)大 中数定律它不需要推论1条件中差DX存在的限制,而在 其它条件不变的情况下,仍有(5-4)式的结论。 上页
证明 只需将 代入（5-3）即证（5-4）. 推论1使我们关于算术平均值的法则有了理论上的依据。如 我们要测量某段距离，在相同条件下重复进行n次，得n个测 量值 ，它们可以看成是n个相互独立的随机变量, 具有相同的分布、相同的数学期望μ和方差 ，由推论1的大 数定律知，只要n充分大，则以接近于1的概率保证 这便是在n较大情况下反映出的客观规律,故称为“大数”定律。 比推论1条件更宽的一个大数定律是辛钦（Khintchine）大 数定律,它不需要推论1条件中“方差 存在”的限制，而在 其它条件不变的情况下，仍有（5-4）式的结论。 = = = = n i n i i n EX n 1 1 1 1 X X Xn , , , 1 2 2 = n i Xi n 1 1 DX i
王 推论2(贝努利大数定律)设事件4发生的概率为,在喱重 千贝努利试验中4发生的频率为,则对任意的>0,有 lm Pi-p<a=l (5-5) n→00 证明首先引入一融机变量序列(x,对每个x取懂如下: 0第次试验中A不发生 1第次试验中A发生 则x~B(.,p)i=1,2,…,n从而BX=ppx=p(-p),=12…n 斗将∑x=并代入(54)式便得(55)式口 这是历史上最早的大数定律,是贝努利在1713年建立的。 概率论的研究到现在约有300多年的历史,最终以事件的频率 稳定值来定义其概率。作为概率这门学科的基础,其“定义” 王页下
推论2（贝努利大数定律）设事件A发生的概率为p，在n重 贝努利试验中A发生的频率为 ，则对任意的ε＞0，有 , （5-5） 即， . 证明 首先引入一随机变量序列 ，对每个Xi取值如下： 则 ， . 从而， ， , . 将 一并代入（5-4）式便得（5-5）式. 这是历史上最早的大数定律，是贝努利在1713年建立的。 概率论的研究到现在约有300多年的历史，最终以事件的频率 稳定值来定义其概率。作为概率这门学科的基础，其“定义” n f lim {| − | } = 1 → P f p n n f ⎯→ p n → P n , { } Xn = 1 0 第 次试验中 发生 第 次试验中 不发生 i A i A Xi i = 1, 2, ,n X ~ B(1, p) i i = 1, 2, ,n EXi = p DX p(1 p) i = − i = 1, 2, ,n n n i i X f n = =1 1