第五章基本极限定理 【授课对象】理工类本科二年级 【授课时数】2学时 【授课方法】课堂讲授与提问相结合 【基本要求】1、理解切比雪夫不等式 2、了解切比雪夫大数定理及 Berno大数定理 3、知道独立同分布的中心极限定理,了解德莫佛一拉普拉斯中心极限 定理。 【本章重点】切比雪夫不等式,切比雪夫大数定理及 Bernot大数定理。 【本章难点】对切比雪夫大数定理及独立同分布的中心极限定理的理解。 【授课内容及学时分配】 §5.1切比雪夫不等式及大数定障 0.前言 在第一章我们提到过事件发生的频率具有稳定性,即随着试验次数的增加,事件发生的 频率逐渐稳定于某个常数,这一事实显示了可以用一个数来表征事件发生的可能性大小,这 使人们认识到概率是客观存在的,进而由频率的三条性质的启发和抽象给出了概率的定义 而频率的稳定性是概率定义的客观基础。在实践中人们还认识到大量测量值的算术平均值也 具有稳定性,而这种稳定性就是本节所要讨论的大数定律的客观背景,而这些理论正是概率 论的理论基础。 下面介绍三个定理,它们分别反映了算术平均值及频率的稳定性。 大数定律(包括强大数定律和弱大数定律,本书主要讲弱大数定律) 事件的频率稳定于概率,能否有m当=p,答案是否定的。而是用 出 p2-→0(m→)[以概率收敛]来刻划(弱,或者用P一→p=1[m收 来刻划(强)
1 第五章 基本极限定理 【授课对象】理工类本科二年级 【授课时数】2 学时 【授课方法】课堂讲授与提问相结合 【基本要求】1、理解切比雪夫不等式； 2、了解切比雪夫大数定理及 Bernoulli 大数定理； 3、知道独立同分布的中心极限定理，了解德莫佛—拉普拉斯中心极限 定理。 【本章重点】切比雪夫不等式，切比雪夫大数定理及 Bernoulli 大数定理。 【本章难点】对切比雪夫大数定理及独立同分布的中心极限定理的理解。 【授课内容及学时分配】 §5.1 切比雪夫不等式及大数定律 0.前言 在第一章我们提到过事件发生的频率具有稳定性，即随着试验次数的增加，事件发生的 频率逐渐稳定于某个常数，这一事实显示了可以用一个数来表征事件发生的可能性大小，这 使人们认识到概率是客观存在的，进而由频率的三条性质的启发和抽象给出了概率的定义， 而频率的稳定性是概率定义的客观基础。在实践中人们还认识到大量测量值的算术平均值也 具有稳定性，而这种稳定性就是本节所要讨论的大数定律的客观背景，而这些理论正是概率 论的理论基础。 下面介绍三个定理，它们分别反映了算术平均值及频率的稳定性。 一、大数定律(包括强大数定律和弱大数定律，本书主要讲弱大数定律) 事 件 的 频 率 稳 定 于 概 率 ， 能 否 有 p n lim n n = → ， 答 案 是 否 定 的 。 而 是 用 { − } → 0 ( → ) p n n P n [以概率收敛]来刻划（弱）。或者用 { } 1 n n P p n ⎯⎯⎯→ = → [a.e.收敛] 来刻划（强）
定义:设{n}是随机变量序列,如果存在常数列a12a2…“an,对vE>0,恒有 iP∑2-a2e}=0,则称!n}服从弱大数定律 切比雪夫大数定律 切比雪夫不等式 设随机变量ξ具有有限的期望与方差,则对ⅤE>0,有 E(5≥E)≤D5 或P(5-E(5)0,有 m50m→E5(m→0 证明:由切比雪夫不等式知:VE>0,有 0P∑5-E()e≤D(∑5令 n2s2 n282
2 定义： 设 n 是 随 机 变 量序 列 ， 如果 存 在 常数 列 a a an , , 1 2 ， 对 0 ，恒有 0 1 lim 1 = − = → n n i i n a n P ，则称 n 服从弱大数定律。 二、切比雪夫大数定律 1．切比雪夫不等式 设随机变量 具有有限的期望与方差，则对 0 ，有 2 ( ) ( ( ) ) D P − E 或 2 ( ) ( ( ) ) 1 D P − E − 证明：我们就连续性随机变量的情况来证明。设 ~ ( ) p x ，则有 2 2 ( ) ( ) ( ( )) ( ( ) ) ( ) ( ) x E x E x E P E p x dx p x dx − − − − = 2 2 2 1 ( ) ( ( )) ( ) D x E p x dx + − − = 该不等式表明：当 D( ) 很小时， P( − E() ) 也很小，即 的取值偏离 E( ) 的可能性很小。 这再次说明方差是描述 取值分散程度的一个量。 切比雪夫不等式常用来求在随机变量分布未知，只知其期望和方差的情况下，事件 { } − E 概率的下限估计；同时，在理论上切比雪夫不等式常作为其它定理证明的工具。 2．定理 1（切比雪夫大数定律） 设 { }n 是相互独立的随机变量序列，每一随机变量都有有限的方差，且一致有界，即 存在常数 C ， 使 D( i ) C i =1,2, ，则对任意的 0 ， 有 0 1 1 1 1 − = = = → E( ) } n n lim P{ n i n i i i n [即 1 1 1 1( ) ( ) n n p i i i i E n n n = = ⎯⎯→ → ] 证明：由切比雪夫不等式知： 0, 有： ) 0( ) 1 ( 1 ( ) } 1 1 0 { 2 2 2 2 2 1 1 2 1 1 − = = → → = = = = n n C n nC n D n E D n n P n i n i i i n i n i i i
该定理表明:当n很大时,随机变量5…5n的算术平均值∑5接近于其数学期望 E(∑5),这种接近是在概率意义下的接近。通俗的说,在定理的条件下,n个相互独立的 随机变量算术平均值,在n无限增加时将几乎变成一个常数。 推论:设51…5n是相互独立的随机变量,由相同的数学期望和方差 E(5)=,D(5)=σ21=12…,则VE>0.,有 lnP|∑5-川2}=0(即∑;以概率收敛于) 这个结论有很实际的意义:人们在进行精密测量时,为了减少随机误差,往往重复测量 多次,测得若干实测值5,…5,然后用其平均值∑5来代替 切比雪夫大数定律是最基本的大数定理,作为切比雪夫大数定律的特殊情形有 Bernoulli大数定理和辛钦大数定律。 三、 Berno大数定理 定理2:设以n是n重 Bernoulli试验中事件A出现的次数,而p(00, 加mP ≥E}=0 n→an 证明:令5 第次试验中4出现 0第次试验中A不出现12,…,n 则5,5,5相互独立且点=1∑;,B()=P,E(∑:)=p,D5)=P(-)s n i=1,2,…,n 故由切比雪夫大数定律立刻推出贝努里大数定律。 或者,直接由切比雪夫不等式,对VE>0,有 0≤PP-P≥E}= n 5,=P/l-p) →0
3 该定理表明：当 n 很大时，随机变量 n , , 1 的算术平均值 1 1 n i n i = 接近于其数学期望 1 1 ( ) n i i E n = ，这种接近是在概率意义下的接近。通俗的说，在定理的条件下， n 个相互独立的 随机变量算术平均值，在 n 无限增加时将几乎变成一个常数。 推 论 ： 设 n , , 1 是 相 互 独 立 的 随 机 变 量 ， 由 相 同 的 数 学 期 望 和 方 差 E( i ) = , D( i ) = 2 i = 1,2, ，则 0, 有 } 0 1 lim { 1 − = = → n i i n n P （即 = n i i n 1 1 以概率收敛于 ） 这个结论有很实际的意义：人们在进行精密测量时，为了减少随机误差，往往重复测量 多次，测得若干实测值 n , , 1 ，然后用其平均值 = n i i n 1 1 来代替 。 切比雪夫大数定律是最基本的大数定理，作为切比雪夫大数定律的特殊情形有 Bernoulli 大数定理和辛钦大数定律。 三、Bernoulli 大数定理 定理 2：设 n 是 n 重 Bernoulli 试验中事件 A 出现的次数，而 p (0 p 1) 是事件 A 在每 次试验中出现的概率，则对 0， lim = 0 − → p n P n n 证明：令 = 第 次试验中 不出现 第 次试验中 出现 i A i A i 0 1 ，i＝1,2, , n 则 1 2 , , , n 相互独立且 n n ＝ = n i i n 1 1 ， E( i ) = P ， 1 1 ( ) n i i E p n = = ， 4 1 D( i ) = P(1− P) ， i＝1,2, , n 故由切比雪夫大数定律立刻推出贝努里大数定律。 或者，直接由切比雪夫不等式，对 0 ，有 = − − = = n i i n i i n n E n P P n P 1 1 1 1 0 0 1 1 1 2 1 2 → − = = n p( p ) n D n i i (n → )
即→P(n→∞)。故{;}服从大数定律 Bernoulli大数定律表表明:事件发生的频率依概率收敛于事件的概率p,这个定理 以严格的数学形式表达了频率的稳定性。就是说当n很大时,事件发生的频率于概率有较大 偏差的可能性很小。由实际推断原理,在实际应用中,当试验次数很大时,便可以用事件发 生的频率来代替事件的概率。 切比雪夫大数定律(定理1)中要求随机变量与,2…,n,…的方差存在,但在这些随机 变量服从相同分布的场合,并不需要这一要求,从而我们有以下的定理: 四、辛钦大数定律 定理3:设随机变量51…5独立同分布,且具有数学期望E(5)=i=12…,则vE>0, 有mP{∑5-叫≥;}=0(即∑5以概率收敛于) 证明:略。 显然, Bernau大数定律是辛钦大数定律的特殊情况
4 即 P n p n → (n → ) 。故{ i }服从大数定律。 Bernoulli 大数定律表表明：事件发生的频率 n n 依概率收敛于事件的概率 p ，这个定理 以严格的数学形式表达了频率的稳定性。就是说当 n 很大时，事件发生的频率于概率有较大 偏差的可能性很小。由实际推断原理，在实际应用中，当试验次数很大时，便可以用事件发 生的频率来代替事件的概率。 切比雪夫大数定律（定理 1）中要求随机变量 1 2 , , , , n 的方差存在，但在这些随机 变量服从相同分布的场合，并不需要这一要求，从而我们有以下的定理： 四、辛钦大数定律 定理 3：设随机变量 n , , 1 独立同分布，且具有数学期望 ( ) , 1,2, E i i = = ，则 0, 有 } 0 1 lim { 1 − = = → n i i n n P （即 = n i i n 1 1 以概率收敛于 ） 证明：略。 显然，Bernoulli 大数定律是辛钦大数定律的特殊情况
§5.2中心极限定理 0.前言 在客观实际中有许多随机变量,它们是由大量的相互独立的随机因素的综合影响所形 成的,而其中每一个因素在总的影响中所起的作用都是微小的,这种随机变量是近似地服从 正态分布,这种现象就是中心极限定理的客观背景。 中心极限定理的内容包含极限,因而称它为极限定理是很自然的,又由于它在统计中 的重要性,称它为中心极限定理这是 Phyla在1920年取得名字。 设(n}是相互独立的随机变量序列,它们的期望与方差均存在,考虑 ∑5;-E∑ξ:) (标准化和)n=1,2…,这时对于任意的n都有En=0,DEn=1,因而 VDs) 当n→>∞时,ξn不至于发生趋向于0或∞这种情形,这时讨论它的分布才有意义。下面研究 n的分布: ∑5-E(∑ξ) 、定义1:设{n为相互独立的随机变量序列,若其标准化和Cn 的分布 C∑) 函数P[bn≤x}弱收敛于标准正态分布N(0,1)的分布函数Φ(x),即 lim PIc≤x e2d,则称{n服从中心极限定理。[n≈N(O1)] →① 中心极限定理有多种不同的形式,下面我主要讲独立同分布的中心极限定理及其一特殊 情形 、定理1:( Levy-Lindeberg极限定理)[独立同分布的中心极限定理」 设{n}是独立同分布的随机变量序列,且E51=μ,D51=σ2(σ>0),i=12…,均存 在,则x∈R,有mP ≤x}= 证:(略)
5 §5.2 中心极限定理 0.前言 在客观实际中有许多随机变量，它们是由大量的相互独立的随机因素的综合影响所形 成的，而其中每一个因素在总的影响中所起的作用都是微小的，这种随机变量是近似地服从 正态分布，这种现象就是中心极限定理的客观背景。 中心极限定理的内容包含极限，因而称它为极限定理是很自然的，又由于它在统计中 的重要性，称它为中心极限定理这是 Poyla 在 1920 年取得名字。 设 { n } 是 相 互 独 立 的 随 机 变 量 序 列 ， 它 们 的 期 望 与 方 差 均 存 在 ， 考 虑 ( ) ( ) 1 1 1 = = = − = n i i n i i n i i n D E （标准化和） n = 1,2 ，这时对于任意的 n 都有 E n = 0 , D n =1 ，因而 当 n → 时， n 不至于发生趋向于 0 或 这种情形，这时讨论它的分布才有意义。下面研究 n 的分布： 一、定义 1：设{ n}为相互独立的随机变量序列，若其标准化和 ( ) ( ) 1 1 1 = = = − = n i i n i i n i i n D E 的分布 函 数 P{ x n } 弱收敛于标准正态分布 N(0,1) 的分布函数 (x) , 即 n→ lim P{ x n }= 2 1 e dt x t − − 2 2 ，则称{ n}服从中心极限定理。[ N(0,1) d n ] 中心极限定理有多种不同的形式，下面我主要讲独立同分布的中心极限定理及其一特殊 情形： 二、定理 1:(Levy-Lindeberg 极限定理)[独立同分布的中心极限定理] 设 { } n 是独立同分布的随机变量序列，且 2 E i = , D i = （ 0 ）， i = 1,2, ，均存 在，则 x R ，有 ( ) 2 1 lim 1 2 2 x e dt x n n P x t n i i n = = − − − = → 证：（略）
该定理也可改写为:对Ⅶa<b,有mP< ≤b}=d(b)-d(a) 在一般情况下,很难求出n个随机变量之和∑5的分布函数,该定理表明:当n充分大 时,可以通过c(x)给出其近似分布,这样就可以利用正态分布对∑5作理论分析或作实际 计算,其好处是明显的。 三、定理2( De moivre- Laplace极限定理)(定理1的特殊情形) 设μn(n=1,2,…)是n重 Bernoulli试验中成功的次数,已知每次试验成功的概率为 p0<p<1,则对Wx∈R有mP4-5x) T-oo-ar=(x) 该定理也可改写为:<b,有mP{<≤6=()-() npq 1第次试验出现成功 证明:令ξ,= 则 0第次试验不出现成功 {}为独立同分布的随机变量序列,且E1=p,DE1=p(1-p)均存在 显然:=∑5,此时4n=二 npq 该定理为上定理的一个特殊情形,故由上定理该定理得证 中心极限定理表明:在相当一般的条件下,当独立随机变量的个数增加时,其和的分布 趋于正态分布。因此,只要和式中加项的个数充分大,就可以不必考虑和式中的随机变量服 从什么分布,都可以用正态分布来近似,这在应用上是有效的和重要的 作为以上两个定理的应用,我们给出下面例子: 例1:(关于二项分布的近似计算式)设5~B(n,p),试求P{m1<5≤m2} 解:令=∑5,其中5 第次试验出现成功 0第次试验不出现成功 1,2, 则51,52…,5n为独立同分布的随机变量序列,且EE,=p,D2,=p(1-p)均存在,所以由中心 极限定理可得:
6 该定理也可改写为：对 a b ，有 lim { } ( ) ( ) 1 b b a n n P a n i i n = − − = → 在一般情况下，很难求出 n 个随机变量之和 1 n i i = 的分布函数，该定理表明：当 n 充分大 时，可以通过 ( ) x 给出其近似分布，这样就可以利用正态分布对 1 n i i = 作理论分析或作实际 计算，其好处是明显的。 三、定理 2（De Moivre-Laplace 极限定理）(定理 1 的特殊情形) 设 ( 1,2, ) n n = 是 n 重 Bernoulli 试验中成功的次数，已知每次试验成功的概率为 p(0 p 1) ，则对 x R, 有 ( ) 2 2 1 lim { } 2 x n n np t P x dt x npq e − → − − = = 。 该定理也可改写为： a b ，有 lim { } ( ) ( ) n n np P a b b a npq → − = − 证明： 令 = 第 次试验不出现成功 第 次试验出现成功 i i i 0 1 则 { } i 为独立同分布的随机变量序列,且 , (1 ) E p D p p i i = = − 均存在 显然： 1 n n i i = = ，此时 n n np npq − = 该定理为上定理的一个特殊情形，故由上定理该定理得证。 中心极限定理表明：在相当一般的条件下，当独立随机变量的个数增加时，其和的分布 趋于正态分布。因此，只要和式中加项的个数充分大，就可以不必考虑和式中的随机变量服 从什么分布，都可以用正态分布来近似，这在应用上是有效的和重要的。 作为以上两个定理的应用，我们给出下面例子： 例 1：（关于二项分布的近似计算式）设 ~ B(n, p) ，试求 { } P m1 m2 解：令 1 n i i = = ，其中 1 1,2, , 0 i i i n i = = 第 次试验出现成功 第 次试验不出现成功 则 1 2 , , , n 为独立同分布的随机变量序列,且 , (1 ) E p D p p i i = = − 均存在，所以由中心 极限定理可得：
P{m<5≤m2}=∑Cnp2(-p)=P Inp(I-p) np(I-p m,-np )-d( np(I-p) 【注】:在进行近似计算时,对于ξ~B(n,p),因为表示的是成功出现的次数,故其区间应 为有限区间:而对于n~P(k;),由于n的取值为非负整数,故其区间可以是无限的:对于其 它类型的随机变量,应根据实际问题而定其区间类型 例2:P19例4 课后作业:1、仔细阅读P1219; 2、作业:P1202,5,7,9
7 { } P m1 m2 = } (1 ) (1 ) (1 ) (1 ) { 1 2 2 1 np p m np np p np np p m np C p p P m k m k k n k n − − − − − − − = = − ) (1 ) ) ( (1 ) ( 1 2 np p m np np p m np − − − − − 【注】：在进行近似计算时，对于 ~ B(n, p) ，因为 表示的是成功出现的次数，故其区间应 为有限区间；而对于 ~ P(k;) ，由于 的取值为非负整数，故其区间可以是无限的；对于其 它类型的随机变量，应根据实际问题而定其区间类型。 例 2:P119 例 4 课后作业： 1、仔细阅读 P112-119； 2、作业：P120 2，5，7，9