第四章大数定律和中心极限定理 本章主要讲述契比雪夫不等式,契比雪夫大数定律,贝努里大数定律和中心 内容极限定理等内容 提要 1、了解切比雪夫不等式、切比雪夫定理和伯努利定理。 重点|2、了解独立同分布的中心极限定理和棣莫佛一拉普拉斯定理 分析 难点|1、切比雪夫定理 2、独立同分布的中心极限定理 分析 习题习题4(35,8) 布置 备注
第四章 大数定律和中心极限定理 内容 提要 本章主要讲述契比雪夫不等式，契比雪夫大数定律，贝努里大数定律和中心 极限定理等内容． 重点 分析 1、 了解切比雪夫不等式、切比雪夫定理和伯努利定理。 2、 了解独立同分布的中心极限定理和棣莫佛—拉普拉斯定理。 难点 分析 1、 切比雪夫定理。 2、 独立同分布的中心极限定理。 习题 布置 习题 4 (3,5,8) 备注
教学内容( Contents Chapter Four大数定律和中心极限定理 Large number law and Central Limit Theorem) §4.1大数定律 Large number law) 人们在长期的实践中发现,事件发生的频率具有稳定性,也就是说随着试验次数的增多, 事件发生的频率将稳定与一个确定的常数。对某个随机变量X进行大量的重复观测,所得到 的大批观测数据的算术平均值也具有稳定性,由于这类稳定性都是在对随机现象进行大量重 复试验的条件下呈现出来的,因而反映这方面规律的定理我们就统称为大数定律 契比雪夫不等式( Chebyshev inequality) Theorem4.1设随机变量X的均值E(X)及方差D(X)存在,则对于任意正数E,有不 等式 X P{X-E(Y)P}≤ 或 P{X-E(X)ke}≥1 (If the mean E(X)and variance D(X)of the random variable X are known, then for any value 8>0 PI X-E(XRES(X) X-E(x)ke}≥ D(X) 我们称该不等式为契比雪夫( Chebyshev)不等式 Proof::(我们仅对连续性的随机变量进行证明)设f(x)为X的密度函数,记E(X)= D(X=O PllX-E(X)PE)=f(x)dx< [(x-p-f(r)dr D(X) (x-)f(x)dx≤ 从定理中看出,如果D(X)越小,那么随机变量X取值于开区间(E(X)-E,E(X)+ε)中的 概率就越大,这就说明方差是一个反映随机变量的概率分布对其分布中心( distribution center)(E(X)的集中程度的数量指标 利用契比雪夫不等式,我们可以在随机变量X的分布未知的情况下估算事件 X-E(X)k}的概率 Example41设随机变量X的数学期望E(X)=10,方差D(X)=0.04,估计 P⑨2<X<1!的大小 Solution P92<X<1l}=P(-08<X-10<l}2P{X-10<0821 0.04 =0.9375 因而P92<X<1不会小于09375
48 教 学 内 容 ( Contents ) Chapter Four 大数定律和中心极限定理(Large Number Law and Central Limit Theorem) §4.1 大数定律(Large number law) 人们在长期的实践中发现，事件发生的频率具有稳定性，也就是说随着试验次数的增多， 事件发生的频率将稳定与一个确定的常数。对某个随机变量 X 进行大量的重复观测，所得到 的大批观测数据的算术平均值也具有稳定性，由于这类稳定性都是在对随机现象进行大量重 复试验的条件下呈现出来的，因而反映这方面规律的定理我们就统称为大数定律。 一、 契比雪夫不等式（Chebyshev inequality） Theorem 4.1 设随机变量 X 的均值 E(X ) 及方差 D(X ) 存在，则对于任意正数 ，有不 等式 2 ( ) {| ( ) | } D X P X − E X 或 2 ( ) {| ( ) | } 1 D X P X − E X − 成立。 (If the mean E(X ) and variance D(X ) of the random variable X are known，then for any value 0 2 ( ) {| ( ) | } D X P X − E X or 2 ( ) {| ( ) | } 1 D X P X − E X − ) 我们称该不等式为契比雪夫（Chebyshev）不等式。 Proof: （我们仅对连续性的随机变量进行证明）设 f (x) 为 X 的密度函数，记 E(X ) = ， 2 D(X) = 则 − − − − = x x f x dx x P X E X f x dx ( ) ( ) {| ( ) | } ( ) 2 2 2 2 2 2 2 1 ( ) ( ) ( ) 1 D X x − f x dx = + − 从定理中看出，如果 D(X ) 越小，那么随机变量 X 取值于开区间 (E(X ) − ,E(X ) + ) 中的 概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布中心(distribution center) (E(X )) 的集中程度的数量指标。 利用契比雪 夫不等式 ，我们可 以在随 机变量 X 的分布未知 的情况 下估算事件 {| X − E(X ) | } 的概率。 Example 4.1 设随机变量 X 的数学期望 E(X ) = 10 ，方差 D(X ) = 0.04, 估 计 P9.2 X 11 的大小。 Solution 0.9375 (0.8) 0.04 9.2 11 0.8 10 1 10 0.8 1 2 P X = P − X − P X − − = 因而 P9.2 X 11 不会小于 0.9375
、契比雪夫大数定律( Chebyshev Law of Large Number) Theorem42设相互独立的随机变量X1,X2,…,Xn,…分别具有均值 E(X1),E(X2)…,E(Xn)…及方差D(X1)D(2)…D(Xn)…若存在常数C,使 D(X)≤C,(k=1,2,),则对于任意正整数E,有 imP∑X-∑E(X40 Xk E(X4)1,X,X2,…,Xn相互 独立。于是 D∑x,)=∑x,)sS 令=1∑x4,则由契比雪夫不等式 Chebyshev inequali)有 1≥Pp-E()0 Iim p Xk-山<E}=1.) 定理42我们称之为契比雪夫大数定理( Chebyshev Law of Large Number),推论41是 它的特殊情况,该推论表明,当n很大时,事件∑X4-<E的概率接近于1。一般地 我们称概率接近于1的事件为大概率事件( large probability event),而称概率接近于0的事件 为小概率事件( small probability event),在一次试验中大概率事件几乎肯定要发生,而小概率 事件几乎不可能发生,这一规律我们称之为实际推断原理 fact infer principle) 三、贝努里大数定律( Bernoulli law of large number) Theorem4.3设m是u次独立重复试验中事件A发生的次数,P是事件A在每次试验中
49 二、 契比雪夫大数定律（Chebyshev Law of Large Number） Theorem 4.2 设相互独立的随机变量 X1 , X2 , , Xn , 分别具有均值 ( ), ( ), , E X1 E X2 E(Xn ), 及方差 ( ) D X1 ( ), , D X2 D(Xn ), ，若存在常数 C ，使 D(X ) C,(k =1,2, ) k ，则对于任意正整数 ，有 ( ) 1 1 1 lim 1 1 = − = = → n k k n k k n E X n X n P （Let X1 , X2 , , Xn , be a sequence of independent random variables with the mean ( ), ( ), , E X1 E X2 E(Xn ), and variance ( ) D X1 , ( ), , D X2 D(Xn ),，suppose there exists a constant C , such that D(X ) C,(k =1,2, ) k ，then for any value 0， ( ) 1 1 1 lim 1 1 = − = = → n k k n k k n E X n X n P ） Proof： 由于 X1 , X2 , , Xn , 相互独立，那么对于任意的 n 1，X X Xn , , , 1 2 相互 独立。于是 n C D X n X n D n k k n k k = = = 1 2 1 ( ) 1 ) 1 ( 令 = = n k n X k n y 1 1 ，则由契比雪夫不等式（Chebyshev inequality）有 2 2 1 ( ) 1 ( ) 1 n D Y C P Y E Y n n − n − − 令 n →， 则有 lim − ( ) =1 → n n n P Y E Y 即 ( ) 1 1 1 lim 1 1 = − = = → n k k n k k n E X n X n P . Corollary 4.1 设相互独立的随机变量 X1 , X2 , , Xn , 有相同的分布，且 E(Xk ) = ， ( ) ,( 1,2, ) D Xk 2 k = 存在，则对于任意正整数 ，有 1 1 lim 1 = − = → n k k n X n P .（Let X1 , X2 , , Xn , be a sequence of independent and identically distributed random variables，and E(Xk ) = ， ( ) ,( 1,2, ) D Xk = 2 k = exist ,then,for any value 0 ， 1 1 lim 1 = − = → n k k n X n P .） 定理 4.2 我们称之为契比雪夫大数定理（Chebyshev Law of Large Number），推论 4.1 是 它的特殊情况，该推论表明，当 n 很大时，事件 − = n k Xk n 1 1 的概率接近于 1。一般地， 我们称概率接近于 1 的事件为大概率事件(large probability event)，而称概率接近于 0 的事件 为小概率事件(small probability event)，在一次试验中大概率事件几乎肯定要发生，而小概率 事件几乎不可能发生，这一规律我们称之为实际推断原理(fact infer principle)。 三、 贝努里大数定律（Bernoulli Law of Large Number） Theorem 4.3 设 m 是 n 次独立重复试验中事件 A 发生的次数， p 是事件 A 在每次试验中
发生的概率,则对于任意正整数E,有mPm-p0 <E}=1 1第k次试验A发生 Proof:;令X 0第k次试验4不发生 (k=1,2,…),X1,X2,…,X是n个相互 独立的随机变量,且E(X1)=p,D(X1)=p又m=X1+X2+…+Xk,因而由推论41 有 lim p. p<a lim p 定理43我们称之为贝努利大数定律( Bernoulli Law of Large Number),它表明事件A发 生的频率m/n依概率收敛于事件A的概率p,也就是说当n很大时事件发生的频率与概率有 较大偏差的可能性很小。根据实际推断原理,当试验次数很大时,就可以利用事件发生的频 率来近似地代替事件的概率。 §4.2中心极限定理( Central Limit theorem) 中心极限定理( Central limit theorem)是研究在适当的条件下独立随机变量的部分 和∑X的分布收敛于正态分布的问题。 Theorem4.4设相互独立的随机变量X12X2,…,Xn…服从同一分布,且 ∑Xk-m E(XA)=4,D(X)=a2≠0,(k=12,…),则对于任意x,随机变量yn 分布函数F(x)趋于标准正态分布函数,即有 X ImF(x)=mP如 ≤ dt √nO √2丌 (Let X,x2,., Xn, . be a sequence of independent and identically distributed random variables, and E(XN=A, D(X=o, (k=1, 2,.)exist, then, for any x, the distribution function X-n F(x) of random variable Y, tends to the standard normal distrib
50 发生的概率，则对于任意正整数 ，有 lim = 1 − → p n m P n . （Let m represents the number of events A that occur in the n independent trials，p represents the probability of events A that occur in each trials, then for any value 0 lim = 1 − → p n m P n .） Proof： 令 ( 1,2, ) 0 1 = = k k A k A X K 第 次试验 不发生 第 次试验 发生 ， X X Xk , , , 1 2 是 n 个相互 独立的随机变量，且 E(Xi ) = p,D(Xi ) = pq .又 m = X1 + X2 ++ Xk ，因而由推论 4.1 有 1 lim 1 1 lim 1 n n k n k m P p n P X p n → → = − = − = 定理 4.3 我们称之为贝努利大数定律（Bernoulli Law of Large Number），它表明事件 A 发 生的频率 m n 依概率收敛于事件 A 的概率 p ，也就是说当 n 很大时事件发生的频率与概率有 较大偏差的可能性很小。根据实际推断原理，当试验次数很大时，就可以利用事件发生的频 率来近似地代替事件的概率。 §4.2 中心极限定理(Central Limit Theorem) 中心极限定理(Central Limit Theorem)是研究在适当的条件下独立随机变量的部分 和 = n k X k 1 的分布收敛于正态分布的问题。 Theorem 4.4 设相互独立的随机变量 X1 , X2 , , Xn , 服从同一分布，且 E(Xk ) = ， ( ) 0,( 1,2, ) D Xk = 2 k = ，则对于任意 x ，随机变量 n X n Y n k k n = − = 1 的 分布函数 F (x) n 趋于标准正态分布函数，即有 − − = → → = − = x t n k k n n n x e dt n X n F x P 1 2 2 2 1 lim ( ) lim (Let X1 , X2 , , Xn , be a sequence of independent and identically distributed random variables， and E(Xk ) = ， ( ) ,( 1,2, ) D Xk = 2 k = exist ,then,for any x ,the distribution function F (x) n of random variable n X n Y n k k n = − = 1 tends to the standard normal distribution
mF(x)=mP{三 e 2 dt 定理的证明从略。 该定理我们通常称之为林德贝格勒维( Lindeberg-Lewy)定理 corollary4.2设相互独立的随机变量X1,X2…,Xn服从同一分布,已知均值为H,方差 为a2>0.单分布函数未知,当n充分大时,X=∑X近似服从正态分布Nm(oVm)2) (Let XX2, .,Xn, . be a sequence of independent and identically distributed random variables, with mean u and variance 0>0. While the distribution function is unknown, and n is large, then X=>X is a normal approximation distribution N(nu, (on)2). Corollary 443设相互独立的随机变量X1,X2…,X,服从同一分布,已知均值为4,方 差为a2>0.单分布函数未知,当n充分大时,=∑X近似服从正态分布N((P=) (LetX12X2…,Xn,…be identically dis variables, with mean u and variance o>0. While the distribution function is unknown, and n is large, then d= I >X is a normal approximation distribution N(u, (G-)2)) 由推论43知,无论X1,X2,…,X是什么样的分布函数,他的平均数X当n充分大时总 是近似地服从正态分布 Example42某单位内部有260部电话分机,每个分机有4%的时间要与外线通话,可 以认为每个电话分机用不同的外线是相互独立的,问总机需备多少条外线才能95%满足每个 分机在用外线时不用等候 1第k个分机要用外线 Solution令Xx 0第k个分机不要用外线 (k=12,…260),X1,X2,…,X20 是260个相互独立的随机变量,且E(X1)=0.04,m=X1+X2+…+X2表示同时使用外 线的分机数,根据题意应确定最小的x使P{m0.95,故,取b=1.65,于是 x=b260p(1-p)+260p=165×√260×004×09+260×04≈1561 也就是说,至少需要16条外线才能95%满足每个分机在用外线时不用等候 Example4.3用机器包装味精,每袋净重为随机变量,期望值为100克,标准差为10克, 箱内装200袋味精,求一箱味精净重大于20500克的概率 Solution设一箱味精浄重为X克,箱中第k袋味精的净重为Xk克,k=1,2,…,200 x1,X2,…,X20是200个相互独立的随机变量,且E(X)=100,D(x)=100 E(X)=E(X1+X2+…+X2m)=20000)=200001002
51 − − = → → = − = x t n k k n n n x e dt n X n F x P 1 2 2 2 1 lim ( ) lim .) 定理的证明从略。 该定理我们通常称之为林德贝格-勒维(Lindeberg-Levy)定理。 Corollary 4.2 设相互独立的随机变量 X X Xn , , , 1 2 服从同一分布，已知均值为 ，方差 为 0 2 .单分布函数未知，当 n 充分大时， = = n k X X k 1 近似服从正态分布 ( ,( ) ) 2 N n n . (Let X1 , X2 , , Xn , be a sequence of independent and identically distributed random variables，with mean and variance 0 2 .While the distribution function is unknown，and n is large，then = = n k X X k 1 is a normal approximation distribution ( ,( ) ) 2 N n n .) Corollary 4.3 设相互独立的随机变量 X X Xn , , , 1 2 服从同一分布，已知均值为 ，方 差为 0 2 .单分布函数未知，当 n 充分大时, = = n k X k n X 1 1 近似服从正态分布 ( ,( ) ) 2 n N . (Let X1 , X2 , , Xn , be a sequence of independent and identically distributed random variables，with mean and variance 0 2 .While the distribution function is unknown，and n is large，then = = n k X k n X 1 1 is a normal approximation distribution ( ,( ) ) 2 n N .) 由推论 4.3 知，无论 X X Xn , , , 1 2 是什么样的分布函数，他的平均数 X 当 n 充分大时总 是近似地服从正态分布。 Example 4.2 某单位内部有 260 部电话分机，每个分机有 4%的时间要与外线通话，可 以认为每个电话分机用不同的外线是相互独立的，问总机需备多少条外线才能 95%满足每个 分机在用外线时不用等候? Solution 令 ( 1,2, ,260) 0 1 = = k k k X K 第 个分机不要用外线 第 个分机要用外线 ， 1 2 260 X , X , , X 是 260 个相互独立的随机变量，且 E(Xi ) = 0.04，m = X1 + X2 ++ X260 表示同时使用外 线的分机数，根据题意应确定最小的 x 使 P{m x} 95% 成立。由上面定理，有 − − − − − − = b t e dt p p x p p p m p P m x P 2 2 2 1 260 (1 ) 260 260 (1 ) 260 { } 查得 (1.65) = 0.9505 0.95 ，故，取 b =1.65 ，于是 x = b 260p(1− p) + 260p =1.65 2600.040.96 + 2600.04 15.61 也就是说，至少需要 16 条外线才能 95%满足每个分机在用外线时不用等候。 Example 4.3 用机器包装味精，每袋净重为随机变量，期望值为 100 克，标准差为 10 克， 一箱内装 200 袋味精，求一箱味精净重大于 20500 克的概率。 Solution 设一箱味精净重为 X 克，箱中第 k 袋味精的净重为 X k 克， k = 1,2, ,200 . 1 2 200 X , X , , X 是 200 个相互独立的随机变量，且 E(Xk ) =100,D(Xk ) =100 ， E(X) = E(X1 + X2 ++ X200 ) = 20000,D(X) = 20000, D(X) =100 2
因而有P{Xx>20500}=1-P{X≤20500} x-2000500 ≈1-d(3.54)=0.00 100√2-100√2 Theorem4.5(德莫佛一拉普拉斯定理 DeMovire-Laplace Theoren)设m4表示w次独 立重复试验中事件A发生的次数,p是事件A在每次试验中发生的概率。则对于任意区间 (a,b],恒有 lim Pa<,-np b dt np(I-p (Let m, represents the number of events A that occur in the w independent trials, p represents the probability of events A that occur in each trials, then for any interal (a, b That is lim Pa< ≤b e 2 dt 这两个定理表明二项分布的极限分布是正态分布。一般来说,当n较大时,二项分布的概 率计算起来非常复杂,这是我们就可以用正态分布来近似地计算二项分布。 ∑Cp2(1-p)y=P{1≤mn≤n2}=P P (1-p) Inp(1-p) np(I-p) Example44设随机变量X服从B(1000.8),求P{80≤X≤100)} 100-80 80-80 Solution P{80≤X≤100}≈dp( n×08×02 n×0.8×02 d(5)-d(0)=1-0.5=0.5 Example4.5设电路共电网中内有10000盏灯,夜间每一盏灯开着的概率为0.7,假设各 灯的开关彼此独立,计算同时开着的灯数在6800与7200之间的概率 Solution记同时开着的灯数为X,它服从二项分布B(1000007),于是 7200-7000 6800-7000 P{6800≤X≤7200}≈d( 10000×0.7×0.3 10000×0.7×0.3 200 =2d(,)-1=2d(4.36)-1=0.99999≈1 45.83 第四章小结( Summary of Chapter Four) 本章介绍了大数定律和中心极限定理。要求了解契比雪夫不等式、契比雪夫定理和伯努 利定理;了解独立同分布的中心极限定理和德莫佛一拉普拉斯定理
52 因而有 P{X 20500} = 1− P{X 20500} 1 (3.54) 0.0002 100 2 500 100 2 20000 1 − = − = − X P Theorem 4.5 （德莫佛—拉普拉斯定理 DeMovire-Laplace Theorem）设 mA 表示 n 次独 立重复试验中事件 A 发生的次数， p 是事件 A 在每次试验中发生的概率。则对于任意区间 (a,b] ，恒有 − → = − − b a t n n b e dt np p m np P a 2 2 2 1 (1 ) lim (Let mA represents the number of events A that occur in the n independent trials， p represents the probability of events A that occur in each trials, then for any interal (a,b], That is − → = − − b a t n n b e dt np p m np P a 2 2 2 1 (1 ) lim .) 这两个定理表明二项分布的极限分布是正态分布。一般来说，当 n 较大时，二项分布的概 率计算起来非常复杂，这是我们就可以用正态分布来近似地计算二项分布。 } (1 ) (1 ) (1 ) (1 ) { } { 1 2 1 2 2 1 np p n np np p m np np p n np C p p P n m n P n n k n n k k n k n − − − − − − − = = = − ) (1 ) ) ( (1 ) ( 2 1 np p n np np p n np − − − − − Example 4.4 设随机变量 X 服从 B(100,0.8) ，求 P{80 X 100}. Solution ) 0.8 0.2 80 80 ) ( 0.8 0.2 100 80 {80 100} ( − − − n n P X = (5) − (0) = 1− 0.5 = 0.5 Example 4.5 设电路共电网中内有 10000 盏灯，夜间每一盏灯开着的概率为 0.7，假设各 灯的开关彼此独立，计算同时开着的灯数在 6800 与 7200 之间的概率。 Solution 记同时开着的灯数为 X ，它服从二项分布 B(10000,0.7) ，于是 ) 10000 0.7 0.3 6800 7000 ) ( 10000 0.7 0.3 7200 7000 {6800 7200} ( − − − P X ) 1 2 (4.36) 1 0.99999 1 45.83 200 = 2( − = − = 第四章小结(Summary of Chapter Four) 本章介绍了大数定律和中心极限定理。要求了解契比雪夫不等式、契比雪夫定理和伯努 利定理；了解独立同分布的中心极限定理和德莫佛—拉普拉斯定理