目录第四章大数定律和中心极限定理184.1大数定律1.84.2中心极限定理2i
8 ¹ 1oÙ ê½ÆÚ¥%4½n 1 §4.1 ê½Æ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 §4.2 ¥%4½n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 i
第四章大数定律和中心极限定理极限定理是概率论的重要内容，也是数理统计学的基石之一，中心极限定理,是概率论中讨论随机变量和的分布以正态分布为极限的一组定理,这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件84.1大数定律定义4.1.1.如果对任何>0，都有limP(ISn-≥)=0那么我们就称随机变量序列[En，nEN)依概率收敛到随机变量E.记为En卫E定理4.1.1.设[Xnl是一列独立同分布(i.i.d.)的随机变量序列，具有公共的数学期望μ和方差。2.则TE1 Xnk=1即[Xn)服从(弱)大数定律。[注：实际上，我们只需要均值存在即有大数定律成立，上述定理中加上了方差存在的条件，只是为了证明的方便。作为上述定理的一个特例，我们有例4.1.1.如果以Cn表示n重Bernoulli试验中的成功次数，则有Sn Pp.n如果用fn=Sn/n表示成功出现的频率,则上例说明fn马p,即频率（依概率）收敛到概率为证明定理4.1.1,我们需要如下的Chebyshev不等式：引理4.1.1(Chebyshev不等式).设随机变量X的方差存在，则Var(X)V>0.P(IX-EXI≥)≤e21
1oÙ ê½ÆÚ¥%4½n 4½n´VÇØSN,´ênÚOÆÄ. ¥%4½n,´VÇ Ø¥?ØÅCþÚ©Ù±©Ù4|½n,ù|½n´ênÚOÆÚØ ©ÛnØÄ:, Ñ þÅCþCqÑl©Ù^. §4.1 ê½Æ ½Â 4.1.1. XJé?Ûε > 0, Ñk limn→∞ P(|ξn − ξ| ≥ ε) = 0, @o·Ò¡ÅCþS{ξn, n ∈ N}VÇÂñÅCþξ, Pξn p→ ξ. ½n 4.1.1. {Xn}´ÕáÓ©Ù(i.i.d.)ÅCþS§äkúêÆÏ"µÚ σ 2 . K X = 1 n Xn k=1 Xk p→ µ, ={Xn}Ñl(f)ê½Æ" [5]: ¢Sþ§·Iþ3=kê½Æ¤á§þã½n¥\þ 3 ^§´ y²B" þã½nA~§·k ~ 4.1.1. XJ±ζnL«nBernoulliÁ¥¤õgê, Kk ζn n p→ p. XJ^fn = ζn/nL«¤õÑyªÇ,Kþ~`²fn p→ p,=ªÇ(VÇ)ÂñV Ç. y²½n4.1.1,·IXeChebyshevØ ª: Ún 4.1.1 (ChebyshevØ ª). ÅCþX 3§K P(|X − EX| ≥ ε) ≤ Var (X) ε 2 , ∀ ε > 0. 1
我们可以用Chebyshev不等式来估计X与EX的偏差，但是Chebyshev不等式作为一个理论工具比作为估计的实际方法要恰当一些，其重要性在于它的应用普遍性但是不能希望很普通的命题对一些个别情况给了深刻的结果，如令X为掷一个均匀的般子所得到的点数,则μ=EX=7/2,g2=Var(X)=35/12.X与μ的最大偏差为2.5~3a/2./X-μ大于这个偏差的概率为0,然而利用Chebyshev不等式仅仅断定这个概率少于0.47.这时就需要找更精确的估计定理4.1.1的证明.利用Chebyshev不等式，并注意到EX=μ，VarX=α2/n，我们有，P((X -μ ≥e)≤2 /(ne2) → 0, n → 00, Ve> 0.定理得证84.2中心极限定理中心极限定理是概率论中讨论随机变量序列的分布收敛于正态分布的一类定理.它是概率论中最重要的一类定理，有广泛的实际应用背景.在自然界与生产中，一些随机现象可能会受到许多不确定因素的影响，如果这些彼此之间没有什么依存关系，且谁也没有特别突出的影响，那么，这些影响的累积效应将会使现象近似地服从正态分布.中心极限定理就是从数学上证明了这一现象定理4.2.1.设[Xn)为i.i.d的随机变量序列，具有公共的数学期望μ和方差。2.则Xi+..+Xn的标准化形式n(Xi+..+Xn-nμ)满足中心极限定理.即对任意rER，有lim Fn(r) = (r),其中Fn(a)为no(Xi+.….+Xn-nμ)的分布函数，而d(r)为标准正态分布N(0,1)的分布函数.记为1n (Xi + X - n) -. N(0, 1).的Proof.由于标准正态分布的特征函数为f(t)=e-t/2，因此我们只需证明nm=B特征函数的极限是f(t)就可以了。记[X,一μ)的共同特征函数为g(t)，则t2)=1-%+t./n2
·±^ChebyshevØ ª5OXEX ,´ChebyshevØ ª nØóä'O¢S{T , Ù53u§A^ÊH5,´ØU F"éÊÏ·Ké O¹ (J. X-Xþ!f¤ :ê,Kµ = EX = 7/2, σ2 = Var(X) = 35/12. Xµ 2.5 ≈ 3σ/2. |X −µ| uù VÇ0, |^ChebyshevØ ª==ä½ùVÇu0.47. ùÒI é°(O. ½n4.1.1y². |^ChebyshevØ ª§¿5¿EX = µ, VarX = σ 2/n,·k, P(|X − µ| ≥ ε) ≤ σ 2 /(nε2 ) → 0, n → ∞, ∀ε > 0. ½ny. §4.2 ¥%4½n ¥%4½n´VÇØ¥?ØÅCþS©ÙÂñu©Ùa½n. § ´VÇØ¥a½n,k2¢SA^µ.3g,.)¥, Åy U¬ÉNõØ(½ÏK,XJù *dmvko'X, Xvk AOâÑK,@o,ù K\ÈAò¬¦yCq/Ñl©Ù.¥%4 ½nÒ´lêÆþy² ùy. ½n 4.2.1. {Xn}i.i.dÅCþS§äkúêÆÏ"µ Ú σ 2 . KX1 + · · · + XnIOz/ª√ 1 nσ (X1 + · · · + Xn − nµ)÷v¥%4½n. =é?¿x ∈ R§k limn→∞ Fn(x) = Φ(x), Ù¥Fn(x)√ 1 nσ (X1 + · · · + Xn − nµ)©Ù¼ê, Φ(x)IO©ÙN(0, 1)©Ù ¼ê. P 1 √ nσ (X1 + · · · + Xn − nµ) d→ N(0, 1). Proof. duIO©ÙA¼êf(t) = e −t 2/2§Ïd·Iy²ηn = Pn i=1 Xi−µ σ A¼ê4´f(t)Ò± " P{Xi − µ}ÓA¼êg(t)§K g t σ √ n = 1 − t 2 2n + o t 2 n 2
而nm的特征函数为gn（）.由于[()-(1-)≤no()-(1-)=no()一0所以) = e-t2/2lim. g"(即lim P(nm ≤a)=(r)口定理4.2.1的令人吃惊之处就是任何独立同分布的随机变量序列，不论它的分布是什么，只要存在有限的方差，那么它们的标准化部分和都渐近于标准正态分布.这也说明了正态分布的普遍性由定理4.2.1,我们很容易得到如下推论定理4.2.2.设X1，，Xn相互独立且具有相同的分布P(Xi = 1)= 1 - P(Xi = 0)= p, 0 <p< 1.则有Xi +..+ Xn np 4 N(0, )..Vnp(1 -p)即P(≤) =(a), VaERVnp(1 -p)定理4.2.1称为棣莫弗-拉普拉斯定理，是历史上最早的中心极限定理.因为定理4.2.1中随机变量Xi,..，Xn的和Xi+·+Xn～B(n，p)，我们利用正态分布近似地估计二项分布.设t1<t2是两个正整数，则当n相当大时，由定理4.2.1,近似地有P(ti ≤Xi +..+Xn≤t2) ~Φ(y2) -Φ(yi),其中i = (ti-np)/ Vnp(1 -p), i= 1,2.3
ηnA¼êg n ( t σ √ n ). du g n t σ √ n − 1 − t 2 2n n ≤ n g t σ √ n − 1 − t 2 2n = not 2 n −→ 0 ¤± limn→∞ g n t σ √ n = e −t 2/2 = limn→∞ P(ηn ≤ x) = Φ(x) ½n4.2.1-<¯¯?Ò´?ÛÕáÓ©ÙÅCþS,Øا©Ù´ o,3k ,@o§IOzÜ©ÚÑìCuIO©Ù.ù`² ©ÙÊH5. d½n4.2.1,·éN´XeíØ ½n 4.2.2. X1, · · · , XnpÕá äkÓ©Ù P(X1 = 1) = 1 − P(X1 = 0) = p, 0 < p < 1. Kk X1 + · · · + Xn − np p np(1 − p) d→ N(0, 1). = limn→∞ P X1 + · · · + Xn − np p np(1 − p) ≤ x = Φ(x), ∀ x ∈ R. ½n4.2.1¡#6-.Ê.d½n,´{¤þ@¥%4½n.Ͻn4.2.1¥ ÅCþX1, · · · , XnÚX1 + · · · + Xn ∼ B(n, p), ·|^©ÙCq/O© Ù. t1 < t2´üê,Kn,d½n4.2.1,Cq/k P(t1 ≤ X1 + · · · + Xn ≤ t2) ≈ Φ(y2) − Φ(y1), Ù¥ yi = (ti − np)/ p np(1 − p), i = 1, 2. 3
为提高精度，我们可把91，92修正为y1 =(t1 -1/2 - np)/ Vnp(1 - p), y2 = (t2 +1/2 -1/2 - np)/Vnp(1 -p)例4.2.1.设一考生参加100道题的英语标准化考试(每道题均为有四个备选答案的选择题，有且仅有一个答案是正确的），每道题他都随机地选择一个答案，假设评分标准为：选对得一分，选错或不选不得分。试给出该考生最终得分大于等于50的概率解：记X表示第题的得分，i=1,2，100.则X1，，Xn是一列独立同分布的随机变量具有共同的分布P(Xi = 0) = P(X1 = 1) = 0.5利用中心极限定理.有P(XI +X100 50) ( + tX0 10* 0 0) (0) /2.V100*0.5*0.5例4.2.2.每天有1000个旅客需要乘坐火车从芝加哥到洛杉矶，这两个城市之间有两条竞争的铁路，它们的火车同时开出同时到达并且具有同样的设备.设这1000个人乘坐那一条铁路的火车是相互独立而且又是任意的，于是每列火车的乘客数目可视为概率为1/2的1000重Bernoulli试验中成功的次数.如果一列火车设置s<n个座位，那么一旦有多于s个旅客来乘车就容纳不下了，令这个事件发生的概率为f(s).利用中心极限定理，有f(s) ~1 -±(28 -1000)V1000要求s使得f（s）<0.01,即在100次中有99次是有足够的座位的：查表容易求出8=537.这样，两列火车所有的座位数为1074,其中只有74个空位，可见由于竞争而带来的损失是很小的te-n例4.2.3.求极限limJTn-00k=1定理4.2.3.设X～B(n,P)，则有 P(≤a)=d(n),VaERVnpq即X - np asy N(0, 1).Vnpq4
Jp°Ý,·ry1, y2? y1 = (t1 − 1/2 − np)/ p np(1 − p), y2 = (t2 + 1/2 − 1/2 − np)/ p np(1 − p). ~ 4.2.1. )ë\100K=IOzÁ(zKþkoÀYÀJ K§k =kY´()§zK¦ÑÅ/ÀJY§bµ©IOµ À驧À½ØÀØ©"ÁÑT)ª©u u50VÇ. ): PXiL«1iK©, i = 1, 2 · · · , 100.KX1, · · · , Xn´ÕáÓ©ÙÅCþ äkÓ©Ù P(X1 = 0) = P(X1 = 1) = 0.5. |^¥%4½n,k P(X1 + · · · + X100 ≥ 50) = P X1 + · · · + X100 − 100 ∗ 0.5 √ 100 ∗ 0.5 ∗ 0.5 ≥ 0 = 1 − Φ(0) = 1/2. ~ 4.2.2. zUk1000ÀI¦»lz\xâë, ùü¢½mkü^¿ c´, §»ÓmÑÓ¿ äkÓ.ù1000<¦@ ^c´»´pÕá q´?¿,u´z»¦ê8ÀVÇ1/2 1000 Bernoulli Á¥¤õgê.XJ»s < n , @okõ usÀ5¦ÒNBØe ,-ù¯u)VÇf(s).|^¥%4½n,k f(s) ≈ 1 − Φ 2s − 1000 √ 1000 . ¦s¦f(s) < 0.01,=3100g¥k99g´kv . LN´¦Ñs = 537.ù ,ü»¤k ê1074,Ù¥k74 ,du¿ 5´é . ~ 4.2.3. ¦4 limn→∞ Pn k=1 n k k! e −n . ½n 4.2.3. X ∼ B(n, p)§Kk limn→∞ P( X − np √npq ≤ x) = Φ(x), ∀ x ∈ R = X − np √npq asy. ∼ N(0, 1). 4
Proof.由二项分布随机变量和0-1分布随机变量之间的关系及中心极限定理易证。口在仅有独立性和二阶矩有限场合下，我们有定理4.2.4.设[Xn)为独立的随机变量序列，而且具有数学期望EXk=μk和方差D(Xk)=0,都有1ZE (Xx - ak)21(IXx - ax/ ≥ TBn) = 0,(4.2.2)limBk=1则称该随机变量序列满足Linderberg条件定理4.2.5.设随机变量序列(Xn)满足Linderberg条件(4.2.2)，则(Xn)满足中心极限定理即(4.2.1)式成立.5
Proof. d©ÙÅCþÚ0-1©ÙÅCþm'X9¥%4½n´y" 3=kÕá5Ú Ýk|Üe§·k ½n 4.2.4. {Xn}ÕáÅCþS§ äkêÆÏ"EXk = µk Ú D(Xk) = σ 2 k 0, Ñk limn→∞ 1 B2 n Xn k=1 E (Xk − ak) 2 I(|Xk − ak| ≥ τBn) = 0, (4.2.2) K¡TÅCþS÷vLinderberg^. ½n 4.2.5. ÅCþS{Xn}÷vLinderberg^(4.2.2), K{Xn}÷v¥%4½n, =(4.2.1)ª¤á. 5