Ch4 3方差 定义对随机变量X,称E(X-EX)2为X的方差,记作Var(X) 方差还有另外一个关系式 Var(X)=EX2-(EX)2 下面给出几个常用分布的方差 (1)两点分布 设X服从参数为p的两点分布,则 02 9=p 于是 Var X=EX-(EX)=p-p=pq (2)二项分布 设X服从参数为(n,p)的二项分布,则 EX k-c ∑k(k-1) k=1 A(n一6∑kn k!(n-k) (n-1)p2Ch-2P9-2-k+npCk-1Pi9n-1-k n(n-1)p2+n 于是, Var X=EX-(EX)=n(n-1)p+np-(np)-= npq (3) Poisson分布
Ch4 1 §3 ✂✁ ✄✂☎ ✆✂✝✂✞✂✟✂✠ X ✡☞☛ E(X − EX) 2 ✌ X ✍✂✎✂✏✑✡☞✒✂✓ Var(X) ✔ ✎✂✏✂✕✂✖✂✗✂✘✂✙✂✚✂✛✂✜✂✢✤✣ Var(X) = EX 2 − (EX) 2 . ✥✂✦✂✧✩★✫✪✚✂✬✂✭✂✮✂✯✂✍✰✎✂✏✱✔ (1) ✲✂✳✂✮✂✯ ✴ X ✵✂✶✂✷✂✸✌ p ✍✂✲✂✳✂✮✂✯✑✡☞✹ EX 2 = 1 2 · p + 0 2 · q = p. ✺✂✻ VarX = EX 2 − (EX) 2 = p − p 2 = pq. (2) ✼✂✽✂✮✂✯ ✴ X ✵✂✶✂✷✂✸✌ (n, p) ✍✂✼✂✽✂✮✂✯✑✡☞✹ EX2 = Xn k=0 k 2C k n · p k q n−k = Xn k=1 k(k − 1) n! k!(n − k)!p k q n−k + Xn k=1 k n! k!(n − k)!p k q n−k = n(n − 1)p 2Xn−2 k=0 C k n−2 p k q n−2−k + npXn−1 k=0 C k n−1 p k q n−1−k = n(n − 1)p 2 + np. ✺✂✻✡ VarX = EX 2 − (EX) 2 = n(n − 1)p 2 + np − (np) 2 = npq. (3) Poisson ✮✂✯ 1
Ch4 设X~P(入 ∑k(k k=1 k=1 k-1 一k (k-1)! 于是, EX-(EX2=A (4)均匀分布 设X服从(a,b)上的均匀分布,则 由此得 X=EX2-(EX)2=1(b-a)2 (5)指数分布 设X服从参数为A的指数分布,则 EX 1 2 (3) 于是 (EX)2
Ch4 2 ✴ X ∼ P(λ) ✡☞✹ EX2 = X∞ k=0 k 2λ k k! e −k = X∞ k=1 k(k − 1)λ k k! e −k + X∞ k=1 k λ k k! e −k = λ 2X∞ k=2 λ k−2 (k − 2)!e −k + λ X∞ k=1 λ k−1 (k − 1)!e −k = λ 2 + λ. ✺✂✻✡ VarX = EX 2 − (EX) 2 = λ. (4) ✾✂✿✂✮✂✯ ✴ X ✵✂✶ (a, b) ❀✂✍✂✾✂✿✂✮✂✯✑✡☞✹ EX 2 = 1 b − a Z b a x 2 dx = 1 3 (b 2 + ba + a 2 ). ❁✫❂✂❃ VarX = EX 2 − (EX) 2 = 1 12 (b − a) 2 . (5) ❄✂✸✂✮✂✯ ✴ X ✵✂✶✂✷✂✸✌ λ ✍✂❄✂✸✂✮✂✯✑✡☞✹ EX2 = Z ∞ 0 x 2 · λe −λxdx = 1 λ2 Z ∞ 0 t 2 e −t dt = 1 λ 2 Γ(3) = 2 λ 2 . ✺✂✻ Var = EX 2 − (EX) 2 = 2 λ 2 − 1 λ 2 = 1 λ 2 . 2
6)正态分布设X~N(,a2),则EX=,故 VarX= E(X-H)2 1 (7)伽玛分布设X~r(a,3),则 EX 1 to+le-tdt a(a Tlab B 于是 VarX=EX-(EX)2 下面来看看方差的性质 性质1a,b为任意常数,则 Var(a+6X)=bVarX 性质2Var(X+Y)=VarX+VarY+2E(X-EX)(YEY) 性质3若ⅹ与Y相互独立,则 Var(X+y)=varX VarY. 性质4(EX)2≤EX2,(E(X-EX)(Y-EY)2≤ VarXVary 例3.1将n封不同的信的n张信笺与n个信封进行随机匹配,求匹 配成对的数目的方差 解记 1,第讠张信笺与第讠个信封成对 X 0,其它
Ch4 3 (6) ❅✂❆✂✮✂✯✴ X ∼ N(µ, σ 2 ) ✡☞✹ EX = µ ✡☞❇ VarX = E(X − µ) 2 = Z ∞ −∞ (x − µ) 2 1 √ 2πσ e − (x−µ) 2σ2 dx = σ 2 · 1 √ 2π Z ∞ −∞ t 2 e − −t 2 2 = σ 2 . (7) ❈✂❉✂✮✂✯✴ X ∼ Γ(α, β) ✡☞✹ EX2 = Z ∞ 0 x 2 β α Γ(α) x α−1 e −βx dx = 1 Γ(α)β 2 Z ∞ 0 t α+1e −t dt = Γ(α + 2) Γ(α)β = α(α + 1) β 2 . ✺✂✻✡ VarX = EX 2 − (EX) 2 = α β 2 . ✥✂✦✂❊✂❋✂❋✎✂✏✂✍✂●✂❍✑✔ ■✂❏ 1 a, b ✌✂❑✂▲✬✂✸✑✡☞✹ Var(a + bX) = b 2VarX. ■✂❏ 2 Var(X + Y ) = VarX + VarY + 2E(X − EX)(Y − EY ) ✔ ■✂❏ 3 ▼ X ◆ Y ❖✂P✂◗✂❘✑✡☞✹ Var(X + Y ) = VarX + VarY. ■✂❏ 4 (EX) 2 6 EX2 ,(E(X − EX)(Y − EY ))2 6 VarXVarY ✔ ❙ 3.1 ❚ n ❯✂❱✩❲✫✍✂❳✂✍ n ❨✂❳✂❩✂◆ n ✚✂❳✂❯✂❬✂❭✝✂✞❫❪❵❴✡❜❛ ❪ ❴✂❝✂✆✍✂✸❡❞❢✍✂✎✂✏✱✔ ❣ ✒ Xi = ( 1, ❤ i ❨✂❳✂❩✂◆✂❤ i ✚✂❳✂❯❝✂✆✱✐ 0, ❥✂❦✑✡ i = 1, · · · , n 3
Ch4 则X都服从参数为一的两点分布,故EX=EX 记N=∑X为匹配成对的数目,有 EN EX;=1 EN2=E∑x)2=∑Ex2+∑EXX 考虑XX也是两点分布,参数为 故EX1X n(n-1) n(7-1) 于是 N=∑EX2+∑EXX-(EN)2=1 下面给出一个重要的不等式,它是后面的大数定律的理论基础 Chebyshev不等式设X的期望方差都存在,则对任意的e>0,都有 P(|X-EX|>e)≤ -VarX 证这里只对连续型的情况给出证明。设X有密度函数p(x),记D {|x-EX|≥e},则 P(X-EX≥e) p(a)da ( -EX . p(r)dr (a-EX) p(a)dc 由上面的 Chebysher不等式,可以推出下面的一个重要结论 VarX=0÷→P(X=c) 证充分性:当P(X=c)=1时,EX=c,EX2=c2,故 VarX=EX2-(EX)2=0
Ch4 4 ✹ Xi ❧✵✂✶✂✷✂✸✌ 1 n ✍✂✲✂✳✂✮✂✯✑✡☞❇ EX = EX2 = 1 n ✔ ✒ N = Xn i=1 Xi ✌ ❪✫❴✂❝✂✆✍✂✸❡❞♠✡♥✖ EN = Xn i=1 EXi = 1. ♦ EN 2 = E( Xn i=1 Xi) 2 = Xn i=1 EX 2 i + X i6=j EXiXj . ♣rq XiXj s ✻ ✲r✳r✮✂✯✱✡t✷✰✸✌ 1 n(n − 1) ✡✉❇ EXiXj = 1 n(n − 1) ✔ ✺r✻✡ VarN = Xn i=1 EX 2 i + X i6=j EXiXj − (EN) 2 = 1. ✥✂✦✂✧✩★ ✙✂✚✂✈✂✇✂✍✂❱✂①✰✢✱✡♥❦✻✂②✦ ✍✂③✰✸✰④✂⑤✰✍✂⑥✰⑦✰⑧✂⑨✱✔ Chebyshev ⑩r❶r❷ ✴ X ✍r❸r❹r✎r✏❧✂❺✂❻✡❼✹✆❑✂▲✍ ε > 0 ✡ ❧✖ P(|X − EX| > ε) 6 1 ε 2 VarX. ❽ ❾✂❿✂➀✆✂➁✰➂✰➃✍➅➄✰➆✧➇★❵➈❫➉ ✔ ✴ X ✖✂➊✂➋✂➌✂✸ p(x) ✡➍✒ D = {|x − EX| > ε} ✡☞✹ P(|X − EX| > ε) = Z D p(x)dx 6 Z D (x − EX) 2 ε 2 p(x)dx 6 1 ε 2 Z ∞ −∞ (x − EX) 2 p(x)dx = 1 ε 2 . ❁ ❀✦ ✍ Chebyshev ❱✂①✂✢✑✡☞➎✂➏✂➐★❵✥✰✦✍✰✙✂✚✰✈✰✇✂➑✰⑦✤✣ VarX = 0 ⇐⇒ P(X = c) = 1 ✔ ❽ ➒ ✮✂●✱✣t➓ P(X = c) = 1 ➔✑✡ EX = c ✡ EX2 = c 2 ✡☞❇ VarX = EX 2 − (EX) 2 = 0. 4
Ch4 必要性:当VarX=0时,由 Chebysher不等式,对任意的n都有 P(X-EN|≥-)≤0, 因而 P(X-EX≥)=0 于是由 X≠EX}=∩{X-EX≥} 再由概率测度的连续性可知 P(X≠EX)=0 P(X=EX)=1 在这里,EX是一个常数,于是上式可以改写成 P(X=c §4协方差与相关系数 定义设X,Y是概率空间(,F,P)上的两个随机变量,称 E(X-EXrY-EY 为X,Y的协方差,记作Cov(X,Y)或xy 显然有VarX=Cov(X,X) 定义设X=(X1,……,Xn)是(9,,P)上的n维随机向量,则称n阶 方阵 为X的协方差阵。定义一个矩阵的期望就是它各个元素取期望所组成的新 矩阵,则上式可改写为 ∑=E(X-EX)(X-EX)
Ch4 5 →✇✂●✱✣t➓ VarX = 0 ➔✑✡ ❁ Chebyshev ❱✂①✂✢✑✡ ✆❑✂▲✍ n ❧✖ P(|X − EX| > 1 n ) 6 0, ➣♦ P(|X − EX| > 1 n ) = 0, ✺✂✻❁ {X 6= EX} = \∞ n=1 |X − EX| > 1 n , ↔❁✫↕✂➙✂➛➋✂✍➁✂➂●✰➎✰➜ P(X 6= EX) = 0, P(X = EX) = 1. ❻❾✂❿✡ EX ✻ ✙✂✚✂✬✂✸✑✡ ✺✂✻❀✰✢✰➎✂➏✰➝✂➞❝ P(X = c) = 1. §4 ➟ ✂✁✂➠✂➡✂➢✂➤✂➥ ✄✂☎ ✴ X, Y ✻↕✂➙✂➦✩➧ (Ω, F, P) ❀✂✍✂✲✂✚✝✂✞✂✟✂✠✡♥☛ E(X − EX)(Y − EY ) ✌ X, Y ✍✂➨✂✎✂✏✑✡☞✒✂✓ Cov(X, Y ) ➩ σXY ✔ ➫✂➭✖ VarX = Cov(X, X) ✔ ✄r☎ ✴ X = (X1, · · · , Xn) ✻ (Ω, F, P) ❀r✍ n ➯ ✝r✞➳➲➵✠✡t✹✂☛ n ➸ ✎✩➺ Σ = (σij )n×n = (σXiXj )n×n ✌ X ✍✂➨✂✎✂✏✩➺➻✔➼④➅➽✰✙✰✚✰➾❫➺❵✍➅❸✰❹✰➚✻ ❦✰➪➅✚✰➶✰➹✰➘✰❸✰❹➅➴✰➷❝ ✍✰➬ ➾✩➺➮✡☞✹✂❀✂✢✂➎✂➝✰➞✌ Σ = E(X − EX)(X − EX) 0 . 5
Ch4 显然∑是实对称矩阵,还可以证明,它是非负定的 定义设X,Y是两个随机变量,且方差都不为0,则称 E(X-EXY-EY OXY VarXvary √ OXXOYY 为X,Y的相关系数 关于相关系数,有下面的定理 定理设X,Y的相关系数为p,则 (1)|≤1 (2)如果X,Y相互独立,则 (3)|l=1的充要条件是:存在常数a,b使得 (Y=aX+b)=1 证:(2)显然。下面证明(1)(3) 考虑下面的关于实数t的多项式 El(Y -EY)-t(X-EX)=oyy-2toxy +toxx>0, 于是其判别式小于0,即有 0xy≤ OXXOYY, 从而有|川≤1 由上还可知|=1当且仅当存在常数a使得t=a时有 )-a(X-EX)2=0 故有 Var(Y-aX=0, P(r-ax=b=1 (3)得证
Ch4 6 ➫✂➭ Σ ✻✂➱✆☛✂➾✩➺➮✡☞✕✰➎✰➏➈❫➉ ✡♥❦✻✰✃✂❐④✂✍✱✔ ✄✂☎ ✴ X, Y ✻ ✲✂✚✝✂✞✂✟✂✠✡☞❒✰✎✂✏❧❱✌ 0 ✡☞✹✂☛ ρ = E(X − EX)(Y − EY ) √ VarXVarY = σXY √ σXX σY Y ✌ X, Y ✍✂❖✂✛✂✜✂✸✑✔ ✛ ✺ ❖✂✛✂✜✂✸✑✡☞✖✥✰✦✍✰④✰⑥✤✣ ✄✂❮ ✴ X, Y ✍✂❖✂✛✂✜✂✸✌ ρ ✡☞✹ (1) |ρ| 6 1 ✔ (2) ❰✂Ï X, Y ❖✂P✂◗✂❘✑✡☞✹ ρ = 0. (3) |ρ| = 1 ✍➒ ✇✂Ð✂Ñ✻ ✣ ❺✂❻✬✰✸ a, b Ò ❃ P(Y = aX + b) = 1. ➈ ✣ (2) ➫✂➭✔ ✥✂✦✂➈✩➉ (1)(3) ✔ ♣✂q✥✂✦✍✂✛✺✂➱✸ t ✍✂Ó✂✽✂✢ E[(Y − EY ) − t(X − EX)]2 = σY Y − 2tσXY + t 2σXX > 0, ✺✂✻❥✂Ô✂Õ✂✢✂Ö✺ 0 ✡☞×✂✖ σ 2 XY 6 σXX σY Y , ✶ ♦ ✖ |ρ| 6 1 ✔ ❁ ❀✂✕✂➎✂➜ |ρ| = 1 ➓✂❒✂Ø✂➓❺✂❻✬✂✸ a Ò ❃ t = a ➔✂✖ E[(Y − EY ) − a(X − EX)]2 = 0, ❇✂✖ Var(Y − aX) = 0, P(Y − aX = b) = 1. (3) ❃➈ ✔ 6
Ch4 上面的定理说明了,当X,Y独立的时候有p=0,但反过来却不一定 下面就是一个例子。 例41设(X,Y)的密度函数为 p(a, y) +y2≤1 0,其他 则容易求得EX=EY=0.现在求axx,Oxy,ay (ar -Exp(, y)dxdg x2+y2≤1 drdy ar-ty 1 同理ayy OXY (a -EX(y- EYp(a, y)drdy x2+y2≤1 d rdy 故有p=0,但是,X,Y不是相互独立的。 例42设(X,Y)~N(1,p22,02,r),求X,Y的相关系数
Ch4 7 ❀✦ ✍✂④✂⑥✂Ù➉✫Ú ✡➼➓ X, Y ◗✂❘✂✍✂➔✂Û✂✖ ρ = 0 ✡ÝÜ✂Þ✂ß❊✂à❱✂✙✰④✤✔ ✥✂✦➚ ✻ ✙✂✚✂á✂â✑✔ ❙ 4.1 ✴ (X, Y ) ✍✂➊✂➋✂➌✂✸✌ p(x, y) = 1 π , x 2 + y 2 6 1, 0, ❥✂ã✑✔ ✹✂ä✂å✂❛❃ EX = EY = 0 ✔☞æ❻❛ σXX , σXY , σY Y ✔ σXX = ZZ x2+y 261 (x − EX) 2 p(x, y)dxdy = ZZ x2+y 261 x π dxdy = 1 4 . ❲✫⑥ σY Y = 1 4 ✔ σXY = ZZ x2+y 261 (x − EX)(y − EY )p(x, y)dxdy = ZZ x2+y 26 xy · 1 π dxdy = 0 ❇✂✖ ρ=0 ✡☞Ü✻ ✡ X, Y ❱✻ ❖✂P✂◗✂❘✂✍✑✔ ❙ 4.2 ✴ (X, Y ) ∼ N(µ1, µ2, σ 2 1 , σ 2 2 , r) ✡☞❛ X, Y ✍✂❖✂✛✂✜✂✸✑✔ 7
Ch4 解已有EX={1,EY=p2VarX=0,VaY=a2 OXY= E(X-EXY-EY (x-p1)(y-12) 2ra1a2√1-r2 (x-p)22r(x=H1)0-p2)(-2-)drdy 010. =exp 2(1-r2) (u2-2ruv +u2)dudu ve 2d 人2-两 e始=an rO102 于是相关系数为 TO102 OXXOYY 由此还可以推出X,Y相互独立←→p=0 对于两个随机变量X,Y,我们希望用aX+b来预测Y,也就是说,找 到a,b使得aX+b最接近Y.考虑到aX+b也是一个随机变量,于是,用 下面的式子来描述它们的距离 Q(a, b)=EY-(aX+b) 现在要求a,b,使得Q取到最小值 用配方法,有 Q(a,b)=Ely=(ax+b) El((Y -)-a(X-EX))+(EY -aEX-b El( -EY)-aX-EX)2+EY -aEX-b Jry-2aoxy +aoxx +(EY -aEX-b axx(a +UYy (EY-aEX-b)2
Ch4 8 ❣ ç✖ EX = µ1, EY = µ2, VarX = σ 2 1 , VarY = σ 2 2 ✔ σXY = E(X − EX)(Y − EY ) = ZZ R2 (x − µ1)(y − µ2) 1 2πσ1σ2 √ 1 − r 2 · exp − 1 2(1 − r 2 ) (x − µ1) 2 σ 2 1 − 2r(x − µ1)(y − µ2) σ1σ2 + (y − µ2) 2 σ 2 2 dxdy = ZZ R2 σ1σ2uv 2π √ 1 − r 2 exp − 1 2(1 − r 2) (u 2 − 2ruv + v 2 ) dudv = σ1σ2 √ 2π Z ∞ −∞ ve − v 2 2 dv Z ∞ −∞ u √ 2π p (1 − r 2 ) e − (u−rv) 2 2(1−r2) du = σ1σ2 √ 2π Z ∞ −∞ rv 2 e − v 2 2 dv = rσ1σ2. ✺✂✻❖✂✛✂✜✂✸✌ ρ = σXY √ σXX σY Y = rσ1σ2 σ1σ2 = r. ❁✫❂✕✂➎✂➏✂➐★ X, Y ❖✂P✂◗✂❘ ⇐⇒ ρ = 0 ✔ ✆✺✲✂✚✝✂✞✂✟✂✠ X, Y ✡♥è✂é✂ê✂❹✂✭ aX + b ❊✂ë➛ Y ✡ s➚ ✻ Ù✑✡♥ì í a, b Ò ❃ aX + b î✂ï✂ð Y ✔ ♣✂qí aX + b s ✻ ✙✂✚✝✂✞✂✟✂✠✡ ✺✰✻✡☞✭ ✥✂✦✍✂✢✂â❊✂ñ✂ò❦✂é✰✍✰ó✂ô✤✣ Q(a, b) = E[Y − (aX + b)]2 . æ❻✇✂❛ a, b ✡☞Ò❃ Q ➘ íî✂Ö✂õ✑✔ ✭❴✎✂ö✑✡☞✖ Q(a, b) = E[y − (aX + b)]2 = E[((Y − EY ) − a(X − EX)) + (EY − aEX − b)]2 = E[(Y − EY ) − a(X − EX)]2 + (EY − aEX − b) 2 = σY Y − 2aσXY + a 2σXX + (EY − aEX − b) 2 = σXX a − σXY σXX 2 + σY Y − σ 2 XY σXX + (EY − aEX − b) 2 . 8
Ch4 可知当 b=6'=ey-aEX 时,Q取到最小值,有 min(a,b)=Q(a, b")=Ory --x=oyr(1-Pxr OXX 可以看出,|pxy越接近1,a*X+b*越接近Y,也就是说,的大小刻划了 X与Y的线性相关程度。这就是相关系数的概率意义
Ch4 9 ➎✂➜✂➓ a = a ∗ = σXY σXX , b = b ∗ = EY − a ∗EX ➔✑✡ Q ➘ íî✂Ö✂õ✑✡☞✖ min a,b (a, b) = Q(a ∗ , b ∗ ) = σY Y − σ 2 XY σXX = σY Y (1 − ρ 2 XY ). ➎r➏❋➳★ ✡ |ρXY | ÷rïrð 1 ✡ a ∗X + b ∗ ÷rïrð Y ✡ s➚ ✻ Ù✑✡ |ρ| ✍r③rÖrørùÚ X ◆ Y ✍✂ú✂●✂❖✂✛✂û✂➋✑✔ ❾ ➚ ✻ ❖✰✛✰✜✂✸✰✍↕✰➙▲➽✱✔ 9