目录第三章1随机变量的数字特征83.2方差、标准差和矩183.2.1方差和标准差13$3.2.2矩.83.3协方差和相关系数383.3.1协方差3$3.3.2相关系数483.4其他一些数字特征与相关函数7i
8 ¹ 1nÙ ÅCþêiA 1 §3.2 !IO ÚÝ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 §3.2.1 ÚIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 §3.2.2 Ý . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 §3.3 Ú'Xê . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 §3.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 §3.3.2 'Xê . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 §3.4 Ù¦ êiA'¼ê . . . . . . . . . . . . . . . . . . . . . . . . . . 7 i
第三章随机变量的数字特征83.2方差、标准差和矩83.2.1方差和标准差现在我们转到本章开始时候提到的另一类数字特征，即刻画随机变量在其中心位置附近散布程度的数字特征，其中最重要的是方差.在实际应用中，方差不仅是信息度量的标准也是风险度量的标准定义3.2.1.设X为随机变量，分布为F，则称Var(X)=E(X -EX)?=2为X(或分布F)的方差，其平方根VVar(X)=α(取正值）称为X(或分布F)的标准差，显然有Var(X) = Ex2- (EX)2对随机变量的方差，我们可以得到定理3.2.1.设c为常数.则有1. 0≤Var(X)=Ex?-(EX)?, 因此Var(X)≤Ex?2. Var(cX) = c2Var(X)3.Var(X)=0当且仅当P(X=c)=1,其中c=EX.此时,我们称X退化到常数c4.对任何常数c有，Var(X)≤E(X-c)2,其中等号成立当且仅当c=EX5.如果随机变量X和Y相互独立，a,b为常数，则Var(aX+bY)=a2Var(X)+b2Var(Y)证明上述定理，我们介绍一个引理。引理3.2.1.如果为退化于0的随机变量，则有E2=0；反之，如果随机变量的2阶矩存在而且E2=0，则必为退化于0的随机变量1
1nÙ ÅCþêiA §3.2 !IO ÚÝ §3.2.1 ÚIO y3·= Ùm©ÿJ,aêiA, =xÅCþ3Ù¥% NCÑÙ§ÝêiA, Ù¥´ . 3¢SA^¥, Ø=´&EÝþ IO´ºxÝþIO. ½Â 3.2.1. X ÅCþ, ©ÙF, K¡ V ar(X) = E(X − EX) 2 = σ 2 X (½©ÙF) , Ù² p V ar(X) = σ () ¡X (½©ÙF)IO . w,k V ar(X) = EX2 − (EX) 2 . éÅCþ , ·± ½n 3.2.1. c~ê. Kk 1. 0 ≤ V ar(X) = EX2 − (EX) 2 , ÏdV ar(X) ≤ EX2 . 2. V ar(cX) = c 2V ar(X) 3. V ar(X) = 0 =P(X = c) = 1, Ù¥c = EX. d,·¡Xòz~êc. 4. é?Û~êck, V ar(X) ≤ E(X − c) 2 , Ù¥ Ò¤á =c = EX. 5. XJÅCþXÚY pÕá, a, b~ê. KV ar(aX + bY ) = a 2V ar(X) + b 2V ar(Y ). y²þã½n§·0 Ún" Ún 3.2.1. XJξòzu0ÅCþ§KkEξ2 = 0¶§XJÅCþξ2 Ý 3 Eξ2 = 0§Kξ7òzu0ÅCþ. 1
Proof.如果ε为退化于o的随机变量，则有P(S=0)=1,故有Es?=0。反之，如果随机变量平方可积，并且E2=0，但是不退化于0，则有P(=0)0口和0)>E，于是E?>8。导致矛盾，所以必退化到0.常见分布的方差：1.二项分布X~B(n,p)VarX = np(1 - p)2. Poisson 分布X ~ P(A):VarX =>3.均匀分布X~U[a,b]:VarX= (b-a)2124.指数分布X~Erp(>)：VarX = 1/>?5.正态分布X~N(μ,α2)：VarX =a?由此得到正态分布N(μ,α2）中另一参数。2的解释：它就是分布的方差，正态分布完全由其均值μ和方差。2决定，故也常称为“均值为μ方差为。2的正态分布”.方差。2越小，则X的取值以更大的概率集中在其均值附近定义3.2.2.我们称X*-X-EXVVar(X)为X的标准化随机变量.易见EX*=0.Var(X*）=1我们引入标准化随机变量是为了消除由于计量单位的不同而给随机变量带来的影响，例如，我们考察人的身高，那么当然可以以米为单位，得到X1：也可以以厘米为单位，得到X2.于是就有得到X2=100X1：那么这样一来，X,与X1的分布就有所不同这当然是一个不合理的现象.但是通过标准化，就可以消除两者之间的差别，因为我们有X=X.对于正态分布，我们经过标准化Y=（X－μ)/，就可以得出均值为0方差为1的正态分布，即标准正态分布2
Proof. XJξòzu0ÅCþ§KkP(ξ = 0) = 1, kEξ2 = 0"§XJÅ Cþξ²È§¿ Eξ2 = 0§´ξØòzu0§KkP(ξ = 0) 0 Ú0 δ) > §u´Eξ2 > δ2 "gñ§¤±ξ7òz0. ~©Ù µ 1. ©ÙX ∼ B(n, p): V arX = np(1 − p) 2. Poisson ©ÙX ∼ P(λ): V arX = λ 3. þ!©ÙX ∼ U[a, b]: V arX = (b − a) 2 12 4. ê©ÙX ∼ Exp(λ): V arX = 1/λ2 5. ©ÙX ∼ N(µ, σ2 ): V arX = σ 2 dd©ÙN(µ, σ2 ) ¥,ëêσ 2 )º: §Ò´©Ù , ©Ù d Ùþµ Ú σ 2 û½, ~¡“þµ σ 2 ©Ù”. σ 2 , KX ±VÇ8¥3ÙþµNC. ½Â 3.2.2. ·¡ X∗ = X − EX p V ar(X) XIOzÅCþ. ´EX∗ = 0, V ar(X∗ ) = 1. ·Ú\IOzÅCþ´ ØduOþü ØÓ ÅCþ5K . ~X, · < p, @o,±±ü , X1, ±±fü , X2. u´ÒkX2 = 100X1. @où5, X2X1 ©ÙÒk¤ØÓ. ù,´ØÜny. ´ÏLIOz, Ò±Øüöm O, Ï· kX∗ 2 = X∗ 1 . éu©Ù, ·²LIOzY = (X − µ)/σ, Ò±Ñþ0 1©Ù, =IO©Ù. 2
83.2.2矩下面我们引入矩的概念，并将之与我们前面所说的期望、方差建立联系定义3.2.3.设X为随机变量，c为常数，r为正整数，则E[(X-c)1称为X关于c点的r阶矩比较重要的有两个情况：1.c=0.这时Qk=EXr称为X的r阶原点矩2.C=EX.这时=E[(X-EX)称为X的r阶中心矩容易看出，一阶原点矩就是期望，二阶中心矩就是X的方差Var(X)83.3协方差和相关系数现在我们来考虑多维随机向量的数字特征，以二维的情况为例，设（X，Y）为二维随机变量，X，Y本身都是一维随机变量，那么它们相应的均值方差，我们都在上两节中讨论过了，我们更有兴趣的数字特征是反映分量之间关系的那种量，其中最重要的，是本节要讨论的协方差和相关系数83.3.1协方差定义3.3.1.我们称Cou(X,Y) = E(X - EX)(Y - EY)为X与Y的协方差，其中Cou是英文单词Covariance的缩写由协方差的定义，我们立刻可以得到协方差具有如下性质1. Cov(X,Y) = Cov(Y, X), Cov(X,X) = Var(X)2.Cou(X,Y)=EXY-EXEY，显然若X、Y相互独立,则Cou(X,Y)=03. Cov(X1 +X2, Y) = Cov(X1,Y) +Cov(X2,Y)3
§3.2.2 Ý e¡·Ú\ÝVg§¿ò·c¡¤`Ï"! ïáéX. ½Â 3.2.3. XÅCþ, c ~ê, rê, KE[(X − c) r ] ¡X 'uc :r Ý. 'kü¹: 1. c = 0. ùαk = EXr ¡X r :Ý. 2. c = EX. ùµk = E[(X − EX) r ] ¡X r ¥%Ý. N´wÑ, :ÝÒ´Ï", ¥%ÝÒ´X V ar(X). §3.3 Ú'Xê y3·5ÄõÅþêiA, ±¹~, (X, Y ) ÅCþ, X, Y Ñ´ÅCþ, @o§Aþ , ·Ñ3þü!¥? ØL , ·k,êiA´N©þm'X@«þ, Ù¥, ´ !?Ø Ú'Xê. §3.3.1 ½Â 3.3.1. ·¡ Cov(X, Y ) = E(X − EX)(Y − EY ) XY , Ù¥Cov´=©ücCovariance . d ½Â, ·á± äkXe5: 1. Cov(X, Y ) = Cov(Y, X), Cov(X, X) = V ar(X) 2. Cov(X, Y ) = EXY − EXEY , w,eX!Y pÕá, KCov(X, Y ) = 0 3. Cov(X1 + X2, Y ) = Cov(X1, Y ) + Cov(X2, Y ) 3
4.对任何实数a1,a2,bi,b2，有22Cov(aiX1 + a2X2,biYi + b2Y2) =EZaib,Cou(X,Yy)S=1=如果s1，，sn是定义在同一概率空间下的随机变量，并且其中每个随机变量都是平方可积的。称矩阵 = (bi) =(cov(Si,sj)D($1)COu(S1,52)cov(1,Sn)D(62)COV($2, $1)..cov(52, Sn):：.:D(sn)COv(Sn,S1) COv(Sn,E2)为$1，…·，Sn的协方差矩阵。显然≥0。例3.3.1.设(X,Y)~Na,b,,2,P)，则(X,Y)的协方差矩阵为o?po102D=03poi0283.3.2相关系数定义3.3.2.设随机变量X,Y为随机变量，称Cov(X,Y)px,Y =VVarX.VVarY为X与Y的相关系数.当pxY=0时，则称X与Y不相关，由定义容易看出，若令X*=(X-EX)/VVarX和Y*=(Y-EY)/VVarY分别为X和Y相应的标准化随机变量，则px,Y=Cou(X*,Y*)．因此，形式上可以把相关系数视为“标准尺度下的协方差”从这个角度上说，相关系数可以更好的反映两个随机变量间的关系，而不受它们各自所用度量单位的影响例3.3.2.设(X,Y)~N(a,b,o2,o2,p),则px,y=p相关系数有如下的性质：4
4. é?Û¢êa1, a2, b1, b2, k Cov(a1X1 + a2X2, b1Y1 + b2Y2) = X 2 i=1 X 2 j=1 aibjCov(Xi , Yj ) XJξ1, · · · , ξn´½Â3ÓVÇmeÅCþ§¿ Ù¥zÅCþÑ´² È"¡Ý Σ = (bij ) = (cov(ξi , ξj )) = D(ξ1) cov(ξ1, ξ2) · · · cov(ξ1, ξn) cov(ξ2, ξ1) D(ξ2) · · · cov(ξ2, ξn) . . . . . . . . . . . . cov(ξn, ξ1) cov(ξn, ξ2) · · · D(ξn) ξ1, · · · , ξn Ý "w,Σ ≥ 0" ~ 3.3.1. (X, Y ) ∼ N(a, b, σ2 1 , σ2 2 , ρ)§K(X, Y ) Ý Σ = σ 2 1 ρσ1σ2 ρσ1σ2 σ 2 2 ! §3.3.2 'Xê ½Â 3.3.2. ÅCþX, Y ÅCþ, ¡ ρX,Y = Cov(X, Y ) √ V arX · √ V arY , XY 'Xê. ρX,Y = 0, K¡XY Ø'. d½ÂN´wÑ, e-X∗ = (X − EX)/ √ V arXÚY ∗ = (Y − EY )/ √ V arY ©O XÚY AIOzÅCþ, KρX,Y = Cov(X∗ , Y ∗ ). Ïd, /ªþ±r'X êÀ“IOºÝe ”, lùÝþ`, 'Xê±ÐNüÅC þm'X, Øɧg¤^Ýþü K. ~ 3.3.2. (X, Y ) ∼ N(a, b, σ2 1 , σ2 2 , ρ), KρX,Y = ρ. 'XêkXe5: 4
1.若x和Y相互独立，则px,y=02.Ipx,yl≤1,等号成立当且仅当X,Y之间存在严格的线性关系，即(正相关)px,y=1，则存在a>0,bER使得X=aY+bPx,y=-1，则存在a<0,beR使得X=aY+b(负相关)[注]：Px,y也常称作X和Y线性相关系数，只能刻画X和Y间的线性相依程度，Ipx,yl越接近1，就表示X，Y间的线性相关程度越高；Ipx,yl=0时，只是表示X和Y间不存在线性相关，但可以存在非线性的函数关系为证明2,我们看如下引理。引理3.3.1.[Cauchy－SchwarzInequality]设,n均平方可积，则有[En]?≤E?En等号成立当且仅当P(s=ton)=1，其中to为一常数。Proof.易知，对任何tER，都有g(t) := En?.t?-2En t+E?= E(-tn)?≥0所以二次函数g(t)的判别式A=4(En)?-4E2.En≤0故得不等式如果存在toER,使得P(S=ton)=1,显然就有(En)"=Es"En.反之，如果不等式等号成立，那么方程g(t)=0有唯一的实根to，即有E( - ton)= g(to) = 0,口于是由引理3.2.1知－ton是退化于o的随机变量，即有P(=ton)=1.推论3.3.1.设随机变量§,n平方可积，则有cou(S,n)≤VDE·VDn并且等号成立，当且仅当存在toER，使得P(S=ton)=15
1. eXÚY pÕá, KρX,Y = 0 2. |ρX,Y | ≤ 1, Ò¤á =X, Y m3î5'X, = ρX,Y = 1, K3 a > 0, b ∈ R ¦ X = aY + b (') ρX,Y = −1, K3 a < 0, b ∈ R ¦ X = aY + b (K') [5]: ρX,Y ~¡XÚY 5'Xê, UxXÚY m5§Ý, |ρX,Y | C1, ÒL«X, Y m5'§Ýp; |ρX,Y | = 0, ´L«XÚY mØ35 ', ±35¼ê'X. y²2,·wXeÚn" Ún 3.3.1. [Cauchy − Schwarz Inequality] ξ, ηþ²È§Kk [Eξη] 2 ≤ Eξ2Eη2 Ò¤á =P(ξ = t0η) = 1§Ù¥t0~ê" Proof. ´, é?Ût ∈ R, Ñk g(t) := Eη2 · t 2 − 2Eξη · t + Eξ2 = E(ξ − tη) 2 ≥ 0 , ¤±g¼êg(t)Oª ∆ = 4(Eξη) 2 − 4Eξ2 · Eη2 ≤ 0, Ø ª. XJ3t0 ∈ R, ¦P(ξ = t0η) = 1, w,Òk (Eξη) 2 = Eξ2Eη2 . , XJØ ª Ò¤á, @o§g(t) = 0k¢t0, =k E(ξ − t0η) 2 = g(t0) = 0, u´dÚn3.2.1ξ − t0η´òzu0ÅCþ, =kP(ξ = t0η) = 1. íØ 3.3.1. ÅCþξ, η²È, Kk cov(ξ, η) ≤ p Dξ · p Dη, ¿ Ò¤á, =3t0 ∈ R, ¦P(ξ = t0η) = 1. 5
例3.3.3.设X~U(-,),而Y=cosX，则-1/2Cou(X,Y)= EXY :rcosrdr=0-1/2所以X,Y不相关.但是X,Y之间存在着非线性的函数关系，定理3.3.1.对任何非退化的随机变量，n平方可积，如下四个命题相互等价：(2) cov(S,n) = 0;(1)与n不相关；(3) En=EEn ;(4) D(s +n) = DE + Dn下面我们来讨论不相关与独立性之间的关系定理3.3.2.对随机变量X,Y，如果X与Y相互独立，那么它们一定不相关；但是如果它们不相关却未必相互独立.例3.3.4.试证明若(X,Y)服从单位圆内的均匀分布，则X,Y不相关但不独立解：由(X,Y)服从单位圆内的均匀分布，则(X,Y）的联合密度函数，?+?≤1;f(r,y) =0，其他由此，可得X和Y的边缘密度函数为fx(a) = fy(a) =V1-2, -1≤a≤1.因此,EX=EY=0,又rEXY:y.=dydr = 0.T所以,Cou(X,Y)=0,从而px.Y=0,即x和Y不相关.但由f(a,y)≠fx(a).fy(y)，知X和Y显然不独立.例3.3.5.设随机变量X和Y的分布律分别为-101X~1号并且P(XY=0)=1.则X与Y不独立，也不相关6
~ 3.3.3. X ∼ U(− 1 2 , 1 2 ), Y = cosX, K Cov(X, Y ) = EXY = ˆ 1/2 −1/2 xcosxdx = 0 ¤±X, Y Ø'. ´X, Y m3X5¼ê'X. ½n 3.3.1. é?ÛòzÅCþξ, η²È, Xeo·Kp d: (1) ξηØ'; (2) cov(ξ, η) = 0; (3) Eξη = EξEη ; (4) D(ξ + η) = Dξ + Dη. e¡·5?ØØ'Õá5m'X. ½n 3.3.2. éÅCþX, Y , XJXY pÕá, @o§½Ø'; ´XJ§ Ø'%7pÕá. ~ 3.3.4. Áy²e(X, Y )Ñlü Sþ!©Ù, KX, Y Ø'ØÕá. ): d(X, Y )Ñlü Sþ!©Ù, K(X, Y ) éÜݼê f(x, y) = ( 1 π , x2 + y 2 ≤ 1; 0, Ù¦. dd, XÚY >ݼê fX(x) = fY (x) = 2 π p 1 − x 2, −1 ≤ x ≤ 1. Ïd, EX = EY = 0, q EXY = ˆ 1 −1 x. ˆ √ 1−x2 − √ 1−x2 y. 1 π dydx = 0. ¤±, Cov(X, Y ) = 0, l ρX,Y = 0, =XÚY Ø'. df(x, y) 6= fX(x).fY (y), XÚY w ,ØÕá. ~ 3.3.5. ÅCþXÚY ©ÙÆ©O X ∼ −1 0 1 1 4 1 2 1 4 ! , Y ∼ 0 1 1 2 1 2 ! ¿ P(X · Y = 0) = 1. KXY ØÕá, Ø'. 6
[注1：只在正态情形下，不相关与独立等价：我们举二维正态的例子来说明，不妨设（X,Y）~N(a,b,o2,o3.p)则x和Y独立等价于p=px.y=0,从而等价于x和Y不相关表3.3.1常见分布表参数期望方差分布名称概率密度特征函数(9)eict退化分布0cc01pq+ peit二点分布ppq(0 )入(> 0)入k = 0,1,...((EN)超几何分布M,N,nEN()N均匀分布(24t啦a,b(a 0)Ae-AzIr>0/2(1 - 2it)-n/2x2分布2nn(n ≥ 1)n2n/2r(n/2)T>083.4其他一些数字特征与相关函数·平均绝对差EX-EX·矩母函数Eetx,其中teR.·特征函数Eeitx,其中tER,i为虚数7
[5]: 3/e, Ø'Õá d. ·Þ~f5`², Ø(X, Y ) ∼ N(a, b, σ2 1 , σ2 2 , ρ), KXÚY Õá duρ = ρX,Y = 0, l duXÚY Ø'. L 3.3.1 ~©ÙL ©Ù¶¡ ëê VÇÝ Ï" A¼ê òz©Ù c c 1 c 0 e ict :©Ù p (0 0) λ k k! e −λ , k = 0, 1, · · · λ λ e λ(e it−1) AÛ©Ù M, N, n ∈ N ( M k )(N−M n−k ) ( N n ) nM N nM N (N−M) N N−n N−1 þ!©Ù U(a, b) a, b(a 0) λe−λxIx>0 1 λ 1 λ2 (1 − it λ ) −1 χ 2©Ù n(n ≥ 1) 1 2n/2Γ(n/2)x n/2−1 e −x/2 x > 0 n 2n (1 − 2it) −n/2 §3.4 Ù¦ êiA'¼ê • ²þýé E|X − EX| • Ý1¼êEetX, Ù¥t ∈ R. • A¼êEeitX, Ù¥t ∈ R, i Jê. 7
定义3.4.1.如果离散型随机变量X的分布律为P(X=ai)=pi，iEN，那么80EeitX=eitipi.Ti=1如果连续型随机变量X的密度函数为f（)，那么CEeitx=eitrf(a)dr-808
½Â 3.4.1. XJlÑ.ÅCþX©ÙÆP(X = ai) = pi , i ∈ N, @o EeitX = X∞ i=1 e itaipi . XJëY.ÅCþXݼêf(x), @o EeitX = ˆ ∞ −∞ e itxf(x)dx. 8