第四章随机变量的数字特征 9§4.1数学期望 9§4.2方差 9§4.3协方差及相关系数 §4.4矩、协方差矩阵 2162
第四章 随机变量的数字特征 §4.1 数学期望 §4.2 方差 §4.3 协方差及相关系数 §4.4 矩、协方差矩阵 2/62
§4.2方差 方差主要考虑的是随机变量的取值与其均值偏离程度 。例如：电子器件的热噪声，其产生的噪声电压的均值可能为0，但 是噪声电压的大小可能很不一样，从而对信号处理的影响也不一 样，噪声的功率也不同，因此我们常常关心噪声电压与均值电压 的偏离程度， 设噪声电压为X,均值为EX),则偏离程度Y很容易用二 者之差来描述，即Y=X一EX)儿 。而我们通常考察平均偏离程度，即考察EX一EX)} 。由于该式中含有绝对值，运算不方便，通常用下式来描 述X与均值的偏离程度[X一X]2 A一 3/62
§4.2 方差 方差主要考虑的是随机变量的取值与其均值偏离程度 例如：电子器件的热噪声，其产生的噪声电压的均值可能为0，但 是噪声电压的大小可能很不一样，从而对信号处理的影响也不一 样，噪声的功率也不同，因此我们常常关心噪声电压与均值电压 的偏离程度， 设噪声电压为X，均值为E(X)，则偏离程度Y很容易用二 者之差来描述，即 Y＝|X－E(X)| 而我们通常考察平均偏离程度，即考察 E{|X－E(X)|} 由于该式中含有绝对值，运算不方便，通常用下式来描 述X与均值的偏离程度 E{[X－E(X)]2} 3/62
§4.2方差 。定义设X是一个随机变量，若EX一EX)存在，则称 EX-EX)2为X的方差，记为D(X)或Var(X),Variance 即 D(X)=Var(X)=EX-E(X)2 应用上还引入与随机变量X具有相同量纲的量D(),记 为σ(X),称为标准差或均方差 9方差的含义： 由定义可知，方差表达了随机变量X取值与其数学期望的 偏离程度，并表达了以E(X)为X的代表性的好坏 ●如果X取值比较集中，则偏离程度小，DX)也较小， E(X)的代表性好 。如果X取值比较分散，则偏离程度大，D()也较大 ●所以说DX是描述X分散程度的量 4/62
§4.2 方差 定义 设X是一个随机变量，若E{[X－E(X)]2 }存在，则称 E{[X－E(X)]2 }为X的方差，记为D(X)或Var(X)，Variance 即 D(X)＝Var(X)＝E{[X－E(X)]2 } 应用上还引入与随机变量X具有相同量纲的量 ，记 为σ(X)，称为标准差或均方差 方差的含义： 由定义可知，方差表达了随机变量X取值与其数学期望的 偏离程度，并表达了以E(X)为X的代表性的好坏 如果X取值比较集中，则偏离程度小，D(X)也较小， E(X) 的代表性好 如果X取值比较分散，则偏离程度大，D(X)也较大 所以说D(X)是描述X分散程度的量 D(X) 4/62
§4.2方差 方差的计算方法：(1)利用定义 由定义，方差实际上是X的函数gX)=X一E(X)]2 的数学期望 对于离散型随机变量X: D(X)=Eig(X)=>g(x)P=Ix-E(X)FD k 其中，X的分布律为PX=x}=Pk,k=1,2,· 。对于连续型随机变量X: D(X)=Eig(X))=g(x)f(x)d=(x-E(x))'f(x)de 其中fx)是X的概率密度 5/62
§4.2 方差 方差的计算方法：(1)利用定义 由定义，方差实际上是X的函数g(X)=[X－E(X)]2 的数学期望 对于离散型随机变量X： D(X)＝E{g(X)}＝ ＝ ， 其中，X的分布律为P{X=xk }＝pk，k＝1,2,. 对于连续型随机变量X: D(X)＝E{g(X)}＝ ＝ 其中f(x)是X的概率密度 1 ( ) k g xk pk 1 2 [ ( )] k xk E X pk g(x) f (x)dx (x E(x)) f (x)dx 2 5/62
§4.2方差 方差的计算方法：(2)利用方差恒等式 DX)=EX2)-[EX)]2; 。更重要的是EX)=DX)+[EX)]2 证：由数学期望的性质 D(X)=E{[X-EX)]2=E{X2-2XE(X)+[EX)]2Y =E{X23-2EX)EX)+[EX)]2=EX2)-[EX)]2 这样，求解方差时，除定义式外，可直接利用以上公式 ●首先计算EX), ·然后计算E(X), 。最后计算DX)=EX)-EX)2 6/62
§4.2 方差 方差的计算方法：(2)利用方差恒等式 D(X)＝E(X2 )－[E(X)]2； 更重要的是E(X2 )＝D(X)＋[E(X)]2 证：由数学期望的性质 D(X)＝E{[X－E(X)]2 }＝E{X2－2XE(X)+[E(X)]2 } ＝E{X2 }－2E(X)E(X)+[E(X)]2＝E(X2 )－[E(X)]2 这样，求解方差时，除定义式外，可直接利用以上公式 首先计算E(X)， 然后计算E(X2 )， 最后计算D(X)＝E(X2 )－[E(X)]2 6/62
§4.2方差 9随机变量的标准化： 。设随机变量X具有数学期望EX)=4,方差D(X)=o≠0， 记X*=(X一0)/， 。则EX*)=EX一M)/o=(E(X)一)/G=0 D(X*)=EX*2)-[E(X*)]2=E(M(X-m)/o]2)-0 =(1/σ2)E(X-02) =(1/c2)c2=1 9所以X*的数学期望0，方差1，X*称为X的标准化 变量 7162
§4.2 方差 随机变量的标准化： 设随机变量X具有数学期望E(X)=μ，方差D(X)＝σ 2≠0， 记X*＝(X－μ)/σ， 则E(X*)=E(X－μ)/σ＝(E(X)－μ)/σ＝0 D(X*)＝E(X*2 )－[E(X*)]2＝E([(X－μ)/σ] 2 )－0 ＝(1/σ 2 )E((X－μ) 2 ) ＝(1/σ 2 )σ 2＝1 所以X*的数学期望0，方差1，X*称为X的标准化 变量 7/62
§4.2方差 方差的性质 1°设C是常数，则有D(C)=0. 证明D(C)=E(C2)-E(C)]2=C2-C2=0. 2°设X是一个随机变量，C是常数，则有 D(CX)=C'D(X). 证明D(CX)=EICX-E(CX)} =C2EX-E( =C2D(X), 8/62
证明 2 2 D(C) E(C ) [E(C)] 方差的性质 1°设 C 是常数, 则有 D(C) 0. 2 2 C C 0. 2°设 X 是一个随机变量, C 是常数, 则有 ( ) ( ). 2 D CX C D X 证明 D(CX) {[ ( )] } 2 2 C E X E X ( ). 2 C D X {[ ( )] } 2 E CX E CX §4.2 方差 8/62
§4.2方差 。3°设X,Y是两个随机变量，则有 D(X+Y)=D(X)+D(Y)+2EX-E(X)Y-E(Y), 特别的，若X,Y相互独立，则有 DX+Y)=D(X)+D(Y), 这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。 D(X+Y=EX+Y-E(X+Y)2=EX-EX)+(Y-E(Y)2 =EX-EX)+EY-EY+2EX-EX)JY-EY)D =D(X)+D(Y)+2E(X-E(X)JY-E(Y) EX-E(X)Y-E(Y=EXY-XE(Y-YE(X)+E(X)E(Y) =E(XY-E(X)E(Y-E(Y)E(X)+E(X)E(Y) =E(XY-E(X)E(Y) 当X,Y相互独立时，由数学期望的性质有EXY)=EX)E(Y),从而有 9/62 D(X+Y)=D(X)+D(Y)
§4.2 方差 3°设X,Y是两个随机变量，则有 D(X＋Y)＝D(X)＋D(Y)＋2E{[X－E(X)][Y－E(Y)]}， 特别的，若X,Y相互独立，则有 D(X＋Y)＝D(X)＋D(Y)， 这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。 证：D(X＋Y)＝E{[(X＋Y)－E(X+Y)]2 }= E{[(X－E(X))＋(Y－E(Y))]2 } ＝E{[X－E(X)]2 }＋E{[Y－E(Y)]2 }＋2E{[X－E(X)][Y－E(Y)]} ＝D(X)＋D(Y)＋2E{[X－E(X)][Y－E(Y)]} 又E{[X－E(X)][Y－E(Y)]}＝E{XY－XE(Y)－YE(X)＋E(X)E(Y)} ＝E(XY)－E(X)E(Y)－E(Y)E(X)＋E(X)E(Y) ＝E(XY)－E(X)E(Y) 当X,Y相互独立时，由数学期望的性质有E(XY)＝E(X)E(Y)，从而有 D(X＋Y)＝D(X)＋D(Y) 9/62
§4.2方差 推广若X1,X2,.,Xn相互独立，则有 D(aX±a2X2±·±anXn) =aD(X )+aD(X2)+.+arD(X) 4°D(X)=0的充要条件是X以概率1取常数 C,即P{X=C}=1. “以概率1”的含义：对于连续型随机变量，如果存在 一些孤立的点其随机变量的取值不为常数，那么不影响 结论，这和独立性中几乎处处成立有点类似 所以在这一前提下，X不一定等于C 另外，不难证明有如下不等式成立 若C≠E(X),则D(X)<E(X-C)2 10/62
推广 ( ) ( ) ( ). ( ) 2 2 2 1 2 2 1 1 1 2 2 n n n n a D X a D X a D X D a X a X a X 若 X1 ,X2 , ,Xn 相互独立,则有 即 的充要条件是 以概率 取常数 , 4 ( ) 0 1 C D X X P{X C} 1. 2 若C E(X),则D(X) E(X C) “以概率1”的含义：对于连续型随机变量，如果存在 一些孤立的点其随机变量的取值不为常数，那么不影响 结论，这和独立性中几乎处处成立有点类似 所以在这一前提下，X不一定等于C 另外，不难证明有如下不等式成立 §4.2 方差 10/62
§4.2方差 契比雪夫(Chebyshev)不等式 ⊙定理设随机变量X具有数学期望EX)=,方差 D(X)=2,则对于任意正数，以下不等式成立 PIX-4≥}≤ 82 ●契比雪夫不等式是一个重要的理论工具，应用极为普遍， 很多重要结论都来自于该不等式，对于任意的数学期望 和方差都存在的随机变量都成立 合证：PIX-e-.uw到。h S-a=g 11/62
§4.2 方差 契比雪夫(Chebyshev)不等式 定理 设随机变量X具有数学期望E(X)=μ，方差 D(X)=σ 2，则对于任意正数ε，以下不等式成立 契比雪夫不等式是一个重要的理论工具，应用极为普遍， 很多重要结论都来自于该不等式，对于任意的数学期望 和方差都存在的随机变量都成立 证： 2 2 {| | } P X | | 2 2 | | ( ) | | {| | } ( ) x x f x dx x P X f x dx 2 2 2 2 ( ) ( ) 1 x f x dx 11/62