简介 1.1 多元随机变量... 1 1.2 多元正态分布密度及其性质。.. 4 1.3条件分布.· 18 1.4二次型的独立性... 25 1.5矩阵正态分布*..」 28 Previous Next First Last Back Forward 1
简介 1.1 多元随机变量 . . . . . . . . . . . . . . . . . . 1 1.2 多元正态分布密度及其性质 . . . . . . . . . . 4 1.3 条件分布 . . . . . . . . . . . . . . . . . . . . 18 1.4 二次型的独立性 . . . . . . . . . . . . . . . . . 25 1.5 矩阵正态分布 * . . . . . . . . . . . . . . . . . 28 Previous Next First Last Back Forward 1
1.1 多元随机变量 设X1,X2,,Xp为p个随机变量，它们组成的向量X=(X1,X2,,X) 称为随机向量 ·联合分布函数Gjcd) F(x1,,xp)=P(X1≤x1,,Xp≤xp) 或者记x=(x1,,xp)/,此时 F(x)=P(X≤x) 。联合概率密度函数(Gdf)如果存在非负函数f(r1,·,xp),使 得对任意x1,,xp有 F）=…, 则f(x1,,xp)称为X的联合概率密度函数. Previous Next First Last Back Forward 1
1.1 多元随机变量 设 X1, X2, . . . , Xp 为 p 个随机变量, 它们组成的向量 X = (X1, X2, . . . , Xp) ′ 称为随机向量. • 联合分布函数(jcdf) F(x1, . . . , xp) = P(X1 ≤ x1, . . . , Xp ≤ xp) 或者记 x = (x1, . . . , xp) ′ , 此时 F(x) = P(X ≤ x) • 联合概率密度函数(jpdf) 如果存在非负函数 f(x1, . . . , xp), 使 得对任意 x1, . . . , xp 有 F(x1, . . . , xp) = ∫ x1 −∞ · · · ∫ xp −∞ f(x1, . . . , xp)dx1 · · · dxp 则 f(x1, . . . , xp) 称为 X 的联合概率密度函数. Previous Next First Last Back Forward 1
·X的q个(g<p)分量X)=(X1,,Xg/的分布称为边际 分布： P(X)≤u)=P(X1≤u1,,Xg≤ug）=F(u1,,ug,+oo,,+∞) 边际概率密度函数 g(u)=f(u,y)dy RP-g ·若X=(X4y,x②有概率密度函数fx1,x2),X②有密 度函数g(u),则X)在给定X②=2条件下的条件密度为 f(xx2)=f(x1.x2) 9(x2) ·X1,X2,,Xp相互独立当且仅当(B为X:的分布函数) F(1,,p)=F(),(r1,,p}∈RP i=1 Previous Next First Last Back Forward 2
• X 的 q 个 (q < p) 分量 X (1) = (X1, . . . , Xq) ′ 的分布称为边际 分布: P(X (1) ≤ u) = P(X1 ≤ u1, . . . , Xq ≤ uq) = F(u1, . . . , uq, +∞, . . . , +∞) 边际概率密度函数 g(u) = ∫ Rp−q f(u, y)dy • 若 X = (X(1)′ , X(2)′ ) ′ 有概率密度函数 f(x1, x2), X(2) 有密 度函数 g(u), 则 X(1) 在给定 X(2) = x2 条件下的条件密度为 f(x1|x2) = f(x1, x2) g(x2) • X1, X2, . . . , Xp相互独立当且仅当 (Fi 为 Xi 的分布函数) F(x1, . . . , xp) = ∏p i=1 Fi(xi), ∀(x1, . . . , xp) ′ ∈ R p Previous Next First Last Back Forward 2
·(特征函数)，设p元随机向量X~F(x),则其特征函数定义为 fe)=Eet'x,t∈R肥，i=VT 矩： ·期望EX=(EX1,,EXp) ·协方差cou(X)=(E(X:-EX)(X,-EX)) ·若Xpx1,Ygx1为随机向量，则它们的协方差cou(X,Y)=(E(X: EX)(y-Ey)】 Etr(AXB)=tr(A(EX)B);cov(AX)=Acov(X)A' ·E(X'AX)='Aμ+tr(A),其中∑=cou(X) cov(AX,BY)=Acou(X,Y)B' Previous Next First Last Back Forward 3
• (特征函数), 设 p 元随机向量 X ∼ F(x), 则其特征函数定义为 f(t) = Eeit ′X, t ∈ R p , i = √ −1 矩: • 期望 EX = (EX1, . . . , EXp) ′ • 协方差 cov(X) = ( (E(Xi − EXi)(Xj − EXj ))ij) • 若 Xp×1, Yq×1 为随机向量, 则它们的协方差 cov(X, Y ) = ( (E(Xi− EXi)(Yj − EYj ))ij) • Etr(AXB) = tr(A(EX)B), cov(AX) = Acov(X)A ′ • E(X ′AX) = µ ′Aµ + tr(AΣ), 其中 Σ = cov(X) • cov(AX, BY ) = Acov(X, Y )B ′ Previous Next First Last Back Forward 3
1.2 多元正态分布密度及其性质 多元正态分布重要性： ·许多多元统计技术基于多元正态的假设 ·正态分布数学上易于处理，可以得到许多“漂亮”的结果 ·在实际某些问题里总体分布是正态分布的 ·即便总体分布不是正态分布，许多统计量的分布渐近为正态分 布 Previous Next First Last Back Forward
1.2 多元正态分布密度及其性质 多元正态分布重要性: • 许多多元统计技术基于多元正态的假设 • 正态分布数学上易于处理, 可以得到许多 “漂亮” 的结果 • 在实际某些问题里总体分布是正态分布的 • 即便总体分布不是正态分布, 许多统计量的分布渐近为正态分 布 Previous Next First Last Back Forward 4
i.i.d正态随机变量 设随机变量，…，Ypi.i.d~N(O,1),则随机向量Y=(Y,,Yp)y 的密度为 f(,,)=】 左t-=Ba)a-y 设Y~Np(0,I),则有 ·EY=0,cou(Y)=Ip. ·E(Y'AY)=tr(A): ·设a为p元向量，A为对称矩阵，则cou(aY,YAY)=0. ·设A,B为对称矩阵，则cou(Y'AY,Y'BY)=2tr(AB). Previous Next First Last Back Forward
i.i.d 正态随机变量 设随机变量 Y1, . . . , Yp i.i.d ∼ N(0, 1), 则随机向量 Y = (Y1, . . . , Yp) ′ 的密度为 f(y1, . . . , yp) = ∏p i=1 1 √ 2π exp{−1 2 y 2 i } = (2π) −p/2 exp{−1 2 y ′ y} 设 Y ∼ Np(0, I), 则有 • EY = 0, cov(Y ) = Ip. • E(Y ′AY ) = tr(A). • 设 a 为 p 元向量, A 为对称矩阵, 则 cov(a ′Y, Y ′AY ) = 0. • 设 A, B 为对称矩阵, 则 cov(Y ′AY, Y ′BY ) = 2tr(AB). Previous Next First Last Back Forward 5
证明.由于Y'AY=∑aYy,Y'BY=∑e betYeY,以及 3,i=j=k=l 1, i=j≠k=l E(YYjYY)= i=k≠j=l i=l≠k=j 0, 其他 于是 arym 1≤≠k≤p +∑∑ab+∑∑akbi 1≤≠j≤p 1≤≠k≤r = 3∑aib:+∑∑abk+2∑∑abg i=1 1≤i≠k≤p 1≤≠j≤p Previous Next First Last Back Forward 6
证明. 由于 Y ′AY = ∑ i,j aijYiYj , Y ′BY = ∑ k,l bklYkYl, 以及 E(YiYjYkYl) = 3, i = j = k = l 1, i = j ̸= k = l i = k ̸= j = l i = l ̸= k = j 0, 其他 于是 E(Y ′AY Y ′BY ) = 3∑p i=1 aiibii + ∑∑ 1≤i̸=k≤p aiibkk + ∑∑ 1≤i̸=j≤p aij bij + ∑∑ 1≤i̸=k≤p aikbki = 3∑p i=1 aiibii + ∑∑ 1≤i̸=k≤p aiibkk + 2 ∑∑ 1≤i̸=j≤p aij bij Previous Next First Last Back Forward 6
注意到 ai=22o2ou=rwa@倒-会aa 1<≠k≤p 3ow-合2o-立au=(4a)-名a 1≤≠jsr 从而 E(Y'AYY'BY)=2tr(AB)+tr(A)tr(B). 最后 cov(Y'AY,YBY)=E(Y'AYY'BY)-E(YAY)E(Y'BY)=2tr(AB). ▣ Previous Next First Last Back Forward 7
注意到 ∑∑ 1≤i̸=k≤p aiibkk = ∑p k=1 ∑p i=1 aiibkk − ∑p i=1 aiibii = tr(A)tr(B) − ∑p i=1 aiibii ∑∑ 1≤i̸=j≤p aij bij = ∑p j=1 ∑p i=1 aij bij − ∑p i=1 aiibii = tr(AB) − ∑p i=1 aiibii 从而 E(Y ′AY Y ′BY ) = 2tr(AB) + tr(A)tr(B). 最后 cov(Y ′AY, Y ′BY ) = E(Y ′AY Y ′BY )−E(Y ′AY )E(Y ′BY ) = 2tr(AB). Previous Next First Last Back Forward 7
定理1.设p元随机向量X=4+A'Y,其中μ∈RP,A为p×p 实满秩矩阵，随机向量Y=(Y,·,Yp的各分量，，Ypi.d~ N(0,1),则X有概率密度 g(x)=(2x)p/211/2exp{-5(x-)'-'(x-} 其中∑=A'A>0. 证明.由于A为满秩方阵，因此变换y→x=4+A'y为一一变换， 因此y(x)=(A')-1(x-).变换的Jacobian行列式为 J(y→x）)=|A-|+=AF1=A'A-12=-1/2 从而由多元函数的密度变换公式有ξ的密度函数为 g(x)=f(y(x)J(y→x) (2m)p/21-ep-(x-'-'（x-} Previous Next First Last Back Forward 8
定理 1. 设 p 元随机向量 X = µ + A ′Y , 其中 µ ∈ R p , A 为 p × p 实满秩矩阵, 随机向量 Y = (Y1, . . . , Yp) ′ 的各分量 Y1, . . . , Yp i.i.d ∼ N(0, 1), 则 X 有概率密度 g(x) = (2π) −p/2|Σ| −1/2 exp{−1 2 (x − µ) ′Σ −1 (x − µ)} 其中 Σ = A ′A > 0. 证明. 由于 A 为满秩方阵, 因此变换 y → x = µ + A ′y 为一一变换, 因此 y(x) = (A ′ ) −1 (x − µ). 变换的 Jacobian 行列式为 J(y → x) = |A −1 |+ = |A| −1 + = |A ′A| −1/2 = |Σ| −1/2 从而由多元函数的密度变换公式有 ξ 的密度函数为 g(x) = f(y(x))J(y → x) = (2π) −p/2|Σ| −1/2 exp{−1 2 (x − µ) ′Σ −1 (x − µ)} Previous Next First Last Back Forward 8
此定理表明多元正态分布密度函数由参数“和∑确定，因此定 义一般的多元正态分布为 称p元随机变量X服从参数为4和∑的多元正态分布， 如果其有概率密度函数 fw=2)/四rept-x-r-x- Definition 其中μ∈P,∑为p阶正定矩阵.此时，记X~N(4,) 常称N(O,I)为p元标准正态分布. Previous Next First Last Back Forward 9
此定理表明多元正态分布密度函数由参数 µ 和 Σ 确定, 因此定 义一般的多元正态分布为 称 p 元随机变量 X 服从参数为 µ 和 Σ 的多元正态分布, 如果其有概率密度函数 f(x) = (2π) −p/2|Σ| −1/2 exp{−1 2 (x − µ) ′Σ −1 (x − µ)} 其中 µ ∈ R p , Σ 为 p 阶正定矩阵. 此时, 记 X ∼ Np(µ, Σ). 常称 Np(0, I) 为 p 元标准正态分布. Definition Previous Next First Last Back Forward 9