第八讲车Wishart分布ICochran定理Z = (z1, .., Zm)TZ1,.., Zm id ~Np(0,Z)Z-P)Z1mPZZTz三ZTPZ+zT(Im- P)zW,(m,2)= Wp(r,2)+W.(m-r,2)
1 第八讲 Wishart分布III 𝑍 𝑃𝑍 (𝐼𝑚 − 𝑃)𝑍 Cochran定理 𝑍 = (𝐳1, . , 𝐳𝑚) ⊤, 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ) 𝑍 ⊤𝑍 = 𝑍 ⊤𝑃𝑍 + 𝑍 ⊤(𝐼𝑚 − 𝑃)𝑍 𝑊𝑝 𝑚, Σ = 𝑊𝑝 𝑟, Σ + 𝑊𝑝 𝑚 − 𝑟, Σ
Wishart分布的性质我们下面讨论Wishart分布的一些性质，这些性质都可以从定义导出（不需要概率密度）。定理l：若W~W,(m,Z)，A是q×p矩阵，则AWAT～W。(m,AZA)。证: W=z,z,,其中z..,zm iid ~ N,(o,Z), 因为Az,~ N,(o,AZAT)i=1按照定义, AWAT=ZAz,(Az,)T~W,(m,AZAT)-推论1：(1)W的标准化：Z-1/2Wz-1/2 ~W,(m,I,)=W,(m);反之，若U~W,(m,I,),则z12Uz1/2~W,(m,Z)t'Wt即(2)对任何te RP,tTWt~ W(m,tTZt)=(tTzt)xm,Xmt'Et
2 定理1：若 ~ ( , )， 是 矩阵，则 ~ ( , )。 T T W Wp m A q p AWA Wq m AA ( ) ~ ( , ). ,., ~ , ~ , 1 1 1 m i i i q m p i q m i i i AWA A A W m A A W iid N A N A A T T T T T z z z z z z 0 z 0 按照定义， 证： ，其中 ，因为 ， 对任何 ，即 。 反之，若 ，则 的标准化： 推论 ： 2 2 1 1/2 1/2 1/2 1/2 (2) , ~ ( , ) ( ) ~ ~ ( , ) ~ ( , ). (1) ~ ( , ) ( ); 1 m m d p p p p p p p W R W W m U W m I U W m W W W m I W m t t t t t t t t t t t T T T T T （不需要概率密度）。 我们下面讨论Wishart分布的一些性质，这些性质都可以从定义导出 Wishart 分布的性质
引理1.假设W~W,(m,Z)，若m≥p,则P(W>0)=1.证明：假设W=ZTz=Zz,z,~W,(m,2),i=l其中z.,zm id ~N,(o,2), Z=(z...zm)T,则P(W不可逆)= P(rank(W)<p)= P(rank(Z)< p)=P(zi.zm中任取p个都线性相关)mP(z.,z,线性相关)pmE(P(z, e L(z..z,)/z. ,)-,因为z,与z.. ,独立。P引理2.Z1,,zmidNp(O,Z)，Z=(z1,，zm)T，常数矩阵A,B都是m列，若ABT=0，则AZⅡBZ。推论2(p=1)：假设z~Nm(0,2Im)，若ABT=0,则AzⅡBz。3
3 1. W ~ W (m,) m p, P(W 0) 1. 引理 假设 p ，若 则 因为 与 独立。 线性相关 中任取 个都线性相关 则 不可逆 其中 证明：假设 ， p p p p m m p m p m i i i E P L pm P pm P p P W P rank W p P rank Z p iid N Z W Z Z W m z z z z z z z z z z z z z z 0 z z z z ( ( ,., )| ,., ) 0, ,., ( ,., ) ( ,., ) ( ) ( ( ) ) ( ( ) ) ,., ~ , , ( ,., ) , ~ ( , ) 1 2 2 1 2 1 1 1 1 1 T T T 引理2. 𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ)，𝑍 = (𝐳1, . , 𝐳𝑚) ⊤ ，常数矩阵𝐴, 𝐵都 是𝑚列 ，若𝐴𝐵 ⊤ = 0, 则𝐴𝑍⫫𝐵𝑍。 推论2 (𝑝 = 1)：假设𝐳~𝑁𝑚 0, 𝜎 2 𝐼𝑚 ，若𝐴𝐵 ⊤ = 0, 则𝐴𝐳 ⫫ 𝐵𝐳
证明思路：ABT=0说明A,B的行向量正交。若A,B具有形式：(*)A = (A1,0),B = (0,B),划分ZZ1IZ2，则AZ=(A1,0)=A1Z1BZ=B1Z2否则，我们总可以寻找一组正交基，使得A，B在新坐标基下具有形式（*）。证明1(Schmidt)：对Akxm的行向量（假设行满秩)实施Schmidt正交化：Akxm=T1kxkH1kxm其中T,是可逆下三角矩阵，HiHiT=lk,(H1)H1将H补成正交方阵H=A= (T1,0)(H2)H记Y=HZ兰Z,Y的行向量id~Np(O,Z),划分Y1AZ = (T1, O)Y = (T1, 0)=TY1仅与Y有关；Y其中C =BHTBZ = BHTY ≤ CY = (C1, C2)(CT)由 0 = ABT = (T1,O)HHTCT = (T1,0)= TiCT = Ci= 0(CT)=C2Y2仅与Y2有关，故与AZ=TY独立。= BZ = (C1, C4
4 证明思路：𝐴𝐵 ⊤ = 0 说明 𝐴,𝐵的行向量正交。若𝐴,𝐵具有 形式: 𝐴 = 𝐴1, 0 ,𝐵 = 0,𝐵1 , (*) 划分𝑍 = 𝑍1 𝑍2 ，𝑍1⫫𝑍2，则𝐴𝑍 = 𝐴1, 0 𝑍1 𝑍2 = 𝐴1𝑍1 ⫫ 𝐵𝑍 = 𝐵1𝑍2 否则，我们总可以寻找一组正交基，使得𝐴,𝐵在新坐标基下具有形式(*)。 证明1 (Schmidt)：对 𝐴𝑘×𝑚 的行向量(假设行满秩)实施Schmidt正交化： 𝐴𝑘×𝑚 = 𝑇1𝑘×𝑘𝐻1𝑘×𝑚 ,其中𝑇1是可逆下三角矩阵，𝐻1𝐻1 ⊤ = 𝐼𝑘, 将𝐻1补成正交方阵𝐻 = 𝐻1 𝐻2 ⇒ 𝐴 = (𝑇1, 0) 𝐻1 𝐻2 。 𝑑 记𝑌 = 𝐻𝑍 = 𝑍, 𝑌的行向量 iid ~𝑁𝑝(𝟎, Σ), 划分𝑌 = 𝑌1 𝑌2 , 𝑌1⫫𝑌2. 𝐴𝑍 = 𝑇1, 0 𝑌 = 𝑇1, 0 𝑌1 𝑌2 = 𝑇1𝑌1, 仅与𝑌1有关； 𝐵𝑍 = 𝐵𝐻 ⊤𝑌 ≜ 𝐶𝑌 = 𝐶1, 𝐶2 𝑌1 𝑌2 , 其中𝐶 = 𝐵𝐻 ⊤ 由 0 = 𝐴𝐵 ⊤ = 𝑇1, 0 𝐻𝐻 ⊤𝐶 ⊤ = 𝑇1, 0 𝐶1 ⊤ 𝐶2 ⊤ = 𝑇1𝐶1 ⊤ ⇒ 𝐶1= 0 ⇒ 𝐵𝑍 = 𝐶1, 𝐶2 𝑌1 𝑌2 = 𝐶2𝑌2仅与𝑌2有关，故与𝐴𝑍 = 𝑇1𝑌1独立
证明2(svd)：假设rank(Akxm）=r,其奇异值分解(svd)：0A = UDVT,U E O(k),V E O(m),Dkxm =0Y1记 = VTz与Z同分布，YY2VArY(1) AZ = UDVTZ = UDY = U0C1Y1+C2Y2,其中C=BV(2) BZ = BVY ≤ CY = (C1, C2)由O = ABT = UDVTBT = UDCT = U(C0= CT= 0= BZ = C1Y1 + C2Y2= C2Y2所以AZⅡBZ
5 证明2 (svd)：假设rank 𝐴𝑘×𝑚 = 𝑟, 其奇异值分解(svd): 𝐴 = 𝑈𝐷𝑉 ⊤,𝑈 ∈ 𝒪 𝑘 , 𝑉 ∈ 𝒪 𝑚 ,𝐷𝑘×𝑚 = Λ𝑟 0 0 0 记𝑌 = 𝑉 ⊤𝑍 = 𝑌1 𝑌2 与𝑍同分布，𝑌1⫫𝑌2 (1) 𝐴𝑍 = 𝑈𝐷𝑉 ⊤𝑍 = 𝑈𝐷𝑌 = 𝑈 Λ𝑟𝑌1 0 ； (2) 𝐵𝑍 = 𝐵𝑉𝑌 ≜ 𝐶𝑌 = (𝐶1, 𝐶2) 𝑌1 𝑌2 = 𝐶1𝑌1 + 𝐶2𝑌2, 其中𝐶 = 𝐵𝑉， 由0 = 𝐴𝐵 ⊤ = 𝑈𝐷𝑉 ⊤𝐵 ⊤ = 𝑈𝐷𝐶 ⊤ = 𝑈 Λ𝑟 0 0 0 𝐶1 ⊤ 𝐶2 ⊤ = 𝑈 Λ𝑟𝐶1 ⊤ 0 ⇒ 𝐶1 ⊤ = 0 ⇒ 𝐵𝑍 = 𝐶1𝑌1 + 𝐶2𝑌2 = 𝐶2𝑌2 所以𝐴𝑍⫫ 𝐵𝑍
Cochran定理是第7讲引理4的多元版本：引理4.假设x~Nm（0,lm），P是秩为r的m×m投影矩阵（对称幂等矩阵），则xTPx~xxT(lm-P)x~xm-r，两者独立Cochran定理2（Cochran)假设z1,.,Zmiid~Np(o,Z)，Z=(z1..,zm)定理若P是m×m对称幂等常数矩阵，r=rank(P),则zTPZ ~W,(r,Z), zT(Im - P)Z~Wp(m -r,Z),且两者独立。Cochran定理图示Z(Im - P)zPZ I (Im - P)zPZZPZ二+(Im - P)zZTZ=ZTPZ+ zT(Im-P)zW(m, )) = Wp(r,2) + IWp(m -r,E)6
6 Cochran 定理 引理4. 假设 𝐱~𝑁𝑚 0,𝐼𝑚 ，𝑃是秩为𝑟的 𝑚 × 𝑚投影矩阵(对称幂等矩阵)，则𝐱 ⊤𝑃𝐱~𝜒𝑟 2， 𝐱 ⊤ 𝐼𝑚 − 𝑃 𝐱~𝜒𝑚−𝑟 2 , 两者独立 Cochran定理是第7讲引理4的多元版本： 定理2（Cochran) 假设𝐳1, . , 𝐳𝑚 iid ~𝑁𝑝(𝟎, Σ)，𝑍 = (𝐳1, . , 𝐳𝑚) ⊤ ， 若𝑃是𝑚 × 𝑚对称幂等常数矩阵，𝑟 = 𝑟𝑎𝑛𝑘(𝑃),则 𝑍 ⊤𝑃𝑍 ~𝑊𝑝(𝑟, Σ)，𝑍 ⊤ 𝐼𝑚 − 𝑃 𝑍~𝑊𝑝(𝑚 − 𝑟, Σ)， 且两者独立。 Cochran定理图示 𝑍 𝑃𝑍 (𝐼𝑚 − 𝑃)𝑍 𝑍 = 𝑃𝑍 + (𝐼𝑚 − 𝑃)𝑍 𝑍 ⊤𝑍 = 𝑍 ⊤𝑃𝑍 + 𝑍 ⊤(𝐼𝑚 − 𝑃)𝑍 𝑊𝑝 𝑚, Σ = 𝑊𝑝 𝑟, Σ + 𝑊𝑝 𝑚 − 𝑟, Σ 𝑃𝑍 ⫫ (𝐼𝑚 − 𝑃)𝑍
证明：因为P是对称幂等矩阵，存在正交矩阵HEO(m)O0P= H(HT)HT → Im - P= H记Y=HTz,它与Z同分布，其行向量id～N(O,Z)，划分Y：ZTPZ =T(r)Y=YTYi~Wp(r,2)0(0700zT(Im - P)Z = YT(Y = YTY2~Wp(m -r,Z)(0且 zTPZ I zT(Im - P)Z
7 证明：因为 𝑃是对称幂等矩阵，存在正交矩阵𝐻 ∈ 𝒪(𝑚) 𝑃 = 𝐻 𝐼𝑟 0 0 0 𝐻 ⊤ ⇒ 𝐼𝑚 − 𝑃 = 𝐻 0 0 0 𝐼𝑚−𝑟 𝐻 ⊤ 记𝑌 = 𝐻 ⊤𝑍, 它与𝑍同分布，其行向量 iid ~𝑁𝑝(𝟎, Σ)，划分𝑌 = 𝑌1 𝑌2 , 𝑌1⫫𝑌2, 𝑍 ⊤𝑃𝑍 = 𝑌 ⊤ 𝐼𝑟 0 0 0 𝑌 = 𝑌1 ⊤𝑌1~𝑊𝑝(𝑟, Σ) 𝑍 ⊤(𝐼𝑚 − 𝑃)𝑍 = 𝑌 ⊤ 0 0 0 𝐼𝑚−𝑟 𝑌 = 𝑌2 ⊤𝑌2~𝑊𝑝(𝑚 − 𝑟, Σ) 且 𝑍 ⊤𝑃𝑍 ⫫ 𝑍 ⊤(𝐼𝑚 − 𝑃)𝑍
引入Wishart分布的目的是为了考察样本协方差矩阵s的分布样本协方由Cochran定理可知(n一1)s服从Wishart分布。差矩阵的分布样本：X1,..,XnERp样本矩阵：X=(X1.,Xn)T样本协方差矩阵：S =,Z=1(Xi -x)(Xi -x)T = XT(In - Pi)Xn-定理3.假设x1,,Xniid~N(u,2),S为样本协方差矩阵，则W = (n - 1)S~W(n - 1,Z)证明：令zi = Xi-μ~Np(O,2)X = (X1,.,Xn)T, Z = (z1,.,Zn)T = X- 1μT(n - 1)S = XT(In - P1)X = zT(In - P1)Z因为rank(In - P1) = tr(In - P1) = n - 1,由Cochran定理，(n-1)S~Wp(n -1,2)8
8 证明：令𝐳𝑖 = 𝐱𝑖 − 𝛍~𝑁𝑝(𝟎, Σ) 𝑋 = (𝐱1, . , 𝐱𝑛) ⊤ ，𝑍 = (𝐳1, . , 𝐳𝑛) ⊤ = 𝑋 − 𝟏𝛍 ⊤ 𝑛 − 1 𝑆 = 𝑋 ⊤ 𝐼𝑛 − 𝑃𝟏 𝑋 = 𝑍 ⊤ 𝐼𝑛 − 𝑃𝟏 𝑍 因为𝑟𝑎𝑛𝑘 𝐼𝑛 − 𝑃𝟏 = 𝑡𝑟(𝐼𝑛 − 𝑃𝟏) = 𝑛 − 1, 由Cochran定理， 𝑛 − 1 𝑆~𝑊𝑝 𝑛 − 1, Σ . 定理3. 假设𝐱1, . , 𝐱𝑛 iid ~𝑁𝑝 𝝁, Σ , 𝑆 为样本协方差矩阵， 则𝑊 = 𝑛 − 1 𝑆~𝑊𝑝 𝑛 − 1, Σ 引入Wishart分布的目的是为了考察样本协方差矩阵𝑆的分布, 由Cochran定理可知(𝑛 − 1)𝑆服从Wishart分布。 样本协方 差矩阵的 分布 样本：𝐱1, . , 𝐱𝑛 ∈ 𝑅 𝑝 样本矩阵：𝑋 = (𝐱1, . , 𝐱𝑛) ⊤ 样本协方差矩阵: 𝑆 = 1 𝑛−1 σ𝑖=1 𝑛 (𝐱𝑖 − 𝐱ത)(𝐱𝑖 − 𝐱ത) ⊤ = 𝑋 ⊤ 𝐼𝑛 − 𝑃𝟏 𝑋
Fisher问题：假设z~N(O,I)，若zTAz~x,zTz-zTAz=z(Im-A)z~xm-r矩阵A必须是幂等/投影矩阵吗?Cochran问题是其多元情形Cochran定理：假设z.z.N,(,Z),Z=(z..,z.),Cochran定理若A是一个m×m对称常数矩阵,r=rank(A),则A对称幂等 ZTAZⅡZT(I-A)ZzTAZ ~W,(r,Z), zT(Im-A)Z~W,(m-r,Z)。Cochran定理II的矩阵版本：假设A是m阶对称矩阵，则A幂等←A(I.-A)=0 rank(A)+rank(I.-A)=m证明：假设rank(A)+rank(I，-A)=m,设r=rank(A),01HT,H正交，A=diag(a,,a,),a,0假设A有谱分解A=H000-AHT则B=I-A=HI0因为rank(B)=m-r，所以I,-Λ必为O，△=I,所以A是幂等矩阵，B也是，且AB=0
9 ， 。 对称幂等 若 是一个 对称常数矩阵 则 定理 ：假设 ， ~ ( , ) ( ) ~ ( , ) ( ) , ( ), Cochran II ,., ~ ( , ), ( ,., ) 1 1 Z AZ W r Z I A Z W m r A Z AZ Z I A Z A m m r rank A N Z p m p m m p m T T T T T Cochran z z 0 z z 定理II ⫫ 矩阵 必须是幂等 投影矩阵吗 问题是其多元情形 假设 ，若 ， 问题： / ?Cochran ~ (0, ) ~ , ( ) ~ Fisher 2 2 A N Im A r A Im A mr z z z z z z z z z T T T T A A I A rank A rank I A m A m ( m ) 0 ( ) ( m ) Cochran II 幂等 定理 的矩阵版本：假设 是 阶对称矩阵，则 0. ( ) 0 , 0 0 , ( ,., ), 0 0 00 ( ) ( ) , ( ),1 A B AB rank B m r I I H I I B I A H A A H H H diag rank A rank I A m r rank A r r m r r r i m 所以 是幂等矩阵， 也是，且 因为 ，所以 必为 ， ， 则 假设 有谱分解 正交， 证明：假设 设 TT
矩阵向量化将矩阵拉直成向量，方便处理一些复杂运算，主要方便矩阵向量化于描述随机矩阵的方差和协方差。但拉直会失去（打乱）矩阵的结和Kronecker构，因此我们只在描述随机矩阵的协方差结构时才使用该记号。乘积(Y1：矩阵Y=(y1,, yn)拉直：vec(Y)=(Yn口矩阵A,B的Kronecker乘积：AB=(aijB)(xIX=:= (X1, .. Xn) T = (X(1), ., X(n)(xTX1, .., Xn iid ~ Np(μ,2) vec(XT)~Nnp(1μ, In@2)← vec(X)~Nnp(μ1, E@In)口常用性质：vec(AXB) = (BA)vec(X), (AB)(CD) = (AC)(BD)参见附录10
10 矩阵向量化将矩阵拉直成向量，方便处理一些复杂运算，主要方便 于描述随机矩阵的方差和协方差。但拉直会失去（打乱）矩阵的结 构，因此我们只在描述随机矩阵的协方差结构时才使用该记号。 矩阵向量化 和Kronecker 乘积 矩阵𝑌 = (𝐲1, ., 𝐲𝑛)拉直 : vec 𝑌 = 𝐲1 ⋮ 𝐲𝑛 , 矩阵𝐴, 𝐵的Kronecker乘积：𝐴⨂𝐵 = 𝑎𝑖𝑗𝐵 . 𝑋 = 𝐱1 ⊤ ⋮ 𝐱𝑛 ⊤ = (𝐱1, ., 𝐱𝑛) ⊤ = (𝐱(1) , ., 𝐱(𝑛)) 𝐱1, ., 𝐱𝑛 iid ~ 𝑁𝑝 𝛍, Σ ⇔ vec(𝑋 ⊤)~𝑁𝑛𝑝(𝟏⨂𝛍, 𝐼𝑛⨂Σ) ⇔ vec(𝑋)~𝑁𝑛𝑝(𝛍⨂𝟏, Σ ⨂𝐼𝑛) 常用性质: vec(𝐴𝑋𝐵) = (𝐵 ⊤⨂𝐴)vec(𝑋), 𝐴⨂𝐵 𝐶⨂𝐷 = 𝐴𝐶 ⨂ 𝐵𝐷 参见附录