第三讲球对称分布 (I)在高维空间随机均匀)取一个向量，它几乎与任何其它给定的或独立的随机向量正交
1 第三讲 球对称分布（II） 在高维空间随机(均匀)取一个向 量，它几乎与任何其它给定的或 独立的随机向量正交
球对称随机向量的计算机采样球对称分布的表示（极分解）x=ur在理论证明或计算时非常有用。另一个重要的应用是用于蒙特卡洛采样/抽样（sampling），这里的采样/抽样指的是计算机随机数的生成。该表示。蒙特卡洛（MonteCarlo，MC）需要产生给定分布的随机数或随机向量，我们默认U（0,1）随机数容易生成并直接利用。Inversionsampling算法（适用于累积分布函数容易求逆的情形）Inversion假设随机变量X的累积分布函数F(x)=P(X<x)连续，F=1-Fsampling若~U(0,1),则F-1()兰X,F-1()兰x例如, 如果R~p(r) = nrn-1,0 <r < 1,F(r)= rn。为了生成随机数R，可首先生成～U(0,1)，令R=1/n即可。2
2 球对称随机向量的计算机采样 球对称分布的表示（极分解）𝐱 = 𝐮𝑟 在理论证明或计算时非常有 用。另一个重要的应用是用于蒙特卡洛采样/抽样（sampling）， 这里的采样/抽样指的是计算机随机数的生成。该表示。 𝑑 蒙特卡洛（Monte Carlo,MC) 需要产生给定分布的随机数或随机 向量，我们默认𝑈(0,1)随机数容易生成并直接利用。 Inversion sampling 𝑑 Inversion sampling算法(适用于累积分布函数容易求逆的情形)： 假设随机变量𝑋的累积分布函数𝐹(𝑥) = 𝑃 𝑋 < 𝑥 连续 , 𝐹ത = 1 − 𝐹。 若𝜉~𝑈(0,1),则𝐹 −1 𝜉 = 𝑋，𝐹ത−1 𝜉 = 𝑋. 𝑑 例如，如果𝑅~𝑝 𝑟 = 𝑛𝑟 𝑛−1 , 0 < 𝑟 < 1, 𝐹(𝑟) = 𝑟 𝑛。 为了生成随机数𝑅 ， 可首先生成𝜉~𝑈(0,1) , 令𝑅 = 𝜉 1/𝑛即可
N(0,1)非常重要。直接利用inversionsampling不能产生N(0,1）随机数，这是因为我们没有累积分布函数Φ的精确显式表达，无法精确计算Φ-1。但有趣的是，利用二元正态的极分解，我们可以很容易地同时产生两个N（0,1)随机数，原理如下：已知x~Nz(0,12）兰uR，u~U(S1),R~X2，只需产生u和R：： 产生9~U(0,2元),则 u = (cos(0), sin(0))T～ U(S1)· R~X2的密度px(r)= rexp(-r2 /2)，F(r) = exp(-r2 /2),则 = F(R)~U(0,1),R = -2log(5)~X2, 其中E~U(0,1), 。正态抽样：Box-Muller方法(N2(0,12)抽样)：Box-Muller算法·产生~U(0,2元)，5~U(0,1)，独立; R = y-2log(), u = (cos(0),sin(0))T;· X = Ru~N2(0,I2).利用Box-Muller方法独立产生若于正态随机变量，合在一起即得到多元标准正态随机向量。所以正态随机向量非常容易产生。3
3 已知 𝐱~𝑁2 0,𝐼2 = 𝐮𝑅， 𝐮 ~𝑈(𝑆 1 ), 𝑅~𝜒2，只需产生𝐮和𝑅: • 产生𝜃~𝑈 0,2𝜋 ,则 𝐮 = cos(𝜃), sin(𝜃 ) ⊤~ 𝑈(𝑆 1 ) • 𝑅~𝜒2的密度 𝑝𝜒2 𝑟 = 𝑟exp(−𝑟 2 /2) ，𝐹ത 𝑟 = exp(−𝑟 2 /2), 则 𝜉 = 𝐹ത 𝑅 ~𝑈 0,1 , 𝑅 = −2log(𝜉)~𝜒2，其中𝜉~𝑈 0,1 , 𝜉 ⫫ 𝜃。 𝑑 𝑁(0,1)非常重要。直接利用inversion sampling不能产生𝑁(0,1) 随机数, 这是因为我们没有累积分布函数Φ的精确显式表达， 无法精确计算Φ−1。但有趣的是，利用二元正态的极分解， 我们可以很容易地同时产生两个𝑁(0,1)随机数，原理如下： Box-Muller方法 (𝑁2 0,𝐼2 抽样): • 产生𝜃~𝑈 0,2𝜋 ，𝜉~𝑈(0,1)，独立; • 𝑅 = −2log(𝜉)， 𝐮 = cos(𝜃), sin(𝜃 ) ⊤; • 𝐱 = 𝑅𝐮~𝑁2 0,𝐼2 . 正态抽样： Box-Muller 算法 利用Box-Muller方法独立产生若干正态随机变量，合在一起即得 到多元标准正态随机向量。所以正态随机向量非常容易产生
由第二讲定理1，若z～Nn(0,In)，则u=～U(Sn-1)，因此将U(sn-1)1zl抽样Nn(O,In)随机向量单位化即得到球面均匀随机向量。U(sn-1)抽样产生z~Nn(O,In）;Z则u~U(sn-1);令u：J/zll般球对假设球对称随机向量x～f(x)=h(lxl)，由第二讲定理1的推论，2元/2称随机向xuR,uⅡ R, u~U(Sn-1),R~p(r) =h(r)rn-1r(n/2)量的抽样球对称分布抽样：产生z~Nn(O,In）;则u~U(sn-1);令u关键是产生随机变量R，可采用IIzll 2元/2inversionsampling，；如果不可行，产生一元R~p(r)=h(rrn-r(n/2)可采用拒绝抽样，importance· 令x = uR,则x ～ f(x) = h(llxll)。sampling等等（参见附录1)1/m例如，U(Bn)采样：生成E～U(O,1)，z～Nn(O,In)，X=z0
4 𝑈 𝑆 𝑛−1 抽样 由第二讲定理1，若𝐳~𝑁𝑛 0,𝐼𝑛 ，则𝐮 = 𝐳 𝐳 ~𝑈 𝑆 𝑛−1 ，因此将 𝑁𝑛 0,𝐼𝑛 随机向量单位化即得到球面均匀随机向量。 𝑈 𝑆 𝑛−1 抽样 • 产生𝐳~𝑁𝑛 0,𝐼𝑛 ； • 令 𝐮 = 𝐳 𝐳 ，则𝐮~𝑈 𝑆 𝑛−1 ; 一般球对 称随机向 量的抽样 假设球对称随机向量𝐱 ~ 𝑓 𝐱 = ℎ( 𝐱 )， 由第二讲定理1的推论， 𝐱 = 𝐮𝑅, 𝐮 ⫫ 𝑅, 𝐮~𝑈 𝑆 𝑛−1 , 𝑅~𝑝 𝑟 = 2𝜋 𝑛/2 Γ(𝑛/2) ℎ 𝑟 𝑟 𝑑 𝑛−1 球对称分布抽样： • 产生𝐳~𝑁𝑛 0,𝐼𝑛 ； • 令 𝐮 = 𝐳 𝐳 ，则𝐮~𝑈 𝑆 𝑛−1 ; • 产生一元𝑅~𝑝 𝑟 = 2𝜋 𝑛/2 Γ(𝑛/2) ℎ 𝑟 𝑟 𝑛−1 • 令𝐱 = 𝐮𝑅, 则𝐱 ~ 𝑓 𝐱 = ℎ( 𝐱 )。 关键是产生随机变量𝑅，可采用 inversion sampling,；如果不可行， 可采用拒绝抽样，importance sampling 等等 (参见附录1) 例如，𝑈(𝐵 𝑛 )采样: 生成𝜉~𝑈(0,1) ，𝐳~𝑁𝑛 0,𝐼𝑛 ，𝐱 = 𝐳 𝐳 𝜉 1/𝑛
拒绝采样或拒绝-接受采样是一种应用广泛的采样方式，U(B）的其是均匀分布采样经常采用。拒绝采样的原理是若x~U(C),拒绝抽样Co C C, 则 x|xECo~U(Co).若u.,unid~U(-1,1),则u = (ui,..,un)T~U([-1,1jn)拒绝U(Bn)的拒绝抽样：为了生成x～U(Bn），我们先在容易采样的区域[-1,1]n>Bn中均匀采样x~U([-1,1]"），如果得到的点落在Bn内，这就是我们需要的X；若该点落在球外，则拒绝该点。上述方法适用于n较小的情形，当n较大，比如n=10时，单位球与超立方体[一1,1110的体积之比为0.0025，这意味着生成10000个U([-1,1]10),其中只有约25个落在单位球内，采样效率低下5
5 拒绝采样或拒绝-接受采样是一种应用广泛的采样方式，尤 其是均匀分布采样经常采用。拒绝采样的原理是若𝑥~𝑈 𝐶 , 𝐶0 ⊂ 𝐶, 则 𝑥|𝑥∈𝐶0~𝑈 𝐶0 . 𝑈(𝐵 𝑛 )的 拒绝抽样 𝑈(𝐵 𝑛 )的拒绝抽样： 为了生成𝐱~𝑈(𝐵 𝑛 ) ，我们先在容易采样的区域 −1,1 𝑛 ⊃ 𝐵 𝑛中 均匀采样𝐱~𝑈( −1,1 𝑛 ) ，如果得到的点落在𝐵 𝑛内，这就是我们 需要的𝐱；若该点落在球外，则拒绝该点。 若𝑢1, . , 𝑢𝑛 𝑖𝑖𝑑 ~𝑈 −1,1 , 则 𝐮 = (𝑢1, . , 𝑢𝑛) ⊤ ~𝑈 −1,1 𝑛 拒绝 上述方法适用于𝑛较小的情形，当𝑛较大，比如𝑛 = 10时，单位 球与超立方体 −1,1 10的体积之比为0.0025，这意味着生成10000 个𝑈 −1,1 10 , 其中只有约25个落在单位球内，采样效率低下
球对称分布的性质我们已给出了球对称分布的极分解或随机表示x= ur, u~U(s n-1), r 兰 IIxll ,下面进一步利用旋转不变性考虑其分布性质，尤其是球面均匀分布及其边际分布，我们将大量采用同分布等号”"同分布等号兰可传递，但不是真正意义上的数学等号，同分布同分布等号操作需要小心，比如对于3个r.v.x,y,z等号x不定蕴含x+z+z引理1：若随机向量x兰y，则g(x)=g(y)，其中g是任一（可测向量函数。特别地，xiyi，xixj=yiyj注：该引理的关键是等号两边的内部做同样的运算/函数，分布依旧相同。证: P(g(x) E C) = P(x E g-1(C)) = P(y E g-1(C)) = P(g(y) E C)6
6 同分布等号 = 可传递，但不是真正意义上的数学等号，同分布 等号操作需要小心 ， 比如对于3个r.v. 𝑥, 𝑦, 𝑧 𝑥 = 𝑦 不一定蕴含 𝑥 + 𝑧 = 𝑦 + 𝑧 引理1：若随机向量 𝐱 = 𝐲，则𝑔 𝐱 = 𝑔 𝐲 , 其中 𝑔是任一（可测） 向量函数。特别地，𝑥𝑖 = 𝑦𝑖 , 𝑥𝑖 𝑥𝑗 = 𝑦𝑖𝑦𝑗 . 𝑑 𝑑 𝑑 𝑑 𝑑 𝑑 𝑑 同分布 等号 球对称分布的性质 证：𝑃 𝑔 𝐱 ∈ 𝐶 = 𝑃 𝐱 ∈ 𝑔 −1 𝐶 = 𝑃 𝐲 ∈ 𝑔 −1 𝐶 = 𝑃 𝑔 𝐲 ∈ 𝐶 注：该引理的关键是等号两边的内部做同样的运算/函数，分布依旧相同。 我们已给出了球对称分布的极分解或随机表示 𝐱 = 𝐮𝑟, 𝐮~𝑈(𝑆 𝑛−1 ), 𝑟 = 𝐱 ， 下面进一步利用旋转不变性考虑其分布性质，尤其是球面均 匀分布及其边际分布，我们将大量采用同分布等号 " = " 𝑑 𝑑 𝑑
问题：已知x=y，何时x+z=y+z？由引理1，一个充分条件是当z与x，y都独立时上式成立，特别地，当z是常向量时成立。Cramer-Wold定理说明两个随机向量同分布，当且仅当它们在任何单位方向的投影坐标同分布，引理2（Cramer-Wold定理）假设随机向量x，yERn，则x=ytTxtTy,vtesn-1。证明：(一）由引理1立得。(-)对任何vtE Rn, t/t E Sn-1, tTx/ltl 兰 tTy/ltll→tT x兰tTy→矩母函数 E(exp(tTx))=E(exp(tTy))=→x=y注：矩母（或特征）函数唯一决定x的分布表达的含义实际上就是“所有一维投影坐标tx的分布决定x整体的分布
7 问题：已知 𝐱 = 𝐲，何时 𝐱 + 𝐳 = 𝐲 + 𝐳？ 𝑑 𝑑 𝑑 由引理1，一个充分条件是 𝐱 𝐳 = 𝐲 𝐳 当𝐳与𝐱, 𝐲都独立时上式成立, 特别地，当𝐳是常向量时成立。 引理2 (Cramer-Wold定理) 假设随机向量𝐱，𝐲 ∈ 𝑅 𝑛 ，则 𝐱 = 𝐲 ⇔ 𝐭 ⊤𝐱 = 𝐭 ⊤𝐲, ∀ 𝐭 ∈ 𝑆 𝑑 𝑑 𝑛−1。 证明:(⇒) 由引理1立得。 (⇐) 对任何∀ 𝐭 ∈ 𝑅 𝑛 , 𝐭/ 𝐭 ∈ 𝑆 𝑛−1 , 𝐭 ⊤𝐱/ 𝐭 = 𝐭 ⊤𝐲/ 𝐭 ⇒ 𝐭 ⊤ 𝐱 = 𝐭 ⊤𝐲 ⇒ 矩母函数 𝐸 exp 𝐭 ⊤𝐱 = 𝐸 exp 𝐭 ⊤𝐲 ⇒ 𝐱 = 𝐲 𝑑 𝑑 𝑑 Cramer-Wold定理说明两个随机向量同分布，当且仅当它们在任 何单位方向的投影坐标同分布. 注：矩母（或特征）函数唯一决定𝐱的分布表达的含义实际上就是“所 有一维投影坐标 𝐭 ⊤𝐱的分布决定𝐱整体的分布
命题1：若x服从球对称分布，则x所有分量同分布（不独立），且球对称分E(x) = 0, var(x) = α2Ir布的一元边际证明：因为置换变换是正交变换，所以x各个分量同分布，方差相同；因为反射矩阵H=diag(1,1,，-1,1,….1)是正交变换，我们有xi 兰-xi，xix; =-xixj，从而E(xi)=0,cov(xi,x)= 0球对称分布随机向量x的各个分量x同分布，因为旋转不变性，它在任何方向tESn-1上的投影坐标与x;同分布定理1.x服从球对称分布tTx=x1,tESn-1。证明：（-)任取正交矩阵H,其第一行为t则Hx=x，特别地两边的第一分量等分布，即tTx兰x1。(-)对任何正交矩阵H，为了证明Hx=x，由引理2，我们只需对任何t E S n-1证明tTHx兰 tTx.因为t E S n-1,HTt E S n-1,故tT×兰x1,且(HTt)T×兰x1，从而(HTt)T×兰tTx8
8 命题1：若𝐱服从球对称分布， 则𝐱所有分量同分布(不独立)，且 𝐸 𝐱 = 𝟎, 𝑣𝑎𝑟 𝐱 = 𝜎 2 𝐼𝑛 证明：因为置换变换是正交变换，所以 𝐱各个分量同分布，方差相 同；因为反射矩阵𝐻 = 𝑑𝑖𝑎𝑔(1,1, . , −1,1, . 1)是正交变换，我们有 𝑥𝑖 = −𝑥𝑖 , 𝑥𝑖𝑥𝑗 = −𝑥𝑖𝑥𝑗，从而𝐸(𝑥𝑖) = 0, 𝑐𝑜𝑣 𝑥𝑖 , 𝑥𝑗 = 0. 𝑑 𝑑 球对称分布随机向量𝐱的各个分量𝑥𝑖同分布，因为旋转不变 性，它在任何方向 𝐭 ∈ 𝑆 𝑛−1上的投影坐标与𝑥𝑖同分布 球对称分 布的一元 边际 𝑑 定理1. 𝐱服从球对称分布 ⇔ 𝐭 ⊤𝐱 = 𝑥1, ∀ 𝐭 ∈ 𝑆 𝑛−1。 (⇐) 对任何正交矩阵𝐻，为了证明𝐻𝐱 = 𝐱，由引理2，我们只需对 任何𝐭 ∈ 𝑆 𝑛−1证明𝐭 ⊤𝐻𝐱 = 𝐭 ⊤𝐱.因为𝐭 ∈ 𝑆 𝑛−1 ，𝐻 ⊤𝐭 ∈ 𝑆 𝑛−1 , 故 𝐭 ⊤𝐱 = 𝑥1, 且(𝐻 ⊤𝐭) ⊤ 𝐱 = 𝑥1，从而(𝐻 ⊤𝐭) ⊤ 𝐱 = 𝐭 ⊤𝐱 𝑑 𝑑 𝑑 𝑑 𝑑 𝑑 证明：(⇒)任取正交矩阵𝐻,其第一行为𝐭, 则 𝐻𝐱 = 𝐱，特别地两 边的第一分量等分布，即𝐭 ⊤𝐱 = 𝑥1。 𝑑
U(sn-1)的定理2（第一讲P38推论1），u=（u1,,un)T～U(sn-1)，则u维边际的概率密度函数为r(a)r(b)B(a, b) = T(a + b)A(1-u)(n-3)/2, [uil < 1fn(u)n-11（这是[-1,1]区间上的beta分布）ui+1~beta("u1n-1.注：等价地，Vn - 1n-121-u?证明1：引入球坐标u = (cos(0), sin(0) cos(02), ., sin(0) ... sin(0n-))T由第二讲推论1，～pk(）αsinn--1(),k=1,.…,n-1，特别地01~ pi(01) α sinn-2(01), 0 < 01 <π因为Jsinn-k-1(k)do=B(=,),所以i的概率密度为sinn-2(01)p1(01)由此可得u1=cos(Q)的概率密度1 -u2)(n-3)/2fn,1(u) =-19
9 定理2（第一讲P38推论1）. 𝐮 = (𝑢1, . , 𝑢𝑛) ⊤~𝑈 𝑆 𝑛−1 ，则𝑢1 的概率密度函数为 𝑓𝑛 𝑢 = 1 𝐵 𝑛−1 2 , 1 2 (1− 𝑢1 2 ) (𝑛−3)/2 , |𝑢1| < 1 （这是[−1,1]区间上的beta分布） 证明1：引入球坐标 𝐮 = (cos(𝜃1) , sin(𝜃1) cos(𝜃2) , . , sin(𝜃1) ⋯ sin(𝜃𝑛−1) ) ⊤ 由第二讲推论1，𝜃𝑘~ 𝑝𝑘 𝜃𝑘 ∝ sin𝑛−𝑘−1 (𝜃𝑘) , 𝑘 = 1, . , 𝑛 − 1， 特别地 𝜃1~ 𝑝1 𝜃1 ∝ sin𝑛−2 (𝜃1)，0 < 𝜃1 < 𝜋 因为0 𝜋 sin𝑛−𝑘−1 (𝜃𝑘) 𝑑𝜃𝑘 = 𝐵 𝑛−𝑘 2 , 1 2 , 所以𝜃1的概率密度为 𝑝1 𝜃1 = 1 𝐵 𝑛−1 2 , 1 2 sin𝑛−2 (𝜃1) 由此可得𝑢1 = cos(𝜃1)的概率密度 𝑓𝑛,1 𝑢 = 1 𝐵 𝑛−1 2 , 1 2 (1 − 𝑢 2 ) (𝑛−3)/2 𝑈 𝑆 𝑛−1 的 一维边际 𝐵 𝑎, 𝑏 = Γ(𝑎)Γ(𝑏) Γ(𝑎 + 𝑏) 注：等价地，𝑢1+1 2 ~𝑏𝑒𝑡𝑎( 𝑛−1 2 , 𝑛−1 2 )， 𝑛 − 1 𝑢1 1−𝑢1 2 ~𝑡𝑛−1
证明2：不妨假设u=IxX~Nn(0,In),所以X~Nn(O, In) = x/ xl~U(S n-1).X1X1, ..., xn iid ~N(O,1)un+xnXx2则uzbet=x+x2++元dxab0betaxa+xb由此可求出u的概率密度。另外，显然Vn-1ixuiVn-i11-u?x2+.+xn我们将采用第二种方法求U(Sn-1)的多元边际分布（极坐标方法稍复杂）。10
10 证明2：不妨假设𝐮 = 𝐱 𝐱 , 𝐱~𝑁𝑛(0,𝐼𝑛), 所以 𝑢1 = 𝑥1 𝑥1 2+⋯+𝑥𝑛 2 ，𝑥1, . . , 𝑥𝑛 𝑖𝑖𝑑 ~𝑁(0,1) 则𝑢1 2 = 𝑥1 2 𝑥1 2+𝑥2 2+⋯+𝑥𝑛 2 ~𝑏𝑒𝑡𝑎 1 2 , 𝑛−1 2 ， 由此可求出𝑢1的概率密度。另外，显然 𝑛 − 1 𝑢1 1−𝑢1 2 = 𝑛−1𝑥1 𝑥2 2+⋯+𝑥𝑛 2 ~𝑡𝑛−1。 我们将采用第二种方法求𝑈 𝑆 𝑛−1 的多元边际分布（极坐标方法稍复杂）。 𝜒𝑎 2 𝜒𝑎 2+𝜒𝑏 2 = 𝑏𝑒𝑡𝑎 𝑎 2 , 𝑏 2 𝑑 𝐱~𝑁𝑛(0,𝐼𝑛) ⇒ 𝐱/ 𝐱 ~𝑈 𝑆 𝑛−1