第五讲高斯图模型2025X1var(xi)Z=varX(var(xi/x2) )-12-1
第五讲 高斯图模型 2025 1 Σ = var 𝐱1 𝐱2 = var(𝐱1) ∗ ∗ ∗ , Σ −1 = (var(𝐱1|𝐱2) ) −1 ∗ ∗ ∗
内容多元生成分布：球对称正态、Boltzmann分布椭球分布多元正态分布高斯图模型·概率图模型：马氏随机场Hammersley-Clifford定理
内容 • 多元生成分布：球对称正态、Boltzmann分布 • 椭球分布 • 多元正态分布 • 高斯图模型 • 概率图模型：马氏随机场 • Hammersley-Clifford定理 2
高斯积分方法计算球表面积（参见第一讲P27定理1的证明2）Recap及其与Mawell-Hershell定理的关系注意不能应用任何与球面积或体积有关的先验知识，比如不能使用球内均匀分布等取球对称多元正态密度（略去常数）：p(x) = e- xl = I’=1 e-x?下面用两种方式计算其积分，p(x)dx，注意p(x）有两个特点：(1)球对称：p(x)仅依赖于模长，利用球坐标可把径向与球面分离开来：J p(x)dx = J e-x x = J Joo)xsn-1 e-r n-1drdo= Je-r*rn-1dr × Jsn-1 dg ==r(n/2) Isn-1|(2)分量独立：p(x)可分解，多重积分转化为n个一重积分J p(x)dx= J ... e-xi-.-ndx-... xn = (J e-xidx1)" = πn/2→ r(n/2)sn-1//2 = πn/2 → [sn-1/ = 2元n/2 /r(n/2)同时具有球对称和分量独立两个性质的分布只有球对称多元正态分布(Mawell-Hershell定理），故p(x)取球对称正态是唯一的选择。m
3 取球对称多元正态密度（略去常数）： 𝑝 𝐱 = 𝑒 − 𝐱 2 = ς𝑖=1 𝑝 𝑒 −𝑥𝑖 2 下面用两种方式计算其积分,�𝑑� �� �� 注意𝑝 𝐱 有两个特点： ⇒ Γ 𝑛/2 𝑆 𝑛−1 /2 = 𝜋 𝑛/2 ⇒ 𝑆 𝑛−1 = 2𝜋 𝑛/2/Γ(𝑛/2) (1) 球对称：𝑝 𝐱 仅依赖于模长， 利用球坐标可把径向与球面分离开来： �� = �𝑑� �� �� − 𝐱 2 ��×(∞,0( = �𝑑� 𝑛−1 𝑒 −𝒓 2 𝑟 𝑛−1𝑑𝑟𝑑𝜎 �� = −𝒓 2 𝑟 �� × �𝑑�1𝑛− 𝑛−1 𝑑𝜎 = 1 2 Γ(𝑛/2) |𝑆 𝑛−1 | (2) 分量独立：𝑝 𝐱 可分解，多重积分转化为𝑛个一重积分 �� ⋯ = �𝑑� �� �� −𝑥1 2−⋯−𝑥𝑛 2 �� = �𝑥𝑑� . 1𝑑𝑥 −𝑥1 2 𝑑𝑥1 𝑛 = 𝜋 𝑛/2 Recap 高斯积分方法计算球表面积（参见第一讲P27定理1的证明2 ） 及其与Mawell-Hershell定理的关系 注意不能应用任何与球面积或体积有关的先验知识，比如不能使用球内均匀分布等 同时具有球对称和分量独立两个性质的分布只有球对称多元正态 分布(Mawell-Hershell定理), 故𝑝 𝐱 取球对称正态是唯一的选择
正态变量相依性与协方差矩阵有关，条件相依性与协方差矩阵的逆有关第4讲性质6，6*：假设x~N(u,2),>0,=-1，划分212Z11(211Z12L22221221222其中x1,是q×1向量，Z11,11是q×q方阵，则X1~Ng(μ1,E11);←var(x1）为Z的子矩阵Z11X1/X2~Ng(μ1 +Z12222(X2μ2),Z11.2)= Ng(μ - 2i1212(X2 -μ2),2i1)一var（x1Ix2）为2子矩阵211的逆(211(211**ZZ:***var(x1)(var(x1/x2) )-1var(x1/x2) = 2i1
4 第4讲性质6，6*：假设 𝐱~𝑁𝑝 𝜇, Σ , Σ > 0,Ω = Σ −1 ，划分 𝐱 = 𝐱1 𝐱2 , 𝛍 = 𝛍1 𝛍2 ,Σ = Σ11 Σ12 Σ21 Σ22 , Ω = Ω11 Ω12 Ω21 Ω22 其中𝐱1, 𝛍1是𝑞 × 1向量，Σ11,Ω11是𝑞 × 𝑞方阵，则 • 𝐱1~𝑁𝑞 𝛍1, Σ11 ； • 𝐱1|𝐱2~𝑁𝑞 𝛍1 + Σ12Σ22 −1 𝐱2 − 𝛍2 , Σ11⦁2 = 𝑁𝑞 𝛍1 − Ω11 −1Ω12 𝐱2 − 𝛍2 , Ω11 −1 . Σ = Σ11 ∗ ∗ ∗ , Σ −1 = Ω = Ω11 ∗ ∗ ∗ var(𝐱1) (var(𝐱1|𝐱2) ) −1 var(𝐱1 𝐱2 = Ω11 −1 ← var(𝐱1) 为Σ的子矩阵Σ11 ← var(𝐱1 𝐱2 为Ω子矩阵Ω11的逆 正态变量相依性与协方差矩阵有关，条件相依性与协方差矩阵的逆有关
高斯图模型当关注条件相依和条件独立时，多元正态分布称为高斯图模型（并以无向图表示）记号约定记号：随机向量x=（x,x2x），假设下标集合S(,2.p)XA与X-Ax中下标属于S的分量组成向量x，=(x,ieS),不属于S的分量组成x_s =(x,i S)假设Z=cov(x)是p×p正定矩阵,设下标集合A,B,Cc(1,2,.p),互斥。ZABZAB·C·ZAB=cov(XA,XB)为Z的行标为A,列标为B的子矩阵；ZABC=ZAB-ZAcZCCZcB
5 . ),cov( , )cov( , ,.,2,1{, }, 1 AB C AB AC CBCC AB BA BA pp CBA p 为 的行标为 列标为 的子矩阵； 假设 是 正定矩阵 设下标集合 互斥。 xx x 组成 。 中下标属于 的分量组成向量 不属于 的分量 记号：随机向量 假设下标集合 ， ),( ,( ), ,),.,( },.,2,1{ 21 Six S SSix xxx S p iS iS p x x x x T Σ𝐴𝐵 Σ𝐴𝐵⦁𝐶 𝐱𝐴与𝐱−𝐴 高斯图模型 记号约定 当关注条件相依和条件独立时，多元正态分布 称为高斯图模型（并以无向图表示）
常用技巧：条件分布α联合分布p(xs/x-s)=p(xs,x_s) / p(x-s) αc p(x),p(x)中的x_s视作常数将联合密度p(x)=p(xs,x_s)看作是x,的函数（x_,固定），即得到条件概率密度p(x、x_)，但相差一个仅与x_有关的常数倍数。我们将会用到独立性、条件独立性的如下简易证明或计算方法：引理1.独立与条件独立(1)假设随机向量x和y的联合概率密度函数p(x,y)，若存在函数，P2（未必是概率密度）使得p(x,y)=p(x)p2(y)，则x和y独立。(2)若存在函数业，（未必是概率密度）使得联合概率密度函数p(x,y,z)=(x,z)2(y,z),则给定z时，x与y条件独立：xlylz证：(1)略。（2）给定z时的条件概率密度1V(x,z)2(y,z) =,(x)p2(y)p(x,yp(z)p(z由(1)知x和y在给定z时条件独立。注意：z是常数6
6 则给定 时， 与 条件独立： 若存在函数 ， （未必是概率密度）使得联合概率密度函数 （未必是概率密度）使得 ，则 和 独立。 假设随机向量 和 的联合概率密度函数 ，若存在函数 ， 引理 yxzzyzxzyx yxyxyx yx yx ,(),(),( ), )2( )()(),( (1) ),( .1 1 2 21 21 21 p p p 和知由 在给定 时条件独立。 证： 略。（ ）给定 时的条件概率密度 zyx yxzyzx z zyx z zyx z )1( )()(),(),( )( 1 ),( )( 1 )|,( 2(1) 1 2 21 p p p p 注意：z是常数 我们将会用到独立性、条件独立性的如下简易证明或计算方法： 独立与条 件独立 𝐱⫫𝐲|𝒛 ， 中的 视作常数 常用技巧： p SS p SS S ppp xxxxxxxx S )()()(/),()|( 条件分布 ∝联合分布 条件概率密度 ，但相差一个仅与 有关的常数倍数。 将联合密度 看作是 的函数（ 固定），即得到 SS S SS S S p pp xx x xxx x x )|( ),()(
性质6*将多元正态分布的条件分布用逆矩阵2=2-1表达了出来。从多元正态概率密度函数的形式来看，这是比较自然的：记2二Z-1=wii),则我们可以展开x~N,(0,2)指数上的二次型：f(x) = C exp(-) = C exp(--Zi,j Wijxixi),2则我们可以利用引理1方便地研究f（x）的分解和条件独立性质，再次得到性质6*(g=1情形），并得到条件相关系数的表达定理1.假设x~Np(μ,),记=-1=(wii)，则(1) xilx-i~Ni(μi -ZjiWij(xj -μj)/wi,1/wi);(2)给定x-(i,j)条件下，xi与x;的条件相关系数wij一,ij.Pxixjlx-(i) =-uj特别地，wij=0xixilx-(ij）（条件独立条件不相关wij注：非正态情形下，偏相关系数pij-(i)=一Jwiwj
7 𝑓 𝐱 = 𝐶 exp − 𝐱 ⊤Σ −1𝐱 2 = 𝐶 exp − 1 2 σ𝑖,𝑗 𝜔𝑖𝑗𝑥𝑖𝑥𝑗 , 性质6*将多元正态分布的条件分布用逆矩阵Ω = Σ −1表达了出来。 从多元正态概率密度函数的形式来看，这是比较自然的：记Ω = Σ −1 = 𝜔𝑖𝑗 , 则我们可以展开𝐱~𝑁𝑝 0, Σ 指数上的二次型： 则我们可以利用引理1方便地研究𝑓 𝐱 的分解和条件独立性质，再 次得到性质6*(𝑞 = 1情形)，并得到条件相关系数的表达 定理1. 假设 𝐱~𝑁𝑝 𝜇, Σ , 记Ω = Σ −1= 𝜔𝑖𝑗 , 则 (1) 𝑥𝑖 |𝐱−𝑖~𝑁1 𝜇𝑖 − σ𝑗≠𝑖 𝜔𝑖𝑗 𝑥𝑗 − 𝜇𝑗 /𝜔𝑖𝑖 , 1/𝜔𝑖𝑖 ， (2) 给定𝐱−(𝑖,𝑗)条件下，𝑥𝑖 与 𝑥𝑗的条件相关系数 𝜌𝑥𝑖 ,𝑥𝑗 |𝐱−(𝑖,𝑗) = − 𝜔𝑖𝑗 𝜔𝑖𝑖𝜔𝑗𝑗 , 𝑖 ≠ 𝑗. 特别地 ， 𝜔𝑖𝑗 = 0 ⇔ 𝑥𝑖 ⫫ 𝑥𝑗|𝐱−(𝑖,𝑗) （ 条件独立 ⇔ 条件不相关 ） 注: 非正态情形下，偏相关系数𝜌𝑖𝑗⦁− 𝑖𝑗 = − 𝜔𝑖𝑗 𝜔𝑖𝑖𝜔𝑗𝑗
定理1的证明：(1).不妨假设μ=0，给定x-i条件下，x;的条件概率密度p(xilx-i) α p(x) α exp(-wix? -(2j+iwijx;)xi)指数上是x;的二次函数=→xilx-i～Ni（-ZjiWjx;/wi，1/wi)。N(u,）的密度函数cexp2指数项中平方项x的系数为-1/2g，x系数为u/α(2).给定x-(ij）=(xu,u≠i,j)时，x;和x;的联合密度p(xi, xj|x-(i,j)) α p(xi, Xj, X-(i,j) = p(x)α exp(-wix? -jx -wijxixj+axi+bxj +c)(*)其中一次项的系数a,b,c只与x-(ij)有关，是常数。8
8 1/ 2 / . ), 2 1 ( , ) exp( 2 2 2 2 2 2 2 指数项中平方项 的系数为 ， 系数为 的密度函数 x x N x x 定理1的证明: (1). 不妨假设𝛍 = 0，给定𝐱−𝑖条件下，𝑥𝑖的条件概率密度 𝑝(𝑥𝑖 |𝐱−𝑖) ∝ 𝑝(𝐱) ∝ exp − 1 2 𝜔𝑖𝑖𝑥𝑖 2 − σ𝑗≠𝑖 𝜔𝑖𝑗𝑥𝑗 𝑥𝑖 指数上是𝑥𝑖的二次函数 ⇒ 𝑥𝑖 |𝐱−𝑖~𝑁1 − σ𝑗≠𝑖 𝜔𝑖𝑗𝑥𝑗/𝜔𝑖𝑖 , 1/𝜔𝑖𝑖 。 (2). 给定𝐱−(𝑖,𝑗) = 𝑥𝑢, 𝑢 ≠ 𝑖,𝑗 时，𝑥𝑖和𝑥𝑗的联合密度 𝑝 𝑥𝑖 , 𝑥𝑗 𝐱− 𝑖,𝑗 ∝ 𝑝(𝑥𝑖 , 𝑥𝑗 , 𝐱− 𝑖,𝑗 ) = 𝑝(𝐱) ∝ exp − 1 2 𝜔𝑖𝑖𝑥𝑖 2 − 1 2 𝜔𝑗𝑗𝑥𝑗 2 − 𝜔𝑖𝑗𝑥𝑖𝑥𝑗 + 𝑎𝑥𝑖 + 𝑏𝑥𝑗 + 𝑐 （*） 其中一次项的系数𝑎, 𝑏, 𝑐只与𝐱− 𝑖,𝑗 有关，是常数
将(*)指数上以矩阵向量表示WiiWiip(xi,xj|x-(i,) α exp(-2(xi,xj)+axi+bxi+WjiwiiXiWiiWiiX-(i,j)~N2*WiiWij该正态分布的协方差矩阵1WjWiWii)-wij(wjiWj)Wii-wjiWiwjj -wiwijxi,xj的相关系数（给定x-(i)条件下）Pxixjlx-(i)wiwjj若ij= 0,则pxixjlx-()=0,xi,x;条件独立。这也可以从(*)容易看出：当wii=0，（*）中二次型无交叉项，从而 p(xi,xx-(i,j))=(1(xi)P2(x)一 xi,xj条件独立。证毕
9 将(*)指数上以矩阵向量表示 𝑝 𝑥𝑖 , 𝑥𝑗 𝐱− 𝑖,𝑗 ∝ exp − 1 2 (𝑥𝑖 , 𝑥𝑗) 𝜔𝑖𝑖 𝜔𝑖𝑗 𝜔𝑗𝑖 𝜔𝑗𝑗 𝑥𝑖 𝑥𝑗 + 𝑎𝑥𝑖 + 𝑏𝑥𝑗 + 𝑐 ⇒ 𝑥𝑖 𝑥𝑗 |𝐱− 𝑖,𝑗 ~𝑁2 ∗, 𝜔𝑖𝑖 𝜔𝑖𝑗 𝜔𝑗𝑖 𝜔𝑗𝑗 −1 ， 该正态分布的协方差矩阵 𝜔𝑖𝑖 𝜔𝑖𝑗 𝜔𝑗𝑖 𝜔𝑗𝑗 −1 = 1 𝜔𝑖𝑖𝜔𝑗𝑗 − 𝜔𝑖𝑗 2 𝜔𝑗𝑗 −𝜔𝑖𝑗 −𝜔𝑗𝑖 𝜔𝑖𝑖 𝑥𝑖 , 𝑥𝑗的相关系数（给定𝐱− 𝑖,𝑗 条件下）𝜌𝑥𝑖 ,𝑥𝑗 |𝐱−(𝑖,𝑗) = − 𝜔𝑖𝑗 𝜔𝑖𝑖𝜔𝑗𝑗 . 若𝜔𝑖𝑗 = 0, 则𝜌𝑥𝑖 ,𝑥𝑗 |𝐱−(𝑖,𝑗) = 0, 𝑥𝑖 , 𝑥𝑗条件独立。 这也可以从(*)容易看出：当𝜔𝑖𝑗 = 0，（*）中二次型无交叉项， 从而 𝑝 𝑥𝑖 , 𝑥𝑗 𝐱− 𝑖,𝑗 = φ1(𝑥𝑖)φ2(𝑥𝑗) ⇔ 𝑥𝑖 , 𝑥𝑗条件独立。证毕
协方差矩阵pxp=(o,),pxp=-=（o,），偏相关系数矩阵条件（偏）相关系数矩阵= 21, -C-1/22C-1/2, C = diag(2)R,=(Pi.-0.0注：-C-1/2QC-1/2的对角元为-1，所以对角元需加2高斯图模型基于精度矩阵或条件相关系数矩阵的0元素，将变量之间的关系以无向图(undirectedgraph/network)表达出来。定义3：（高斯图模型或高斯马氏随机场GMRF）高斯图模型假设随机向量x~N(u,Q-），其中Q=（),以节点表示图x的分量i~j（即x和x以边相连）の≠0←x和x的条件相关系数￥02xX2X3-X4XsXXXXX10空白处为0
10 1 2. ( ) 2 , ( ). ( ), ( ) 1/ 2 1/ 2 1/ 2 1/ 2 ( ) 1 注： 的对角元为 ，所以对角元需加 协方差矩阵 ，偏相关系数矩阵 C C R I p C C C diag ii jj ij p ij ij p p ij p p ij 条件(偏) 相关系数 矩阵 高斯图模型基于精度矩阵或条件相关系数矩阵的0元素，将变量之 间的关系以无向图(undirected graph/network)表达出来。 ~ ( ) 0 0 ~ ( , ) ( ), : 3 GMRF 1 即 和 以边相连 和 的条件相关系数 假设随机向量 ，其中 以节点表示图 的分量 定义 ：（高斯图模型或高斯马氏随机场 ） i j ij i j p ij i j x x x x N x μ x 高斯图模 型 空白处为0 . 5 4 3 2 1 x x x x x 1 2 3 4 5 x x x x x