《随机模拟方法与应用》课程大作业 2015年度春季学期 4.3 Gibbs抽样方法 目前，Gibbs抽样方法在贝叶斯分析中应用最为广泛。Gibbs抽样是由Geman在1984 年提出来的，最早用于图像的处理分析、人工智能和神经网络等大型复杂数据的分析，后经 Gelfand和Smith(1990)引入贝叶斯模型研究中，通过模拟进行积分运算，这给贝叶斯方 法的实际应用产生了深刻影响。Gibs抽样方法的思路很直观：它通过一系列步骤，构建了 一条具有π-不变性的马尔可夫链。若设0=（日，…B)为k维向量，它的概率密度为p(), 显然，这是一个联合概率密度。若令日，表示0的第i个分量，日，表示0中除去0之后剩 下的(k-1)个分量，记转移核函数为： p(8,A)=P,(8,A)=p8∈A|B,) (19) i=1,2,…k. 其中A为k维可测向量空间。令初始点为0o)=(0,…),考虑如下循环： (1)从条件分布P(0|0-,…0-)中抽样得到8： (j)从条件分布P(8,1,…-)中抽样得到巴： … (k)从条件分布P(9|日，…9-)中抽样得到： 上述(1)-(k)步抽样完成了一轮循环，这就是Gibbs抽样。在(1)·(k)步过程中，每 一步只抽一个变量，同时其他变量保持不变。一轮循环结束后，再以该循环所得变量值为起 点进行下一轮循环，如此往复，得到日=(，…)，=1,2，.。这显然是一条马尔可夫 链。 4.4一元线性回归模型参数的贝叶斯估计 在(6)式中，变量x和y均为可观察的已知量，未知量为参数α，b,σ2。根据贝叶斯原 理，给定y和x时，a,b,o2的后验联合分布为： p(a,b,o21y,x)cp(a,b.o2)IIp(y,la,b,o2,x) (20) <pa.b.a)expa)] 假定参数变量α，b,σ2之间相互独立，且它们的先验分布分别取为： 8《随机模拟方法与应用》课程大作业 2015 年度 春季学期 8 4.3 Gibbs 抽样方法 目前，Gibbs 抽样方法在贝叶斯分析中应用最为广泛。Gibbs 抽样是由 Geman 在 1984 年提出来的，最早用于图像的处理分析、人工智能和神经网络等大型复杂数据的分析，后经 Gelfand 和 Smith（1990）引入贝叶斯模型研究中，通过模拟进行积分运算，这给贝叶斯方 法的实际应用产生了深刻影响。Gibbs 抽样方法的思路很直观：它通过一系列步骤，构建了 一条具有  不变性的马尔可夫链。若设 1 ( , )      k 为 k 维向量，它的概率密度为 p( )  ， 显然，这是一个联合概率密度。若令i 表示 的第 i 个分量， i 表示 中除去i 之后剩 下的（k-1）个分量，记转移核函数为： ( , ) ( , ) ( | ) 1, 2, . i i i p A p A p A i k            （19） 其中 A 为 k 维可测向量空间。令初始点为 (0) (0) (0) ( , )     i k  ，考虑如下循环： （1） 从条件分布 ( 1) ( 1) 1 1 2 ( | , ) t t P    k    中抽样得到 1 t  ；  （j）从条件分布 ( ) 1 1 ( | , ) t t Pj j k      中抽样得到 t  j ；   （k）从条件分布 ( ) 1 1 ( | , ) t t Pk k k      中抽样得到 t  k ； 上述（1）-（k）步抽样完成了一轮循环，这就是 Gibbs 抽样。在（1）-（k）步过程中，每 一步只抽一个变量，同时其他变量保持不变。一轮循环结束后，再以该循环所得变量值为起 点进行下一轮循环，如此往复，得到 ( ) ( ) ( ) 1 ( , ) t t t      k ，t=1,2,。这显然是一条马尔可夫 链。 4.4 一元线性回归模型参数的贝叶斯估计 在（6）式中，变量 x 和 y 均为可观察的已知量，未知量为参数 2 a b, , 。根据贝叶斯原 理，给定 y 和 x 时， 2 a b, , 的后验联合分布为： 2 2 2 1 2 2 2 1 ( , , | , ) ( , , ) ( | , , , ) 1 ( , , ) exp [ ( ) ] 2 n i i i n i i i p a b y x p a b p y a b x p a b y a bx               （20） 假 定 参 数 变 量 2 a b, , 之 间 相 互 独 立 ， 且 它 们 的 先 验 分 布 分 别 取 为 ：