《随机模拟方法与应用》课程大作业 2015年度春季学期 对MCMC方法在瑞利分布样本采集及一元线性回归模型参 数估计中应用的思考与研究 学号：5110109140 姓名：吴凯斌 授课老师：肖柳青 1.全文内容概要 本文基于统计学中有关瑞利分布及一元线性回归分析的参考文献，主要对马尔可夫链蒙 特卡罗方法（即MCMC方法）在瑞利分布样本采集以及一元线性回归模型参数估计中的应 用进行了思考与研究。全文共分为三大部分：首先，简单介绍了马尔科夫链的数学概念，并 通过提出一个具体的模型来说明其表示方法：其次，介绍了MCMC方法在电子工程中常用 的一个数学分布一一瑞利分布中随机采集若干个样本的具体应用，并将算法通过matlab加 以实现：最后，介绍了MCMC算法在一元线性回归模型参数估计中的应用思想，并将其与 最小二乘法进行了对比。 2.马尔可夫链的概念及其表示方式 无论是世界上重大的政治局势变化，还是我们每个人生活中的一些非常琐碎的事情，它 们之间绝大多数都是有着一定的因果关系的，也就是说每件事情的发生都会对接下来出现的 事情产生一定的影响，这种影响可以是有形的，也可以是无形的，其最终将反映到接下来每 件事发生的概率上。事实上，从当前一件事的发生转变到受其影响的接下来的另一件事的发 生，如果这样一个转变过程仅与当前这件事有关，这样就产生了一个简单的马尔可夫过程。 下面举一个简单的例子加以说明，如果我好好复习准备考试周，各门功课都拿到A的概率 是0.6：经过一般准备各门功课都拿到A的概率是0.3：而不好好复习，各门功课都拿到A 的概率是0.1。显然，这样的假设基于：我各门功课最终是否都能拿到A仅与当前我是否认 真准备考试周有关。另一方面，假如我各门功课都能拿到A,我暑假期间选择和同学一起去 旅游的概率为0.6，而选择上小学期的概率为0.4：假如我没能各门功课都拿到A,暑假期间 和同学一起去旅游的概率是0.3，而上小学期的概率则为0.7。显然，此时我们的假设基于： 我暑假是和同学出去旅游还是上小学期仅与我各门功课是否都拿到A有关。从我是否好好 准备考试周的当前状态一直转移到暑假我是和同学出去旅游还是上小学期的将来状态，这样 一整个过程就是一个简单的马尔可夫过程。 如果记我好好复习准备考试周为事件A,作一般准备为事件B,而不好好准备为事件 C,则2(A,B,C)组成了当前所有可能的事件空间。若记我所有课程都拿到A为事件D, 未能所有课程都拿A为事件D,则由题意，知： P(D|A)=0.6,P(D1B)=0.3,P(D|C)=0.1 (1) 又由我各门功课都拿到A和不能都拿到A为互斥事件，故有：《随机模拟方法与应用》课程大作业 2015 年度 春季学期 1 对 MCMC 方法在瑞利分布样本采集及一元线性回归模型参 数估计中应用的思考与研究 学号：5110109140 姓名：吴凯斌 授课老师：肖柳青 1.全文内容概要 本文基于统计学中有关瑞利分布及一元线性回归分析的参考文献，主要对马尔可夫链蒙 特卡罗方法（即 MCMC 方法）在瑞利分布样本采集以及一元线性回归模型参数估计中的应 用进行了思考与研究。全文共分为三大部分：首先，简单介绍了马尔科夫链的数学概念，并 通过提出一个具体的模型来说明其表示方法；其次，介绍了 MCMC 方法在电子工程中常用 的一个数学分布——瑞利分布中随机采集若干个样本的具体应用，并将算法通过 matlab 加 以实现；最后，介绍了 MCMC 算法在一元线性回归模型参数估计中的应用思想，并将其与 最小二乘法进行了对比。 2.马尔可夫链的概念及其表示方式 无论是世界上重大的政治局势变化，还是我们每个人生活中的一些非常琐碎的事情，它 们之间绝大多数都是有着一定的因果关系的，也就是说每件事情的发生都会对接下来出现的 事情产生一定的影响，这种影响可以是有形的，也可以是无形的，其最终将反映到接下来每 件事发生的概率上。事实上，从当前一件事的发生转变到受其影响的接下来的另一件事的发 生，如果这样一个转变过程仅与当前这件事有关，这样就产生了一个简单的马尔可夫过程。 下面举一个简单的例子加以说明，如果我好好复习准备考试周，各门功课都拿到 A 的概率 是 0.6；经过一般准备各门功课都拿到 A 的概率是 0.3；而不好好复习，各门功课都拿到 A 的概率是 0.1。显然，这样的假设基于：我各门功课最终是否都能拿到 A 仅与当前我是否认 真准备考试周有关。另一方面，假如我各门功课都能拿到 A，我暑假期间选择和同学一起去 旅游的概率为 0.6，而选择上小学期的概率为 0.4；假如我没能各门功课都拿到 A，暑假期间 和同学一起去旅游的概率是 0.3，而上小学期的概率则为 0.7。显然，此时我们的假设基于： 我暑假是和同学出去旅游还是上小学期仅与我各门功课是否都拿到 A 有关。从我是否好好 准备考试周的当前状态一直转移到暑假我是和同学出去旅游还是上小学期的将来状态，这样 一整个过程就是一个简单的马尔可夫过程。 如果记我好好复习准备考试周为事件 A ，作一般准备为事件 B ，而不好好准备为事件 C ，则( , , ) A B C 组成了当前所有可能的事件空间。若记我所有课程都拿到 A 为事件 D ， 未能所有课程都拿 A 为事件 D ，则由题意，知： P D A P D B P D C ( | ) 0.6, ( | ) 0.3, ( | ) 0.1    （1） 又由我各门功课都拿到 A 和不能都拿到 A 为互斥事件，故有：