电子科技大学：《随机过程及应用 Stochastic Processes and Applications》课程教学资源（课件讲稿）第6章 马尔科夫过程 第4节 马尔科夫吸收链（马氏吸收链）

§6.4马氏吸收链 EX.1另一类迷宫问题 2 迷宫的四个分隔间都是相通 3 的，在第四分隔间里放有食物 分析老鼠受到食物的吸引 不会再运动到其它房间. 老鼠运动过程的转移矩阵为

电子科技大学 §6.4 马氏吸收链 EX.1 另一类迷宫问题 迷宫的四个分隔间都是相通 的,在第四分隔间里放有食物 1 4(食物) 2 3 分析 老鼠受到食物的吸引 不会再运动到其它房间. 老鼠运动过程的转移矩阵为

1 0.3 0.3 0 0.4 2 0.2 0.3 0.2 0.3 P 三 3 0 0.3 0.3 0.4 (Pi), 4 0 0 0 1 有两个特点： 1.老鼠一旦进入状态4，它将永远停留在 状态4； 2.从任何一个状态出发，都可以进入状 态4

电子科技大学 ( ), 0 0 0 1 0 0.3 0.3 0.4 0.2 0.3 0.2 0.3 0.3 0.3 0 0.4 4 3 2 1 P  pij        1.老鼠一旦进入状态4，它将永远停留在 状态4; 有两个特点： 2. 从任何一个状态出发，都可以进入状 态4

定义6.4.1若马氏链至少含有一个吸收状 态，并且从每一个非吸收状态出发，都可以 到达某个吸收状态，称此马氏链为吸收链， EX.2设马氏链的状态空间E={0,1,2,, ,状态转移图为 109 其一步转移矩阵为

电子科技大学 定义6.4.1 若马氏链至少含有一个吸收状 态，并且从每一个非吸收状态出发，都可以 到达某个吸收状态，称此马氏链为吸收链. p 0 q 1 a－1 a 1 1 … EX.2 设马氏链的状态空间E={0, 1, 2, …, a}, 状态转移图为 其一步转移矩阵为

T1000.000 q0p0.000 q0p…004 0 P 三 0000·90p (0<q<1,0p<1) 0000·..001 0和是吸收状态，是吸收链

电子科技大学      0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0       q p q p q p P (0<q<1, 0<p<1 ) 0和a 是吸收状态，是吸收链

EX.3设马氏链的状态空间E={1,2,3,4,5} 其一步转移矩阵为 0 0 0 1 2 3 0 0 0 2 P 三 140 0 0 1 0 3 0 12 12 4 0 0 0 5 1 2 3 4 5

电子科技大学 EX.3 设马氏链的状态空间E={1,2,3,4,5}, 其一步转移矩阵为      0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 2 1 2 1 4 3 4 1 2 1 2 1 P 1 2 3 4 5 1 2 3 4 5

其一步状态转移图如下 1/2 3/4 1/2 1/2 (3 1/4 1/2 不是吸收链 EX.4醉汉问题状态空间E={1,,2,3,4,5} 状态转移图为 1 1/3 1/3 1/3 1 1/3 1/3 1/3 2 4 1/3 1/3 1/3

电子科技大学 1 2 1/2 1/2 1/4 3/4 3 4 5 1 1/2 1/2 1 不是吸收链. 其一步状态转移图如下 EX.4 醉汉问题 状态空间E={1, ,2, 3, 4, 5} 状态转移图为 1 2 3 4 5 1 1/3 1/3 1/3 1 1/3 1/3 1/3 1/3 1/3 1/3

转移概率矩阵为 0 0 0 0 1/ 73 73 0 0 3 P= 0 1/ 1 73 0 3 3 0 0 /3 ⅓ 0 0 0 0 1 如何计算他从各街口回家或重回酒吧的 平均徘徊次数？

电子科技大学 转移概率矩阵为        0 0 0 0 1 3 1 3 1 3 1 0 0 0 3 1 3 1 3 1 0 0 0 3 1 3 1 3 1 1 0 0 0 0 P 如何计算他从各街口回家或重回酒吧的 平均徘徊次数？

对矩阵P进行行初等变换与列初等变换， 得到P的等价矩阵： 1 5 2 3 4 1 1 0 0 0 0 5 1 0 0 0 T= 2 01-3 3 0 01313 01-31-31-3 三 s] 4 0 1-3 0 1-31-3

电子科技大学 对矩阵P 进行行初等变换与列初等变换， 得到P的等价矩阵：       3 1 3 1 0 3 1 0 3 1 3 1 3 1 0 0 0 3 1 3 1 0 3 1 0 1 0 0 0 1 0 0 0 0        R S E2 O 1 5 2 3 4 1 5 2 3 4 T =

一般，有个状态，”个吸收状态的吸收 链的转移矩阵的标准形式为： Er R 其中，S为sXS矩阵，=n一r, S是非吸收状态到非吸收状态的转移矩阵 定义6.4.2在吸收链的标准形式中，称 F=(E,-S)-1 为基矩阵

电子科技大学 一般，有n个状态，r 个吸收状态的吸收 链的转移矩阵的标准形式为：       R S Er O S 是非吸收状态到非吸收状态的转移矩阵. 其中，S 为s × s 矩阵，s = n－ r， 定义6.4.2 在吸收链的标准形式中，称 F=（Es－S）－1 为基矩阵

定理6.4.3设吸收链的基矩阵为F,有 1)F的元素f是从非吸收状态“”到达 非吸收状态“”的平均转移步数，即 fi=4g=EIT=∑f》m n=1 2)F的第i行元素之和是从非吸收状态 “”出发，被某个吸收状态吸收之前的平 均转移步数 问题1计算§6.3EX.6中从赢利N-1个单 位到破产或达到目标值的平均经营次数

电子科技大学 定理6.4.3 设吸收链的基矩阵为F，有 1）F的元素fij 是从非吸收状态“i”到达 非吸收状态“j ”的平均转移步数，即       1 ( ) [ ] n n ij ij ij n ij f  E T f 2）F 的第i 行元素之和是从非吸收状态 “ i ”出发，被某个吸收状态吸收之前的平 均转移步数. 问题1 计算§6.3 EX.6 中从赢利N — 1个单 位到破产或达到目标值的平均经营次数