对外经济贸易大学：《应用随机过程 Applied Stochastic Processes》课程教学资源（课件讲稿）第七章 Markov过程（Markov链）

2 UNBE 1951 第七章：Markov链 ·基本概念 ·状态的分类及性质 2/71 ·极限定理及平稳分布 ·Markov链的应用 连续时间Markov链 GoBack FullScreen Close Quit

2/71 kJ Ik J I GoBack FullScreen Close Quit 1‘Ÿµ MarkovÛ • ƒVg • G©a95ü • 4Žn9²­©Ÿ • MarkovÛA^ • ÎYûmMarkovÛ

在 .8 1951 .075 .9 Bull Market Bear Market .15 3/71 .025 .25 .05 .25 Recession 4 GoBack FullScreen Close .5 Quit

3/71 kJ Ik J I GoBack FullScreen Close Quit

在发 有一类随机过程，它具备所谓的“无后效性”(Markov性)， 1951 即要确定过程将来的状态，知道它此刻的情况就足够了， 并不需要对它以往状况的认识，这类过程称为Markov过 程.我们将介绍Markov过程中最简单的两种类型：离散时间 的Markov链（简称马氏链）及连续时间的Markovi链， 4/71 GoBack FullScreen Close Quit

4/71 kJ Ik J I GoBack FullScreen Close Quit kòaëÅLßß߉§¢/Ã￾50(Markov5)ß =á(½LßÚ5Gßßdèú¹“v ß øÿIáÈß± G¹@£ß˘aLß°èMarkovL ß.·ÇÚ0MarkovLß•Å{¸¸´a.µl—ûm MarkovÛ({°ÍºÛ)9ÎYûmMarkovÛ

的传在， §7.1 基本概念 1951 §7.1.1 Markov链的定义及一些例子 定义7.1.1随机过程{Xn,n=0,1,2,…}称为Markov 链，若它只取有限或可列个值（若不另外说明，以非负整数 集{0,1,2，…}来表示)，并且对任意的n≥0，及任意状 态，j,i0,i1…,in-1,有 5/71 P{Xn+1=X0=i0,X1=i1,…,Xn-1=in-1,Xn=i =P{Xn+1=jXn=i} (7.1.1) 其中Xn=表示过程在时刻n处于状态i,称{0,1,2，·}为 该过程的状态空间，记为S.式(7.1.1)刻画了Markov链的 特性，称为Markov性. GoBack FullScreen Close Quit

5/71 kJ Ik J I GoBack FullScreen Close Quit §7.1 ƒVg §7.1.1 MarkovÛ½¬9ò ~f ½¬ 7.1.1 ëÅLß{Xn, n = 0, 1, 2, · · · }°èMarkov ÛßeßêkŽåáä(eÿ, `²ß±öKÍ 8{0, 1, 2, · · · }5L´)ßøÖÈ?ø n ≥ 0ß9?øG i, j, i0, i1 · · · , in−1ßk P{Xn+1 = j|X0 = i0, X1 = i1, · · · , Xn−1 = in−1, Xn = i} = P{Xn+1 = j|Xn = i} (7.1.1) Ÿ•Xn = iL´Lß3ûèn?uGiß°{0, 1, 2, · · · }è TLß GòmßPèS. ™(7.1.1)èx MarkovÛ A5ß°èMarkov5

数在 定义7.1.2称(7.1.1)式中的条件概率P{Xn+1=Xn= i}为Markov链{Xn,n=0,1,2,·}的一步转移概率，简称 1951 转移概率，记为p,它代表处于状态的过程下一步转移到 状态的概率. 一般情况下，转移概率与状态i,和时刻n有关 定义7.1.3当Markov链的转移概率pi=P{Xn+1= Xn=}只与状态i,有关，而与n无关时，称之为时齐Markov 6/71 链；否则，就称之为非时齐的 在课程中，我们只讨论时齐Markov链，并且简称为Markov链 GoBack FullScreen Close Quit

6/71 kJ Ik J I GoBack FullScreen Close Quit ½¬ 7.1.2 °(7.1.1)™•^áV« P{Xn+1 = j|Xn = i}èMarkovÛ{Xn, n = 0, 1, 2, · · · }ò⁄=£V«ß{° =£V«ßPèpijßßìL?uGiLßeò⁄=£ GjV«. òÑú¹eß=£V«ÜGi, j⁄ûènk'. ½¬ 7.1.3 MarkovÛ=£V« pij = P{Xn+1 = j|Xn = i}êÜGi, jk'ß ÜnÃ'ûß°Éèû‡Markov Û¶ƒKß“°Éèöû‡. 3ëß•ß·Çê?ÿû‡MarkovÛßøÖ{°èMarkovÛ

数在 当Markov链的状态为有限时，称为有限链， 否则称为 1951 无限链.但无论状态有限还是无限，我们都可以将P(亿，j∈ S)排成一个矩阵的形式，令 P00P01P02··· P=(p)= P10P11P12·· (7.1.2) 7/71 P20P21P22··· 称P为转移概率矩阵，一般简称为转移矩阵.由于概率是非 负的，且过程必须转移到某个状态，所以容易看出P(i,j∈ S)有性质 (1)p≥0，i,j∈S; (7.1.3) (2)∑jcsp=1,i∈S. GoBack FullScreen Close Quit

7/71 kJ Ik J I GoBack FullScreen Close Quit MarkovÛGèkÅûß°èkÅÛ߃K°è ÃÅÛ.ÃÿGkÅÑ¥ÃÅß·Ç—å±Úpij(i, j ∈ S)¸§òá› /™ß- P = (pij) =   p00 p01 p02 · · · p10 p11 p12 · · · p20 p21 p22 · · · ... ... ... ...   (7.1.2) °Pè=£V«› ß òÑ{°è=£› .duV«¥ö KßÖLß7L=£,áGߧ±N¥w—pij(i, j ∈ S)k5ü (1) pij ≥ 0, i, j ∈ S; (2) P j∈S pij = 1, ∀i ∈ S. (7.1.3)

在 定义7.1.4称矩阵为随机矩阵，若矩阵元素具有(7.1.3) 式中两条性质。 1951 易见随机矩阵每一行元素的和都为1. 例7.1.5（一个简单的疾病、死亡模型，Fix-Neyman) 考虑一个包含两个健康状态S1,S2以及两个死亡状态S3,S4 (即由不同原因引起的死亡)的模型若个体病愈，则认为它 处于状态S1,若它患病，说它处于S2,个体可以从S1,S2进 8/71 入S3和S4,易见这是一个马氏链的模型，转移矩阵为 P11P12P13P14 P= P21P22P23P24 0010 0001 GoBack FullScreen Close Quit

8/71 kJ Ik J I GoBack FullScreen Close Quit ½¬ 7.1.4 °› èëÅ› ße› ɉk(7.1.3) ™•¸^5ü. ¥ÑëÅ› zò1É⁄—è1. ~ 7.1.5 (òá{¸;æ!k.ßFix-Neyman) ƒòáù¹¸áËxGS1, S2 ±9¸ákGS3, S4 (=dÿ”œ⁄Âk)..eáNæïßK@èß ?uGS1ßeßáæß`ß?uS2ßáNå±lS1,S2? \S3⁄S4ß¥Ñ˘¥òáͺÛ.ß=£› è P =   p11 p12 p13 p14 p21 p22 p23 p24 0 0 1 0 0 0 0 1  

在发园 例7.1.6（赌徒的破产或称带吸收壁的随机游动）系统 的状态是0~，反映赌博者在赌博期间拥有的钱数，当他 1951 输光或拥有钱数为时，赌博停止，否则他将持续赌博.每次 以概率p赢得1，以概率g=1-p输掉1.这个系统的转移矩 阵为 1000..000 q0p0.000 P 0q0p……000 9/71 三 0000·q0p 0000.001/ (n+1)×(n+1) GoBack FullScreen Close Quit

9/71 kJ Ik J I GoBack FullScreen Close Quit ~ 7.1.6 (Ÿ‰ª½°ë·¬9ëÅiƒ) X⁄ G¥0 ∼ nßáNŸÆˆ3ŸÆœmPkaÍ߶ —1½PkaÍènûßŸÆ é߃K¶Ú±YŸÆ.zg ±V«pI1 ß±V«q = 1 − p—K1.˘áX⁄=£› è P =   1 0 0 0 · · · 0 0 0 q 0 p 0 · · · 0 0 0 0 q 0 p · · · 0 0 0 · · · · · · · · 0 0 0 0 · · · q 0 p 0 0 0 0 · · · 0 0 1   (n+1)×(n+1)

在， 例7.1.7（带反射壁的随机游动)设上例中当赌博者输 光时将获得赞助1让他继续赌下去，就如同一个在直线上做 1951 随机游动的球在到达左侧0点处就立刻反弹回1一样，这就是 一个一侧带有反射壁的随机游动.此时转移矩阵为 0100·000 q0p0·000 P 0q0p…·000 10/71 ::: ::: 0000.·q0p 0000.001 (n+1)×(n+1) 同样可考虑两侧均有反射壁的情况 GoBack FullScreen Close Quit

10/71 kJ Ik J I GoBack FullScreen Close Quit ~ 7.1.7 (ëá9ëÅiƒ) ˛~•ŸÆˆ— 1ûÚº7œ14¶UYŸeß“X”òá3ÜDzâ ëÅiƒ•3àÜ˝0:?“·èá£1òߢ“¥ òáò˝ëká9ëÅiƒ.dû=£› è P =   0 1 0 0 · 0 0 0 q 0 p 0 · · · 0 0 0 0 q 0 p · · · 0 0 0 ... ... ... ... ... ... ... 0 0 0 0 · · · q 0 p 0 0 0 0 · · · 0 0 1   (n+1)×(n+1) ”僸˝˛ká9ú¹

在 例7.1.8（自由随机游动）设一个球在全直线上做无限 制的随机游动，它的状态为0，士1，士2，·.它仍是一个Markov链， 1951 转移矩阵为 ··· q0 p .0q0p P 11/71 90p0.·. 0 q op... A GoBack FullScreen Close Quit

11/71 kJ Ik J I GoBack FullScreen Close Quit ~ 7.1.8 (gdëÅiƒ)òá•3ÜDzâÃÅ õëÅiƒßßGè0, ±1, ±2, · · · .ßE¥òáMarkovÛß =£› è P =   · · · · · · · · · · · · · · q 0 p 0 · · · · · · · · · 0 q 0 p · · · · · · ... ... ... · · · · · · q 0 p 0 · · · · · · · · · 0 q 0 p · · · · · · · · · · · · · ·  