Ch6 第六章*马尔可夫链 1随机游动 考虑数轴上的一个质点,设在时刻t=0时它处于位置a(a是整数) 以后每隔单位时间,它分别以概率p向正向移动一个单位,以概率q=1-p 向负向移动一个单位。这种模型称为直线上的随机游动。一般我们会具体考 虑下面几种模型 (1)无限制的随机游动 假定质点在时刻0从原点出发,记 Xn=质点在时刻t=n时的位置, 考虑Xn的分布P(Xn=k),显然有|>n时P(Xn2=k)=0。此时,前n 步中有(n+k)/2步向正向移动,(m-k)/2步向负向移动。于是就有 P(X,=b)=/c型1号,固≤n且kn奇偶性相同 其他. (2)带吸收壁的随机游动 假定质点在0时刻位于x=a,而在x=0及x=a+b=c处各有 吸收壁,其中a,b>0。也就是说,当质点遇到0或c中的一点时,就停止移 动,被吸收了。求质点被x=0及x=c吸收的概率 可以看出,这就是赌徒模型。记r=q/p,则质点被0点吸收的概率满足 Pk= ppk+1+gpk-1 于是可以解得 ra+b ≠1, 同样的,质点被c点吸收的概率为 74+6,7 ≠1 a+bCh6 1 ￾✂✁✂✄ * ☎✂✆✂✝✂✞✂✟ §1 ✠✂✡✂☛✂☞ ✌✂✍✂✎✂✏✂✑✓✒✓✔✖✕✓✗✖✘✚✙✜✛✓✢✖✣✓✤ t = 0 ✣✂✥✂✦✂✧✂★✓✩ a ✪ a ✫✂✬✎✮✭✯✙ ✰✲✱✲✳✲✴✲✵★✂✣✷✶✸✙✹✥✂✺✂✻✰✂✼✂✽ p ✾❀✿❁✾❀❂✲❃✔✂✕✵★❄✙ ✰✂✼✂✽ q = 1 − p ✾❆❅✷✾❆❂✂❃✔✂✕✵★❈❇❊❉✂❋✓●✂❍✓■✂❏✓❑✂▲✓✑✂✒✓▼✂◆✓❖❃ ❇❊✔✓P✂◗✓❘✂❙✓❚✂❯✓✌ ✍✂❱✂❲✂❳✂❋✂●✂❍❄❨ (1) ❩✂❬✂❭✒✂▼✂◆✂❖❃ ❪✂❫✂✗✂✘✂✢✂✣✂✤ 0 ❴✂❵✘✷❛❆❜❈✙❊❝ Xn = ✗✂✘✂✢✂✣✂✤ t = n ✣✂✒✂★✂✩, ✌✂✍ Xn ✒✂✺✂❞ P(Xn = k) ✙❊❡✂❢✂❣ |k| > n ✣ P(Xn = k) = 0 ❇❊❤✂✣❈✙❊✐ n ❥✷❦❣ (n + k)/2 ❥ ✾❆✿✷✾❆❂✂❃✙ (n − k)/2 ❥ ✾❆❅✷✾❆❂✂❃❇❊✧✫✓❧❣ P(Xn = k) = ( C n+k 2 n p n+k 2 q n−k 2 , |k| 6 n♠ k, n ♥✂♦✂♣✂q✷r, 0, s✂t. (2) ✉✂✈✂✇✂①✒✂▼✂◆✂❖❃ ❪✂❫✂✗✂✘✂✢ 0 ✣✂✤✂★✂✧ x = a ✙③②✂✢ x = 0 ④ x = a + b = c ✦✂⑤✂❣✂✔ ✈✲✇✲①✙ s ❦ a, b > 0 ❇⑦⑥❧✲✫✲⑧✙⑩⑨✂✗✓✘✂❶✂❷ 0 ❸ c ❦✒✲✔✲✘✲✣❄✙ ❧✓❹✂❺✂❂ ❃ ✙❊❻✈✂✇✂❼ ❇❾❽✓✗✓✘✂❻ x = 0 ④ x = c ✈✂✇✒✼✂✽❇ ❿✰✲➀❛➁✙➂❉❧✲✫✂➃✂➄●✂❍❄❇➅❝ r = q/p ✙➂➆✲✗✲✘✲❻ 0 ✘✈✲✇✒✼✲✽✲➇✂➈ pk = ppk+1 + qpk−1, ✧✫ ❿✰✂➉✂➊ pk =    r a − r a+b 1 − r a+b , r 6= 1, b a + b , r = 1. r❆➋✒❈✙❊✗✂✘✂❻ c ✘✈✂✇✒✼✂✽❏ p ∗ k =    1 − r a 1 − r a+b , r 6= 1, a a + b , r = 1. 1