3马尔可夫链及转移概率 定义设Xn(n=0,1,2,……)的值域至多可数(记值域为,称为状态空 间),如果对任意的i0,i1,…,in-1,i,j∈I,都有 P(Xn+lX, X P(Xn+1=∥|Xn=i) 则称随机序列{Xn;m≥0}为一马尔可夫链(简称马氏链)。如果进一步,对 任意的n都有 P(Xn+1=jXn=i)=P(X1=jXo=i) 则称该马氏链是时齐的。在这里我们只考虑时齐马氏链。 对马氏链{Xn,n≥0},定义(一步)转移概率为 (X1=j|X0=i) 相应的,(P7)hxn称为转移概率阵。 此时,考虑{Xn}的有限维联合分布 P(X P(X0=i0)P(X1=i1X0=i0)P(X2=i2 P(Xn=inIXn-I=in- P(X 0= lopioinpi p(2n-12 于是,在知道了P(X0=i0)之后,联合分布就唯一确定了。称P(X0 io)为马氏链的初分布 对转移概率,显然有 (1)ⅵ,∈I,p;≥0 Pij 对于马氏连{Xn;n≥},称 (j)=P(Xn=川|X0=i)Ch6 1 §3 ￾✂✁✂✄✂☎✂✆✂✝✂✞✂✟✂✠✂✡ ☛✌☞ ✍ Xn(n = 0, 1, 2, · · ·) ✎✌✏✌✑✌✒✌✓✂✔✂✕✗✖✙✘✂✏✚✑✂✛ I ✜✣✢✌✛✌✤✌✥✌✦ ✧✩★ ✜✫✪✂✬✂✭✂✮✂✯✂✎ i0, i1, · · · , in−1, i, j ∈ I ✜✫✰✂✱ P(Xn+1|Xn = i, X0 = i0, X1 = i1, · · · , Xn−1 = in−1) = P(Xn+1 = j|Xn = i), ✲✢✌✳✌✴✌✵✚✶ {Xn; n > 0} ✛✌✷✌✸✌✹✌✔✂✺✚✻✗✖✙✼✚✢✂✸✾✽✿✻ ★❁❀ ✪✂✬✚❂✂✷✚❃❄✜❅✭ ✮✂✯✂✎ n ✰✂✱ P(Xn+1 = j|Xn = i) = P(X1 = j|X0 = i), ✲✢✂❆✂✸✾✽❇✻✂❈✂❉✂❊✂✎ ❀●❋✚❍✚■✚❏✂❑✚▲✂▼✚◆❉✂❊✚✸❖✽❇✻❀ ✭✂✸✾✽❇✻ {Xn, n > 0} ✜✫P✂◗❘✖✙✷✂❃ ★❚❙✂❯✚❱✂❲✛ pij = P(X1 = j|X0 = i). ❳✂❨✎❩✜ (pij )n×n ✢✂✛❙✂❯✂❱✂❲✾❬❭❀ ❪❉❩✜ ▼✂◆ {Xn} ✎✂✱✂❫✂❴✂❵✂❛✂❜✂❝ P(X0 = i0, X1 = i1, · · · , Xn = in) = P(X0 = i0)P(X1 = i1|X0 = i0)P(X2 = i2|X1 = i1, X0 = i0) · · ·P(Xn = in|Xn−1 = in−1, · · · , X0 = i0) = P(X0 = i0)pi0i1 pi1i2 · · · p(in−1in). ❞❈❩✜ ❋✂❡✂❢✂❣ P(X0 = i0) ❤✂✐❩✜✫❵✂❛✂❜✂❝✂❥✚❦✚✷✂❧✚P❣❄❀ ✢ P(X0 = i0) ✛✂✸✾✽❇✻✂✎✂♠✂❜✂❝❀ ✭ ❙✂❯✂❱✂❲✜✫♥✂♦✂✱ (1) ∀i, j ∈ I ✜ pij > 0; (2) ∀i ∈ I ✜ X j∈I pij = 1. ✭ ❞ ✸✾✽❇♣ {Xn; n >} ✜✫✢ pn(ij) = P(Xn = j|X0 = i) 1