i遍历台∑P=∞且limP=->0 定理447:若i>j,则它们或同为瞬过或同为常返;当同为常返时或同为零常 返或同为正常返 例441: Markov链Xn,状态空间为S=12,34},一步转移矩阵为 4 44 P 0 1—4000 01 非周期不可约 Markov链,由于1状态f 4m=)=f1,fm=0,n>4 故1状态常返且A1=5故为正常返,1状态为遍历,因而所有状态是遍历的。 下面给出不可约链是否常返的判别方法。 定理44.8:设不可约 Markov链Xn,状态空间为S={012},一步转移矩阵 为P。则X常返台下列方程组没有非零的有界解: ∑P 45平稳分布与极限分布 定义45.1:设X为 Markov链,状态空间为S,一步转移概率矩阵为P,若实 数{z,i∈S}满足: 1)兀1≥0,i∈S且∑x,=1; 2)x=∑xP1∈S,即m=x,这里x=(x,x2…不到 则称{x1,l∈S}为 Markov链Xn的平稳分布 下面考察非周期不可约 Markov链,由上一节推论442,推论443及定理445, 44.6知i 遍历⇔ ∑ = ∞ 且 ∞ =1 ( ) n n Pii 0 1 lim ( ) = > →∞ i n ii n P µ 。 定理 4.4.7：若i ↔ j ，则它们或同为瞬过或同为常返；当同为常返时或同为零常 返或同为正常返。 例 4.4.1：Markov 链 X n ，状态空间为S = {1,2,3,4}，一步转移矩阵为 ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = 1 0 0 0 0 0 0 1 0 0 1 0 4 1 4 1 4 1 4 1 P 非周期不可约 Markov 链，由于 1 状态 , 0, 4 4 1 ( ) 11 (4) 11 (3) 11 (2) 11 (1) f11 = = f = f = f f = n > n ， 故 1 状态常返且 2 5 µ1 = 故为正常返，1 状态为遍历，因而所有状态是遍历的。 下面给出不可约链是否常返的判别方法。 定理 4.4.8：设不可约 Markov 链 X n ，状态空间为S = {0,1,2L}，一步转移矩阵 为 P 。则 X n 常返⇔ 下列方程组没有非零的有界解： , 1,2,L 1 = ∑ = ∞ = z P z i j i ij j 4.5 平稳分布与极限分布 定义 4.5.1：设 X n 为 Markov 链，状态空间为S ，一步转移概率矩阵为 P ，若实 数{π i ,i∈ S}满足： 1) π i ≥ 0,i ∈S 且∑ =1； i∈S π i 2) P i S ，即 j S i = ∑ j ji ∈ ∈ π π , πP = π ，这里 ( ) S π = π 1 ,π 2 Lπ 则称{π i ,i∈ S}为 Markov 链 X n 的平稳分布。 下面考察非周期不可约Markov链，由上一节推论4.4.2，推论4.4.3及定理4.4.5， 4.4.6 知： 9