考虑矩阵乘法,上式可写成 因此有 Pm=Pn,n≥ 例421:考虑两个状态的 Markov链{Xn,n≥0},一步转移概率为 0 P=0(1-PP m)=P= 1(qP1(-p-q)"(p-p pt q 43状态空间的分解 定义43.1:称状态i可到达( accessible)j,记为i→j,若存在n20使得Pm>0; 若i→jj→i,则称i,j是相通的( communicate),记为ij。 相通关系是一个等价关系,即满足: 1)自反性:i>i 2)对称性:ij,则j>i; 3)传递性:ijj台k,则i←>k。 两个状态若是相通的就称他们是处于同一类。 Markov链的所有状态按相通关系 分割成不同的等价类,两个等价类要么不相交,要么重合 定义432:一个状态集合C称为是闭集,若P=0对vi∈C,vC。一旦粒子进 入某个闭集,就永远停留在此闭集中。一个 Markov链称为不可约( irreducible) 若除整个状态空间外无别的闭集。考虑矩阵乘法，上式可写成 (n m) (n) (m) P = P ⋅ P + 因此有 , 1 ( ) P = P n ≥ n n 例 4.2.1：考虑两个状态的 Markov 链{X n , n ≥ 0}，一步转移概率为 ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − = − q q P p p 1 1 1 0 0 1 则 ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − − + − − +⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ + = = q q p p p q p q q p q p p q P P n n n 1 (1 ) ( ) 4.3 状态空间的分解 定义 4.3.1：称状态i 可到达（accessible）j ，记为i → j ，若存在 使得 ； 若 n ≥ 0 0 ( ) > n Pij i → j, j → i ，则称i, j 是相通的（communicate），记为i ↔ j 。 相通关系是一个等价关系，即满足： 1) 自反性：i ↔ i ； 2) 对称性：i ↔ j ，则 j ↔ i ； 3) 传递性：i ↔ j, j ↔ k ，则i ↔ k 。 两个状态若是相通的就称他们是处于同一类。Markov 链的所有状态按相通关系 分割成不同的等价类，两个等价类要么不相交，要么重合。 定义 4.3.2：一个状态集合C 称为是闭集，若 Pij = 0对∀i∈C,∀j ∉C 。一旦粒子进 入某个闭集，就永远停留在此闭集中。一个 Markov 链称为不可约（irreducible） 若除整个状态空间外无别的闭集。 3