中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 第二章 Markov过程 4.马尔可夫链状态的分类 (一)到达与相通 定义:对给定的两个状态,j∈S,若存在正整数n≥1,是的 p>0,则称从状态i可到达状态j,记作i→j,反之称从状态i 不可到达状态j。 注意:当状态i不能到达状态j时,对于Vn≥1,p=0,因此 P(到达状态x=1}=PUx=X= ≤∑Pxn=X0=l}=∑p=0 定义:有两个状态i和j,如果由i状态可到达j状态,即 i→j,且由j状态也可到达状态,即j→,则称状态i和状态 j相通,记作ij。 定理:可到达和相通都具有传递性。即若i→k,k→>j,则 j;若i>k,k<j,则i<>j 证明:如果i→k,k→j,则由定义,存在r≥1和n≥1,使得: pir>0, Pr中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 1 第二章 Markov 过程 4. 马尔可夫链状态的分类 （一） 到达与相通 定义：对给定的两个状态 i , jS ，若存在正整数 n 1 ，是的 0 ( )  n p i j ，则称从状态 i 可到达状态 j ，记作 i → j ，反之称从状态 i 不可到达状态 j 。 注意：当状态 i 不能到达状态 j 时，对于 n 1 ， 0 ( ) = n pi j ，因此     0 1 ( ) 1 0 0 1 0  = = = =       = = = =    =  =  = n n i j n n n n P X j X i p P 到达状态 j X i P X j X i 定义：有两个状态 i 和 j ，如果由 i 状态可到达 j 状态，即 i → j ，且由 j 状态也可到达 i 状态，即 j →i ，则称状态 i 和状态 j 相通，记作 i  j。 定理：可到达和相通都具有传递性。即若 i → k , k → j ，则 i → j ；若 i  k , k  j ，则 i  j。 证明：如果 i → k , k → j ，则由定义，存在 r 1 和 n 1 ，使得： 0, 0 ( ) ( )   n k j r pi k p