5.2状态的分类及性质 一.状态的分类 二.状态的性质 (一)周期性 (二)常返性 三.状态空间的分解
5.2 状态的分类及性质 一.状态的分类 二.状态的性质 （一）周期性 （二）常返性 三.状态空间的分解 1
一.状态的分类 定义：若存在≥0使得p>0,则称从状态i可达状态j 记为i→j。 如果ij且j→i,则称i与j互通（相通），记为 i←>1
定义 : 若存在n≥0使得 ，则称从状态 i 可达状态 j， 记为i→j 。 ( ) 0 n ij p i j 一.状态的分类 2 如果i→j且 j →i ，则称 i 与 j 互通(相通)，记为
定理：互通是一种等价关系.即 √自反性i; √对称性ifi>j,then j→i; √传递性ifij,jk,then i>k. 证明：如果i→k,k→j,则由定义，存在r≥1和n≥1，使得： p,2>0,p8>0 根据C一K方程，我们有： pg=∑p%p9≥p限pg>0(keS) meS 因此，i→j。同理可以证明相通的情形
3 定理：互通是一种等价关系. 即 if , then if , , then . i i i j j i i j j k i k ; ; ✓自反性 ✓对称性 ✓传递性
状态的分类 定义：称互通的两个状态属于同一个类。 注1：类是集合，是状态空间S按“互通”为标准划 分成的子集，其元素为状态 注2：同一类的状态之间都是互通的；任何一个状态 不能同时属于两个不同的类 即任意两个类或不相交或相同
称互通的两个状态属于同一个类. 状态的分类 4 定义 : 同一类的状态之间都是互通的;任何一个状态 不能同时属于两个不同的类. 注1 : 类是集合,是状态空间S按“互通”为标准划 分成的子集,其元素为状态. 注2 : 即任意两个类或不相交或相同
例：请对下述Markov链进行状态分类 1.疾病死亡模型 2.赌徒破产模型 3. S={L,2,3} 4 0 P= .0 6
例:请对下述Markov链进行状态分类 1.疾病死亡模型 2.赌徒破产模型 5 3 1 4 4 111 424 3 1 4 4 0 0 P = 3. S = {1, 2 3}
不可约Markov链 定义：若Markov链只存在一个类，就称它是不可约的， 否则称为可约的
不可约Markov链 6 定义 :若Markov链只存在一个类，就称它是不可约的, 否则称为可约的
闭集 定义 设Markov链的状态空间为S,CcS,若对任 意的i∈C及jC,都有P,=0,则称C为（随机）闭集。 若C的状态相通，则称闭集C是不可约的. 注：闭集C的直观意义是自C的内部不能到达C的外部， 这意味着系统状态一旦进入闭集C内，它就永远在C中运动 Pi =1 √状态i是吸收态等价于单点集{i}是闭集-最小 的闭集； √Markov链的整个状态空间S是最大的闭集
定义 设Markov链的状态空间为S， ，若对任 意的 , 都有 ，则称 C 为(随机)闭集. i C j C 及 0 ij p = C S ✓ 状态 i 是吸收态等价于单点集{ i }是闭集-最小 的闭集； 闭集 注： 7 若C 的状态相通, 则称闭集C 是不可约的. pii = 1 ✓Markov链的整个状态空间 S 是最大的闭集. 闭集 C 的直观意义是自 C 的内部不能到达 C 的外部， 这意味着系统状态一旦进入闭集 C 内，它就永远在 C 中运动
二.状态的性质 (一)周期性 1.周期性的定义 2.周期性是一个类性质
二.状态的性质 1.周期性的定义 2.周期性是一个类性质 （一）周期性
1.周期性的定义 定义：若集合{n:n≥1，p”>0}≠， 则称它的最大公 约数d=d①为状态i的周期. 特别地，如果上述集合为空集，则称i的周期为无穷大 若心1，称i为周期的；若d=1,称i为非周期的. 注：若状态i的周期为d,则对一切n0(mod(),即当n非d的 倍数时，都有p”=0; 但并非对任意的n,都有p"d>0. 例如：S={1,2,.,9 ,⑧- 3,® d(1)=2 Vies,d(i)=?
定义：若集合 则称它的最大公 约数d=d(i)为状态 i 的周期. ( ) : 1, 0 , n ii n n p 注：若状态 i 的周期为d ,则对一切n≠0(mod(d)),即当 n 非 d 的 倍数时,都有 ; ( ) 0 n ii p = 例如：S =1,2, ,9 1 ① ② ③ ⑥ ⑤ ④ ⑦ ⑧ ⑨ 1 1 1 1 1 1 1 1 3 2 3 9 但并非对任意的n，都有 . ( ) 0 nd ii p d(1) = 若d>1，称 i 为周期的; 若d=1，称 i 为非周期的. 特别地，如果上述集合为空集，则称 i 的周期为无穷大. 2 1.周期性的定义 = i S d i , ( ) ?
2.周期性是一个类性质 定理：若状态i,同属一类，则d()=d(j) 证明：若与j相通，则存在m,n,使得p>0,p>0 g-2p≥pp>0 对任意的s,若有p>0,则 pts+m≥pmp9p%>0 因为d是的周期，所以d应同时整除n+m和 n+s,则d()一定整除s, 而d(⑦是的周期，所以d整除d): 反过来也可证明d)整除d①，于是d(=d). 10
证明：若i与j相通，则存在m,n，使得 ( ) ( ) 0, 0 m n ij ji p p 对任意的s，若有 0 ，则 s pjj （ ） 定理：若状态i，j同属一类,则d ( i )=d ( j ). ( ) ( ) ( ) ( ) 0 n s m m s n ii ij jj ji p p p p + + 因为d(i)是i的周期，所以d(i)应同时整除n+m和 n+m+s，则d(i)一定整除s， 10 ( ) ( ) ( ) ( ) ( ) 0 0 m n m n m n ii ik ki ij ji k p p p p p + = = 而d(j)是j的周期，所以d(i)整除d(j). 反过来也可证明d(j)整除d(i)，于是d(i)= d(j). 2.周期性是一个类性质