
5.2状态的分类及性质 一.状态的分类 二.状态的性质 (一)周期性 (二)常返性 三.状态空间的分解
5.2 状态的分类及性质 一.状态的分类 二.状态的性质 (一)周期性 (二)常返性 三.状态空间的分解 1

一.状态的分类 定义:若存在≥0使得p>0,则称从状态i可达状态j 记为i→j。 如果ij且j→i,则称i与j互通(相通),记为 i←>1
定义 : 若存在n≥0使得 ,则称从状态 i 可达状态 j, 记为i→j 。 ( ) 0 n ij p i j 一.状态的分类 2 如果i→j且 j →i ,则称 i 与 j 互通(相通),记为

定理:互通是一种等价关系.即 √自反性i; √对称性ifi>j,then j→i; √传递性ifij,jk,then i>k. 证明:如果i→k,k→j,则由定义,存在r≥1和n≥1,使得: p,2>0,p8>0 根据C一K方程,我们有: pg=∑p%p9≥p限pg>0(keS) meS 因此,i→j。同理可以证明相通的情形
3 定理:互通是一种等价关系. 即 if , then if , , then . i i i j j i i j j k i k ; ; ✓自反性 ✓对称性 ✓传递性

状态的分类 定义:称互通的两个状态属于同一个类。 注1:类是集合,是状态空间S按“互通”为标准划 分成的子集,其元素为状态 注2:同一类的状态之间都是互通的;任何一个状态 不能同时属于两个不同的类 即任意两个类或不相交或相同
称互通的两个状态属于同一个类. 状态的分类 4 定义 : 同一类的状态之间都是互通的;任何一个状态 不能同时属于两个不同的类. 注1 : 类是集合,是状态空间S按“互通”为标准划 分成的子集,其元素为状态. 注2 : 即任意两个类或不相交或相同

例:请对下述Markov链进行状态分类 1.疾病死亡模型 2.赌徒破产模型 3. S={L,2,3} 4 0 P= .0 6
例:请对下述Markov链进行状态分类 1.疾病死亡模型 2.赌徒破产模型 5 3 1 4 4 111 424 3 1 4 4 0 0 P = 3. S = {1, 2 3}

不可约Markov链 定义:若Markov链只存在一个类,就称它是不可约的, 否则称为可约的
不可约Markov链 6 定义 :若Markov链只存在一个类,就称它是不可约的, 否则称为可约的

闭集 定义 设Markov链的状态空间为S,CcS,若对任 意的i∈C及jC,都有P,=0,则称C为(随机)闭集。 若C的状态相通,则称闭集C是不可约的. 注:闭集C的直观意义是自C的内部不能到达C的外部, 这意味着系统状态一旦进入闭集C内,它就永远在C中运动 Pi =1 √状态i是吸收态等价于单点集{i}是闭集-最小 的闭集; √Markov链的整个状态空间S是最大的闭集
定义 设Markov链的状态空间为S, ,若对任 意的 , 都有 ,则称 C 为(随机)闭集. i C j C 及 0 ij p = C S ✓ 状态 i 是吸收态等价于单点集{ i }是闭集-最小 的闭集; 闭集 注: 7 若C 的状态相通, 则称闭集C 是不可约的. pii = 1 ✓Markov链的整个状态空间 S 是最大的闭集. 闭集 C 的直观意义是自 C 的内部不能到达 C 的外部, 这意味着系统状态一旦进入闭集 C 内,它就永远在 C 中运动

二.状态的性质 (一)周期性 1.周期性的定义 2.周期性是一个类性质
二.状态的性质 1.周期性的定义 2.周期性是一个类性质 (一)周期性

1.周期性的定义 定义:若集合{n:n≥1,p”>0}≠, 则称它的最大公 约数d=d①为状态i的周期. 特别地,如果上述集合为空集,则称i的周期为无穷大 若心1,称i为周期的;若d=1,称i为非周期的. 注:若状态i的周期为d,则对一切n0(mod(),即当n非d的 倍数时,都有p”=0; 但并非对任意的n,都有p"d>0. 例如:S={1,2,.,9 ,⑧- 3,® d(1)=2 Vies,d(i)=?
定义:若集合 则称它的最大公 约数d=d(i)为状态 i 的周期. ( ) : 1, 0 , n ii n n p 注:若状态 i 的周期为d ,则对一切n≠0(mod(d)),即当 n 非 d 的 倍数时,都有 ; ( ) 0 n ii p = 例如:S =1,2, ,9 1 ① ② ③ ⑥ ⑤ ④ ⑦ ⑧ ⑨ 1 1 1 1 1 1 1 1 3 2 3 9 但并非对任意的n,都有 . ( ) 0 nd ii p d(1) = 若d>1,称 i 为周期的; 若d=1,称 i 为非周期的. 特别地,如果上述集合为空集,则称 i 的周期为无穷大. 2 1.周期性的定义 = i S d i , ( ) ?

2.周期性是一个类性质 定理:若状态i,同属一类,则d()=d(j) 证明:若与j相通,则存在m,n,使得p>0,p>0 g-2p≥pp>0 对任意的s,若有p>0,则 pts+m≥pmp9p%>0 因为d是的周期,所以d应同时整除n+m和 n+s,则d()一定整除s, 而d(⑦是的周期,所以d整除d): 反过来也可证明d)整除d①,于是d(=d). 10
证明:若i与j相通,则存在m,n,使得 ( ) ( ) 0, 0 m n ij ji p p 对任意的s,若有 0 ,则 s pjj ( ) 定理:若状态i,j同属一类,则d ( i )=d ( j ). ( ) ( ) ( ) ( ) 0 n s m m s n ii ij jj ji p p p p + + 因为d(i)是i的周期,所以d(i)应同时整除n+m和 n+m+s,则d(i)一定整除s, 10 ( ) ( ) ( ) ( ) ( ) 0 0 m n m n m n ii ik ki ij ji k p p p p p + = = 而d(j)是j的周期,所以d(i)整除d(j). 反过来也可证明d(j)整除d(i),于是d(i)= d(j). 2.周期性是一个类性质