中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 第二章 Markov过程 8.纯不连续马氏链的极限性质 (一)纯不连续马氏过程的h-离散骨架 记p,(1)=P{X()=},j∈S,称p(t)=(p(1),vi∈S),为纯 不连续马氏过程{X(),t≥0}在t时刻的分布,称 元(0)=(p、(O),vi∈S)为初始分布。 注意:任意n个时刻的联合分布率可由(0)和P(t)唯一确定 且有关系: p(t)=p(0)P(t) 定义:对于纯不连续马氏过程{X(),1≥0},任取h>0,记: Xn(h)=X(mh),n≥0 则{X(mh),n≥0}是一离散时间的马氏链,称为以h为步长的h-离 散骨架,简称h骨架。它的n步转移概率矩阵为P(nh)。 对于满足连续性条件的齐次纯不连续马氏过程,有以下结论: 命题:Vt≥0,i∈S,有p,(1)>0。 证明:由p,(0)=1>0,及连续性条件lmp,(t)=0n=1,可知: 对任意固定的t>0,当n充分大时,有p,(t/m)>0,由C-K方 程有:
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 8．纯不连续马氏链的极限性质 （一）纯不连续马氏过程的 h −离散骨架 记 p (t) P{X(t) j} j = = ， jS ，称 p(t) ( p (t) , i S) = i ，为纯 不 连 续 马 氏 过 程 {X(t), t 0} 在 t 时 刻 的 分 布 ， 称 p(0) ( p (0) , i S) = i 为初始分布。 注意：任意 n 个时刻的联合分布率可由 p(0) 和 P(t) 唯一确定， 且有关系： p(t) p(0)P(t) = 定义：对于纯不连续马氏过程 {X(t), t 0} ，任取 h 0 ，记： X n (h) = X (nh) , n 0 则 {X(nh) , n 0} 是一离散时间的马氏链，称为以 h 为步长的 h − 离 散骨架，简称 h 骨架。它的 n 步转移概率矩阵为 P(nh)。 对于满足连续性条件的齐次纯不连续马氏过程，有以下结论： 命题： t 0 , iS ，有 pi i (t) 0。 证明：由 pi i (0) =1 0 ，及连续性条件 lim ( ) 1 0 = = → ii ii t p t ，可知： 对任意固定的 t 0 ，当 n 充分大时，有 pi i (t / n) 0 ，由 C－K 方 程有：
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (s+t)=∑PA(s)p,(t)≥p,(s)p,(1) 因此可得 Pn()≥[p,(t/m)>0 由此命题可知:对所有的h>0及正整数n,及vi∈S,有 p,(mh)>0,这意味着对每一个离散骨架{X(mh),n≥0},每一个状 态都是非周期的。因此对于纯不连续的马氏过程,无需引入周期 的概念 定义:若存在>0,使得p,(1)>0,则称由状态可达状态j, 记为i→j;若对一切t>0,有p,()=0,则称由状态i不可达状 态j;若ij且ji,则称状态i与j相通,记作i台>j 由上面的命题可知,ii,因此相通是一等价关系,从而可 以相通关系对状态空间分类。相通的状态组成一个状态类。整个 状态空间是一个状态类,则称该纯不连续马氏过程是不可约的。 定义:(1)若∫。P2、O)d=+∞,则称状态为常返状态;否则 称状态i为非常返状态。 (2)设为常返状态,若lmp、()>0,则称状态为正常返状 态;若lmp,(t)=0,则称状态i为零常返状态。 (3)若概率分布丌=(,i∈S),满足:
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 p (s t) p (s) p (t) p (s) p (t) i i i i k S i i + = i k k i 因此可得： ( ) [ ( / )] 0 n pi i t pi i t n 由此命题可知：对所有的 h 0 及正整数 n ，及 iS ，有 pi i (nh) 0 ，这意味着对每一个离散骨架 {X(nh) , n 0} ，每一个状 态都是非周期的。因此对于纯不连续的马氏过程，无需引入周期 的概念。 定义：若存在 t 0 ，使得 pi j (t) 0 ，则称由状态 i 可达状态 j ， 记为 i → j ；若对一切 t 0 ，有 pi j (t) = 0 ，则称由状态 i 不可达状 态 j ；若 i → j 且 j →i ，则称状态 i 与 j 相通，记作 i j。 由上面的命题可知， i i ，因此相通是一等价关系，从而可 以相通关系对状态空间分类。相通的状态组成一个状态类。整个 状态空间是一个状态类，则称该纯不连续马氏过程是不可约的。 定义：（1）若 + = + 0 p (t)dt i i ，则称状态 i 为常返状态；否则 称状态 i 为非常返状态。 （2）设 i 为常返状态，若 lim ( ) 0 → p t ii t ，则称状态 i 为正常返状 态；若 lim ( ) = 0 → p t ii t ，则称状态 i 为零常返状态。 （3）若概率分布 ( , i S) = i ，满足：
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 兀=丌P(1),Vt≥0 则称x为{X(,t≥0的平稳分布。 (4)若对vi∈S,lmp(t)=;存在,则称x'={r,i∈S}为 X(,t≥0}的极限分布。 与马氏链的讨论类似,我们有: 定理:不可约纯不连续马氏过程是正常返的充分必要条件是 它存在平稳分布,且此时的平稳分布就是极限分布。 下面讨论p(1)和p,(t)的极限性质,讨论状态空间有限且各状 态都相通的情形。状态无限可列的情形有类似的结果。 (二)极限性质 命题:当t→∞时,p,(1)趋于一个与初始分布(0)无关的极限 的充分必要条件是p、(1)对任何状态i趋于同一极限。 证明:设初始分布为p(0)=(P{X()=}=p、),vi∈S),由全 概率公式有 P()=P(X(t)=}=∑P,(O)P,(),(∈S) “→”:若1→>∞时,p、()趋于一个与初始分布p(0)无关的极限, 即当t→∞时, P(1)→>P,j∈S 特别地取一种初始分布P(O)=1,P,(0)=0,k∈Sk≠i,我们有:
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 = P(t), t 0 则称 为 {X(t), t 0} 的平稳分布。 （4）若对 iS ， → i = i t lim p (t) 存在，则称 ˆ { , i S} = i 为 {X(t), t 0} 的极限分布。 与马氏链的讨论类似，我们有： 定理：不可约纯不连续马氏过程是正常返的充分必要条件是 它存在平稳分布，且此时的平稳分布就是极限分布。 下面讨论 p (t) j 和 p (t) i j 的极限性质，讨论状态空间有限且各状 态都相通的情形。状态无限可列的情形有类似的结果。 （二）极限性质 命题：当 t → 时， p (t) j 趋于一个与初始分布 p(0) 无关的极限 的充分必要条件是 p (t) i j 对任何状态 i 趋于同一极限。 证明：设初始分布为 p(0) (P{X (0) i} p (0) , i S) = = = i ，由全 概率公式有： p (t) P{X (t) j} p (0) p (t) , ( j S) i S j = = = i i j “ ”：若 t → 时， p (t) j 趋于一个与初始分布 p(0) 无关的极限， 即当 t → 时， pj (t) → pj , jS 特别地取一种初始分布 p p k S k i i (0) =1, k (0) = 0 , , ，我们有：
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 P,(t)=P,(t),(,j∈S) 因此有: imp,(t)=lmp,(t)=p,i,j∈S(极限与i无关) ”:若imp,(t)=p,ij∈S,则对于任意的 (O)=(p(O),Vi∈S),有: imp()=m∑P(O)p,(1)=∑P(0)p=P 定理:( Markov定理)对于状态有限的纯不连续马氏过程, 若彐使得对于vr∈S有p,()>0,那么极限mP,()=p存在 且与i无关(i,j∈S)。 由上面的定理和命题,我们可知,对于纯不连续马氏过程, 如果存在一个1,使得对于i,r∈S有p,(t)>0,则 imp,()=limp,(D)=P,i,j∈S。 此时,我们有 d p(t) lim dt =0,,j∈S,mxP(t) dt =0,j∈S 根据K一F前进方程 dt ∑PA(1)q k∈S 两边求极限,有: lim ∑P(t),=∑ P49 =0 → 因此,解以下的联立方程组:
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 p (t) p (t) , (i, j S) j = i j 因此有： p t pj t pj i j S t i j t = = → → lim ( ) lim ( ) , , （极限与 i 无关） “ ”： 若 pi j t pj i j S t = → lim ( ) , , ， 则 对 于 任 意 的 p(0) ( p (0) , i S) = i ，有： j j i S i i S i i j t j t p t = p p t = p p = p → → lim ( ) lim (0) ( ) (0) 定理：（Markov 定理）对于状态有限的纯不连续马氏过程， 若 0 t 使得对于 i,r S 有 pir (t 0 ) 0 ，那么极限 i j j t p t = p → lim ( ) 存在 且与 i 无关 (i, jS)。 由上面的定理和命题，我们可知，对于纯不连续马氏过程， 如果存在一个 0 t ，使得对于 i,r S 有 pir (t 0 ) 0 ， 则 p t pj t pj i j S t i j t = = → → lim ( ) lim ( ) , , 。 此时，我们有： j S d t d p t i j S d t d p t j t i j t = = → → 0 , ( ) 0 , , , lim ( ) lim 根据 K－F 前进方程 = k S i k k j i j p t q d t d p t ( ) ( ) 两边求极限，有： lim ( ) = = 0 → k S k k j k S i k k j t p t q p q 因此，解以下的联立方程组：
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 Pr k=0 P 即可求得当t→∞时过程取各个状态的极限概率p, (三)例子 例:(机器维修问题)设某机器的正常工作时间时一负指数分 布的随机变量,它的平均正常工作时间为1/;它损坏后修复时 间也是一负指数分布的随机变量,它的平均修复时间为1/4。如 果该机器在t=0时是正常工作的,问在t=10时该机器处于正常 工作状态的概率是多少?长时间工作下去,机器处于正常状态的 概率如何? 解:(1)写出状态空间:记机器正常工作状态为0,维修状态为 1,则状态空间为{0,} (2)求出Q矩阵:由指数分布的“无记忆性”,可求得Q矩阵为: u-u (3)写出前进或后退方程及初始条件: Poo(o-2 n poo(t) p(1)(-u人P2() P0(O)(1 P{X(0)=0}=p0(0)=1 P{X(0)=1}=P2(0)=0 (4)解上面的微分方程
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 = = 1 0 k S k k S k k j p p q 即可求得当 t → 时过程取各个状态的极限概率 j p 。 （三）例子 例：（机器维修问题）设某机器的正常工作时间时一负指数分 布的随机变量，它的平均正常工作时间为 1/ ；它损坏后修复时 间也是一负指数分布的随机变量，它的平均修复时间为 1/ 。如 果该机器在 t = 0 时是正常工作的，问在 t =10 时该机器处于正常 工作状态的概率是多少？长时间工作下去，机器处于正常状态的 概率如何？ 解：（1）写出状态空间：记机器正常工作状态为 0，维修状态为 1，则状态空间为 {0,1}。 （2）求出 Q 矩阵：由指数分布的“无记忆性”，可求得 Q 矩阵为： − − = Q （3）写出前进或后退方程及初始条件： { (0) 1} (0) 0 { (0) 0} (0) 1 0 1 (0) (0) ( ) ( ) ( ) ( ) 1 0 10 00 10 00 10 00 = = = = = = = − − = P X p P X p p p p t p t p t p t （4）解上面的微分方程：
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 Po(1)= t u P0(1)= -(2+)n +H元+ 由 P{X()=}=P(1)=∑PO)P,(1)=P0(O)0(t) 可求得: P0(t) 2+ P0(10)=-4 +2+ (5)极限性态:根据以上所求,求极限即有: m P + lim p(t) + lim p(t) + P 另外:根据上面极限性态讨论,由: p,q 0 ∑P2=1 同样可以求得: lim po(t) + lim p,(t)=p, n+u 习题讲解:
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 t t p t e p t e ( ) 10 ( ) 00 ( ) ( ) − + − + + − + = + + + = 由： { ( ) } ( ) (0) ( ) (0) ( ) 0 0 P X t j p t p p t p p t j i S = = j = i i j = 可求得： 10( ) 0 ( ) 0 (10) ( ) − + − + + + + = + + + = p e p t e t （5）极限性态：根据以上所求，求极限即有： 0 0 10 0 00 0 lim ( ) ˆ lim ( ) ˆ lim ( ) ˆ p t p p t p p t p t t t = + = = + = = + = → → → 另外：根据上面极限性态讨论，由： = = 1 0 k S k k S k k j p p q 同样可以求得： + = = + = = → → 1 1 0 0 lim ( ) lim ( ) p t p p t p t t 习题讲解：