中科院研究生院《随机过程》讲稿：第二章 Markov 过程（2-6）参数连续状态离散的马氏过程

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 第二章 Markov过程 6参数连续状态离散的马氏过程 ()参数连续状态离散的马氏过程的转移概率 定义:设X={X(1),t≥0}是取值于状态空间S的随机过程,S是 有限或无限可列的,如果对于任意的正整数n,任意的 0≤1<21<…<tn<tn,及任意的状态i,i2…,i,in∈S,均有: P{Y(n)=inXx(t)=1,X(2)=2,…,X(n)=i} PX(m)=imX(t)=in) 则称此随机过程为参数连续状态离散的马氏过程(纯不连续了马 氏过程)。 对于纯不连续马氏过程,有: P{X(2)=X(),0≤t≤t}=P{X(2)=X(1)=}t≤t2,b,j∈S 记 P,(,2)=P{X(t2)=fX(t1)=l 称此条件概率为纯不连续了马氏过程的转移概率。 显然有: P,(t1,t2)≥0 ∑P,(12)=1i∈S

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 6 参数连续状态离散的马氏过程 （一）参数连续状态离散的马氏过程的转移概率 定义：设 X ={X(t) , t  0} 是取值于状态空间 S 的随机过程， S 是 有 限或 无限 可列 的，如 果对 于任 意的 正整 数 n ，任 意的 0  1  2   n  n+1 t t  t t ，及任意的状态 i 1 ,i 2 ,  ,i n ,i n+1 S ，均有： { ( ) ( ) } { ( ) ( ) , ( ) , , ( ) } 1 1 1 1 1 1 2 2 n n n n n n n n P X t i X t i P X t i X t i X t i X t i = = = = = = = + + + +  则称此随机过程为参数连续状态离散的马氏过程（纯不连续了马 氏过程）。 对于纯不连续马氏过程，有： P{X(t 2 ) = j X(t), 0  t  t 1 }= P{X(t 2 ) = j X(t 1 ) = i} t 1  t 2 , i, jS 记： ( , ) ˆ { ( ) ( ) } 1 2 2 1 p t t P X t j X t i i j = = = 称此条件概率为纯不连续了马氏过程的转移概率。 显然有：     =    p t t i S p t t j S i j i j ( , ) 1 ( , ) 0 1 2 1 2

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 如果p,(t,1)仅为时间差t=12-1的函数,而与t1和t2的值无 关,则称此纯不连续了马氏过程为齐次的。此时 P,()=P,(1,t2)=P{X(2)=X(1)=1}t=12-1 P,(1)≥0i,∈S,t≥0 ∑P,()=1i∈S,t≥0 我们主要讨论齐次纯不连续了马氏过程 C-K方程: 一般情形: P{X(1)=X(1)=l}= ∑PX(t)=X(1)=k}P{X(2)=k|X(1)= k∈S S 齐次情形: P,(+)=∑P(D)P,(r),(,∈S,t>0,z>0) 连续性条件 I=y lim p(t=8 -10,i≠J 满足连续性条件的马氏过程称为随机连续的马氏过程。 注:i,j固定时,可以证明齐次纯不连续,并且随机连续的马 氏过程的转移概率P()是关于t的一致连续函数,并且是可微 的

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 如果 ( , ) 1 2 p t t i j 仅为时间差 2 1 t = t − t 的函数，而与 1 t 和 2 t 的值无 关，则称此纯不连续了马氏过程为齐次的。此时 1 2 2 1 2 1 p (t) p (t ,t ) ˆ P{X (t ) j X (t ) i} t t t i j = i j = = = = −     =       ( ) 1 , 0 ( ) 0 , , 0 p t i S t p t i j S t j S i j i j 我们主要讨论齐次纯不连续了马氏过程。 C－K 方程： 一般情形： ( , , ) { ( ) ( ) } { ( ) ( ) } { ( ) ( ) } 1 2 3 3 2 2 1 3 1 t t t i j S P X t j X t k P X t k X t i P X t j X t i k S    = = = = = = = =  齐次情形： ( + ) =  ( ) ( ) , ( ,  ,  0,  0)  p t  p t p  i j S t  k S i j i k k j 连续性条件：     = = = → i j i j p t i j i j t 0, 1, lim ( ) 0  满足连续性条件的马氏过程称为随机连续的马氏过程。 注： i, j 固定时，可以证明齐次纯不连续，并且随机连续的马 氏过程的转移概率 p (t) i j 是关于 t 的一致连续函数，并且是可微 的

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (二)无穷小转移率q,及转移率矩阵(Q矩阵) 取任意充分小的△t>0,由连续性条件及注,我们有: P,(△D)=P,(0)+q,At+O(△)=8,+q,△t+o(△D) 即 g,=lmP,(△1)- △t→0 △ 我们称q为无穷小转移率或跳跃强度,显然有 lim P(At) △t q J Pn(△t)-1 △t 即有 4120,(≠j,q,≤0,(=j 由∑P,(△1)=1及上面的式子,有: 1=1+∑9A+∑o(A)=|29/=∑) △t 两边求极限,即有: q 当状态是有限的时候,我们可以定义一个矩阵如下: loo ou q lo qu q q1 qno qmi q qn mn/(n+1)x(n+1) 称Q为转移率矩阵或Q矩阵

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 （二）无穷小转移率 qi j 及转移率矩阵（ Q 矩阵） 取任意充分小的 t  0 ，由连续性条件及注，我们有： p ( t) p (0) q t ( t) q t ( t) i j  = i j + i j +  = i j + i j +  即： t p t q i j i j t i j   − =  → ( )  lim 0 我们称 qi j 为无穷小转移率或跳跃强度，显然有：        =   −    =  →  → i j t p t i j t p t q i i t i j t i j , ( ) 1 lim , ( ) lim 0 0 即有： q 0, (i j), q 0, (i j) i j   i j  = 由  ( ) =1 jS i j p t 及上面的式子，有：            =       +        = + j S j S i j j S j S i j t t q t t q ( ) 1 1 ( )   两边求极限，即有：  = 0 jS qi j 当状态是有限的时候，我们可以定义一个矩阵如下： 0 1 2 ( 1) ( 1) 10 11 12 1 00 01 02 0 +  +               = n n n nn n n n n q q q q q q q q q q q q Q        称 Q 为转移率矩阵或 Q 矩阵

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 注:当状态为无限可列时,也可以定义形式上的Q矩阵 (三) Kolmogrov- Feller前进方程 由C-K方程,取任意充分小的At>0,有: P,(t+△)=∑P(D)P(△D =p,(D)p,(△1)+∑pA)p,(△1)(i∈S) keS,k≠j 由 P/(△1)=94t+0(△)k≠j P(A)=1+q△t+o(△) 有: P,(+△) =P,()1+qAt+o(△)+∑P2()q,△t+o(△) 即有: P,、(t+△t)-P,(t) ∑PA()q (△t) △t △t 令△t→0,我们有: P d=p.(0,,∈S,120 由初始条件: ∫P,O)=0i≠ pn(0)=1 即可解得上面的方程组。 当状态有限时,我们令:

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 注：当状态为无限可列时，也可以定义形式上的 Q 矩阵。 （三）Kolmogrov—Feller 前进方程 由 C－K 方程，取任意充分小的 t  0 ，有： ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , p t p t p t p t i S p t t p t p t k S k j i j j j i k k j k S i j i k k j =  +   +  =  =      由：     = +  +   =  +   ( ) 1 ( ) ( ) ( ) p t q t t p t q t t k j j j j j k j k j   有：   = +  +  +  +  +  = k S k j i j j j i k k j i j p t q t t p t q t t p t t , ( )[1 ( )] ( )[ ( )] ( )   即有： t t p t q t p t t p t k S i k k j i j i j   = +  +  −   ( ) ( ) ( ) ( )  令 t → 0 ，我们有： ( ) , , 0 ( ) =     p t q i j S t d t d p t k S i k k j i j 由初始条件：    = =  (0) 1 (0) 0 i i i j p p i j 即可解得上面的方程组。 当状态有限时，我们令：

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (t)=(p0(t),pn(1)…,pn() 则有: dr(t =r;(1)Qi=0,1,2,…,n r(O)=(00,…1…0) 进一步,若记 0()(pon(t)pn(t)…Po、() r()|_pn()p1()…pn、() P(t) r,(1)(pn(t)pn()…pn() (n+1)×(n+1) 则有 dp(t P(tQ P(0)=l (n+1)×(n+1) 此即为 Kolmogrov-Feer前进方程。 (四) Kolmogrov- Feller后退方程 根据C一K方程,取任意充分小的△t>0,有: P,(t+△D)=p,(△t+1)=∑P(△D)P() P(△D)P,()+∑P(△D)P,()(i∈ 由: P(△n)=q1△t+o(△n)k≠ p,(△t)=1+qn△t+O(△t) 得

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 ( ) ( ( ), ( ), , ( )) 0 1 t p t p t p t i = i i  in 则有：  ( )      = =  =  (0) 0,0, ,1, 0 ( ) 0,1,2, , ( )    i i i t Q i n d t d t 进一步，若记： 0 1 ( 1) ( 1) 1 0 1 1 1 0 0 0 1 0 1 0 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) +  +               =                  = n n n n n n n n n p t p t p t p t p t p t p t p t p t t t t P t        则有：      = = ( +1)( +1) (0) ( ) ( ) n n P I P t Q d t d P t 此即为 Kolmogrov—Feller 前进方程。 （四）Kolmogrov—Feller 后退方程 根据 C－K 方程，取任意充分小的 t  0 ，有： ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , p t p t p t p t i S p t t p t t p t p t k S k j i i i j i k k j k S i j i j i k k j =  +   +  =  + =  =      由：     = +  +   =  +   ( ) 1 ( ) ( ) ( ) p t q t t p t q t t k i i i i i i k i k   得：

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 P,(t+△)-P(1) Ar=9P,(O)+∑9P,、(+0A 令△t→0,我们有: dp,(t) ∑qP()i,∈S,t20 当状态有限时,记: P P,(口) P,(t) 则有: ds(t) =QS(1)j=012…,n dt 初始条件为: S(0)=1(+1) 0 上面的方程组即为 Kolmogrov- Feller后退方程 (五) Fokker-Planck方程 讨论有限状态的情形,令:P,()=P{X()=八 过程的初始分布为: b(O)=(P(O),p(O)…,P、()

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 t t q p t q p t t p t t p t k S k i i i i j i k k j i j i j   = + +  +  −    ( ) ( ) ( ) ( ) ( ) ,  令 t → 0 ，我们有： ( ) , , 0 ( ) =     q p t i j S t d t d p t k S i k k j i j 当状态有限时，记：               = ( ) ( ) ( ) ( ) 1 0 p t p t p t S t n j j j j  则有： QS t j n d t d S t j j ( ) 0,1,2, , ( ) = =  初始条件为： ( 1) 0 1 0 (0) +                 S = j j   上面的方程组即为 Kolmogrov—Feller 后退方程 （五）Fokker-Planck 方程 讨论有限状态的情形，令： p (t) P{X (t) j} j = = 过程的初始分布为： (0) ( (0), (0), , (0) ) p p0 p1  pn  =

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 设在t时刻时,过程所处各状态的概率分布为: b(1)=(P(t),p(t)…,p(1) 则有: P()=pP{X(1)=0}=∑PX()=0X(0)=八P{X(0)=j} ∑P0()p,(0)=∑P(O)Dn() 即有: p(t)=p(0)P() 即有: dp(t) dt pio) dt=p(o)p(g-=pooo 因此,得: d p(t) p(1)Q 此即为 Fokker-Planck方程,其初始条件为 p(O)=(p(O),p(0)…,Pn(O) 解此方程可得任意时刻该过程的一维概率分布。 (六)例子 例1设有参数连续、状态离散的马氏过程{X()t≥0},状态 空间为:S={1,2…,m},当i≠j,,j=1,2,…,m时,q,=1, qn=-(m-1)=1.2…,m,求P,()

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 设在 t 时刻时，过程所处各状态的概率分布为： ( ) ( ( ), ( ), , ( ) ) 0 1 p t p t p t p t  n  = 则有：    = = = = = = = = = = = n j j j n j j j n j p t p p p t p t p X t P X t X j P X j 0 0 0 0 0 0 ( ) (0) (0) ( ) ( ) { ( ) 0} { ( ) 0 (0) } { (0) } 即有： p(t) p(0)P(t)   = 即有： p P t Q p t Q d t d P t p d t d p t (0) ( ) ( ) ( ) (0) ( )     = = = 因此，得： p t Q d t d p t ( ) ( )   = 此即为 Fokker-Planck 方程，其初始条件为 (0) ( (0), (0), , (0) ) p p0 p1  pn  = 解此方程可得任意时刻该过程的一维概率分布。 （六）例子 例 1 设有参数连续、状态离散的马氏过程 {X(t), t  0} ，状态 空间为： S ={1,2,  ,m} ， 当 i  j, i, j =1,2,  ,m 时 ， qi j =1 ， qi i = −(m −1),i =1,2,  ,m ，求 p (t) i j

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 解:由K一F前进方程,可知: d p (t) -(m-1)p2(t)+∑p(t) d k≠jk∈S 由 ∑p(t) 可知 ∑P4(1)=1-P,() 因此,我们有: dp(t) -m-1)P2(t)+1-p,(1)=1-mp(1)i,j=1,2,…,m 解此微分方程,得 1 p,(1)=ce-m+-i, 二 利用初始条件: p1( P,(0)=0(≠j 可得 P,(1)=1- (i=1,2,…,m) p,、(1)=-(1-em)(i≠,i,j=1,2,…,m) 例2(排列问题)设有一服务台,[0,1)内到达服务台的顾客 数是服从 Poission分布的随机变量。单位时间到达服务台的平均 人数是4。服务台只有一个服务员,对顾客服务时间是按负指数 分布的随机变量,平均服务时间为1/。如果服务台空闲时,到

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 解：由 K－F 前进方程，可知：    = − − + k j k S ij ik ij m p t p t d t d p t ( 1) ( ) ( ) ( ) 由  ( ) =1 kS ik p t 可知 p (t) 1 p (t) i j k j k S  ik = −   因此，我们有： m p t p t m p t i j m d t d p t i j i j i j i j ( 1) ( ) [1 ( )] 1 ( ) , 1,2, , ( ) = − − + − = − =  解此微分方程，得： i j m m p t ce mt i j , 1,2, , 1 ( ) = − + =  利用初始条件： p (0) 1, p (0) 0 (i j) i i = i j =  可得： (1 ) ( , , 1,2, , ) 1 ( ) ( 1,2, , ) 1 1 ( ) 1 e i j i j m m p t i m m e m p t mt i j mt i i   = −  =  + =      = − − − 例 2 （排列问题）设有一服务台， [0,t) 内到达服务台的顾客 数是服从 Poission 分布的随机变量。单位时间到达服务台的平均 人数是  。服务台只有一个服务员，对顾客服务时间是按负指数 分布的随机变量，平均服务时间为 1/ 。如果服务台空闲时，到

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 达的顾客立刻得到服务;如果顾客到达时服务员正在为另一顾客 服务,则他必须排队等候;如果顾客到达时发现已经有二人在等 候,则他就离开不再回来。设X(1)代表在时刻系统内顾客人数 (包括正在被服务的顾客和排队等候的顾客)。假设系统在t=0 时处于零状态,即服务人员空闲。求时刻系统处于状态j的无 条件概率p(1)所满足的微分方程。 解:(1)写出状态空间:S={0,1,2,3} (2)求Q矩阵: (a)当X(1)=0时,在[tt+△)内到达一个顾客的概率为 Po(A)=Mt+O(△) 在[t,t+△1内到达二个或二个以上的顾客的概率为 P,(△)=o(△)j=2,3 因此 Pa(△D) △t P,(△1) qo 0 由 ∑q=0 可得 q (b)当X(t)=1时,表示在t时刻有一个顾客正在备服务。由指 数分布的无记忆性,可知,在[△)内完成服务的概率为:

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 达的顾客立刻得到服务；如果顾客到达时服务员正在为另一顾客 服务，则他必须排队等候；如果顾客到达时发现已经有二人在等 候，则他就离开不再回来。设 X (t) 代表在 t 时刻系统内顾客人数 （包括正在被服务的顾客和排队等候的顾客）。假设系统在 t = 0 时处于零状态，即服务人员空闲。求 t 时刻系统处于状态 j 的无 条件概率 p (t) j 所满足的微分方程。 解：（1）写出状态空间： S ={0,1,2,3} （2）求 Q 矩阵： （a）当 X (t) = 0 时，在 [t,t + t) 内到达一个顾客的概率为： ( ) ( ) 01 p t = t +  t 在 [t,t + t) 内到达二个或二个以上的顾客的概率为： p0 j (t) =(t) j = 2,3 因此 0 ( ) lim ( ) lim 0 0 0 01 0 01 =   = =   =  →  → t p t q t p t q j t j t  由：  = 0 jS qi j 可得： q00 = − （b）当 X(t) =1 时，表示在 t 时刻有一个顾客正在备服务。由指 数分布的无记忆性，可知，在 [t,t + t) 内完成服务的概率为：

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (1-e)=△+o(△) 由此可知,在M时间内系统由1状态转入到0状态的概率为 P(A)=[t+o(△)1-At+0()]=A+o(△) 故 p10(△D Im 在△时间内系统由1状态转入到2状态的概率为: P12(△n)=[1-t+o(△)[AAt+o(△t)]=AAt+o(Mn 故 q1 P2(△D) △t 同理 q1 q1 q q21= q2= q2=-(+4) (c)当X()=3时,系统不再接受新顾客,此时,状态只可转到 2或仍在3。当X()=3时,在M时间内完成服务的概率为 )=A△+O(△ 因此

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 (1 e ) t ( t) t − =  +  −     由此可知，在 t 时间内系统由 1 状态转入到 0 状态的概率为： ( ) [ ( )][1 ( )] ( ) 1 0 p t = t +  t − t +  t = t +  t 故 =    =  → t p t q t ( ) lim 10 0 10 在 t 时间内系统由 1 状态转入到 2 状态的概率为： ( ) [1 ( )][ ( )] ( ) 12 p t = − t +  t t +  t = t +  t 故 =    =  → t p t q t ( ) lim 12 0 12 同理： ( ) 0 ( ) 0 22 23 21 20 11 13       = − + = = = = − + = q q q q q q （c）当 X (t) = 3 时，系统不再接受新顾客，此时，状态只可转到 2 或仍在 3。当 X (t) = 3 时，在 t 时间内完成服务的概率为： (1 e ) t ( t) t − =  +  −     因此