第五章连续时间 Markov链 51连续时间 Markov链 连续时间 Markov链的要旨仍然是 Markov性,与上一章不同之处在于指标集 (这里表示时间)取值连续,通常为≥0。状态仍然是离散的,最多取可数 个值,我们用整数值0,1,2…表示 定义511:设随机过程X(),1≥0状态空间为S={0.2…},若对所有s,t≥0, 0≤u<s和i,j∈S以及x(u)∈S满足 P(x(s+1)=(s)=1,X()=x()0≤a<s)=P(X(s+)=X(s)= 则称X(,t≥0为连续时间 Markov链。 般P(X(S+D)=X(s)=)称为转移概率,与时间st有关,若进一步此概 率与s无关则随机过程X(t)称为有平稳转移概率的连续时间 Markov链。此时记 P()=P(X(s+)=X(s)=)=P(X()=X(0)=)。以下不特别指明,所涉及 到的连续时间 Markov链是指有平稳转移概率的连续时间 Markov链。若过程初 始分布为p1=P(X(0)=),于是有 定理511:连续时间 Markov链的转移概率P(1),j∈S和初始分布Pi∈S完全 确定了过程的任意有限维分布 转移概率P(O),j∈S的性质。首先P()20∑P()=1:其次, P(s+D)=P(x(+0)=X(0)=)=∑P(X(s+1)=,X(S)=x0)=0) (s)=kX(0)=)P(X(s+=X(s)=k,X(0)=) =∑P(X()=X(0)2=1)P(X(s+)=X(s)=k)=∑P2(s)P2( k∈S 即P()满足 Chapman-Kolmogorov方程。若过程不能刚到某个状态就瞬间离去即
第五章 连续时间 Markov 链 5.1 连续时间 Markov 链 连续时间 Markov 链的要旨仍然是 Markov 性，与上一章不同之处在于指标集 （这里表示时间）取值连续，通常为{t t ≥ 0}。状态仍然是离散的，最多取可数 个值，我们用整数值0,1,2L表示。 定义 5.1.1：设随机过程 X (t),t ≥ 0 状态空间为 S = {0,1,2L}，若对所有 ， 和 以及 满足 s,t ≥ 0 0 ≤ u < s i, j ∈ S x(u) ∈ S P( ) X (s + t) = j X (s) = i, X (u) = x(u),0 ≤ u < s = P(X (s + t) = j X (s) = i) 则称 X (t),t ≥ 0 为连续时间 Markov 链。 一般 P(X (s + t) = j X (s) = i)称为转移概率，与时间 有关，若进一步此概 率与 无关则随机过程 称为有平稳转移概率的连续时间 Markov 链。此时记 s,t s X (t) P t P( ) X s t j X s i P(X t j X i) ij ( ) = ( + ) = ( ) = = ( ) = (0) = 。以下不特别指明，所涉及 到的连续时间 Markov 链是指有平稳转移概率的连续时间 Markov 链。若过程初 始分布为 pi = P(X (0) = i)，于是有 定理 5.1.1：连续时间 Markov 链的转移概率 Pij (t),i, j ∈ S 和初始分布 完全 确定了过程的任意有限维分布。 pi ,i ∈ S 转移概率 Pij (t),i, j ∈ S 的性质。首先 ( ) ≥ 0,∑ ( ) = 1 j∈S ij ij P t P t ；其次， ( ) ( ) ( ) ( ) ∑ ( ) ( ) ∑ ∑ ∑ ∈ ∈ ∈ ∈ = = = + = = = = = = + = = = + = + = = = + = = = k S ik kj k S k S k S ij P X s k X i P X s t j X s k P s P t P X s k X i P X s t j X s k X i P s t P X s t j X i P X s t j X s k X i ( ) (0) ( ) ( ) ( ) ( ) ( ) (0) ( ) ( ) , (0) ( ) ( ) (0) ( ) , ( ) (0) 即 Pij (t)满足 Chapman-Kolmogorov 方程。若过程不能刚到某个状态就瞬间离去即 1
imnP()=6,此条件称为标准性惫件,约定P(O)=·标准性条件意味着 limP(t)=P(0)。 Chapman- Kolmogorov方程写成矩阵形式有P(s+t)=P(s)P(t)。 52Q矩阵与 Kolmogorov向前、向后徽分方程 设X(),1≥0为标准连续时间 Markov链,状态空间为S={02…},转移概率 (1) 引理521:对给定i,j∈S,P()为t的一致连续函数 证明:设h>0, P(t+b)-P()=∑P(h)B2()-P2() k=0 -P(h)p2()+∑P(h)P 由此可知 P(t+h)-P()=∑P(h)P(1)-P()≥-{-P(h)2()2-{-P(h B(t+h)-P2()=∑P(h)B4(1)-P)≤∑(h)B()=1-P(h) 因此P?(+h)-P()=1-P(h):当h<0时有类似不等式,故一般地有 P(+b)-P()s1-P( 令h→0就得到证明 引理522:当i≠ P( qi=-qii 引理523:0≤∑q≤q1≤∞。 证明:任意固定N,由于∑0s∑2=1=0 令t0有
ij ij t P t = δ ↓ lim ( ) 0 ，此条件称为标准性条件，约定 Pij = δ ij (0) 。标准性条件意味着 lim ( ) (0)。Chapman-Kolmogorov 方程写成矩阵形式有 。 0 P t P t = ↓ P(s + t) = P(s)P(t) 5.2 Q 矩阵与 Kolmogorov 向前、向后微分方程 设 X (t),t ≥ 0 为标准连续时间 Markov 链，状态空间为S = {0,1,2L}，转移概率 Pij (t),i, j ∈ S 。 引理 5.2.1：对给定i, j ∈ S ， Pij (t)为t的一致连续函数。 证明：设h > 0， [ ] ∑ ∑ ∞ = ≠ ∞ = = − − + + − = − k k i ii ij ik kj ij k ij ij ik kj P h P t P h P t P t h P t P h P t P t 0, 0 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 由此可知 ( ) ( ) ( ) ( ) ( ) [ ] 1 ( ) ( ) [ ] 1 ( ) 0 P t h P t P h P t P t P h P t P h ij ii ij ii k ij + − ij = ∑ ik kj − ≥ − − ≥ − − ∞ = ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 ( ) 0 0, P t h P t P h P t P t P h P t P h ii k k i ij ik kj k ij + − ij = ∑ ik kj − ≤ ∑ = − ∞ = ≠ ∞ = 因此 P (t h) P (t) 1 P (h) ij + − ij ≤ − ii ；当h < 0时有类似不等式，故一般地有 P (t h) P (t) 1 P ( h ) ij + − ij ≤ − ii 令h → 0就得到证明。 引理 5.2.2：当i ≠ j ， = < ∞ ↓ ij ij t q t P (t) lim 0 ； = = − ≤ ∞ − ↓ i ii ii t q q t 1 P (t) lim 0 。 引理 5.2.3： ≤ ∑ ≤ ≤ ∞ 。 ≠ i j i 0 qij q 证明：任意固定 N ，由于 t P t t P t t P t ii j j i ij N j j i ij ( ) ( ) 1 ( ) 0, 0, − ∑ ≤ ∑ = ∞ = ≠ = ≠ 。 令 t ↓ 0 有 2
≤q,在令N→∞,立得。 定义521:矩阵Q=(n)称为标准连续时间Mov链的Q矩阵(密度矩阵) Q矩阵有以下性质 1)-∞≤qn≤0,i∈S; 2)0≤qn0,X(1)≠l},表示首次离开 状态i的时刻 定理5,2,1:设(),1≥0为标准连续时间 Markov链(具有右连续轨道),则 P(x1>1X(0)2=1)=c 证明 P(x1>1|X(0)=1)=P(X(s)=10≤s54X(0)=) =lmx(b)=1k=01-21x(0)=1 lim exp2" In P In P[2' lim exp t= expt. lim In P(s) expt In[+Pi()-1]P(s)=I P2(s)- 从而E(1x(0)=)=1。决定过程在状态;上停留时间的长短,可以看成过程 离开状态的速率。当q=0,则P(r=叫X(0)=)=1,链几乎永远不离开状态 此时称状态为吸收态( (absorbed state;:当q,=∞,则P(x1=0X(0)=)=1,链几
i N j j i ij ∑q ≤ q =0, ≠ ，在令 N → ∞ ，立得。 定义 5.2.1：矩阵 ( )i j S Q qij ∈ = , 称为标准连续时间 Markov 链的Q -矩阵（密度矩阵）。 Q -矩阵有以下性质： 1) − ∞ ≤ qii ≤ 0,i ∈ S ； 2) 0 ≤ qij 0, X (t) ≠ i}，表示首次离开 状态i 的时刻。 定理 5.2.1：设 X (t),t ≥ 0 为标准连续时间 Markov 链(具有右连续轨道)，则 q t i i P t X i e− (τ > (0) = ) = 证明： [ ] ii q t ii ii s ii s n ii n n ii n n n ii n n n n n i i n e s P s P s P s t s P s t t t t P t P t P i k X i kt P X P t X i P X s i s t X i − ↓ →∞ ↓ →∞ →∞ →∞ = − ⋅ − + − = ⋅ ⋅ = ⋅ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = = = = > = = = ≤ ≤ = ( ) 1 ( ) 1 ln 1 ( ) 1 exp lim ln ( ) exp lim 2 2 ln limexp 2 limexp 2 ln 2 lim ) , 0,1, 2 (0) 2 lim ( ( (0) ) ( ( ) ,0 (0) ) 0 0 2 L τ 从而 ( ) i i q E X i 1 τ (0) = = 。 决定过程在状态i 上停留时间的长短，可以看成过程 离开状态i 的速率。当 ，则 qi qi = 0 P(τ i = ∞ X (0) = i) = 1，链几乎永远不离开状态i ， 此时称状态i 为吸收态(absorbed state)；当qi = ∞，则 P(τ i = 0 X (0) = i) = 1，链几 3
乎立即离开状态,此时称状态i为瞬过态 transient state);当0<q,<∞时,链停 留在状态i的时间服从指数分布,此时称状态i为稳定态( (steadible state)。此外若 ∑q=q,<∞,则称状态为保守的( conservative,若所有状态为保守的,则称 链为保守链,此时称Q一矩阵为保守的。 定理5,2,2:在定理52.1的条件下,设i是一个稳定状态,则对j≠i P(r<s,X(r)=fX(0)=1)=(1-e-9 特别令s→∞,有P(x()=x(0)=)=y q 证明:由定理52.1,在Y(0)=i条件τ是连续型随机变量,故 P(t=S, X()=jX(0)=1)=0.,=inf ( ≠1k=0,2…},则rn↓r。 P(rss, X(r)=jX(0)=i)=lim P(r, ss, X(rm)=jX(0)=i) k P(T X(zn)=X(0)= =,m=12…k-1X( n→a lim lir =(1 P(X(r)=X(0)=1)表示过程离开i立刻转到j的概率,由于q1表示过程离开状
乎立即离开状态i ，此时称状态i 为瞬过态(transient state)；当0 < qi < ∞ 时，链停 留在状态 的时间服从指数分布，此时称状态 为稳定态(steadible state)。此外若 ，则称状态i 为保守的(conservative)，若所有状态为保守的，则称 链为保守链，此时称Q -矩阵为保守的。 i i ∑ = < ∞ ≠ i j i qij q 定理 5.2.2：在定理 5.2.1 的条件下，设i 是一个稳定状态，则对 j ≠ i i q s ij q q P(τ s X j X i e i , ( ) (0) ) (1 ) − < τ = = = − 特别令 s → ∞，有 i ij q q P(X (τ ) = j X (0) = i) = 。 证明：由定理 5.2.1 ， 在 X (0) = i 条 件 τ 是连续型随机变量，故 P(τ = s, X (τ ) = j X (0) = i) = 0。令 ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ⎟ ≠ = ⎠ ⎞ ⎜ ⎝ ⎛ = , 0,1,2L 2 : 2 inf i k k X k n n n τ ，则τ n ↓τ 。 [ ] [ ] i q s ij n ij n n ii n s ii n n ij n ii n s ii n n k s ij n k ii n n k s n n n k s n n n n n n n q q e P P P P P P P P i m k X i m j X k P X X j X i k P P s X j X i P s X j X i i n n n n n (1 ) 2 1 2 1 2 1 2 1 1 2 1 1 lim 2 1 2 1 1 2 1 1 lim 2 1 2 1 lim , 1,2, 1 (0) 2 , 2 lim , ( ) (0) ) 2 lim ( ( , ( ) (0) ) lim ( , ( ) (0) ) 2 2 2 1 2 2 − →∞ →∞ ≤ − →∞ ≤ →∞ ≤ →∞ →∞ = − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ⎟ = ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ = = − = ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ = ⎠ ⎞ ⎜ ⎝ ⎛ = = = = = ≤ = = = ≤ = = ∑ ∑ ∑ L τ τ τ τ τ τ P(X (τ ) = j X (0) = i)表示过程离开i 立刻转到 j 的概率，由于qi 表示过程离开状 4
态的速率,因此qn=q,P(X()=X(0)=1)表示过程从状态转到状态j的速 率 定理52.3:Q保守则P()=-qP()+∑qB()∈S,即P()=QP();若 P,(h) v∈Sq0,2(+b=202=-1-B(0+2边n P(+h)-P(),1-P(h) P(o Pk P() Pk(h) Pk(O h h h P(h 1-P(h) Pk(h) h h 4;h 令h→0有P()+9P()-∑qB(≤9-∑q’由Q保守,再令N→∞即 k=0.k≠ 得P()=-9P()+∑qP(0)l∈S 由h>0 P (t+h)-P (1) 1-P (h) P(h) B()+∑P() 令h→0和条件立 得P()=-P)+∑P(0)q,J∈S 微分方程P(1)=QP()称为 Kolmogorov向后微分方程而微分方程P(t)=P(t)Q 称为 Kolmogorov向前微分方程 在实际问题中,要得到转移概率P(O)=(2()往往是困难的,但它的密度矩 阵g=(q)是由P()在1=0的导数组成,换言之,Q刻画的是P()的无穷小特 征,仅由过程在1=0附近的运动就可以得到,所以实际问题中是先得到Q=(n) 再利用向前或者向后方程求出P(1) 例521:设随机信号以0,1传输,X(1)表示t时刻接收到的信号。X(),t≥0是
态i 的速率，因此q q P(X ( ) j X (0) i) ij = i ⋅ τ = = 表示过程从状态i 转到状态 j 的速 率。 定理 5.2.3： Q 保守则 P t q P t q P t i S k i ij′ = − i ij +∑ ik kj ∈ ≠ ( ) ( ) ( ), ，即 ；若 且 P′(t) = QP(t) ∀ S q j j ∈ , 0， ∑≠ + − = − + − k i kj ik ij ii ij ij P t h P h P t h P h h P t h P t ( ) ( ) ( ) ( ) ( ) 1 ( ) ∑ ∑ ∑ ∑ = ≠ ∞ = + ≠ ∞ = ≠ = + ≠ − − ≤ = − = − + + − N k k i ii ik k N k i ik k N k i kj ik N k k i kj ik ij ii ij ij h P h h P h h P h P t h P h P t h P h P t h P h h P t h P t 1, 0, 0, 1, ( ) 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 ( ) 令h → 0有 ∑ ∑ = ≠ = ≠ ′ + − ≤ − N k k i i ik N k k i ij i ij ik kj P t q P t q P t q q 0, 0, ( ) ( ) ( ) ，由 保守，再令 即 得 。 Q N → ∞ P t q P t q P t i S k i ij′ = − i ij +∑ ik kj ∈ ≠ ( ) ( ) ( ), 由h > 0， ∑≠ + − = − + − k j kj ij ik ij ij jj h P h P t P t h P h h P t h P t ( ) ( ) ( ) ( ) ( ) 1 ( ) ，令 和条件立 得 。 h → 0 P t P t q P t q j S k j ij′ = − ij j + ∑ ik kj ∈ ≠ ( ) ( ) ( ) , 微分方程 称为Kolmogorov 向后微分方程，而微分方程 称为 Kolmogorov 向前微分方程。 P′(t) = QP(t) P′(t) = P(t)Q 在实际问题中，要得到转移概率 P(t) (P (t)) = ij 往往是困难的，但它的密度矩 阵 ( ) Q = qij 是由 在 的导数组成，换言之，Q 刻画的是 的无穷小特 征，仅由过程在 P (t) ij t = 0 P(t) t = 0附近的运动就可以得到，所以实际问题中是先得到 ( ) Q = qij ， 再利用向前或者向后方程求出 P(t) 。 例 5.2.1：设随机信号以 0，1 传输，X (t)表示t时刻接收到的信号。X (t),t ≥ 0 是 5
以S=Q1为状态空间的齐次连续时间 Markov链。由于信号是随机的,设信号 的改变与时间长短成正比,即 Po (h)=dh+o(h), Po(h)=uh +o(h) 由此得到Q矩阵为Q 向前微分方程为 A-A 0(1)=-B0()+uP01(t) f1()=-/l1()+P0() f0(D)=-P0()+/B1() B1()=-B1()+AB0() 再由初始条件(标准性条件),解出 P0() 1+ Por(t + P1() Po() +μA+ 53 Poisson过程 定义531:设连续时间随机过程N(O.120具有状态空间S=02…,若对任意 t>0,N(1)表示在[O,n内“事件”发生的次数,则称N(t)为计数过程( counting 定义532:随机过程N()t≥0称为独立增量过程( independent increment process), 若对任意正整数n及任意时刻点0<<l2<…<l,增量 N(t1)-N(0),N(t2)-N(t1)…N(n)-N(tn-)是相互独立的随机变量。此外若增量 N(t)-N(s0≤s<1)的分布仅依赖与时间差t-s,则称具有平稳增量的独立增量 过程 定义533:一个计数过程N(),t≥0称为 Poisson过程,若 2)N()是独立增量过程
以 为状态空间的齐次连续时间 Markov 链。由于信号是随机的，设信号 的改变与时间长短成正比，即 S = {0,1} ( ) ( ), ( ) ( ). P01 h = λh + o h P10 h = µh + o h 由此得到Q 矩阵为 ，向前微分方程为: ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − − = µ µ λ λ Q ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 11 11 10 10 10 11 01 01 00 00 00 01 P t P t P t P t P t P t P t P t P t P t P t P t µ λ λ µ µ λ λ µ ′ = − + ′ = − + ′ = − + ′ = − + 。 再由初始条件(标准性条件)，解出 ( ) 1 ( ) ( ) 1 ( ) 10 ( ) 11 01 ( ) 00 P t e P t P t e P t t t = − + + + = = − + + + = − + − + λ µ λ µ λ µ µ λ µ λ λ µ µ λ µ λ 。 5.3 Poisson 过程 定义 5.3.1：设连续时间随机过程 N(t),t ≥ 0具有状态空间S = {0,1,2L}，若对任意 ， 表示在 内“事件”发生的次数，则称 为计数过程(counting process)。 t > 0 N(t) [0,t] N(t) 定义 5.3.2：随机过程 称为独立增量过程(independent increment process)， 若对任意正整数 及任意时刻点 N(t),t ≥ 0 n n < t < t <L< t 0 1 2 ，增量 ( ) (0), ( ) ( ), ( ) ( ) 1 − 2 − 1 n − n−1 N t N N t N t LN t N t 是相互独立的随机变量。此外若增量 N(t) − N(s)(0 ≤ s < t) 的分布仅依赖与时间差t − s ，则称具有平稳增量的独立增量 过程。 定义 5.3.3：一个计数过程 N(t),t ≥ 0称为 Poisson 过程，若 1) N(0) = 0； 2) N(t) 是独立增量过程； 6
3)对任意s,t≥0增量N(s+1)-N(s)的分布服从强度为a的 Poisson分 布,即P(N(+1)-N(s)=n) e"(a)n=0,1,2… 定义534:一个计数过程N(t),t≥0称为 Poisson过程,若 1)N(0)=0; 2)N()是具有平稳增量的独立增量过程; 3)P(N(+h)-N()=1)=+0(h),P(N(t+h)-N()≥2)=0(h) 定理5.3.1:定义3分定义4。 Poisson过程的数字特征:()=EN()=,r(s,1)=min(s,1)。 Poisson过程 Q矩阵为 下面考虑与 Poisson过程相联系的一些随机变量的分布 考虑直线上的 Poisson过程N(t),其样本路径如图 N(t) W1 W2 W3 τn表示第n-1次事件与第n次事件发生(到达)的时间间隔,wn表示第n次事 件发生的时刻(到达时刻),wn=∑1 定理532:xn,n=1,2…独立同分布都服从参数为λ(均值为)的指数分布
3) 对任意 s,t ≥ 0 增量 N(s + t) − N(s) 的分布服从强度为 λt 的 Poisson 分 布，即 ( ) , 0,1,2L ! ( ) ( + ) − ( ) = = = − n n e t P N s t N s n t n λ λ 。 定义 5.3.4：一个计数过程 N(t),t ≥ 0称为 Poisson 过程，若 1) N(0) = 0； 2) N(t) 是具有平稳增量的独立增量过程； 3) P( ) N(t + h) − N(t) = 1 = λh + o(h),P(N(t + h) − N(t) ≥ 2) = o(h) 。 定理 5.3.1：定义 3⇔ 定义 4。 Poisson 过程的数字特征：µ(t) = EN(t) = λt ，Γ(s,t) = λ min(s,t) 。Poisson 过程 Q 矩阵为 。 ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ − − O O λ λ λ λ 下面考虑与 Poisson 过程相联系的一些随机变量的分布。 考虑直线上的 Poisson 过程 N(t) ，其样本路径如图 N(t) 1 τ 2 τ 3 τ W1 W2 W3 t 3 2 1 0 n τ 表示第 次事件与第 次事件发生（到达）的时间间隔， 表示第 次事 件发生的时刻（到达时刻）， 。 n −1 n wn n ∑= = n i wn i 1 τ 定理 5.3.2：τ n ,n = 1,2L独立同分布都服从参数为λ （均值为 λ 1 ）的指数分布， 7
即密度函数为f(1) ,t≥0 (0,1{(t)=0},故P(x1>1)=P(N()=0)=e-,r服从参 数为为指数分布。而 P(c2>r1=s)=P(ss+中事件不发生 P(N(s+)-N(S)=0)=P(N()=0)= 故z2与τ1独立且z2服从参数为λ指数分布。类似对τn证明。由于事件 un≤{N()≥n,故P(mn≤)=P(N()≥川)=∑ (r) 刀’两边求导,立得 n的密度函数为f(r) ≥0 0 0 定理5.3.3:给定N(I)=n,到达时间w1,w2…n的联合分布密度为 rt"0<m1<…<n≤t (t)=n 0 otherwise 证明:设0≤<1<1+h1<12<l2+h2<…<Ln<Ln+h≤t,则 P1≤1≤t+h,2 h, N(=n P(1≤w1≤1+h1,t2≤W2≤l2+h2…tn≤Wn≤tn+hn,N()=n) P(N()=n) N(1)=0,N(1+h1)-N(1)=1,N(t2)-N(1+h)=0.,N(12+h2)-N(t2)=1 N(tn)-N(tn1+hn-1)=0.,N(tn+hn)-N(tn)=1,N(1)-N(tn+hn)=0 e-He-2he-(2-1-he-hn.e-4(n-m-1-hg-pe-W he-4(1-1m-he (r) =nlt hh 因此,w1,w2…Wn的联合密度为
即密度函数为 ； 服从参数为 ⎩ ⎨ ⎧ t ⇔ N t = }，故 ( ) ( ) t P t P N t) = e λ τ − 1 > = ( 0 = ， 1 τ 服从参 数为λ 为指数分布。而 ( ) ( ) ( ) ( t P N s t N s P N t e P t s P s s t s λ τ τ τ − = + − = = = = > = = + = ( ) ( ) 0 ( ) 0 ( , ] 2 1 中事件不发生 1 ) 故 2 τ 与 1 τ 独立且 2 τ 服从参数为 λ 指数分布。类似对 n τ 证明。由于事件 { } wn ≤ t ⇔ {N(t) ≥ n}，故 ( ) ( ) ∑ ∞ = − ≤ = ≥ = j n j t n j t P w t P N t n e ! ( ) ( ) λ λ ，两边求导，立得 wn 的密度函数为 ⎪ ⎩ ⎪ ⎨ ⎧ < ≥ = − − − 0, 0 , 0 ( 1)! ( ) ( ) 1 t t n t e f t n t wn λ λ λ 。 定理 5.3.3：给定 N(t) = n ，到达时间 w1 ,w2 ,Lwn 的联合分布密度为 ⎩ ⎨ ⎧ < < < ≤ = − = otherwise n t w w t f w w n n w w N t n n n 0, ! ,0 ( , ) 1 , ( ) 1 1 L L L 证明：设 t t h t t h t t h t 0 ≤< 1 < 1 + 1 < 2 < 2 + 2 < L < n < n + n ≤ ，则 ( ) ( ) ( ) ( ) n n n t t t h n t h t t h h t t h h n n n n n n n n n n n n n n n n n t h h h n t e e e h e e e e h e P N t n N t N t h N t h N t N t N t h N t N t h N t N t N t h N t h N t P P N t n P t w t h t w t h t w t h N t n P t w t h t w t h t w t h N t n n n n n n n L L L L L 1 2 ( ) ( ) ( ) 1 1 1 1 1 1 1 2 1 2 2 2 1 1 1 1 2 2 2 2 1 1 1 1 2 2 2 2 ! ! ( ) ( ) ( ) ( ) 0, ( ) ( ) 1, ( ) ( ) 0 ( ) 0, ( ) ( ) 1, ( ) ( ) 0, ( ) ( ) 1 ( ) , , , ( ) , , ( ) 1 1 2 1 1 2 1 1 − − − − − − − − − − − − − − − − − = = = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ − + = + − = − + = = + − = − + = + − = = = ≤ ≤ + ≤ ≤ + ≤ ≤ + = = ≤ ≤ + ≤ ≤ + ≤ ≤ + = − − λ λ λ λ λ λ λ λ λ λ λ 因此，w1 ,w2 ,Lwn 的联合密度为 8
(注意此分布与n个独立的[0,上均匀分布的顺序统计量的分布一致。故 4m0:a 5.5生灭过程 定义551:设连续时间 Markov链X()t≥0,状态空间为S=01,2…},具有标 准平稳的转移概率P(r),,j∈S,若 2)P-1(h)=H1h+o(h,i=1,2…; 3)P(h)=1-(+H1h+o(h),i=0,1,2 0=0.,其余4,p1>0 则称X(1)为生灭过程( Birth and Death process),1,p1分别称为新生率和死亡 率。若1=0,1≥1称为纯生过程,λ1=0,1≥0称为纯灭过程。 生灭过程的O矩阵为 1 (1+1)A1 H1-(41+) 生灭过程的Q矩阵是保守的。其向后微分方程为 P()=1P,()-(4+H)P()+1P-,(.21 0(1)=-0,()+2() 向前微分方程为
⎩ ⎨ ⎧ ≤ 0。 则称 X (t)为生灭过程（Birth and Death Process），λi µ i , 分别称为新生率和死亡 率。若µi = 0,i ≥ 1称为纯生过程，λi = 0,i ≥ 0 称为纯灭过程。 生灭过程的Q 矩阵为 ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ − + − + − = O O i i i i Q µ λ µ λ µ λ µ λ λ λ ( ) ( ) 1 1 1 1 0 0 生灭过程的Q 矩阵是保守的。其向后微分方程为 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ), 1 0 0 0 0 1 1, 1, P t P t P t P t P t P t P t i j j j ij i i j i i ij i i j λ λ λ λ µ µ ′ = − + ′ = + − + + − ≥ ； 向前微分方程为 9
(D)=1B,1-1(1)-(41+H1)B(1)+H/+1P,+(1),j≥1 f0(m)=-1B0(1)+HP1( 考虑向前方程,以P、()=P(X(1)=j),在向前方程两端同乘P(X(0)=1)在对i求 和得到 P(1)=2-P1()-(x,+H,)P()+H1P+1(1,j21 f(D)=-1B()+p1P1(t 考虑系统在稳态时的情形,即t→∞时系统趋于稳定(在一定条件下),此时 imP()=p,imP()=0,故有 1-1PD1-(+p)P1+H1P+1=0,j21 no Po +uip,=0 (注意p,20∈S∑P1=1)满足上面条件的{p}称为过程的平稳分布,即 PQ=0.p=(p,p,P2,),p,20∈S∑P=1。上面的方程也可由下面的 个链式图简单的得到: 1 1 1 1,+2 当山>0,j≥1时可以求得 0A1 A01… P1 P0,P2 P0,,山12…“ P A1 12 由于>p=1,故P=/1+50入…小 =l12 生灭过程在随机服务系统中有着重要的应用。一个随机服务系统包括三个组 成部分:输入过程、服务规则和服务机构。输入过程用来刻画到服务机构请求为 之服务的顾客到来的规律。记τo=0,对n≥1,rn表示第n个顾客到来的时刻, Tn=n-rn表示第n-1个顾客到达至第n个顾客到达之间的时间间隔,一般假
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ), 1 0 0 0 1 1 1 , 1 1 , 1 P t P t P t P t P t P t P t j i i i ij j i j j j ij j i j λ µ λ λ µ µ ′ = − + ′ = − − − + + + + ≥ 考虑向前方程，以 P (t) P(X (t) j) j = = ，在向前方程两端同乘 在对i 求 和得到 P(X (0) = i) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ), 1 0 0 0 1 1 1 1 1 1 P t P t P t P t P t P t P t j j j j j j j j j λ µ λ λ µ µ ′ = − + ′ = − − − + + + + ≥ 。 考虑系统在稳态时的情形，即t → ∞ 时系统趋于稳定（在一定条件下），此时 lim ( ) = ,lim ′( ) = 0，故有 →∞ →∞ P t p P t j t j j t 0 ( ) 0, 1 0 0 1 1 1 1 1 1 − + = − − − + + + + = ≥ p p p p p j j j j j j j j λ µ λ λ µ µ ， (注意 ≥ 0, ∈ ,∑ = 1 )。满足上面条件的 j∈S j S p j p j {pi}称为过程的平稳分布，即 p ⋅Q = 0, p = ( ) p0 , p1 , p2 ,L ， ≥ 0, ∈ ,∑ = 1 j∈S j S p j p j 。上面的方程也可由下面的一 个链式图简单的得到： 当µ j > 0, j ≥ 1时可以求得 0 1 0 1 p p µ λ = ， 0 ,L 1 2 0 1 2 p p µ µ λ λ = ， L L L , 0 1 2 0 1 1 p p j j j µ µ µ λ λ λ − = 由于 1，故 0 ∑ = ∞ j= j p 1 1 1 2 0 1 1 0 1 − ∞ = − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ = +∑ j j j p µ µ µ λ λ λ L L 。 生灭过程在随机服务系统中有着重要的应用。一个随机服务系统包括三个组 成部分：输入过程、服务规则和服务机构。输入过程用来刻画到服务机构请求为 之服务的顾客到来的规律。记τ 0 = 0，对n ≥ 1， n τ 表示第n个顾客到来的时刻， Tn = n − n−1 τ τ 表示第n −1个顾客到达至第n个顾客到达之间的时间间隔，一般假 10
