电子科技大学：《随机过程及应用 Stochastic Processes and Applications》课程教学资源（课件讲稿）第6章 马尔科夫过程 第5节 连续参数马尔可夫链

§6.5连续参数马尔可夫链 对离散参数齐次马氏链，我们主要讨论了下列 问题： 转移概率函数、转移矩阵； 初始分布、绝对分布； 遍历性、平稳分布； 状态间的转移时间、概率及性质； 状态的分类。 类似离散参数马氏链，只是把离散的时间参 数改为连续的时间参数，有类似的结果。 电子科技大

电子科技大学 对离散参数齐次马氏链，我们主要讨论了下列 问题： 转移概率函数、转移矩阵； 初始分布、绝对分布； 遍历性、平稳分布； 状态间的转移时间、概率及性质； 状态的分类。 类似离散参数马氏链，只是把离散的时间参 数改为连续的时间参数，有类似的结果。 §6.5 连续参数马尔可夫链

改为连续的时间参数，便可得到类似的结果。 设随机过程{X(0,≥0}，状态空间E={0,1,2, .…}。若对于0<t<2<..<4,<4t1及非负整数i1,2,…in i+1,有 P(X(t)=inX(t1)=in,X(t)=i...,X(tn)=in -P(X(tnt1)=intX(tn)=in) 即马尔可夫性成立，则称X(),仑0}为连续参数马尔 可夫链。 电子科技

电子科技大学 设随机过程{X(t), t0}，状态空间E={0,1,2, …}。若对于0<t1<t2<…<tn<tn+1及非负整数i1 ,i2 , … in , in+1，有 P{X(tn+1)＝in+1 |X(t1)= i1 , X(t2)= i2 ,…,X(tn )= in} ＝P{X(tn+1)＝ in+1 |X(tn )=in} 即马尔可夫性成立，则称{X(t), t0}为连续参数马尔 可夫链。 改为连续的时间参数，便可得到类似的结果

转移概率函数 设{X(①，仑0}为连续参数马氏链，对任意i,jeE= {0,1,2,…},任意非负实数5，t,条件概率 Pi(s,t)=P(X(t+s)=jX(s)=ih, 则称为此马氏链X(),仑0}的转移概率函数，显然 0≤p(s,t)≤1，∑ps,t)=1 jeE 我们称 P(s,t)=(Pij(s,t))i.jeE 为此马氏链的转移矩阵。 这里，PS,)的直观意义是：系统（或质点）在时刻s 时处于状态，再经过t时间转到状态的条件概率。 电子科技大

电子科技大学 0  ( , )  1,  ( , )  1 jE ij ij p s t p s t 我们称 P(s,t)＝(pij(s,t))i,jE 为此马氏链的转移矩阵。 这里，pij(s, t)的直观意义是：系统(或质点)在时刻s 时处于状态i，再经过t时间转到状态j的条件概率。 转移概率函数 设{X(t), t0}为连续参数马氏链，对任意i, jE＝ {0, 1, 2,…}，任意非负实数s,t，条件概率 pij(s,t)＝ P{X(t+s)=j|X(s)=i}, 则称为此马氏链{X(t),t0}的转移概率函数，显然

若X①，≥0}为连续参数马氏链的转移概率pS,) 与时间起点s无关，即 pi(s,t)=P(X(s+t)=jX(s)=i;=pi(t) 则称{X(),仑0}为连续参数齐次马氏链。 类似地， P()=(pr)时eE 称为此齐次马氏链的转移矩阵。 0st)≤1， ∑P0)=1。 jeE 一般地，我们要求齐次马氏链的转移概率函数满 足如下的连续性条件： 1,i=i iP,0=8,= 0, i≠j

电子科技大学 若{X(t), t0}为连续参数马氏链的转移概率pij(s,t) 与时间起点s无关，即 pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t) 则称{X(t), t0}为连续参数齐次马氏链。 一般地，我们要求齐次马氏链的转移概率函数满 足如下的连续性条件：          i j i j p t ij ij t 0, 1, lim ( ) 0  类似地， P(t)＝(pij(t))i,jE 称为此齐次马氏链的转移矩阵。 0pij(t)1，  ( )  1。 jE ij p t

绝对分布、遍历性、平稳分布 设X(),仑0}为连续参数齐次马氏链 P=PX(0)},jeE,称{jeE为该马氏链的初 始分布. 卫()=PX()=j},j∈E,称D(),jE为该马氏链 的绝对分布 如果转移概率极限存在，lim pi()t=元，>0，i,j∈E, →十00 且与无关则称此连续参数齐次马氏链为遍历的马氏链. 此时，我们说该链具有遍历性。 电子科技

电子科技大学 设{X(t), t0}为连续参数齐次马氏链 pj＝P{X(0)=j}，jE，称{pj, jE}为该马氏链的初 始分布. 绝对分布、遍历性、平稳分布 pj(t)＝P{X(t)=j}，jE，称{pj(t), jE}为该马氏链 的绝对分布. pij t j i j E t     如果转移概率极限存在，lim ( )  0, , ， 且与i无关则称此连续参数齐次马氏链为遍历的马氏链. 此时，我们说该链具有遍历性

若>0，∑”，=1，则称{亚，jE为齐次马氏链 {X(),仑0}的极限分布。 y,20,∑y=1 如果{yj满足 y=∑p,回 ieE 则称{y,j为齐次马氏链X0,20}的平稳分布。 电子科技大雪

电子科技大学             i E j i ij j E j j v v p t v v ( ) 0, 1 如果{vj, jE}满足 则称{vj，jE}为齐次马氏链{X(t),t0}的平稳分布。 若j>0， ，则称{j, jE}为齐次马氏链 {X(t), t0}的极限分布。   1 jE  j

转移概率函数的性质 1.0≤pP0≤1，jeE; ∑P(t)=1。 je 连续位条件A0=心-化 2.P(t)满足C-K方程 P(t+s)=∑Pn()p,(S) reE 矩阵形式：P(t什S)=P()P(S) 电子科技大

电子科技大学 连续性条件：         i j i j pij ij 0, 1, ( 0)  2. pij( t ) 满足C-K方程     r E ij ir rj p (t s) p (t) p (s) 矩阵形式: P(t+s)＝P(t)P(s) 转移概率函数的性质  ( )  1。 jE ij 1 p t . 0  pij(t)  1，i, jE；

3.绝对概率满足 p,(t0)=∑p:P(t) ieE 如果齐次马氏链{X(①，仑0}是遍历马氏链，则 im卫，(0=mP,(0)=元1 j∈E 电子科技大

电子科技大学 3. 绝对概率满足    i E j i ij p (t) p p (t) 如果齐次马氏链{X(t),t0}是遍历马氏链，则 p t pij t j j E t j t      lim ( ) lim ( ) 

4.设齐次马氏链X(,t≥0}的状态有限，E={0,1, 2,·,S,如果存在t>0,使得对任意ijeE,都有 P()>0,则此齐次马氏链X),仑0}为遍历的齐次 马氏链。即 mP,0=元 i∈E 存在且与无关，并且极限分布{，jeE是唯一的平稳 分布. πi>0, ∑π，=1， 元，=∑元；P,t) ieE 电子科技大

电子科技大学 4. 设齐次马氏链{X(t), t 0}的状态有限，E = {0, 1, 2, … , s}，如果存在t0 > 0，使得对任意i,jE，都有 pij( t0 ) > 0，则此齐次马氏链{X(t), t0}为遍历的齐次 马氏链。即 pij t j j E t    lim ( )  , 存在且与i无关，并且极限分布{j , jE}是唯一的平稳 分布.   。      i E j i ij j E j j  0,  1,   p (t)

5.对固定的i,j,函数p)是t>0的一致连续函数。 6.满足连续性条件的连续参数齐次马氏链{X(),20} 存在下列极限 (1)lim 1-Pi(t) (2)lim P() =q,i≠j t→0 t→0 其中：表示在时刻t时通过状态i的通过速度（或 通过强度)：q表示时刻t时从状态转移到状态j的速 度（或强度），q统称转移速度。 电子科技为

电子科技大学 5. 对固定的i, j，函数pij(t)是 t >0 的一致连续函数。 6. 满足连续性条件的连续参数齐次马氏链{X(t), t0} 存在下列极限 q i j t p t q q t p t ij ij t ii i ii t          , ( ) , (2) lim 1 ( ) (1) lim 0 0 其中 qi表示在时刻 t 时通过状态 i 的通过速度(或 通过强度)； qij表示时刻 t 时从状态i转移到状态 j 的速 度(或强度)， qij统称转移速度