第五章连续时间 Markov链 51连续时间 Markov链 连续时间 Markov链的要旨仍然是 Markov性,与上一章不同之处在于指标集 (这里表示时间)取值连续,通常为≥0。状态仍然是离散的,最多取可数 个值,我们用整数值0,1,2…表示 定义511:设随机过程X(),1≥0状态空间为S={0.2…},若对所有s,t≥0, 0≤u<s和i,j∈S以及x(u)∈S满足 P(x(s+1)=(s)=1,X()=x()0≤a<s)=P(X(s+)=X(s)= 则称X(,t≥0为连续时间 Markov链。 般P(X(S+D)=X(s)=)称为转移概率,与时间st有关,若进一步此概 率与s无关则随机过程X(t)称为有平稳转移概率的连续时间 Markov链。此时记 P()=P(X(s+)=X(s)=)=P(X()=X(0)=)。以下不特别指明,所涉及 到的连续时间 Markov链是指有平稳转移概率的连续时间 Markov链。若过程初 始分布为p1=P(X(0)=),于是有 定理511:连续时间 Markov链的转移概率P(1),j∈S和初始分布Pi∈S完全 确定了过程的任意有限维分布 转移概率P(O),j∈S的性质。首先P()20∑P()=1:其次, P(s+D)=P(x(+0)=X(0)=)=∑P(X(s+1)=,X(S)=x0)=0) (s)=kX(0)=)P(X(s+=X(s)=k,X(0)=) =∑P(X()=X(0)2=1)P(X(s+)=X(s)=k)=∑P2(s)P2( k∈S 即P()满足 Chapman-Kolmogorov方程。若过程不能刚到某个状态就瞬间离去即第五章 连续时间 Markov 链 5.1 连续时间 Markov 链 连续时间 Markov 链的要旨仍然是 Markov 性，与上一章不同之处在于指标集 （这里表示时间）取值连续，通常为{t t ≥ 0}。状态仍然是离散的，最多取可数 个值，我们用整数值0,1,2L表示。 定义 5.1.1：设随机过程 X (t),t ≥ 0 状态空间为 S = {0,1,2L}，若对所有 ， 和 以及 满足 s,t ≥ 0 0 ≤ u < s i, j ∈ S x(u) ∈ S P( ) X (s + t) = j X (s) = i, X (u) = x(u),0 ≤ u < s = P(X (s + t) = j X (s) = i) 则称 X (t),t ≥ 0 为连续时间 Markov 链。 一般 P(X (s + t) = j X (s) = i)称为转移概率，与时间 有关，若进一步此概 率与 无关则随机过程 称为有平稳转移概率的连续时间 Markov 链。此时记 s,t s X (t) P t P( ) X s t j X s i P(X t j X i) ij ( ) = ( + ) = ( ) = = ( ) = (0) = 。以下不特别指明，所涉及 到的连续时间 Markov 链是指有平稳转移概率的连续时间 Markov 链。若过程初 始分布为 pi = P(X (0) = i)，于是有 定理 5.1.1：连续时间 Markov 链的转移概率 Pij (t),i, j ∈ S 和初始分布 完全 确定了过程的任意有限维分布。 pi ,i ∈ S 转移概率 Pij (t),i, j ∈ S 的性质。首先 ( ) ≥ 0,∑ ( ) = 1 j∈S ij ij P t P t ；其次， ( ) ( ) ( ) ( ) ∑ ( ) ( ) ∑ ∑ ∑ ∈ ∈ ∈ ∈ = = = + = = = = = = + = = = + = + = = = + = = = k S ik kj k S k S k S ij P X s k X i P X s t j X s k P s P t P X s k X i P X s t j X s k X i P s t P X s t j X i P X s t j X s k X i ( ) (0) ( ) ( ) ( ) ( ) ( ) (0) ( ) ( ) , (0) ( ) ( ) (0) ( ) , ( ) (0) 即 Pij (t)满足 Chapman-Kolmogorov 方程。若过程不能刚到某个状态就瞬间离去即 1