龚光鲁,钱敏平著应用随机过程教程及其在算法与智能计算中的应用 清华大学出版社,2003 第6章连续时间的 Markov链(Q-过程) 1连续时间的 Markov链及其转移矩阵 1.1连续时间的 Markov链的定义及等价性描述 定义6.1随机变量族{1I≥0}称为连续吋间的 Markov链,如果这些随机变量都是 离散的(状态空间S至多是一个可数集,即它或者有限,或者与自然数一一对应)而且对于 vm≥0,Vs>s1>…sm≥0及任意状态i,j,,…,ln,都有 P(5=j,=14=i1,…,5=m)=P(5*=,= (6.1) Markov性可以有许多等价叙述,我们概括如下: 等价叙述1若A为只与资料{n,lS1>…>Sn>0,均有 E((),=54=1…5,=)=E((,料 (6.1)式也是(6.4)式的特例,即f(x)=l(x)的情形) 等价性质5(最一般的形式)对于常见的实数集合A,只由随机序列{}在时刻s及 其后的信息所决定的随机变量n,以及任意S>S1>…>Sn>0,恒有 P(n∈Nk,=5 5=im)=P(n∈Ak,=) 或更一般地 ,=54=4…5,=m)=E(n,= (6。5) 1.2连续时间的 Markov链概率转移矩阵 定义6.2记 P(s,D)=P(=5,=1)(t2s) 定义无穷矩阵
142 龚光鲁，钱敏平著 应用随机过程教程及其在算法与智能计算中的应用 清华大学出版社,2003 第6章 连续时间的 Markov 链 (Q-过程) 1 连续时间的 Markov 链及其转移矩阵 1．1 连续时间的 Markov 链的定义及等价性描述 定义６.１ 随机变量族{ : t ³ 0} t x 称为连续时间的 Markov 链, 如果这些随机变量都是 离散的 (状态空间S 至多是一个可数集, 即它或者有限, 或者与自然数一一对应), 而且对于 "m ³ 0,"s > s1 > Lsm ³ 0 及任意状态 m i, j,i , ,i 1 L , 都有 ( + = | = , = 1 , , = ) = t s s s1 s m P j i i i m x x x L x P( j | i) xs +t = x s = . (6. 1) Markov 性可以有许多等价叙述，我们概括如下： 等价叙述１ 若 A 为只与资料{ ,u s} xu s1 > L > sm > 0 ，均有 ( ( ) , , ) ( ( ) ) 1 1 E f i i i E f i s t s s s m s t s m x + x = x = L x = = x + x = (6. 4) ((6. 1)式也是 (6. 4)式的特例, 即 ( ) ( ) { } f x I x = j 的情形). 等价性质 5（最一般的形式） 对于常见的实数集合L ，只由随机序列{ }t x 在时刻 s 及 其后的信息所决定的随机变量h ，以及任意 s > s1 > L > sm > 0 ， 恒有 ( , , ) ( ) 1 1 P i i i P i s s s m s m h Î Lx = x = L x = = h Î Lx = 或更一般地 ( , , ) ( ) 1 1 E i i i E i s s s m s m h x = x = L x = = h x = . （6。5） 1. ２ 连续时间的 Markov 链概率转移矩阵 定义６.２ 记 pij(s,t) = P( j | i),(t s) xt = x s = ³ . 定义无穷矩阵
P(S,)=(P(s,1) 称为转移矩阵.补充定义P(S,s)=I(无穷单位矩阵) 命题6 (概率转移矩阵族的性质) 与离散时间情形类似地,对于为分量全是1的无穷行向量(矩阵)1,我们有 (P.1)0≤p(S,0)≤1,P(s,1)1=1 (P.2)( Chapman-Ko l mogorov方程)对于vu≥t≥s有 P(S, u)= P(s, 1) P(t, u) 其分量形式为 Pn(.n)=∑PA(SD)P2(,) 证明与离散时间情形类似 1.3连续时间的时齐的 Markov链 定义δ·4连续时间的 Markov链称为时齐的,如果其转移阵P(Ss,s+)与s无关,此 时我们另记 P(t-s)=P(S,1)。 那么 Chapman- Kolmogorov方程变为 P(S+1)=P(s)P(t) 在本书中,除非特别声明,我们所考虑的连续时间的 Markov链均为时齐的.与时间离散 的情形类似,连续时间的 Markov链的转移矩阵P()是刻画此链的统计特征的要素.即有 定理6.5( Markov链的有限维分布与绝对概率) (1)若时续的时间 Markov链{,t20}的初始分布为1(0)=P(50=1),其转移矩 阵为P()=(P(D),则对于v0<4<…<,有 P(50=l0,541=1,…,5,=n)=4(0)p1(1)P42(2-1)…Pn(tn--)(6.9) (2)设H1(1)=P(51=1),并记由1()构成的行向量为p()=((1):i∈S),那么 (t+s)=H(s)P(t),从而有p()=(0)P(1) 从而连续时间的 Markov链的统计性质(包括其长期行为)完全由转移矩阵P()及初始分布 (0)所决定 连续时间的 Markov链也有强 Markov性 离散时间的时齐 Markov链的多步转移矩阵P是由一个”最小的”P所生成的,而在 143
143 P (s,t) ( p (s,t)) = ij ， 称为转移矩阵．补充定义 P(s,s) = I (无穷单位矩阵). 命题６.３ （概率转移矩阵族的性质） 与离散时间情形类似地, 对于为分量全是 1 的无穷行向量(矩阵) 1,我们有 (P.1) 0 £ p (s,t) £ 1 ij , P (s,t) 1 T =1T . (P.2) (Chapman-Kolmogorov 方程) 对于"u ³ t ³ s 有 P (s,u) = P(s,t) P(t,u) , (6. 6) 其分量形式为 = å k pij(s,u) pik (s,t) pkj (t,u) . (6. 6)’ 证明与离散时间情形类似. １．３ 连续时间的时齐的 Markov 链 定义６．４ 连续时间的 Markov 链称为时齐的, 如果其转移阵 P(s,s + t) 与 s 无关. 此 时我们另记 P (t - s) = P(s,t) 。 (6. 7). 那么 Chapman-Kolmogorov 方程变为 P (s + t) = P(s) P(t) (6. 8) 在本书中, 除非特别声明，我们所考虑的连续时间的 Markov 链均为时齐的．与时间离散 的情形类似, 连续时间的 Markov 链的转移矩阵 P(t) 是刻画此链的统计特征的要素. 即有 定理 6．５ （Markov 链的有限维分布与绝对概率） （1） 若时续的时间 Markov 链{ ,t ³ 0} t x 的初始分布为 (0) ( ) 0 P i mi = x = ，其转移矩 阵为 P(t) ( p (t)) = ij ，则对于 n " < t <L < t 0 1 , 有 ( , , , ) (0) ( ) ( ) ( ) 0 = 0 t1 = 1 t = n = i0 i0 i1 1 i1 i2 2 - 1 i -1 i n - n-1 P i i i p t p t t p t t L n L n n x x x m (6. 9) （2）设 (t) P( i) mi = xt = ，并记由 (t) mi 构成的行向量为 m (t) = ( (t) : i S) mi Î ，那么 m(t + s) = m(s) P (t) ，从而有 m(t) = m(0) P (t) 从而连续时间的 Markov 链的统计性质（包括其长期行为）完全由转移矩阵 P(t) 及初始分布 m(0) 所决定. 】 连续时间的 Markov 链也有强 Markov 性. 离散时间的时齐Markov链的多步转移矩阵 P (n) 是由一个 ”最小的” P 所生成的, 而在
连续时间时,在P(1)中找不到直接生成它的最小者”但是,从 Chapman-Kolmogorov方程 P(s+D)=P(s)P(t),P(0)=I的形式看,它是一个无穷维的矩阵值函数方程我们拿一个 与它相象而最且简单的函数方程∫(t+s)=f(m)f(s),∫(0)=1分析,这个方程在t=0处 连续的通解为且而解∫()则完全由α=∫'(O)确定。由此猜测,在正常的情形下,如果 P()->I满足,P()在t=0处的微商P'(0)似乎应该存在,而且描述P()的演化 进程的最基本的量也应该就是P'(0) 事实上,在实际应用中都可以无妨地认为,P'(O)确实有限,而且唯一确定了P(t)(用 严格的数学可以证明,P(O)只是在较广的意义理解下存在,即:P2(.(≠存在,但Pa(0)却 可能取-∞,而且这样的P'(0)未必能唯一地确定P(1),这些都是理论概率论中的纯数学问题,而在 实际应用中一般是不会遇到的).于是就应用范围所关心的视点而言,我们可以说,在实用中遇 到的连续时间的 Markov链的转移矩阵P()关于t是可微的,而且P()可由它在t=0处的 微商P'(0)所确定 定义6.6设P()0→I满足,把P(0)记为Q,称为转移矩阵P(t)的转移速 率矩阵或形式生成元(有时也简称为Q矩阵)即 Q=P(0) (6.10 概率速率矩阵Q之所以重要,是因为一般P()不能直接由测量得到,然而Q却可通 过实验手段测得.由它再通过解一个称为 Kolmogorov方程的矩阵微分方程就可解出P(t) (参见后文).这样就能得到连续时间的 Markov链的统计分布.这构成了研究连续时间的 Markov链的统计行为的主要思路 又由于形式生成元Q与转移矩阵P()间的密切关系,所以在我国的概率界常称P()为 转移速率矩阵Q的Q过程.这是一个具有中国特色的称谓 在本章中,我们恒假定满足 P(t 2 Poisson过程与复合 Poisson过程再访 例6.7( Poisson过程作为 Markov过程转移矩阵与转移速率矩阵)
144 连续时间时, 在P (t) 中找不到直接生成它的”最小者”. 但是, 从 Chapman-Kolmogorov 方程 P (s + t) = P(s) P (t) , P(0) = I 的形式看, 它是一个无穷维的矩阵值函数方程. 我们拿一个 与它相象而最且简单的函数方程 f (t + s) = f (t) f (s), f (0) = 1分析， 这个方程在t = 0 处 连续的通解为且而解 f (t) 则完全由 a = f '(0) 确定. 由此猜测，在正常的情形下，如果 P (t) ¾t¾®0® I 满足, P (t) 在t = 0 处的微商 P ’(0) 似乎应该存在, 而且描述 P(t) 的演化 进程的最基本的量也应该就是 P ’(0) ． 事实上，在实际应用中都可以无妨地认为，P ’(0) 确实有限，而且唯一确定了 P(t) (用 严格的数学可以证明, P ’(0) 只是在较广的意义理解下存在, 即： p '(0),(i j) ij ¹ 存在, 但 '(0) pii 却 可能取 - ¥ ， 而且这样的 P ’(0) 未必能唯一地确定 P (t) , 这些都是理论概率论中的纯数学问题, 而在 实际应用中一般是不会遇到的). 于是就应用范围所关心的视点而言, 我们可以说, 在实用中遇 到的连续时间的 Markov 链的转移矩阵 P (t) 关于t 是可微的, 而且 P(t) 可由它在t = 0 处的 微商 P ’(0) 所确定. 定义６.６ 设P (t) ¾t¾®0® I 满足，把 P ’(0) 记为 Q , 称为转移矩阵 P(t) 的转移速 率矩阵或形式生成元（有时也简称为Q 矩阵） 即 Q P D = ’(0) . (6. 10) 概率速率矩阵Q 之所以重要， 是因为一般 P(t) 不能直接由测量得到, 然而Q 却可通 过实验手段测得. 由它再通过解一个称为 Kolmogorov 方程的矩阵微分方程就可解出 P (t) (参见后文)． 这样就能得到连续时间的 Markov 链的统计分布. 这构成了研究连续时间的 Markov 链的统计行为的主要思路. 又由于形式生成元Q 与转移矩阵P (t) 间的密切关系, 所以在我国的概率界常称P(t) 为 转移速率矩阵Q 的 Q-过程. 这是一个具有中国特色的称谓． 在本章中, 我们恒假定满足 P (t) ¾t¾®0® I . (6.11) 2 Poisson 过程与复合 Poisson 过程再访 例６．７ （Poisson 过程作为 Markov 过程转移矩阵与转移速率矩阵）
Poisson过程是独立增量过程,所以它有 Markov性.故它是连续时间的 Markov链,由 第3章知道 Poisson过程的转移矩阵依赖于连续时间参数t,即 P()=(P,P2()=12-m) (其它情形) 因此转移矩阵是一个上三角形无穷矩阵.这时转移速率矩阵(形式生成元)为 λ0 0-0 0-0 Q=(q,) 注意 Poisson过程的转移速率矩阵Q的每一行的和都是0.这个事实对于只有有限个 状态的连续时间的 Markov链总是对的,写成向量形式就是Q17=0.但是对于一般有可数 个状态的连续时间的 Markov链确未必正确.因为在数学上我们只能证明Q1≤0,因 此也就引出了许多的困难,从而激起了纯理论研究的概率论学者的兴趣.好在实际应用中 的连续时间的 Markov链,常常都满足QI=0 定义6.8满足条件 P()-I,Q1=0 (6.12) 的Q称为保守的转移速率矩阵 在实际应用中就忽视Q17≠0的情形这就是说,在实际应用中遇到的转移矩阵总 认为是保守的。即如果发现了非保守情形,则可能是遗漏了某些状态. 例6.9(复合 Poisson过程的转移矩阵与转移速率矩阵) 设N为强度λ的 Poisson过程,{}k}为与之独立的独立同分布随机序列,则 是复合 Poisson过程.又因为它也是独立增量过程,所以它有 Markov性.假定 ff2…J ∑f=1 那么ξ是连续时间的 Markov链.我们来求它的转移矩阵与转移速率矩阵.对于Sj),pn(s,1)=P(N,-N=0)=e-) 145
145 Poisson 过程是独立增量过程, 所以它有 Markov 性. 故它是连续时间的 Markov 链, 由 第３章知道 Poisson 过程的转移矩阵依赖于连续时间参数t ， 即 P ï î ï í ì ³ = = - - - 0 ( ) ( ) ( )! ( ) ( ) ( ), ( ) 其它情形 j i j i t e t p p t j i t ij ij l l . 因此转移矩阵是一个上三角形无穷矩阵. 这时转移速率矩阵（形式生成元）为 Q = ( ) ij q = ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ø ö ç ç ç ç ç ç ç ç ç è æ - - - O O O O O O 0 0 0 0 0 l l l l l l . 注意 Poisson 过程的转移速率矩阵Q 的每一行的和都是 0. 这个事实对于只有有限个 状态的连续时间的Markov链总是对的, 写成向量形式就是Q 1 = 0 T . 但是对于一般有可数 个状态的连续时间的 Markov 链确未必正确． 因为在数学上我们只能证明 Q 1 £ 0 T , 因 此也就引出了许多的困难, 从而激起了纯理论研究的概率论学者的兴趣. 好在实际应用中 的连续时间的 Markov 链, 常常都满足Q 1 = 0 T ． 定义６.８ 满足条件 P (t) ¾t¾®0® I ，Q 1 = 0 T (6．１2) 的Q 称为保守的转移速率矩阵． 在实际应用中就忽视 Q 1 ¹ 0 T 的情形. 这就是说, 在实际应用中遇到的转移矩阵总 认为是保守的。 即如果发现了非保守情形, 则可能是遗漏了某些状态. 例６.９（复合 Poisson 过程的转移矩阵与转移速率矩阵） 设 Nt 为强度l 的 Poisson 过程， { } Yk 为与之独立的独立同分布随机序列， 则 Nt t =Y + +Y D x 1 L 是复合 Poisson 过程．又因为它也是独立增量过程, 所以它有 Markov 性. 假定 ,( 1) 1 2 ~ 1 2 å = ÷ ÷ ø ö ç ç è æ j j j k f f f f j Y L L L L ． 那么 t x 是连续时间的 Markov 链．我们来求它的转移矩阵与转移速率矩阵．对于 s ， ( ) ( , ) ( 0) t s ii t p s t P N N e - - = - = = l
而当i-∞,且Q保守(即∑q1=0)此时P(由Q唯 地确定,而且它可以表达为以下的收敛级数: P() I++ 146
146 而当 i -¥ , 且Q 保守 (即 å = j ij q 0 ). 此时P (t) 由Q 唯一 地确定, 而且它可以表达为以下的收敛级数: P (t) = e Q t D = + + +L 1! 2! 2 Q Q I ; (6.15)
另一方面,P(t)也可以通过求解下面两个方程之一得到: Kolmogorov向前方程( Fokker-Plank方程) P'(t)=P(1)Q,P(0)=I Ko| mogorov向后方程:P(t)=QP(t), (6.17) (3)对于非有限个状态的 Markov链,只要Q保守(即Q1=0),且q=-qn是i的有 界函数,则(2)中的所有结论全都成立 (本定理的证明冗长,且需要较多的数学准备知识,本书中从略.我们只指出 Kolmogorov向前方程与 Kolmogorov向后方程可以由 Chapman- Kolmogorov方程 P(+s)=P()P(s)及P(+s)=P()P(1)形式地对s取微商后再令S=0得到) [注]应用中的绝大多数的转移速率矩阵,都满足本定理中(3)的条件,最典型的情形出 现在从每个状态只能转移到有限个状态的情形. 从本段以下,我们恒假定如下条件满足 imnA0P2()=6,q,有界,Q保守(Q1=0) (6.18) 具有满足(618)的转移速率矩阵Q的转移矩阵P(t),称作以Q为转移速率矩阵的连续时间 的 Markov链 Kolmogorov向后方程写成分量就是 p()=-qP1()+∑qP() 把它看成Pn()的微分方程,乘上其积分因子为e后积分便得 pO)=P(O)L∑e°qP(skb 于是得到下面的结论 定理6.11( Kolmogorov向后方程的分量形式的积分迭代) Kolmogorov向后方程就等价于积分方程组 P,(=e8,+ 2e-g qis P,(1-s)ds 由这个方程可作如下的迭代算法 =0 P"(1)= 当n→∞时,Pn收敛,其极限就是 Kolmogorov向后方程的解 此定理的证明不难,读者可自行验证) 3.2转移速率矩阵的概率含义 147
147 另一方面, P (t) 也可以通过求解下面两个方程之一得到： Kolmogorov 向前方程（Fokker-Plank 方程） P ’(t) = P (t) Q ， P (0) = I ; (6.16) Kolmogorov 向后方程: P ’(t) =Q P (t) , P (0) = I (6.17) （3）对于非有限个状态的 Markov 链, 只要Q 保守 (即Q T 1 = 0), 且 i ii q =- q D 是i 的有 界函数, 则 (2) 中的所有结论全都成立. (本定理的证明冗长, 且需要较多的数学准备知识, 本书中从略．我们只指出: Kolmogorov 向前方程与 Kolmogorov 向后方程可以由 Chapman-Kolmogorov 方 程 P (t + s) = P (t) P (s) 及 P (t + s) = P (s) P (t) 形式地对 s 取微商后再令 s = 0 得到). [注] 应用中的绝大多数的转移速率矩阵, 都满足本定理中(3)的条件, 最典型的情形出 现在从每个状态只能转移到有限个状态的情形. 从本段以下, 我们恒假定如下条件满足: t 0 ij ij lim ® p (t) = d , qi 有界, Q 保守（Q T 1 = 0）. (6. 18) 具有满足(6.18)的转移速率矩阵Q 的转移矩阵 P (t) , 称作以Q 为转移速率矩阵的连续时间 的 Markov 链．. Kolmogorov 向后方程写成分量就是 å¹ = - + k i ij i ij ik kj p' (t) q p (t) q p (t) . 把它看成 p (t) ij 的微分方程, 乘上其积分因子为 q t i e 后积分便得 ò å¹ = + k i ik kj q s t 0 ij ij q t e p t p 0 e q p s ds i i ( ) ( ) ( ) ． 于是得到下面的结论. 定理 6.１１ (Kolmogorov 向后方程的分量形式的积分迭代) Kolmogorov 向后方程就等价于积分方程组 ò å¹ - - = + - k i ik kj q s t 0 ij q t pij t e e q p t s ds i i ( ) d ( ) . 由这个方程可作如下的迭代算法: L 0 (0 ) pij = ò å¹ - - - = + - k i n 1 ik kj q s t 0 ij n q t pij t e e q p t s ds i i ( ) ( ) ( ) ( ) d . 当 n ® ¥时, (n) pij 收敛, 其极限就是 Kolmogorov 向后方程的解. （此定理的证明不难，读者可自行验证） 3．2 转移速率矩阵的概率含义
我们引述下面的定理,它在已知概率速率矩阵Q时,对于模拟对应的连续时间的 Markov 链的轨道,起关键的作用 定理6.12 设转移速率矩阵Q满足(6.18)的连续时间的 Markov链为51,记为次 Markov链首次 跳跃的时刻,即 =nt:5≠50} 那么 (1)P(r≤1|50=1)=1-e(即:在条件概率P(*|50=0)下,r-expa) (2)τ与,在条件概率P(*|50=1)下条件独立 1i+1 (3)在条件概率P(*|50=1)下,,5 (在定理假定下, Markov链的轨道是右连续的,而定理结论的证明,需要对轨道作细致 的分析,本书从略) 定理6.13设条件(6。18)成立.记ck为 Markov链,的第k次跳跃时刻, 则n=5,是离散时间的时齐 Markov链,其转移矩阵为P=(P,),其中 (j≠D) Pi=: 7k称为连续时间的 Markov链5,的嵌入链,它表达了 Markov链5的 跳跃情况 (证明提示:只需检查 Markov性) 4.连续时间的 Markov链的极限分布 4.1连续时间的 Markov链的转移矩阵的平均极限 与定理5.40完全类似地可以得到 定理6.14满足条件(6.18)的连续时间的 Markov链的转移矩阵有平均极限 P(t)dt 某个L T 而且它满足 POOL=L P(=L=L 同时L具有离散时间情形类似的分块形式 4.2连续时间的 Markov链的极限分布 引理6.15设条件(6.18)满足,则 (1)对于任意i及任意t≥0,恒有Pn(1)>0
148 我们引述下面的定理，它在已知概率速率矩阵Q 时，对于模拟对应的连续时间的 Markov 链的轨道，起关键的作用． 定理 6. １２ 设转移速率矩阵Q 满足（6．18）的连续时间的 Markov 链为 t x ．记t 为次 Markov 链首次 跳跃的时刻， 即 inf{ : }0 t = x ¹ x t t ． 那么 （1） q t i P t i e - (t £ | x 0 = ) = 1- （即：在条件概率 ( | ) 0 P * x = i 下， qi t ~ exp ）． （2）t 与 xr 在条件概率 ( | ) 0 P * x = i 下条件独立． （3）在条件概率 ( | ) 0 P * x = i 下， ． ÷ ÷ ÷ ø ö ç ç ç è æ - + L - + L L K L L i i i i i i q q q q i i , 1 , 1 1 1 xt ~ ． （在定理假定下，Markov 链的轨道是右连续的， 而定理结论的证明，需要对轨道作细致 的分析，本书从略）． 定理 6. １３ 设条件（6。18）成立．记 k t 为 Markov 链 t x 的第 k 次跳跃时刻， 则 k t k h x D = 是离散时间的时齐 Markov 链 ， 其转移矩阵为 ~ P ~ ( ) = pij ， 其 中 ï î ï í ì = ¹ = 0 ( ) ( ) ~ j i j i q q p i ij ij ，hk 称为连续时间的Markov链 t x 的嵌入链，它表达了Markov 链 t x 的 跳跃情况． (证明提示： 只需检查 Markov 性)． 4. 连续时间的 Markov 链的极限分布 4. 1 连续时间的 Markov 链的转移矩阵的平均极限 与定理 5.４０ 完全类似地可以得到 定理 6. １４ 满足条件（6．18）的连续时间的 Markov 链的转移矩阵有平均极限 ò T T 0 1 P (t)dt ¾T®¾¥® 某个L ． 而且它满足 P (t) L =L P (t) =L =L 2 . 同时L 具有离散时间情形类似的分块形式. 4. 2 连续时间的 Markov 链的极限分布 引理 6.１５ 设条件（6．18）满足，则 (1) 对于任意 i 及任意t ³ 0 , 恒有 pii(t) > 0
(2)对于j≠i,要么P1(1)≡0;要么存在1,使Pn(1)>0,(Vt≥t0) 证明我们只对有限状态情形证明 (1)由于P(1)0>L,必定存在h>0,当h≤h时,对于任意i,有pn(h)>0.从 而对于任意t,有P1(1)≥P1()>0. (2)对于i≠j,若P()≡0不成立,则必定存在to,使P(n)>0·于是由(1)得到 Pn(口)≥Pn(n)Pn(-10)>0,(Vt2t) 定理6.16对于满足(6.18)条件的连续时间的 Markov链,存在行和为1的矩阵P(∞), 使 P(1)一 P 证明我们也只对有限个状态的情形证明.由引理6.15(1),对任意h>0, Markov链{mh:n≥0} 所有的状态1都是非周期的因为i是常返态,由定理5.50注1推得mn+P1(mh)存在,我们把它 记成pn("(∞) 对于≠j,若P()=0不成立,则由引理6.1(2)3tn,使p()>0,(V2t>0).对于 h≥10,因为i是常返态且i可达j,从而i与j属于同一个非周期常返类.由定理5.50注1推得 imn+P2(mh)存在总之有P(mh)-→P"(∞) 再则,由定理6.14,P(mh)的平均极限nnk 1∑P(kb)也应为L,从而P“()L 最后,我们来证明P(t)-L.事实上,由于P()-)I,当h小时有 lp4(h)-6kE,又对于任意充分大的t,有t-[<h,因而 P()-P2()∑P()p4(t-h)-6kE 由此可见 1→xP2(0)=m,→nP()=l 引理6.17对于满足(6。18)的连续时间的 Markov链{1:1≥0,如果i,j关于它 149
149 (2) 对于 j ¹ i , 要么 p t 0 ij( ) º ; 要么存在 0 t , 使 ( ) ,( ) ij 0 p t > 0 "t ³ t . 证明 我们只对有限状态情形证明． (1) 由于 P (t) ¾t¾®0® I , 必定存在 h0 > 0 , 当h £ h0 时, 对于任意i , 有 pii(h) > 0 . 从 而对于任意t ，有 ( ) ³ ( ) > 0 n ii ii n t p t p . (2)对于i ¹ j , 若 p (t) º 0 ij 不成立, 则必定存在 0 t , 使 p t 0 ij( 0 ) > . 于是由(1)得到 ( ) ( ) ( ) ,( ) ij ij 0 jj 0 0 p t ³ p t p t - t > 0 "t ³ t . 定理6. １６ 对于满足（6．18）条件的连续时间的Markov链, 存在行和为１的矩阵 P (¥) , 使 P (t) ¾t®¾¥® P (¥) ． 证明 我们也只对有限个状态的情形证明．由引理 6.15(1), 对任意 h > 0, Markov 链 { : n 0} xnh ³ 所有的状态i 都是非周期的. 因为i 是常返态, 由定理 5．50 注 1 推得 lim p (nh) n®¥ ii 存在. 我们把它 记成 ( ) ( ) ¥ h pii . 对于 i ¹ j , 若 p t 0 ij( ) º 不成立, 则由引理 6.1(2) 0 $t , 使 p (t) 0,( t t 0) ij > " ³ 0 > .对于 0 h ³ t , 因为 i 是常返态且 i 可达 j ,从而 i 与 j 属于同一个非周期常返类. 由定理 5.50 注 1 推得 lim p (nh) n®¥ ij 存在. 总之有 P (nh) ¾n®¾¥® P ( ) ( ) ¥ h . 再则, 由定理 6. 14, P (nh) 的平均极限 å= ®¥ n k 1 n n 1 lim P (kh) 也应为L , 从而 P ( ) ( ) ¥ h =L . 最 后 ， 我们来证明 P (t) ¾t®¾¥® L . 事实上 , 由 于 P (t) ¾t¾®0® I , 当 h 小时有 | ( ) - d |< e kj kj p h , 又对于任意充分大的 t ，有 h h h t t - [ ] < , 因而 - £å - - < k ij ij ik kj h kj h t h p t h t h p h t | p (t) p ([ ] ) | ([ ] ) | ( [ ] ) d | e . 由此可见 lim t®¥ pij(t) = t ij ij h l h t lim ®¥ p ([ ] ) = . 引理 6. １７ 对于满足（6。18）的连续时间的 Markov 链{ : t 0} xt ³ , 如果 i, j 关于它
的嵌入链P=(P1)互通(也称为Q一互通),其中pn=(-x、4,则对于任意h,状 q 态i,关于 Markov链{m:n≥0}也是互通的 证明我们只对有限状态情形给出证明 由互通可知存在l,…,m,使k≠k+1,(k=0,…,n,4=1,n+1=),q1qm…q>0 注意到当h≤某个h时,由P()-)1,对于任意i≠j有Pn(h)=qh+o(h),便得到 Pn(h)pm2(h)…P,(h)>0.即对于任意h≤h,i与j关于 Markov链{5m:n≥0}是互通的 h 对于h>h的情形,只要注意对于h给定,必然存在一个m使一0,利用引理5·15就得P(h)2P2(一)P(=)“>0 定理6.18对于满足(6.18)条件的连续时间的 Markov链{1【≥0},如果其转 移速率阵为Q-互通(意即对于任意i≠j,存在l1,…,lm,使 hk≠+,(k=0,…,n=11=),q9n…9,>0) 那么 P(t)-4 此时兀或者是一个概率分布,或者恒为0 证明由引理6.17,对Wh,{mn:n≥0}都是互通的 Markov链.由定理6.16可知 此时L具有相同的行向量故有形式L=I兀 5.连续时间的 Markov链的转移矩阵P(t)的不变分布 5.1连续时间的 Markov链的转移矩阵P()的不变分布与其嵌入链的不变分布 定义6.19概率分布向量丌称为P()的不变分布,如果对于任意t恒有 兀=兀P(t 在(6.18)条件满足下,它还等价于 事实上,我们只在有限状态情形给出证明.等价的必要性显然.今用后向方程证明充 分性.利用
150 的嵌入链 ( ) ~ ~ P = pij 互通（也称为Q －互通）, 其中 i ij ij ij q q p (1 ) ~ = - d , 则对于任意h , 状 态i, j 关于 Markov 链 { : n 0} xnh ³ 也是互通的. 证明 我们只对有限状态情形给出证明． 由互通可知存在 1 m i ,L,i , 使 ,( 0, , ; , ) 1 0 1 i i k n i i i j k ¹ k+ = L = n+ = , q q q 0 ii i i i j 1 1 2 n L > . 注意到当 h £ 某个 h0 时, 由 P (t) ¾t¾®0® I , 对于任意i ¹ j 有 p (h) q h o(h) ij = ij + , 便得到 p h p h p h 0 ii i i i j 1 1 2 n ( ) ( )L ( ) > . 即对于任意h £ h0 ，i 与 j 关于 Markov 链 { : n 0} xnh ³ 是互通的. 对于h > h0 的情形, 只要注意对于 h 给定, 必然存在一个 m 使 0 h m h ,利用引理５．１５就得 0 m h p m h p h p m 1 ij ³ ij jj > - ( ) ( ) ( ) . 】 定理 6．１８ 对于满足（6．18）条件的连续时间的 Markov 链{ : t 0} xt ³ , 如果其转 移速率阵为Q －互通（ 意即对于任意 i ¹ j ,存在 1 m i ,L,i , 使 ,( 0, , ; , ) 1 0 1 i i k n i i i j k ¹ k+ = L = n+ = , 0 1 1 2 ii i i i j > n q q Lq ）, 那么 P (t) ¾t®¾¥® p T = 1 ， 此时p 或者是一个概率分布，或者恒为０． 证明 由引理 6.１７, 对"h ,{ : n 0} xnh ³ 都是互通的 Markov 链. 由定理 6. １６可知 此时L 具有相同的行向量故有形式L p T = 1 . 5. 连续时间的 Markov 链的转移矩阵P (t) 的不变分布 5. 1 连续时间的 Markov 链的转移矩阵P (t) 的不变分布与其嵌入链的不变分布 定义６．１９ 概率分布向量p 称为 P (t) 的不变分布, 如果对于任意 t 恒有 p = p P (t) . 在(6.18)条件满足下，它还等价于 p Q = 0. 事实上，我们只在有限状态情形给出证明. 等价的必要性显然. 今用后向方程证明充 分性. 利用
(πP(1))'=丌(P(t))=QP(t)=0 便得到P(t)=rP(0) 命题6.20以P(m)为转移矩阵,并以其不变分布π为初始分布的连续时间的 Markov链{:t≥0},是平稳过程,即:对于任意s,k,1,…,1k,(5,…5+,}与 (54,…5n}有相同的联合分布 定义6.21概率分布向量兀称为嵌入链的转移矩阵P的不变分布,如果兀=丌P 命题6.22若丌为连续时间的 Markov链的转移矩阵P(t)的不变分布.则 兀=(x1,…,丌,…)是嵌入链P的不变分布,其中兀丌1q1_:反之,若丌是嵌入链的 转移矩阵P的不变分布,且z=∑<∞,则兀=(1…,兀…)是P()的不变分布, 其中兀 q (请读者自己验证) 我们不加证明地给出下面的定理. 5.2连续时间的 Markov链的遍历极限 定理6.23在(6.18)条件下,若存在唯一的概率分布兀满足丌Q=0,则 P(1) 此时还有 (1)对于定义在状态空间上的函数f(),只要满足∑|()|兀,<∞,就以概率 为1地有 )一→∑0m (2)对于定义在状态空间上的函数g(,只要满足∑g()|兀,P2(an)<∞, 就以概率为1地有 →∑g(ixp2() (多元函数也有类似的结论.得到这个定理的过程与离散时间的 Markov链的情形类似)
151 (pP (t) )’= p (P (t)) ’= pQP (t) = 0 , 便得到 pP (t) = pP (0) = p . 命题６.２０ 以 P (t) 为转移矩阵，并以其不变分布p 为初始分布的连续时间的 Markov 链 { : t ³ 0} t x , 是平稳过程, 即: 对于任意 k s, k ,t , ,t 1 L , ( , , } 1 t s t s + k + x L x 与 ( , , } 1 k t t x L x 有相同的联合分布. 定义６．２１ 概率分布向量 ~ p 称为嵌入链的转移矩阵 ~ P的不变分布, 如果 ~ ~ ~ p = p P. 命题 6．２２ 若p 为连续时间的 Markov 链的转移矩阵 P (t) 的不变分布. 则 ~ p ( , , , ) ~ 1 ~ = p L p i L 是嵌入链 ~ P的不变分布, 其中 å = j j j i i i q q p p p ~ ; 反之, 若 ~ p 是嵌入链的 转移矩阵 ~ P的不变分布, 且 =å < ¥ D j j j q Z ~ p , 则p ( , , , ) = p1 L pi L 是 P (t) 的不变分布, 其中 qi Z i i ~ p p = . (请读者自己验证) 我们不加证明地给出下面的定理. 5. 2 连续时间的 Markov 链的遍历极限 定理 6. ２３ 在 (6. 18)条件下, 若存在唯一的概率分布p 满足p Q = 0, 则 P (t) ¾t®¾¥® p T = 1 . 此时还有 （１） 对于定义在状态空间上的函数 f (i) , 只要满足å < ¥ i i | f (i) | p ，就以概率 为 1 地有 ò ¾ ¾®å ®¥ i i t t s f ds f i t (x ) ( )p 1 0 . （２）对于定义在状态空间上的函数 g(i, j) , 只要满足å < ¥ i | g(i, j) |p i pij(u) ， 就以概率为 1 地有 ò ¾ ¾®å ®¥ + i i ij t t g s s u ds g i j p u t ( , ) ( , ) ( ) 1 0 x x p . (多元函数也有类似的结论. 得到这个定理的过程与离散时间的 Markov 链的情形类似)
