龚光鲁,钱敏平著应用随机过程教程及其在算法与智能计算中的应用 清华大学出版社,2003 第6章连续时间的 Markov链(Q-过程) 1连续时间的 Markov链及其转移矩阵 1.1连续时间的 Markov链的定义及等价性描述 定义6.1随机变量族{1I≥0}称为连续吋间的 Markov链,如果这些随机变量都是 离散的(状态空间S至多是一个可数集,即它或者有限,或者与自然数一一对应)而且对于 vm≥0,Vs>s1>…sm≥0及任意状态i,j,,…,ln,都有 P(5=j,=14=i1,…,5=m)=P(5*=,= (6.1) Markov性可以有许多等价叙述,我们概括如下: 等价叙述1若A为只与资料{n,l<s}有关的一个事件,则有 P(5=,=,A)=P(5=,=1) 等价叙述2对于过程在时刻s以后所确定的事件B及等价叙述1中之A有 P(BS,=i, A)=P(BSs=) 等价叙述3在已知“现在”的条件下,“将来”与“过去”是条件独立的 等价叙述4对状态空间上的任意有界函数∫,及S>S1>…>Sn>0,均有 E((),=54=1…5,=)=E((,料 (6.1)式也是(6.4)式的特例,即f(x)=l(x)的情形) 等价性质5(最一般的形式)对于常见的实数集合A,只由随机序列{}在时刻s及 其后的信息所决定的随机变量n,以及任意S>S1>…>Sn>0,恒有 P(n∈Nk,=5 5=im)=P(n∈Ak,=) 或更一般地 ,=54=4…5,=m)=E(n,= (6。5) 1.2连续时间的 Markov链概率转移矩阵 定义6.2记 P(s,D)=P(=5,=1)(t2s) 定义无穷矩阵142 龚光鲁，钱敏平著 应用随机过程教程及其在算法与智能计算中的应用 清华大学出版社,2003 第6章 连续时间的 Markov 链 (Q-过程) 1 连续时间的 Markov 链及其转移矩阵 1．1 连续时间的 Markov 链的定义及等价性描述 定义６.１ 随机变量族{ : t ³ 0} t x 称为连续时间的 Markov 链, 如果这些随机变量都是 离散的 (状态空间S 至多是一个可数集, 即它或者有限, 或者与自然数一一对应), 而且对于 "m ³ 0,"s > s1 > Lsm ³ 0 及任意状态 m i, j,i , ,i 1 L , 都有 ( + = | = , = 1 , , = ) = t s s s1 s m P j i i i m x x x L x P( j | i) xs +t = x s = . (6. 1) Markov 性可以有许多等价叙述，我们概括如下： 等价叙述１ 若 A 为只与资料{ ,u s} xu < 有关的一个事件, 则有 P( j i, A) P( j i) xs +t = x s = = xs +t = x s = . (6. 2) 等价叙述 2 对于过程在时刻s 以后所确定的事件 B 及等价叙述 1 中之 A 有 P(B i, A) P(B i) xs = = xs = . (6. 3) 等价叙述 3 在已知“现在”的条件下，“将来”与“过去” 是条件独立的. 等价叙述 4 对状态空间上的任意有界函数 f ，及 s > s1 > L > sm > 0 ，均有 ( ( ) , , ) ( ( ) ) 1 1 E f i i i E f i s t s s s m s t s m x + x = x = L x = = x + x = (6. 4) ((6. 1)式也是 (6. 4)式的特例, 即 ( ) ( ) { } f x I x = j 的情形). 等价性质 5（最一般的形式） 对于常见的实数集合L ，只由随机序列{ }t x 在时刻 s 及 其后的信息所决定的随机变量h ，以及任意 s > s1 > L > sm > 0 ， 恒有 ( , , ) ( ) 1 1 P i i i P i s s s m s m h Î Lx = x = L x = = h Î Lx = 或更一般地 ( , , ) ( ) 1 1 E i i i E i s s s m s m h x = x = L x = = h x = . （6。5） 1. ２ 连续时间的 Markov 链概率转移矩阵 定义６.２ 记 pij(s,t) = P( j | i),(t s) xt = x s = ³ . 定义无穷矩阵