中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 P{X(n+1)=i2n|Y(mn)=1}p,(m) 为马氏链{Y(m)n≥0}在n时刻的一步转移概率。若对于ⅵ,j∈S, 有 P{X(n+1)=nX(m)=n}≡P,(n)≡P 即上面式子的右边与时刻n无关,则称此马氏链为齐次(或时齐 的)马氏链 对于齐次马氏链,我们记P=(p,),称矩阵P为齐次马氏链的 步转移概率矩阵,简称为转移矩阵。 注3:对于马氏链{X(m)n≥0},我们有: P{X(0)=i0,X(1) (n)=1 P{X(n)=n|X(0)=in,X(1)=i1…,X(m-1)=in1} P{X(0)=i0,X(1)=1,…,X(n-1)=in-} P{X(mn)=|X(n-1)=in}.P{X(0)=b,X() =P{X(n)=in|X(m-1)=n}P{X(n-1)=in|X(m-2)=ln2} P{X(1)=1X(0)=}P{X(0)=i} p_(n-1)P 2)…P(0)·P(X(0)=b} 因此,只要得到了马氏链的一步转移概率及初始分布,就可以求 得马氏链的任意前n+1维的联合分布。特别地,若马氏链是齐次 的,则由转移矩阵及初始分布,就可以得到齐次马氏链的任意前 n+1维的联合分布。 注4:一步转移概率满足:中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 { ( 1) ( ) } ˆ ( ) P X n + = i n+1 X n = i n = pi j n 为马氏链 {X (n); n  0} 在 n 时刻的一步转移概率。若对于 i, jS ， 有 n n pi j n pi j P{X (n +1) = i +1 X (n) = i } = ˆ ( )  即上面式子的右边与时刻 n 无关，则称此马氏链为齐次（或时齐 的）马氏链。 对于齐次马氏链，我们记 ( ) P = pi j ，称矩阵 P 为齐次马氏链的 一步转移概率矩阵，简称为转移矩阵。 注 3：对于马氏链 {X (n); n  0} ，我们有： ( 1) ( 2) (0) { (0) } { (1) (0) } { (0) } { ( ) ( 1) } { ( 1) ( 2) } { ( ) ( 1) } { (0) , (1) , , ( 1) } { (0) , (1) , , ( 1) } { ( ) (0) , (1) , , ( 1) } { (0) , (1) , , ( ) } 0 1 0 0 1 1 2 1 0 1 1 0 1 1 0 1 1 0 1 1 1 1 0 1 p n p n p P X i P X i X i P X i P X n i X n i P X n i X n i P X n i X n i P X i X i X n i P X i X i X n i P X n i X i X i X n i P X i X i X n i i i i i i i n n n n n n n n n n n n n n n = − −    =  = =  = = = − =  − = − =   = = = − =  = = − =  = = − = = = = = − =  = = = = − − − − − − − − − −        因此，只要得到了马氏链的一步转移概率及初始分布，就可以求 得马氏链的任意前 n +1 维的联合分布。特别地，若马氏链是齐次 的，则由转移矩阵及初始分布，就可以得到齐次马氏链的任意前 n +1 维的联合分布。 注 4：一步转移概率满足：