中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 P{X(n1)=i12X(m2)=12…,X(m)=ik}= ∑p).-n"p pm-ipm P(X(0)=j) 上式中各m步转移概率均可由C-K方程求出,利用一步转 移矩阵及初始分布就可以完全确定齐次马氏链的统计性质。 3.马氏链的例子 随机游动: (1)无限制的随机游动: 以x(n)表示时刻n时质点所处的位置,则{X(m),n=0,1,2…}是 一齐次马氏链,其状态空间为S=(…-2,-10,12…},一步转移概 率为 P1:+1=P (i∈S,0<p<1) P1=q=1-p,(i∈S,0<p<1) 0 (i≠i+1,i-1,j∈S) 现在求n步转移概率p": 设n次转移中向右m次,向左m2次,则有 n+J m1(+1)+m2(-1)=j 即有 n+I-l n-J+I =10Pq2,(+j-1是偶数) 0 (n+j-i是奇数) p"={C;pq,(m+j-i是偶数) (n+j-i是奇数)中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞  − − − = = = = = = − − − − − − j S n j i n n i i n n i i n n i i k k p p p p P X j P X n i X n i X n i k k k k k k k k { (0) } { ( ) , ( ) , , ( ) } ( ) ( ) ( ) ( ) 1 1 2 2 1 1 2 1 1 2 1 2 2 1 1 1   上式中各 m 步转移概率均可由 C－K 方程求出，利用一步转 移矩阵及初始分布就可以完全确定齐次马氏链的统计性质。 3． 马氏链的例子 ⚫ 随机游动： （1） 无限制的随机游动： 以 X (n) 表示时刻 n 时质点所处的位置，则 {X(n), n = 0,1,2} 是 一齐次马氏链，其状态空间为 S ={ ,−2,−1,0,1,2, } ，一步转移概 率为：      =  + −  = = −    =    − + 0 , ( 1, 1, ) 1 , ( , 0 1) , ( , 0 1) 1 1 p i i i j S p q p i S p p p i S p i j i i i i 现在求 n 步转移概率 (n) ij p ： 设 n 次转移中向右 m1 次，向左 m2 次，则有 2 , ( 1) ( 1) 2 1 2 1 2 1 2 n j i m n j i m m m j i m m n − + = + −  =    + + − = − + = 即有：     + − + − = + − + − − + 0 , ( ) , ( ) 2 2 2 ( ) 是奇数 是偶数 n j i C p q n j i p n j i n j i n j i n n i j     + − + − = 0 , ( ) , ( ) 2 2 2 ( ) 是奇数 是偶数 n j i C p q n j i p n n n n n ii