特别指明,所讨论的均为齐次 Markov链。以p1=P(X=1),l∈S记 Markov链 xn,n≥0}的初始分布(∑P,=1)。 定理411:1)P20∑P=1,,j∈S )P(X=l0,X1=1…Xn=)=PPPh2…P 例4.1.1:直线上的随机游动。假设从原点开始,粒子以p的概率向前迈一步, 以q的概率向后迈一步,以r的概率在原地不动,p+q+r=1。X,表示n时刻 的位置,则Xn为齐次 Markov链。状态空间S={…-2,-10.2,…},一步转移概 P=pP=r,P1=q,P=0.}->1,V,j∈S。这是无限制随机游动。 42n步转移概率矩阵 设状态空间为S,一步转移概率为P,初始分布为p,=P(X。=D,i∈S的齐次 Markov链{xn20,令Pm0=P(xm=儿xm=)=P(xn=X0=)n2,表示 经过n个时刻,链从状态i转移到状态j的概率,称为n步转移概率。令 1,若i=j -0,若i /∈S,定义如下矩阵P0=Vp)s,P0=P=(P) n≥2,P=(")s(n步转移概率矩阵 定理421:1).P(Xn=小=∑pP,v∈S ).(Chapman-Kolmogorov relation) P=∑PP”,i,j∈S k∈S特别指明，所讨论的均为齐次 Markov 链。以 pi = P(X 0 = i),i∈ S 记 Markov 链 {X n , n ≥ 0}的初始分布（∑ =1）。 i∈S pi 定理 4.1.1：1). ≥ 0,∑ =1， j∈S Pij Pij ∀i, j ∈ S 2). n n n n pi Pi i Pi i Pi i P X i X i X i 0 0 1 1 2 1 ( , , ) 0 0 1 1 − = = L = = L 例 4.1.1：直线上的随机游动。假设从原点开始，粒子以 p 的概率向前迈一步， 以q 的概率向后迈一步，以r 的概率在原地不动， p + q + r =1。 表示 时刻 的位置，则 为齐次 Markov 链。状态空间 X n n X n S = {L,−2,−1,0,1,2,L}，一步转移概 率 , , , 0, 1 Pi,i+1 = p Pii = r Pi,i−1 = q Pij = i − j > ，∀i, j ∈ S 。这是无限制随机游动。 4.2 n 步转移概率矩阵 设状态空间为 S ，一步转移概率为 P ，初始分布为 pi = P(X 0 = i),i∈ S 的齐次 Markov 链{ } X n , n ≥ 0 ，令 ( ) ( ), 2 0 ( ) P = P X n+m = j X m = i = P X n = j X = i n ≥ n ij ，表示 经过 n 个时刻，链从状态 i 转移到状态 j 的概率，称为 步转移概率。令 ，定义如下矩阵 n ⎩ ⎨ ⎧ ≠ = = i j i j Pij 若 若 0, 1, (0) i, j ∈ S ( )i j S P Pij ∈ = , (0) (0) ， ( )i j S P P Pij ∈ = = , (1) ， n ≥ 2 ， ( )i j S n ij n P P ∈ = , ( ) ( ) （n 步转移概率矩阵）。 定理 4.2.1：1). P(X j) p P j S i s n n = = ∑ i ij ∀ ∈ ∈ , ( ) 2). (Chapman-Kolmogorov relation) ∑∈ + = k S n kj m ik n m Pij P P ( ) ( ) ( ) ，i, j ∈ S 2