Pa),pPn)…,P(n)>0,则B, 互素,故存在正整数N使得对所有的 d(dd(o d(o n>N都存在非负整数a1,a2,…a使得md()=∑a,n,且Pm>0。 定理433的一个直接推论是:若P如m)>0,存在正整数N使得对所有的 n>N恒有P(m+m()>0 定理4.3.4:设P为不可约、非周期、有限状态 Markov链的一步转移概率矩阵, 则存在正整数N使得当n>N时,n步转移概率矩阵P的所有元素都大于0 44常返与瞬过 在事件{X=上引入一个重要的概率∫,表示从出发在n步转移时首次 到达j的概率。用式子表示即是 f0=0,=P(X,=j,Xk≠,k=1…n-1X0=0。 令∫=∑Jm,它表示从出发最终转入到状态j的概率。再引入一重要随机变 量r=min:x=1,Xn=1,n≥21,因此/=P(n=nx0=) 定理441 fPm-),vi,j∈S, 0 ( ) ( ) ( ) 1 2 > nk ii n ii n Pii P LP ，则 ( ) , ( ) , ( ) 1 2 d i n d i n d i n L k 互素，故存在正整数 使得对所有的 都存在非负整数 使得 ，且 。 N n > N a a Lak , , 1 2 ∑= = k i aini nd i 1 ( ) 0 ( ( )) > nd i Pii 定理 4.3.3 的一个直接推论是：若 ，存在正整数 使得对所有的 恒有 。 0 ( ) > m Pji N n > N 0 ( ( )) > m+nd i Pji 定理 4.3.4：设 P 为不可约、非周期、有限状态 Markov 链的一步转移概率矩阵， 则存在正整数 N 使得当n > N 时，n 步转移概率矩阵 (n) P 的所有元素都大于 0。 4.4 常返与瞬过 在事件{ 上引入一个重要的概率 ，表示从 出发在 步转移时首次 到达 X0 = i} (n) ij f i n j 的概率。用式子表示即是 0, ( , , 1, 1 ) 0 (0) ( ) f f P X j X j k n X i n k n ij = ij = = ≠ = L − = 。 令 ∑ ，它表示从i 出发最终转入到状态 ∞ = = 1 ( ) n n ij ij f f j 的概率。再引入一重要随机变 量τ ij = min{ } n : X 0 = i, X n = j, n ≥1 ，因此 f P( n X i) ij n ij = = 0 = ( ) τ 。 定理 4.4.1： P f P i j S n l n l jj l ij n ij = ∑ ∀ ∈ = − , , 1 ( ) ( ) ( ) 证： 5