第四章离散时间 Markov链 41定义和一些例子 在一些物理学、生物学、经济学等许多学科中,都有如下行为的系统:该系统 是与时间有关的一个系统,如果已知系统在现在的状态,则此系统的过去所处的 状态与将来所处状态是(条件)独立的,这个特性称为 Markov性。本节我们考 虑状态空间S为离散的,用0,l1,…或i,表示状态,参数集T为离散的(一般表 示时间),T={012,…}。 定义411:一个离散时间随机过程{Xnn≥0称为 Markov链,若对任意状态序 列{0,1…in,l,jcS P(xm=X6=0,x1=1,…Xm=bn,xn=D)=P(Xm=Xn= 记P“=P(X2=Xn=1),b,j∈S称为在n时的一步转移概率( one step transition probabilities固定n,转移概率P,可以看成某个矩阵的第i行j列 元素,把该矩阵记为P(m),即P(m)=(P)s,它有可能是无穷维的。P(m)称 为在时刻n的一步转移概率矩阵。一般来说转移概率P"“依赖于时刻n,此时 称该 Markov链是非齐次的( (inhomogenous。但是,一个重要的情形是粒子在时 刻s处于状态i,在时刻s+t处于状态j与在初始时刻s=0处于状态i,在时刻t 处于状态j这两个过程是一样的 定义4.12: Markov链{xn,n≥0}称为齐次 Markov链或称为有平稳转移概率的 Markov链若它一步转移概率Pn,n∈Ti,j∈S不依赖于n 对于齐次 Markov链,由于一步转移概率Pn不依赖于n,因此记 P=P"=P(xn=小x=D),此时一步转移概率矩阵为P=(P)以下不第四章 离散时间 Markov 链 4.1 定义和一些例子 在一些物理学、生物学、经济学等许多学科中，都有如下行为的系统：该系统 是与时间有关的一个系统，如果已知系统在现在的状态，则此系统的过去所处的 状态与将来所处状态是（条件）独立的，这个特性称为 Markov 性。本节我们考 虑状态空间 S 为离散的，用i0 ,i1 ,L或i, j 表示状态，参数集T 为离散的（一般表 示时间），T = { } 0,1,2,L 。 定义 4.1.1：一个离散时间随机过程{X n , n ≥ 0}称为 Markov 链，若对任意状态序 列{ } i0 ,i1 ,Lin−1 ,i, j ⊂ S ( , , , ) ( ) 1 0 0 1 1 1 1 1 P X j X i X i X i X i P X j X i n+ = = = L n− = n− n = = n+ = n = 。 记 ( ) 1 , 1 P P X j X i n n n n ij = + = = + ，i, j ∈ S 称为在 时的一步转移概率（one step transition probabilities）。固定 ，转移概率 ，可以看成某个矩阵的第i 行 n n n,n+1 Pij j 列 元素，把该矩阵记为 P(n)，即 ( )i j S n n P n Pij ∈ + = , , 1 ( ) ，它有可能是无穷维的。 称 为在时刻 的一步转移概率矩阵。一般来说转移概率 依赖于时刻 ，此时 称该 Markov 链是非齐次的(inhomogenous)。但是，一个重要的情形是粒子在时 刻s 处于状态i ，在时刻 处于状态 P(n) n n,n+1 Pij n s + t j 与在初始时刻s = 0 处于状态i ，在时刻t 处于状态 j 这两个过程是一样的。 定义 4.1.2：Markov 链{ 称为齐次 Markov 链或称为有平稳转移概率的 Markov 链若它一步转移概率 ， X n , n ≥ 0} n,n+1 Pij n∈T i, j ∈ S 不依赖于n 。 对于齐次 Markov 链，由于一步转移概率 Pij n,n+1 不依赖于 n ，因此记 ( ) 1 , 1 P P P X j X i n n n n ij = ij = + = = + ，此时一步转移概率矩阵为 ( )i j S P Pij ∈ = , 。以下不 1