Mar kov过程的概念 设{X(),teT}对任意n个不同的t1,t2,.,tn∈T 且t1<t2<.<tn-1<tn,有 P(X(tn)≤xn|X(tn-1)=xn-1,.,X(t)=x) =P(X(tn)xnX(tn1)=xn1), Markov性 (无后效性) 则称X(t)为马尔可夫(a)过程 简称马氏过程。 己知“现在”的条件 下，“过去”与“将 来”是独立的
Markov过程的概念 简称马氏过程. 设{ X (t)，t T }对任意 n 个不同的 1 t , 2 t , . ,t n T 且 n n t t t t 1 2 −1 ，有 ( ( ) | n n P X t x 1 1 ( ) n− = n− X t x ，.， ( ) ) 1 1 X t = x = ( ( ) | n n P X t x 1 1 ( ) n− = n− X t x ）， 则称 X t( ) 为马尔可夫（Markov）过程 已知“现在”的条件 下，“过去”与“将 来”是独立的。 Markov性 （无后效性） 1
第5章Markov链 >5.1基本概念 >5.2状态的分类与性质 >5.3极限定理及平稳分布 >5.4 Markov链的应用 >5.5连续时间Markov链
第5章 Markov链 ➢ 5.1 基本概念 ➢ 5.2 状态的分类与性质 ➢ 5.3 极限定理及平稳分布 ➢ 5.4 Markov链的应用 ➢ 5.5 连续时间Markov链 2
5.1基本概念 一.Markov链的定义 二.转移概率 三.一些例子 四.n步转移概率，C-K方程 五.初始分布绝对分布
5.1 基本概念 一.Markov链的定义 二.转移概率 三.一些例子 四.n步转移概率,C-K方程 五.初始分布 绝对分布 3
一.Markov链的定义 随机过程{Xn,n=0,1,2,}称为Markov链，若它只取 有限或可列个值，并对任意n≥0及状态i,j,“,in-1,有 P{Xm+1=jXo=o,X1=4,.,X1=n-1,Xn=i、 =P(Xn=jX =i. Markov性 注：有限或可列个值称为过程的状态，（若不另外说明）记为0,1,2， 非负整数集{0,1,2，.}或者其子集记为S,称为过程的状态空间. n-
随机过程 称为Markov链，若它只取 有限或可列个值， X n n , 0,1,2, = n 0 0 1 1 , , , , , n i j i i i − 1 0 0 1 1 1 1 1 , , , , . n n n n n n P X j X i X i X i X i P X j X i + − − + = = = = = = = = 一.Markov链的定义 Markov性 Xn 0 1 2 3 4 n t . 4 n +1 注:有限或可列个值称为过程的状态,(若不另外说明)记为0,1,2,., 并对任意 及状态 ，有 非负整数集{ 0,1,2,.}或者其子集记为S，称为过程的状态空间
设Xm,n=0,l,2,.}是Markov链，对任意的n≥1，计 算(X,X,X,X)的联合分布律： 乘法公式 P(Xo=io X1=in Xn1=in-Xn=in =P{Xo=io,X1=i,Xn-=t 马氏慢 P(Xn=X0=i,X1=i,.,X=1 =PXo io X1=i,Xn-1=in1 P(Xn inlXn-1=in-1 =P{X0=i0,X1=i.,Xm-2=in-2} 马氏性 PXn-1=in-1|X0=i0.,Xm-2=n-2正 P{Xn inlXn-1=in-1 =P(Xo=io X1=in Xn-2=in-2P(Xn-1=in-11 Xn-2=in-2P(Xn inlXn-1 =in-1 =P{Xo=o}P{X=i|Xo=o}.·P{Xn=inXm-=n-}
P X i X i X i X i 0 0 1 1 1 1 = = = = ， ， ， n n n n − −， 设 是Markov链，对任意的 ，计 算 的联合分布律: n 1 ( X X X X 0 1 1 ， ， ， n n −， ) 0 0 1 1 1 1 0 0 1 1 1 1 | n n n n n n P X i X i X i P X i X i X i X i − − − − = = = = = = = = ， ， ， ， ， ， 0 0 1 1 1 1 1 1 | n n n n n n P X i X i X i P X i X i − − − − = = = = = = ， ， ， 0 0 1 1 2 2 1 1 0 0 2 2 1 1 | | n n n n n n n n n n P X i X i X i P X i X i X i P X i X i − − − − − − − − = = = = = = = = = ， ， ， ， ， = 乘法公式 马氏性 马氏性 5 { 0,1, 2 } X n n , , = = = = = = = P X i P X i X i P X i X i 0 0 1 1 0 0 1 1 | | . n n n n − − = = = = = = = = P X i X i X i P X i X i P X i X i 0 0 1 1 2 2 1 1 2 2 1 1 ， ， ， n n n n n n n n n n − − − − − − − − | |
设Xm,n=0,l,2,.}是Markov链，对任意的n≥1，计 算(X,X,XyX)的联合分布律： P(Xo=io X1=in Xn-=in-Xn =in =PXo=io P(X1=i Xo=i0PX=inXn-1=in-11 即Markov链{Xm,n≥O}的有限维分布完全由概率P{Xo=i} 和条件概率P{Xm=j川Xn-1=}确定. 定义称p,(O)=P{Xo=i},i∈S为Markov链{Xm,n=0,l,2,.} 的初始分布， 称p(0)=(p(O),pn(O),.为初始概率向量. 问题：如何确定条件概率？
P X i X i X i X i 0 0 1 1 1 1 = = = = ， ， ， n n n n − −， 即Markov链 的有限维分布完全由概率 和条件概率 确定. { 0} X n n， P X i { } 0 = P X j X i { | } n n = = −1 = = = = = = P X i P X i X i P X i X i 0 0 1 1 0 0 1 1 | | n n n n − − 问题：如何确定条件概率？ 6 设 是Markov链，对任意的 ，计 算 的联合分布律: { 0,1, 2 } X n n , , = n 1 ( X X X X 0 1 1 ， ， ， n n −， ) 定义 称 为Markov链 的初始分布， p P X i i S i (0) = = 0 , { 0,1, 2 } X n n , , = (0) 0 0 ( 0 1 ( ) ( ) ) T 称 P p p = ， ， 为初始概率向量
二.转移概率 ●●●● ●●● 定义设{Xm,n=0,1,2,.}是Markov链， 记 P(n)=P{XH1=j川Xn=i} 称p,(n)为Markov链{Xm,n=0,l,2,.}在时刻n时的一步 转移概率。 注当i,n固定时，一步转移概率p(n)实质上就是 在X,=i的条件下，随机变量Xm+1的条件分布律， 所以条件分布律满足： p(n)≥0，Vi,jeS,n>0; Po(m)-1,Vies,n30
( ) 0 0 ( ) 1 0. ij ij j S p n i j S n p n i S n = ， ， ， ； ， ， 当 固定时，一步转移概率 实质上就是 在 的条件下，随机变量 的条件分布律， i n ， ( ) p n ij X i n = X n +1 定义 设 是Markov链， 记 1 p n P X j X i ij n n ( ) { | } = = = + 称 为Markov链 在时刻 时的一步 转移概率. n 二.转移概率 7 ( ) p n ij { 0,1, 2 } X n n , , = { 0,1, 2 } X n n , , = 所以条件分布律满足：
时齐Mar kov链 定义 设{Xm,n=0,l,2,.}是Markov链，若其一步转移概率P(n 与n无关，即 P(n)=P{Xm1=j川Xn=i=P{X=jXo=i}≌p 则称X,n=0,1,2,.}为时齐Markov链，否则称为非时齐的， 若Markov链{Xm,n≥O}的状态空间是有限集，则 称{Xm,n≥O}为有限状态的Markov链（有限链）； 若Markov链{Xn,n≥O}的状态空间是可列集，则 称{Xm,n≥0}为可列状态的Markov链（无限链)
定义 设 是Markov链,若其一步转移概率 与 无关，即 与时间 无关，即 n 1 1 0 p n P X j X i P X j X i ij n n ( ) { | } { | } = = = = = = + 则称 为时齐Markov链，否则称为非时齐的. 若Markov链 的状态空间是有限集，则 称 { 0} X n n， 为有限状态的Markov链（有限链）； { 0} X n n， 若Markov链 的状态空间是可列集，则 称 { 0} X n n， 为可列状态的Markov链（无限链）. { 0} X n n， 时齐Markov链 8 ( ) p n ij pij { 0,1, 2 } X n n , , = { 0,1, 2 } X n n , , =
转移概率矩阵 定义设{Xm,n=0,l,2,.}是时齐Markov链，其一步 转移概率为p(i,jS)，记 矩阵的每一行都 是一条件分布律 Pu_ 卫2“ P=(P)= 则称矩阵P为时齐Markov链的一步转移概率矩阵
定义 设 是时齐Markov链，其一步 转移概率为 ，记 矩阵的每一行都 是一条件分布律 则称矩阵 P 为时齐Markov链的一步转移概率矩阵. ( , ) p i j S ij 00 0 01 02 10 11 12 1 20 21 22 2 0 2 1 ( ) j j j i i ij ij i p p p p p p p p p p p p P p p p p p = = 转移概率矩阵 { 0,1, 2 } X n n , , =
时齐Mar kov链的有限维分布族 PiXo io X1=in Xn-1=in-1 Xn =in =PXo=io P(X1=iXo=ioPXn=inXn-1=in-1 时齐Markov链的有限维分布族完全由其一步转移概率 矩阵P和初始分布确定. 10
时齐Markov链的有限维分布族完全由其一步转移概率 矩阵 P 和初始分布确定. 时齐Markov链的有限维分布族 10 P X i X i X i X i 0 0 1 1 1 1 = = = = ， ， ， n n n n − −， = = = = = = P X i P X i X i P X i X i 0 0 1 1 0 0 1 1 | | n n n n − −