东北财经大学：《随机过程——金融资产定价之应用》第三章 马尔可夫过程

第三章马尔可夫过程 第一节马尔可夫链的定义及其性质 第二节马尔可夫链的状态分类 第三节平稳分布与遍历性 习题课 第四节时间连续的马尔可夫链

第三章 马尔可夫过程 第一节 马尔可夫链的定义及其性质 第二节 马尔可夫链的状态分类 第三节 平稳分布与遍历性 第四节 时间连续的马尔可夫链 习 题 课

第一节马尔可夫链的定义及其性质 一、马尔可夫链的定义 1.马尔可夫链设随机过程{X(t),t∈T} 其中时间7{0,12},状态空间{0,132……} 若对任一时刻n,以及任意状态i,i 13n-1l2,j,有 PX(n+1)=jX(m)=i,X(n-1)=i-,…,X(1)=,X(0)= =P{X(n+1)=jX(m)=i} 则称{X(t),t∈T}为一个马尔可夫链(或马氏链) 简记为{Xn,n≥0} 首页

第一节 马尔可夫链的定义及其性质 一、马尔可夫链的定义 1．马尔可夫链 设随机过程{X(t) ,t T }， 其中时间 T={0,1,…}，状态空间 I={0,1,2,…}， 若对任一时刻 n，以及任意状态i i i i j n , , , , , 0 1  −1 ，有 { ( 1) | ( ) , ( 1) , −1 + = = − = n P X n j X n i X n i , (1) , (0) } 1 0  X = i X = i = P{X (n +1) = j | X (n) = i} 则称{ X(t) ,t T }为一个马尔可夫链（或马氏链） 简记为{ Xn ,n  0 } 首页

注 表明X(t)在时刻n+1的状态X(n+1)=j的概率分布 只与时刻n的状态X(m)=i有关,而与以前的状态 X(n-1) ,X(0)=i0无关。 有限马氏链状态空间是有限集={0,1,2,…,k 2.一步转移概率马氏链在时刻n处于状态i的条件下, 到时刻n+1转移到状态j的条件概率 即P{Xn1=Xn= 称为在时刻m的一步转移概率,记作p)「首页

注: 而与以前的状态 表明 X(t) 在时刻 n +1 的状态 X (n +1) = j 的概率分布 只与时刻 n 的状态 X (n) = i 有关， 1 ( 1) − = n− X n i ，…， 0 X(0) = i 无关。 有限马氏链 状态空间是有限集I={0,1,2,…，k} 2．一步转移概率 马氏链在时刻n处于状态 i 的条件下， 到时刻n+1转移到状态 j 的条件概率， 即 { | } 1 P X j X i n+ = n = 称为在时刻n的一步转移概率，记作 p (n) i j 首页

注 转移后,必到达状态空间中的某个状态经过一步 由于概率是非负的,且过程从一状态出发 一步转移概率满足 (1)Pn(m)≥0,2j∈1 (2) ∑ l∈ 3.一步转移矩阵如果固定时刻n∈T 则由一步转移概率为元素构成的矩阵尸 称为在时刻n的一步转移矩阵 首页

注: 由于概率是非负的，且过程从一状态出发，经过一步 转移后，必到达状态空间中的某个状态 一步转移概率满足 3．一步转移矩阵 称为在时刻n的一步转移矩阵 （1） p (n)  0 i j , i, j  I （2） ( ) = 1  p n i j j I , i  I 如果固定时刻nT 则由一步转移概率为元素构成的矩阵P1 ： 首页

Poo(n) Por(n) 有 P10(n) no(n) Pn(n) 有限马氏链状态空间上{0,1,2,…,k} poo(n) poi(n) Ok p0(n)P1(m) Pu(n Pko(n) pk(n) Pk(n 首页

即 有 有限马氏链 状态空间I={0，1，2，…，k}                 =          ( ) ( ) ( ) ( ) ( ) ( ) 0 1 1 0 1 1 0 0 0 1 1 p n p n p n p n p n p n P n n             = ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 0 1 1 0 1 1 1 0 0 0 1 0 1 p n p n p n p n p n p n p n p n p n P k k kk k k        首页

4.齐次马氏链 如果马氏链的一步转移概率P1(n)与n无关, 即P{Xn1=Xn=l}=Pn 则称此马氏链为齐次马氏链(即关于时间为齐次) 5.初始分布设p0(1)=P(X0=},i∈1, 如果对一切i∈Ⅰ都有 pn(1)≥0∑p i∈I 称p0()为马氏链的初始分布 首页

4．齐次马氏链 即 则称此马氏链为齐次马氏链（即关于时间为齐次） 如果马氏链的一步转移概率p (n) i j 与 n 无关， n n pi j P{X +1 = j | X = i} = 5．初始分布 设 ( ) { } 0 0 p i = P X = i ，i  I ， 如果对一切iI 都有 p0 (i)  0  0 ( ) =1  p i i I 称 ( ) 0 p i 为马氏链的初始分布 首页

注 马氏链在初始时刻有可能处于I中任意状态,初始分布 就是马氏链在初始时刻的概率分布。 6.绝对分布概率分布 Pn()=P{Xn=l},t∈I,n≥0 称为马氏链的绝对分布或称绝对概率 定态分布若绝对分布p()与n无关, 即P(1)=P{Xn=},t∈1,n≥0 则称{P2(),1∈1)为马氏链(xn20)的定态分有首页

注 马氏链在初始时刻有可能处于I中任意状态，初始分布 就是马氏链在初始时刻的概率分布。 6．绝对分布 概率分布 p (i) P{X i} n = n = ，i  I ，n  0 称为马氏链的绝对分布或称绝对概率 定态分布 若绝对分布p (i) n 与 n 无关， 即 p (i) P{X i} = n = ，i  I ，n  0 则称{ p (i) n ，i  I }为马氏链{ Xn ,n  0 }的定态分布 首页

例1不可越壁的随机游动 设一质点在线段[1,5]上随机游动,状态空间I={1,2, 3,4,5},每秒钟发生一次随机游动,移动的规则是: (1)若移动前在2,3,4处,则均以概率3向左 或向右移动一单位,或停留在原处 (2)若移动前在1处,则以概率1移到2处; (3)若移动前在5处,则以概率1移到4处 用X,表示在时刻n质点的位置, 则{n,n≥0}是一个有限齐次马氏链, 试写出一步转移矩阵 首页

例1 不可越壁的随机游动 设一质点在线段[1，5 ]上随机游动，状态空间I={1，2， 3，4，5}，每秒钟发生一次随机游动，移动的规则是： （1）若移动前在2，3，4处，则均以概率 向左 或向右移动一单位，或停留在原处； （2）若移动前在1处，则以概率1移到2处； （3）若移动前在5处，则以概率1移到4处。 3 1 用 Xn 表示在时刻 n 质点的位置， 则{ Xn ，n  0 }是一个有限齐次马氏链， 试写出一步转移矩阵. 首页

分析 py py 2 p 3 4 5 p2 PPPPP 5 3 3 3 3 5 4 4 3 4 4 45 故 5 5 P 5 5 55 3 3 O1313130 0013131 0oo 首页 O O

分析   = 5 1 5 2 5 3 5 4 5 5 4 1 4 2 4 3 4 4 4 5 3 1 3 2 3 3 3 4 3 5 2 1 2 2 2 3 2 4 2 5 1 1 1 2 1 3 1 4 1 5 1 p p p p p p p p p p p p p p p p p p p p p p p p p P   = 0 0 0 1 031 31 31 0 0 0 31 31 31 0 0 0 31 31 310 1 0 0 0 P1 故 1 2 3 4 5 首页

若将移动规则改为 (1)若移动前在2,3,4处,则均以概率。向左或向右 移动一单位; (2)若移动前在1,5处,则以概率1停留在原处 因为质点在1,5两点被“吸收”, 故称有两个吸收壁的随机游动 其一步转 移矩阵为 2000 0120 200 001200 000 1首页

其一步转 移矩阵为                     = 0 0 0 0 1 2 1 0 2 1 0 0 0 2 1 0 2 1 0 0 0 2 1 0 2 1 1 0 0 0 0 P1 若将移动规则改为 （1）若移动前在2，3，4处，则均以概率 向左或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。 2 1 因为质点在1，5两点被“吸收”， 故称 有两个吸收壁的随机游动 首页