第六章马尔科夫过程 马尔科夫过程是由前苏联数学家 A.A.Markov首先提出和研究的一类随机 过程,已成为内容丰富,理论较完善,应 用十分广泛的一门数学分支,应用涉及计 算机、自动控制、通信、生物学、经济、 气象、物理、化学等等. 子科技大学
电子科技大学 第六章 马尔科夫过程 马尔科夫过程是由前苏联数学家 A.A.Markov 首先提出和研究的一类随机 过程, 已成为内容 丰富, 理论较完善, 应 用十分广泛的一门数学分 支,应用涉及计 算机、自动控制、通信、生物学、 经济、 气象、物理、化学等等
§6.1马尔科夫过程的概念 马尔科夫性及定义 在已知系统现在所处状态下,系统将来 的演变与过去无关,称为无后效性. 例如生物基因遗传从这一代到下一代 的转移仅依赖当代而与以往各代无关; 某公司的经营状况具有无后效性; 子科技大学
电子科技大学 在已知系统现在所处状态下, 系统将来 的演变与过去无关, 称为无后效性. 例如 生物基因遗传从这一代到下一代 的转移仅依赖当代而与以往各代无关; §6.1 马尔科夫过程的概念 某公司的经营状况具有无后效性; 一、马尔科夫性及定义
评估一个计算机系统的性能时,若系统将 来的状态,仅依赖于目前所处的状态,而与 过去的状态无关; 股票的交易行情也具有无后效性 与平稳过程的本质差别: 平稳过程具有平稳性:它的统计特性不 随时间的推移而改变,它的变化情况与过去 的情况有不可忽视的联系。 子科技大学
电子科技大学 评估一个计算机系统的性能时, 若系统将 来的状态, 仅依赖于目前所处的状态,而与 过去的状态无关; 股票的交易行情也具有无后效性. 平稳过程具有平稳性:它的统计特性不 随时间的推移而改变,它的变化情况与过去 的情况有不可忽视的联系. 与平稳过程的本质差别:
定义6.1.1随机过程{X(t),t∈T,如果对 于任意取定参数t1<t2<.<tn,有 P{Xt)≤xnX6)=x,X6)=5,…,X(t)=x} =P{X(t)xn X(tn1)=xn1} (1) 称{X(t),t∈T为马氏过程, 由条件分布函数定义,()式等价于 F(xntn,…,xn-I,…,tn-i)=F(xnitnXn1itn) 上子料技大学
电子科技大学 定义6.1.1 随机过程{X(t),t∈T}, 如果对 于任意取定参数t1<t2<…<tn , 有 1 1 2 2 1 1 { ( ) ( ) , ( ) , , ( ) } P X n n n n t x X t x X t x X t x 1 1 { ( ) ( ) } (1) P X n n n n t x X t x 称{X(t),t∈T}为马氏过程. 由条件分布函数定义, (1)式等价于 1 1 1 1 1 1 ( ; , , ; , , ) ( ; ; ) F n n n n n n n n x t x x t t F x t x t
()式等价于 f(xn;tn x1,,xn-1;t1,,tn-1)=f(xn;tn xn-1;tn-1) P{Xn=xn;tnlx1,…,xn-1;t1,…,tn-1 =P[Xn x;tn xn-1;tn-1} 二、 满足马氏性的过程 定理6.1.1 独立过程X(),t∈T是马氏过程; 证1)对于t1<t2<..<t,∈T,因X(t1)..X(tn) 相互独立, P(X(tn)<xn X(tx X(t2)=x2...,X(t1)x1 子料技大学
电子科技大学 (1)式等价于 二、满足马氏性的过程 定理6.1.1 独立过程{X(t),t∈T}是马氏过程; 证 1)对于t1< t2< …<tn ∈T, 因X(t1)…X(tn ) 相互独立, P{X(tn ) ≤ xn | X(t1)=x1 , X(t2)=x2 ,…, X(tn-1)=xn-1}
P{X(tn)≤xn,X(t1)=X,…,X(tn-1)=xw-1} P{X(4)=x,…,X(tn-1)=Xn-1} P{X(tn)≤xn}P{X(t)=x…P{X(tn-1)=xn-} Px()=x...Px(t1)=x =PX(tn)≤xn}=PX(tn)≤xnlX(t-)=x-i} 定理6.1.2 独立增量过程{Y(t),t∈T,T=[a, b1,a>一o∞,且初始分布P{Y()=0}=1,则 {Yt),t∈T}是马氏过程. 子科技大学
电子科技大学 1 1, 1 1 1 1, 1 1 { ( ) , ( ) , ( ) } { ( ) , ( ) } n n n n n n P X t x X t x X t x P X t x X t x 1 1 1 1 1 1 { ( ) } { ( ) } { ( ) } { ( ) } { ( ) } n n n n n n P X t x P X t x P X t x P X t x P X t x =P{X(tn ) ≤ xn}= P{X(tn ) ≤ xn | X(tn-1)= xn-1} 定理6.1.2
证对于任意的t<2<.<t,需证 PYt)≤ynY(4)=y,Y(2)=y2,…Y(tn)=yn-} =P(Y(t)s yn Y(t1)=y1} 因增量Y()-Y(tn,Y(t)-Y(@=Y(t1),Y(t2) 一Y1),Y(t)-Yn-1)相互独立, P(Y(t)sy,Y()=y,Y(t)=)2,Y() =P(Y(t)-Y(t1)sy-yY(t)-Y(a)=y1, Y(t2)-Y(4)=y2-1,…Y(tn-)-Y(tn-2)=ym-1-ym-2} 子科技大学
电子科技大学 证 对于任意的 t1< t2< …<tn , 需证 1 1 2 2 1 1 { ( ) ( ) , ( ) , ( ) } P Y n n n n t y Y t y Y t y Y t y 1 1 { ( ) ( ) } P Y n n n n t y Y t y 因增量 Y(t)-Y(tn ), Y(t1)-Y(a)=Y(t1), Y(t2) -Y(t1),…,Y(tn )-Y(tn-1) 相互独立, 1 1 2 2 1 1 { ( ) ( ) , ( ) , ( ) } P Y n n n n t y Y t y Y t y Y t y 1 1 1 1 2 1 2 1 1 2 1 2 { ( ) ( ) ( ) ( ) , ( ) ( ) , ( ) ( ) } n n n n n n n n P Y t Y t y y Y t Y a y Y t Y t y y Y t Y t y y
=P(Y(tn)-Y(t)<yn-y1 =P(Y(t)-Y(t)sy-yY(t)=y} =P{Y(t)synY(t1)=y1} 因Y(tn)-Y(tn-1) Y(t1)=Y(t)-Y(a) 相互独立, 即将来状态与过去状态无关,故独立增量 过程{Y(t),t∈T是马氏过程. EX.1因泊松过程是平稳独立增量过程, 且N(O)=0,故泊松过程是马尔科夫过程; 子科技大学
电子科技大学 1 1 { ( ) ( ) } P Y n n n n t Y t y y 1 1 1 1 { ( ) ( ) ( ) } P Y n n n n n n t Y t y y Y t y 相互独立, 与 因 ( ) ( ) ( ) ( ) ( ) 1 1 1 Y t Y t Y a Y t Y t n n n n 1 1 { ( ) ( ) } P Y n n n n t y Y t y 即将来状态与过去状态无关, 故独立增量 过程 {Y(t), t∈T}是马氏过程. EX.1 因泊松过程是平稳独立增量过程, 且N(0)=0, 故泊松过程是马尔科夫过程;
EX.2设随机过程{X(m),n2l},X(n)是第n次 投掷一颗骰子出现的,点数,则是独立过程,从 而是马氏过程 EX.3随机游动(高尔顿钉板试验) 将一个小球投入无限大高尔顿钉板内,小球 各以2的概率向左或向右移动一格
电子科技大学 EX.2 设随机过程{X(n), n≥1}, X(n)是第n次 投掷一颗骰子出现的点数, 则是独立过程, 从 而是马氏过程. EX.3 随机游动(高尔顿钉板试验)
1, 在第k层向右位移一格 在第k层向左位移一格 X(k -1 P(X(k=i) 1/2 1/2 {X(),k∈N+}是一个独立随机过程,令 Ym)=∑Xk), 随机游动n步所 k=0 处的状态 {Y(n),n∈N}是一个平稳独立增量过程. 子料技大学
电子科技大学 1 . 1, ; ( ) , 在第 层向左位移一格 在第 层向右位移一格 k k X k P{X(k)=i } X(k) -1 1 1/ 2 1/ 2 {X(k), k∈N+} 是一个独立随机过程,令 n k Y n X k 0 ( ) ( ), {Y(n),n∈N+}是一个平稳独立增量过程. 随机游动n 步所 处的状态