第六章马尔科夫过程 马尔科夫过程是由前苏联数学家 A.A.Markov首先提出和研究的一类随机 过程，已成为内容丰富，理论较完善，应 用十分广泛的一门数学分支，应用涉及计 算机、自动控制、通信、生物学、经济、 气象、物理、化学等等. 子科技大学
电子科技大学 第六章 马尔科夫过程 马尔科夫过程是由前苏联数学家 A.A.Markov 首先提出和研究的一类随机 过程, 已成为内容 丰富, 理论较完善, 应 用十分广泛的一门数学分 支,应用涉及计 算机、自动控制、通信、生物学、 经济、 气象、物理、化学等等
§6.1马尔科夫过程的概念 马尔科夫性及定义 在已知系统现在所处状态下，系统将来 的演变与过去无关，称为无后效性. 例如生物基因遗传从这一代到下一代 的转移仅依赖当代而与以往各代无关； 某公司的经营状况具有无后效性； 子科技大学
电子科技大学 在已知系统现在所处状态下, 系统将来 的演变与过去无关, 称为无后效性. 例如 生物基因遗传从这一代到下一代 的转移仅依赖当代而与以往各代无关； §6.1 马尔科夫过程的概念 某公司的经营状况具有无后效性； 一、马尔科夫性及定义
评估一个计算机系统的性能时，若系统将 来的状态，仅依赖于目前所处的状态，而与 过去的状态无关； 股票的交易行情也具有无后效性 与平稳过程的本质差别： 平稳过程具有平稳性：它的统计特性不 随时间的推移而改变，它的变化情况与过去 的情况有不可忽视的联系。 子科技大学
电子科技大学 评估一个计算机系统的性能时, 若系统将 来的状态, 仅依赖于目前所处的状态，而与 过去的状态无关； 股票的交易行情也具有无后效性. 平稳过程具有平稳性：它的统计特性不 随时间的推移而改变,它的变化情况与过去 的情况有不可忽视的联系. 与平稳过程的本质差别：
定义6.1.1随机过程{X(t),t∈T,如果对 于任意取定参数t1<t2<.<tn,有 P{Xt)≤xnX6)=x,X6)=5,…,X(t)=x} =P{X(t)xn X(tn1)=xn1} (1) 称{X(t),t∈T为马氏过程， 由条件分布函数定义，()式等价于 F(xntn,…,xn-I,…,tn-i)=F(xnitnXn1itn) 上子料技大学
电子科技大学 定义6.1.1 随机过程{X(t),t∈T}, 如果对 于任意取定参数t1<t2<…<tn , 有 1 1 2 2 1 1 { ( ) ( ) , ( ) , , ( ) } P X n n n n t x X t x X t x X t x 1 1 { ( ) ( ) } (1) P X n n n n t x X t x 称{X(t),t∈T}为马氏过程. 由条件分布函数定义, (1)式等价于 1 1 1 1 1 1 ( ; , , ; , , ) ( ; ; ) F n n n n n n n n x t x x t t F x t x t
()式等价于 f(xn;tn x1,,xn-1;t1,,tn-1)=f(xn;tn xn-1;tn-1) P{Xn=xn;tnlx1,…,xn-1;t1,…,tn-1 =P[Xn x;tn xn-1;tn-1} 二、 满足马氏性的过程 定理6.1.1 独立过程X(),t∈T是马氏过程； 证1)对于t1<t2<..<t,∈T,因X(t1)..X(tn) 相互独立， P(X(tn)<xn X(tx X(t2)=x2...,X(t1)x1 子料技大学
电子科技大学 (1)式等价于 二、满足马氏性的过程 定理6.1.1 独立过程{X(t),t∈T}是马氏过程； 证 1）对于t1< t2< …<tn ∈T, 因X(t1)…X(tn ) 相互独立, P{X(tn ) ≤ xn | X(t1)=x1 , X(t2)=x2 ,…, X(tn-1)=xn-1}
P{X(tn)≤xn,X(t1)=X,…,X(tn-1)=xw-1} P{X(4)=x,…,X(tn-1)=Xn-1} P{X(tn)≤xn}P{X(t)=x…P{X(tn-1)=xn-} Px()=x...Px(t1)=x =PX(tn)≤xn}=PX(tn)≤xnlX(t-)=x-i} 定理6.1.2 独立增量过程{Y(t),t∈T,T=[a, b1,a>一o∞，且初始分布P{Y()=0}=1,则 {Yt),t∈T}是马氏过程. 子科技大学
电子科技大学 1 1, 1 1 1 1, 1 1 { ( ) , ( ) , ( ) } { ( ) , ( ) } n n n n n n P X t x X t x X t x P X t x X t x 1 1 1 1 1 1 { ( ) } { ( ) } { ( ) } { ( ) } { ( ) } n n n n n n P X t x P X t x P X t x P X t x P X t x =P{X(tn ) ≤ xn}= P{X(tn ) ≤ xn | X(tn-1)= xn-1} 定理6.1.2
证对于任意的t<2<.<t,需证 PYt)≤ynY(4)=y,Y(2)=y2,…Y(tn)=yn-} =P(Y(t)s yn Y(t1)=y1} 因增量Y()-Y(tn,Y(t)-Y(@=Y(t1),Y(t2) 一Y1),Y(t)-Yn-1)相互独立， P(Y(t)sy,Y()=y,Y(t)=)2,Y() =P(Y(t)-Y(t1)sy-yY(t)-Y(a)=y1, Y(t2)-Y(4)=y2-1,…Y(tn-)-Y(tn-2)=ym-1-ym-2} 子科技大学
电子科技大学 证 对于任意的 t1< t2< …<tn , 需证 1 1 2 2 1 1 { ( ) ( ) , ( ) , ( ) } P Y n n n n t y Y t y Y t y Y t y 1 1 { ( ) ( ) } P Y n n n n t y Y t y 因增量 Y(t)－Y(tn ), Y(t1)－Y(a)=Y(t1), Y(t2) －Y(t1),…,Y(tn )－Y(tn－1) 相互独立， 1 1 2 2 1 1 { ( ) ( ) , ( ) , ( ) } P Y n n n n t y Y t y Y t y Y t y 1 1 1 1 2 1 2 1 1 2 1 2 { ( ) ( ) ( ) ( ) , ( ) ( ) , ( ) ( ) } n n n n n n n n P Y t Y t y y Y t Y a y Y t Y t y y Y t Y t y y
=P(Y(tn)-Y(t)<yn-y1 =P(Y(t)-Y(t)sy-yY(t)=y} =P{Y(t)synY(t1)=y1} 因Y(tn)-Y(tn-1) Y(t1)=Y(t)-Y(a) 相互独立， 即将来状态与过去状态无关，故独立增量 过程{Y(t),t∈T是马氏过程. EX.1因泊松过程是平稳独立增量过程， 且N(O)=0,故泊松过程是马尔科夫过程； 子科技大学
电子科技大学 1 1 { ( ) ( ) } P Y n n n n t Y t y y 1 1 1 1 { ( ) ( ) ( ) } P Y n n n n n n t Y t y y Y t y 相互独立， 与 因 ( ) ( ) ( ) ( ) ( ) 1 1 1 Y t Y t Y a Y t Y t n n n n 1 1 { ( ) ( ) } P Y n n n n t y Y t y 即将来状态与过去状态无关, 故独立增量 过程 {Y(t), t∈T}是马氏过程. EX.1 因泊松过程是平稳独立增量过程, 且N(0)=0, 故泊松过程是马尔科夫过程；
EX.2设随机过程{X(m),n2l},X(n)是第n次 投掷一颗骰子出现的，点数，则是独立过程，从 而是马氏过程 EX.3随机游动（高尔顿钉板试验） 将一个小球投入无限大高尔顿钉板内，小球 各以2的概率向左或向右移动一格
电子科技大学 EX.2 设随机过程{X(n), n≥1}, X(n)是第n次 投掷一颗骰子出现的点数, 则是独立过程, 从 而是马氏过程. EX.3 随机游动(高尔顿钉板试验)
1, 在第k层向右位移一格 在第k层向左位移一格 X(k -1 P(X(k=i) 1/2 1/2 {X(),k∈N+}是一个独立随机过程，令 Ym)=∑Xk), 随机游动n步所 k=0 处的状态 {Y(n),n∈N}是一个平稳独立增量过程. 子料技大学
电子科技大学 1 . 1, ; ( ) ， 在第 层向左位移一格 在第 层向右位移一格 k k X k P{X(k)=i } X(k) －1 1 1/ 2 1/ 2 {X(k), k∈N+} 是一个独立随机过程,令 n k Y n X k 0 ( ) ( ), {Y(n),n∈N+}是一个平稳独立增量过程. 随机游动n 步所 处的状态
