马氏决策规划简介
马氏决策规划简介
平 ★★ 马尔可夫过程 马尔可夫过程是一类特殊的随机过程 它因伟大的俄国嶽学家马尔可夫而得名 这种过程的特点是存在着确定的转移欐 率,与系统先前的历史无关,有一个很 形象的比喻来形容这个过程:池塘里的 青蛙在着叶上跳来跳去,如果将它在某 一时刻所在的荷叶称为状态,则青蛙 来处于什么状态只有它现在所在的状态 有关,与它以前所处的状态无关。这种 性质就是所谓的“一阶 Markov性”或」 “无后效性
马尔可夫过程 马尔可夫过程是一类特殊的随机过程， 它因伟大的俄国数学家马尔可夫而得名。 这种过程的特点是存在着确定的转移概 率，与系统先前的历史无关，有一个很 形象的比喻来形容这个过程：池塘里的 青蛙在荷叶上跳来跳去，如果将它在某 一时刻所在的荷叶称为状态，则青蛙未 来处于什么状态只有它现在所在的状态 有关，与它以前所处的状态无关。这种 性质就是所谓的“一阶Markov性”或 “无后效性” ★ ★ ★ ★ ★
:基本概念 1状态转移概率 畏定系统有n个可能的状态,处于这些 状态的概率分别为p1,p2.pi,pn, 例如,有1000名顾客在每周只到A和B 购物,设定时间阶段为一周,在某 周,有900名顾客到A购物,我们称为 状态1,有100名顾客到B,成为状态2, 因此,系统的两个状态和概率分别为 状态1:顾客到A购物,0.9 状态2:顾客到B购物,0.1
一：基本概念 ❖ 1.状态转移概率 假定系统有n个可能的状态，处于这些 状态的概率分别为 p1,p2…pi ,…pn， 例如，有1000名顾客在每周只到A和B 购物，设定时间阶段为一周，在某一 周，有900名顾客到A购物，我们称为 状态1，有100名顾客到B，成为状态2， 因此，系统的两个状态和概率分别为 状态1：顾客到A购物，0.9 状态2：顾客到B购物，0.1
2状态转移概率矩阵 假定市场调查数据显示,在随后的一周 内,上周去A购物的顾客有90%仍然在A 购物,有10%的顾客则流向了B,去B购 物的顾客有80%继续在B购物,而20% 则流向了A,这些状态转移概率可用如下 矩阵表示 BLIK D END ENN
假定市场调查数据显示，在随后的一周 内，上周去A购物的顾客有90％仍然在A 购物，有10％的顾客则流向了B，去B购 物的顾客有80％继续在B购物，而20％ 则流向了A，这些状态转移概率可用如下 矩阵表示 2.状态转移概率矩阵
0.90.1 0.20.8 该矩阵成为超市的一步转移矩阵。 对于k步(周期)的,nk表示在给定 周期内处于状态i的系统在经过k步后转移到状 态j的概率,p(k)表示系统的k步转移 概率矩阵,则有 k p 1 p P(k) 3n Pn1Pn2…P 状态转移概率矩阵描述了研究对象的变化过程, 它有如万特征: 2=10≤p≤联(,j=12,m
0.9 0.1 0.2 0.8 p = k ij p 11 12 1 21 22 2 3 1 2 ..... ..... ( ) ..... ..... ..... ..... k k k n k k k n n k k k n n nn p p p p p p P k p p p p = 该矩阵成为超市的一步转移矩阵。 对于k步（周期）的， 表示在给定 周期内处于状态i 的系统在经过k步后转移到状 态j的概率，p(k) 表示系统的k步转移 概率矩阵，则有 状态转移概率矩阵描述了研究对象的变化过程， 它有如下特征： 0 1( , 1, 2,...... ) k ij = p i j n 1 1 n k ij j p = =
3.一步平稳转移概率 如果对于每个和j,P=P均成立的话 则称一步转移概率是平稳的,也就是说, 从状态转移到状态j的概率与现在的步数 无关,这说明在研究的时间范围内, 步平稳转移概率保持为常数。系统的转 移概率矩阵表示为 P1P12 P(k)= 21 22 2n p p D句2 Pnm
3.一步平稳转移概率 如果对于每个i和j， 均成立的话 则称一步转移概率是平稳的，也就是说， 从状态i转移到状态j的概率与现在的步数 无关，这说明在研究的时间范围内，一 步平稳转移概率保持为常数。系统的转 移概率矩阵表示为 11 12 1 21 22 2 3 1 2 ..... ..... ( ) ..... ..... ..... ..... n n n n n nn p p p p p p P k p p p p = 1 ij ij p p =
二马尔可夫过程的预测
二 马尔可夫过程的预测
:赋值马氏过程 有一个工厂为市场生产某种产品,每月月初对产 品产品的销售情况进行了一次检查,其结果有 :销路好(记为状态1),也可能销路差 (状态2)。若处于状态1,由于各种随机因素 的干扰,下月初仍处于销路好的概率为0.5, 转为销路差的概率也为0.5;若处于状态2,则 下月初转为销路好的概率为0.4,仍处于销路 差的概率为06。则他的状态转移过程为 P1112 0.50.5 22 0.40.6
三：赋值马氏过程 有一个工厂为市场生产某种产品，每月月初对产 品产品的销售情况进行了一次检查，其结果有 二：销路好（记为状态1），也可能销路差 （状态2）。若处于状态1，由于各种随机因素 的干扰，下月初仍处于销路好的概率为0.5， 转为销路差的概率也为0.5；若处于状态2，则 下月初转为销路好的概率为0.4，仍处于销路 差的概率为0.6。则他的状态转移过程为 11 12 21 22 0.5 0.5 0.4 0.6 p p p p p = =
若在上面所述的马氏过程中,当它在任意时刻 从状态i转移到状态j时可以获得相应的收益记 为 这种马氏过程随着状态转移可得到一系列的报 酬(效益),我们称其为赋值马氏过程,称 R= 为报酬矩阵。 NRN 上述工厂若某月初销路好,下月初仍销路好可 获利9千元,下月初转为销路差可获利3千元, 若某月初销路差,下月初转为销路好课获利3 千元,下月初仍为销路差要亏本7千元。 则报酬矩阵为 93 R
若在上面所述的马氏过程中，当它在任意时刻 从状态i 转移到状态j时可以获得相应的收益记 为 , 这种马氏过程随着状态转移可得到一系列的报 酬（效益），我们称其为赋值马氏过程，称 R= 为报酬矩阵。 上述工厂若某月初销路好，下月初仍销路好可 获利9千元，下月初转为销路差可获利3千元， 若某月初销路差，下月初转为销路好课获利3 千元，下月初仍为销路差要亏本7千元。 则报酬矩阵为 11 12 21 22 9 3 3 7 r r R r r = = − ij r * ij N N r
下面考虑系统经过一定阶段的运行后的总 期望报酬。记q()为状态做出一次转移的 期望报酬,则有 q(1)=2,Pni=1,2,… 称Q=[(),g(2)…(N) 为一次转移的期望报酬向量。 记"①为系统由状态i经过n次转移之后的 总期望报酬,则有 v,()=∑P+vn1()=9()+∑p2()
1 ( ) N ij ij j q i p r = = i N =1, 2,...... (1), (2)..... ( ) T Q q q q N = 下面考虑系统经过一定阶段的运行后的总 期望报酬。记q(i)为状态i 做出一次转移的 期望报酬，则有 称 为一次转移的期望报酬向量。 记 为系统由状态ｉ经过n次转移之后的 总期望报酬，则有 1 1 1 1 ( ) ( ) ( ) ( ) N N n ij ij n ij n j j v i p r v j q i p v j − − = = = + = + ( ) V i n i N =1, 2
