《物流系统工程》课程教学资源（讲义）马尔科夫预测讲义.doc_大学文库

马尔柯夫分析预测法在预测分析中，常常需要根据当前的状态和发展趋向预测未来的状态发生的可能性，也就是状态实现的概率，马尔柯夫分析法就是这样一种预测方法。它是以俄国数学家A.A Markov命名的一种方法。马尔柯夫分析预测法是利用概率中马尔柯夫链的基本原理和方法来研究分析经济现象的现状和变化规律，并藉此预测未来现状的预测方法。在生产实践中，应用马尔柯夫分析法可以对企业的规模、市场占有率、服务网点的选择、设备更新等问题进行预测。马尔柯夫将时间序列看作一个随机过程，通过对事物不同状态的初始状态和状态之间转移概率的研究，确定状态变化趋势，以预测事物的未来。一、基本摄念： 1.马尔柯夫过程与马尔科夫链马尔柯夫过程是一类重要的随机过程。它的特点是，当过程在时刻所处的状态为已知时，过程在时刻t(Po)所处的状态与过程在。时刻之前的状态无关。马尔柯夫过程的这个特性称为无后效性，又称马尔柯夫性。无后效性举例：假设一部电梯是由进入电梯内的人自行操纵的那么电梯下一步会运行到何处只依糗于当前在电梯内的人的意图而与过去电梯从何而来是无关的：荷花池中一只青蛙：研究一个商店的累计销售额，如果现在时刻的累计销售额己知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻的累计销售额都无关。如果马尔柯夫过程的状态和时间参数都是离散的，则这样的过程称为马尔柯夫链，这里 “链”的含义是指，只有在顺序相邻的两个随机变量之间具有相关关系。若随机变量序列红，=，2，m的参数为非负整数，且具有马尔柯夫性，则称这一随机过程为马尔柯夫链。 2.状态与状态转移所谓状态是指客观事物可能出现或存在的状况。如产品在市场上可能是畅销，也可能是沛销：机器运行可能正常或有故障：对于某地区每年的气候按一定的指标可分为早、涝两种状态等等。不同的事物，不同的预测目的，由不同的状态划分。在预测中，对预测对象状态的划分通常有两大类。一类是预测对象本身有明显的状态界限，则以其界限划分。如：机器有事故状态和正常运行状态：天气有晴、阴、雨状态等等。另一类是根据实际情况人为划分如产品在市场上畅销或滞销的状态可以其市场获利大小划分，获利2000元以下为滞销

马尔柯夫分析预测法在预测分析中，常常需要根据当前的状态和发展趋向预测未来的状态发生的可能性，也就是状态实现的概率，马尔柯夫分析法就是这样一种预测方法。它是以俄国数学家 A. A. Markov 命名的一种方法。马尔柯夫分析预测法是利用概率中马尔柯夫链的基本原理和方法来研究分析经济现象的现状和变化规律，并藉此预测未来现状的预测方法。在生产实践中，应用马尔柯夫分析法可以对企业的规模、市场占有率、服务网点的选择、设备更新等问题进行预测。马尔柯夫将时间序列看作一个随机过程，通过对事物不同状态的初始状态和状态之间转移概率的研究，确定状态变化趋势，以预测事物的未来。一、基本概念： 1．马尔柯夫过程与马尔科夫链马尔柯夫过程是一类重要的随机过程。它的特点是，当过程在时刻 t0 所处的状态为已知时，过程在时刻 t（t>t0）所处的状态与过程在 t0 时刻之前的状态无关。马尔柯夫过程的这个特性称为无后效性，又称马尔柯夫性。无后效性举例：假设一部电梯是由进入电梯内的人自行操纵的那么电梯下一步会运行到何处只依赖于当前在电梯内的人的意图而与过去电梯从何而来是无关的；荷花池中一只青蛙.；研究一个商店的累计销售额，如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻的累计销售额都无关。如果马尔柯夫过程的状态和时间参数都是离散的，则这样的过程称为马尔柯夫链，这里 “链”的含义是指，只有在顺序相邻的两个随机变量之间具有相关关系。若随机变量序列{xn，n=1,2,.,n}的参数为非负整数，且具有马尔柯夫性，则称这一随机过程为马尔柯夫链。 2．状态与状态转移所谓状态是指客观事物可能出现或存在的状况。如产品在市场上可能是畅销，也可能是滞销；机器运行可能正常或有故障；对于某地区每年的气候按一定的指标可分为旱、涝两种状态等等。不同的事物，不同的预测目的，由不同的状态划分。在预测中，对预测对象状态的划分通常有两大类。一类是预测对象本身有明显的状态界限，则以其界限划分。如：机器有事故状态和正常运行状态；天气有晴、阴、雨状态等等。另一类是根据实际情况人为划分。如产品在市场上畅销或滞销的状态可以其市场获利大小划分，获利 2000 元以下为滞销

2000-5000元为中等，获利5000元以上为畅销。这种划分的数量界限依产品不同而不同也与决策者的决策素质（保守或乐观）有关。状态转移是指客观事物由一种状态到另一种状态的变化。客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生改变。如某种产品在市场上本来滞销，但由于销售渠道的畅通或消费者心理的变化，可能使其变为畅销。某产品的销售情况有畅销、滞销两种状态，则状态转移就有4种情形：即由畅销到畅销、由畅销到滞销、由滞销到畅销以及由滞销到滞销。究竞在某时刻发生哪一种状态转移，这完全是随机的。这种过程可用下图所示的状态转移图来表示。 (畅销既然状态的转移是一种随机现象，那么为了对状态转移过程进行定量描述，必须引入状态转移概率的概念。 3.状态转移概率与转移概率矩阵 (回顾：概率论中的条件概率P(B/A),当A、B为两个事件时，它表示事件A出现的情况下，事件B出现的条件概率。当B为事件，A为某种状态时，它反映A状态下事件B 出现的概率。当A、B为两种不同状态，且AB=中，它反映事物有状态A转向状态B的概率) 客观事物可能有1,2，.，n共n种状态，其每次只能处于一种状态，则每一状态都具有个转向（包括转向自身），将这种转移的可能性用概率描述，就是状态转移概率。状态转移概率中最基本的是一步转移概率P(1),它表示由状态1经过一步转移到状态j的概率，也记作P,所以有P(1一)=P1i)=P 所谓状态转移概率，是指从一种状态1转移到另一种状态j的概率，记为P 将事物n个状态的转移概率依次排列，可得一个n×n阶的方阵，称为转移概率矩阵，简称为概率矩阵。 PiP12.P1n 0sm,s1吃n, 概率矩阵的每一行都是概率向量

2000-5000 元为中等，获利 5000 元以上为畅销。这种划分的数量界限依产品不同而不同，也与决策者的决策素质（保守或乐观）有关。状态转移是指客观事物由一种状态到另一种状态的变化。客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生改变。如某种产品在市场上本来滞销，但由于销售渠道的畅通或消费者心理的变化，可能使其变为畅销。某产品的销售情况有畅销、滞销两种状态，则状态转移就有 4 种情形：即由畅销到畅销、由畅销到滞销、由滞销到畅销以及由滞销到滞销。究竟在某时刻发生哪一种状态转移，这完全是随机的。这种过程可用下图所示的状态转移图来表示。畅销滞销既然状态的转移是一种随机现象，那么为了对状态转移过程进行定量描述，必须引入状态转移概率的概念。 3．状态转移概率与转移概率矩阵（回顾：概率论中的条件概率 P(B/A)，当 A、B 为两个事件时，它表示事件 A 出现的情况下，事件 B 出现的条件概率。当 B 为事件，A 为某种状态时，它反映 A 状态下事件 B 出现的概率。当 A、B 为两种不同状态，且 AB=Φ，它反映事物有状态 A 转向状态 B 的概率）客观事物可能有 1，2，.，n 共 n 种状态，其每次只能处于一种状态，则每一状态都具有 n 个转向（包括转向自身），将这种转移的可能性用概率描述，就是状态转移概率。状态转移概率中最基本的是一步转移概率 P（j | i），它表示由状态 i 经过一步转移到状态 j 的概率，也记作 Pij，所以有 P（i→j）= P（j | i）= Pij 所谓状态转移概率，是指从一种状态 i 转移到另一种状态 j 的概率，记为 Pij。将事物 n 个状态的转移概率依次排列，可得一个 n×n 阶的方阵，称为转移概率矩阵，简称为概率矩阵。             = n n nn n n p p p p p p p p p P . . . . . . . 1 2 21 22 2 11 12 1 =   = n j pij pij 1 0 1 且 1 概率矩阵的每一行都是概率向量

概率矩阵的两个基本性质：性质 1 则也是一个维概率向量。若是一个维概率向量，为一个阶概率在矩阵， uP n u = (u1 ,u2 ,.,un ) n P = [pi j] n 如：设 u =（0.4，0.6），       = 0.3 0.7 0 1 P 则有 ( ) (0.18 0.82) 0.3 0.7 0 1 0.4 0.6 =      uP = 显然，uP 为一概率向量。性质 2 若 A = aij nn B = bij nn [ ] ， [ ] 都是 n 阶概率矩阵，则 AB 也是一个 n 阶的概率矩阵。如：设       =       = 0.4 0.6 1 0 0.5 0.5 0.2 0.8 A ，B ，则有       = 0.70 0.30 0.52 0.48 AB 显然，AB 为一概率矩阵。 4．k 步状态转移概率矩阵马尔柯夫链是一个离散的随机状态时间序列，序列中的每个状态可以认为是过程的一个阶段，第 k 个阶段发生的概率可以根据第 k-1 个阶段状态发生的概率来确定。因此，可以根据概率论中条件概率的运算法则，由第 k-1 阶段的状态概率去推算第 k 阶段的状态概率，然后可由第 k 阶段的状态概率推算第 k+1 阶段的状态概率，依次类推。这样的过程称为马尔柯夫链分析。因此，马尔柯夫链分析的关键在于确定从第 i 个状态，中间经过 k 个阶段（即 k 步转移）后，到达第 j 个状态的概率 (k ) pij 。于是马尔柯夫链的第 k 步状态转移概率矩阵可表示为               = ( ) ( ) 2 ( ) 1 ( ) 2 ( ) 2 2 ( ) 2 1 ( ) 1 ( ) 1 2 ( ) 1 1 ( ) k n n k n k n k n k k k n k k k p p p p p p p p p P       下面通过一个具体的实例说明 k 步状态转移概率矩阵的具体求法。例如某机床的使用情况有正常和不正常两种状态。根据以往资料，若该机床当天运转正常，则下一天运转正常的概率为 0.8，变为不正常的概率为 0.2；若该机床当天运转不正常，则下一天转为正常的概率为 0.6，仍为不正常的概率为 0.4

(2) (2) 2 2 (2) 2 1 (2) 1 2 (2) 1 1 2 0.72 0.28 0.76 0.24 0.6 0.4 0.8 0.2 0.6 0.4 0.8 0.2 P p p p p P =         =         =                = 一般地，有     = = = ( ) ( −1) , 1,2, ( ) P P P k P P k k k k 例如，上面的问题中由第一天到第四天的 3 步状态转移概率矩阵为         =                = = = 0.744 0.256 0.752 0.248 0.6 0.4 0.8 0.2 0.72 0.28 0.76 0.24 (3) 3 (2) P P P P 由此可见，只要已知系统的概率矩阵 P，则从某一状态经 k 步后的状态转移概率矩阵 (k ) P 即可求得，由此便可对系统状态的发展趋势作出预测。 5.稳定状态概率向量马尔柯夫 k 步状态转移概率矩阵有一个重要的特征，即就是当转移步数 k 逐步增高时，状态转移概率矩阵逐步趋于稳定。例如上面的问题中         = 0.6 0.4 0.8 0.2 (1) P ，         = 0.72 0.28 0.76 0.24 (2) P ，         = 0.744 0.256 0.752 0.248 (3) P         =                =         =                = 0.74976 0.25024 0.75008 0.24992 0.6 0.4 0.8 0.2 0.7488 0.2512 0.7504 0.2496 0.7488 0.2512 0.7504 0.2496 0.6 0.4 0.8 0.2 0.744 0.256 0.752 0.248 (5) (4) P P 显然，经过四步转移之后已大致趋于稳定，也就是说，状态转移次数再增大，状态转移概率矩阵的变化很小，并逐渐趋于稳定状态转移概率矩阵。         = = →+ 0.75 0.25 0.75 0.25 lim (k ) k S P 且为整数由此可见，稳定状态转移矩阵的概率向量相同。我们把这样的概率向量称为稳定状态概率向量。上面的结果表明，不管初始状态如何，经过若干阶段以后，各状态发生的概率趋于稳定，即机床正常运转的概率为 0.75，不正常的概率为 0.25。为了确定状态概率向量，现引入正规概率矩阵的概念。设 P = pij nn ( ) 是一个概率矩阵，且存在一个正数 k 使矩阵 k P 中的每个元素均是正数，则称 P 为一个正规概率矩阵。例如设有概率矩阵

        = 1 2 1 2 0 1 A ，         = 1 2 1 2 1 0 B 则有         = −       =       =       = k k k k A B B B 2 1 2 2 1 1 0 , , 15/16 1/16 1 0 , 3/ 4 1/ 4 1 0 , 1/ 4 3/ 4 1/ 2 1/ 2 2 2 3  根据上述定义，矩阵 A 是正规概率矩阵，而矩阵 B 不是正规概率矩阵。在马尔柯夫链分析中，要用到下列重要结论。设 P 为一正规概率矩阵，则 1）一定存在一个概率向量 ( , , , ) 1 2 n X = x x  x 使得 XP = X ，且有 j x >0，j=1, 2, ., n。 2）当 k →+ ，且为整数时， P S k → ，且 S 的每一行向量相同，均等于向量 X。 3）对于任一 n 维向量 ( , , , ) U = u1 u2  un ，当 n→∞，且为整数时，总有 UP X k → 。上述结论可以用上面的机床运转正常与不正常这个例子加以验证。设概率向量 ( , ) 1 2 X = x x 满足 XP=X，则有 ( , ) 0.6 0.4 0.8 0.2 ( , ) 1 2 1 2 x x = x x         即    + = + = 1 2 2 1 2 1 0.2 0.4 0.8 0.6 x x x x x x 可以看出，这两个方程不是相互独立的。事实上，两方程相加可得到如下恒等式 1 2 1 2 x + x = x + x 同样地，对于一般的 n 阶概率矩阵 P，方程 XP=X 中的 n 个方程也不是相互独立的。然而我们可以用概率向量 X 应满足的条件 x1 + x2 ++ xn =1 来取代方程组 XP=X 中的任一个方程，组成另一个方程组，即可从中解出 n x , x , , x 1 2  。于是，用 x1 + x2 =1,取代上面方程组中的第二个方程，有    + = + = 1 0.8 0.6 1 2 1 2 1 x x x x x 解之得 x1 = 0.75, x2 = 0.25 ，故 X = (0.75,0.25) 。显然 X=（0.75, 0.25）与 P 的稳定状态概率矩阵的每一行向量相同。另一方面，设 ( , ) U = u1 u2 为任一概率向量，由 P S k → （ k → ，且为整数）可得 UP US k → 即 0.75( ),0.25( ) (0.75,0.25) 0.75 0.25 0.75 0.25 ( , ) 1 2 = 1 + 2 1 + 2 =         US = u u u u u u 二、马尔柯夫链分析的预测下面结合几个具体实例说明马尔柯夫链分析在预测中的应用。例 1 设某商品的月销售情况按一定的指数可分为畅销和滞销两种状态，且知过去 20 个月份的销售状况如下月份： 1 2 3 4 5 6 7 8 9 10 状态：畅畅滞畅滞滞畅畅畅滞

月份： 11 12 13 14 15 16 17 18 19 20 状态：畅滞畅畅滞滞畅畅滞畅解：从每月统计结果知道，畅销状态共出现了 11 次（除去第 20 月份的状态），其中由畅销到畅销出现了 5 次，由畅销到滞销出现了 6 次。设畅销为状态 1，滞销为状态 2，于是可求得由畅销到畅销和由畅销到滞销的状态转移概率分别为 6 /11 0.5455 5/11 0.4545 12 11 = = = = p p 同理可求得由滞销到畅销和由滞销到滞销的状态转移概率分别为 2 / 8 0.25 6 / 8 0.75 22 21 = = = = p p 于是得到该问题的状态转移概率矩阵为         =        = 0.75 0.25 0.4545 0.5455 21 22 11 12 p p p p P 根据 P 即可对系统状态发展的趋势进行预测。第 20 月份商品正处于畅销状态，无滞销可言，于是第 20 月份的状态概率向量为 P(20) = (1,0) 则第 21 月份的状态概率向量为 (0.4545,0.5455) 0.75 0.25 0.4545 0.5455 (21) (20) (1,0) =        P = P P = 由此可见，经过一步转移后，商品继续保持畅销的概率为 0.4545，而转入滞销的概率为 0.5455。同样还可对第 21 月份后各个月份的状态概率向量进行预测。下面计算稳定状态概率向量 X。设 ( , ) 1 2 X = x x ，则有 XP=X ( , ) 6 8 2 8 5 11 6 11 ( , ) 1 2 1 2 x x = x x         即        + = + = 1 2 2 1 2 1 8 2 11 6 8 6 11 5 x x x x x x 考虑到 x1 + x2 =1 ，得 x1 =11/19 = 0.5790，x2 = 8/19 = 0.4210 。就是说，该商品将来畅销的概率为 0.5790，滞销的概率为 0.4210。例 2 颐和园游船出租部门决定设立三个租船点，即知春亭、石舫、龙王庙。游人可在任意租船点上租船和还船。根据统计资料，游人在各点上租船后，在不同点上还船的概率如表 1 所示。租船部门想了解经过长期租船活动以后，船只在各点上的分布情况。表 1 还船概率统计表还租知春亭（1）石舫（2）龙王庙（3）知春亭（1） 0.80 0.10 0.10 石舫（2） 0.20 0.70 0.10 龙王庙（3） 0.30 0.05 0.65

解：根据题意，可得到该问题的状态转移概率矩阵为 P11 P12 P13 0.800.100.10 =0.200.700.10 (P31P32P330.300.050.65 根据P即可对系统状态也就是船只在各点上的分布情况进行预测。下面计算船只的分布情况即稳定状态概率向量设稳定状态概率向量为,X=(x,2,x3),则有 0.800.100.10 (31,x2,x30.200.700.10=(x1,x2,3) (0.300.050.65 考虑到x1+x2+x3=1,得x1=0.556,x2=0.222,x3=0.222,即经过长年租还活动以后，将有55.6%的船在知春亭，而在石舫和龙王庙各有222%的游船。三、总结 1.马尔科夫过程是一类重要的随机过程，它的原始模型是马尔可夫链。由俄国数学家AA马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 (过去)。这种已知“现在"的条件下，“将来"与“过去"独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置己知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用XX1X2,分别表示青蛙最初处的荷叶号码及第一次、第二次、.跳跃后所处的荷叶号码，那么化，心0}就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。 2.马尔科夫分析模型实际分析中，往往需要知道经过一段时间后，市场趋势分析对象可能处于的状态，这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型，并用于进行市场趋势分析的方法。马尔科夫分析法的基本模型为：1=*×P式中：*表示趋势分析与预测对象在k时刻的状态向量 P表示一步转移概率矩阵，1表示趋势分析与预测对象在k+1时刻的状态向量。必须指出的是，上述模型只适用于具有马尔科夫性的时间序列，并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化，不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率，故此法一般适用于短期的趋势分析与预测

解：根据题意，可得到该问题的状态转移概率矩阵为           =           = 0.30 0.05 0.65 0.20 0.70 0.10 0.80 0.10 0.10 3 1 3 2 3 3 2 1 2 2 2 3 1 1 1 2 1 3 p p p p p p p p p P 根据 P 即可对系统状态也就是船只在各点上的分布情况进行预测。下面计算船只的分布情况即稳定状态概率向量。设稳定状态概率向量为 X， ( , , ) 1 2 3 X = x x x ，则有 ( , , ) 0.30 0.05 0.65 0.20 0.70 0.10 0.80 0.10 0.10 ( , , ) 1 2 3 1 2 3 x x x = x x x           考虑到 x1 + x2 + x3 =1 ，得 x1 = 0.556，x2 = 0.222，x3 = 0.222 ,即经过长年租还活动以后，将有 55.6%的船在知春亭，而在石舫和龙王庙各有 22.2%的游船。三、总结 1. 马尔科夫过程是一类重要的随机过程，它的原始模型是马尔可夫链。由俄国数学家 Α.Α.马尔可夫于 1907 年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用 X0,X1,X2,.分别表示青蛙最初处的荷叶号码及第一次、第二次、.跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。 2. 马尔科夫分析模型实际分析中，往往需要知道经过一段时间后，市场趋势分析对象可能处于的状态，这就要求建立一个能反映变化规律的数学模型。马尔科夫市场趋势分析模型是利用概率建立一种随机型的时序模型，并用于进行市场趋势分析的方法。马尔科夫分析法的基本模型为：X k+1 = X k×P 式中：X k表示趋势分析与预测对象在 t=k 时刻的状态向量， P 表示一步转移概率矩阵，X k+1 表示趋势分析与预测对象在 t=k+1 时刻的状态向量。必须指出的是，上述模型只适用于具有马尔科夫性的时间序列，并且各时刻的状态转移概率保持稳定。若时间序列的状态转移概率随不同的时刻在变化，不宜用此方法。由于实际的客观事物很难长期保持同一状态的转移概率，故此法一般适用于短期的趋势分析与预测