马尔可夫链模型
马尔可夫链模型
马氏链模型 1健康与疾病 2钢琴销售的存贮策略 3基因遗传 4等级结构
马氏链模型 1 健康与疾病 2 钢琴销售的存贮策略 3 基因遗传 4 等级结构
马氏链模型 描述一类重要的随机动态系统(过程)的模型 系统在每个时期所处的状态是随机的 从一时期到下时期的状态按一定概率转移 下时期状态只取决于本时期状态和转移概率 已知现在,将来与过去无关(无后效性) 马氏链( Markov chain) 时间、状态均为离散的随机转移过程
马氏链模型 描述一类重要的随机动态系统（过程）的模型 • 系统在每个时期所处的状态是随机的 • 从一时期到下时期的状态按一定概率转移 • 下时期状态只取决于本时期状态和转移概率 已知现在，将来与过去无关（无后效性） 马氏链 (Markov Chain) ——时间、状态均为离散的随机转移过程
1健康与疾病 通过有实际背景的例子介绍马氏链的基本概念和性质 人的健康状态随着时间的推移会随机地发生转变 保险公司要对投保人未来的健康状态作出估计,以制 订保险金和理赔金的数额 例1.人的健康状况分为健康和疾病两种状态,设对特 定年龄段的人,今年健康、明年保持健康状态的概率 为0.8,而今年患病、明年转为健康状态的概率为0.7, 若某人投保时健康,问10年后他仍处于健康状态的概率
1 健康与疾病 通过有实际背景的例子介绍马氏链的基本概念和性质 人的健康状态随着时间的推移会随机地发生转变 保险公司要对投保人未来的健康状态作出估计, 以制 订保险金和理赔金的数额 例1. 人的健康状况分为健康和疾病两种状态，设对特 定年龄段的人，今年健康、明年保持健康状态的概率 为0.8, 而今年患病、明年转为健康状态的概率为0.7， 若某人投保时健康, 问10年后他仍处于健康状态的概率
状态与状态转移 状态X=1,第n年健康状态概率a(n)=P(Xn=1) 2,第n年疾病 i=1,2,n=0,1, 转移概率Pn=P(Xn=Xn=1),i,j=1,2,n=01, D1=0.8n2=1-1=0.2 08 0.2 0.3 21=0.7n2=1-n21=03 0.7 Xn只取决于X,和pi与Xn13…无关 状态转移具a1(n+1)=a1(n)p1+a2(n)P2 有无后效性 a2(n+1)=a1(n)p12+a2(m)p2
状态与状态转移 ⎩⎨⎧ = 第 年疾病 第 年健康 状态 nn Xn 2, 1, 1,2, 0,1," ( ) ( ), = = = = i n a n P X i 状态概率 i n 转移概率pij = P(Xn+1 = j Xn = i), i, j = 1,2, n = 0,1," Xn+1只取决于Xn和pij, 与Xn-1, …无关 p11 = 0.8 1 0.2 p12 = − p11 = p21 =0.7 1 0.3 p22 = − p21 = 1 2 0.8 0.2 0.3 0.7 1 1 11 2 21 状态转移具 a (n +1) = a (n) p + a (n) p 有无后效性 2 1 12 2 22 a (n +1) = a (n) p + a (n) p
状态与状态转移 08 0.2 0.3 a1(n+1)=a(m)pn+a(n)P2给定n(0,预测 a,(n+ =a1(n)p12+a2(mP2四1, 2 3 设投保 a1(n)10.80.780.78….79 时健康 a2(n)0 0.2 0.22 0.222 2/9 设投保a1(n)00.70.770.77 79 时疾病 0.3 0.330.333 2/9 n->∞o时状态概率趋于稳定值,稳定值与初始状态无关
⎩⎨⎧ + = + + = + 2 1 12 2 22 1 1 11 2 21 ( 1) ( ) ( ) ( 1) ( ) ( ) a n a n p a n p a n a n p a n p 给定a(0), 预测 a(n), n=1,2… 状态与状态转移 1 2 0.8 0.2 0.3 0.7 n 0 a2(n) 0 a1(n) 1 1 0.8 0.2 2 0.78 0.22 3 … 0.778 … 0.222 … ∞ 7/9 2/9 设投保 时健康 设投保 时疾病 a2(n) 1 a1(n) 0 0.7 0.77 0.777 … 0.3 0.33 0.333 … 7/9 2/9 n→∞时状态概率趋于稳定值，稳定值与初始状态无关
健康与疾病 例2.健康和疾病状态同上,X=1~健康,X=2~疾病 死亡为第3种状态,记X=308 0.18 0.25 P1=0.8,P12=0.18,D13=0.02 0.65 2 P21=0.65,P2=0.25,P23=0.1 02 3 0.1 P31=0,p32=0,P (n+1)=a1(m)p1+a2(n)P21+a3(n)PD3 a2(n+1)=a1(n)p2+a2(m)p22+a3(m)pD32 a3(n+1)=a1(n)P13+a2(n)P23+a3(n)P3
健康与疾病 例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病 死亡为第3种状态，记Xn=3 1 2 3 0.02 0.1 1 0.8 0.18 0.25 0.65 p11=0.8, p12=0.18, p13=0.02 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1 3 1 13 2 23 3 33 2 1 12 2 22 3 32 1 1 11 2 21 3 31 ( 1) ( ) ( ) ( ) ( 1) ( ) ( ) ( ) ( 1) ( ) ( ) ( ) a n a n p a n p a n p a n a n p a n p a n p a n a n p a n p a n p + = + + + = + + + = + +
状态与状态转移 设投保时处于健康状态,预测a(m,n=1,2 n 3 50 a(n)10.80.7570.7285 0.1293 0 a2(m)00.80.890.1835 0.0326 a3(m)00.020.0540.0880….0.8381 不论初始状态如何,最终都要转到状态3; 一且a1(k)=a2(k)=0,a3k)=1,则对于m>k,a1(n)=0, a2(n)=0,a3(n)=1,即从状态3不会转移到其它状态
状态与状态转移 设投保时处于健康状态，预测 a ( n), n=1,2… n 0 1 2 3 … a 2 ( n) 0 0.18 0.189 0.1835 … a 3 ( n) 0 0.02 0.054 0.0880 … a 1 ( n) 1 0.8 0.757 0.7285 … 0 0 1 50 … ∞ 0.1293 … 0.0326 … 0.8381 … • 不论初始状态如何，最终都要转到状态3 ； • 一旦 a 1 ( k)= a 2 ( k)=0, a 3 ( k)=1, 则对于n>k, a 1 ( n)=0 ， a 2 ( n)=0, a 3 ( n)=1, 即从状态 3不会转移到其它状态
马氏链的基本方程状态Xn=12,…k(n=0,1,…) 状态概率a(m)=P(Xn=D)∑a(m)=1 2.….k 0 转移概率Pn=P(Xm=1Xn=1)p20.∑P=1=12…,k 基本方程a(m+1)=∑a,(n)Pn,i=1,2,…,k a(mn)=(a1(m)2a2(m)…,a1(n) a(n+1=a(n)p ~状态概率向量 P={pn}~转移概率矩阵a(m)=a(0)P (非负,行和为1)
马氏链的基本方程 X = 1,2," k ( n = 0,1," ) 状态 n ( ) 1 1 ∑ = = a n k i i 1,2,", , 0,1," ( ) ( ), = = = = i k n a n P X i 状态概率 i n p p i k k j ij ij 0, 1, 1,2, , 1 ≥ ∑ = = " = ( ) 1 p P X j X i 转移概率 ij = n + = n = （非负，行和为 ） 转移概率矩阵 1 P = { pij } k × k ~ a ( n + 1 ) = a ( n ) P a n a n p i k k j i j ji ( 1 ) ( ) , 1,2, , 1 + = ∑ = " = 基本方程 ~ 状态概率向量 ( ) ( ( ), ( ), , ( )) 1 2 a n a n a n a n = " k n a ( n ) = a ( 0 ) P
马氏链的两个重要类型a(n+1)=a(m)P 1.正则链~从任一状态出发经有限次转移 能以正概率到达另外任一状态(如例1)。 正则链分丑N,PN>0 正则链→彐w,a(n)→>1(n→>∞)w~稳态概率 v满足wP= 0.80.2 0.8101+0.712=W1 例1.P 0.211=0.712 0.70.3 102+032=12 y满足∑m=11w1+n12=1w=(7/92/9)
马氏链的两个重要类型 1. 正则链 ~ 从任一状态出发经有限次转移 能以正概率到达另外任一状态（如例 1）。 a ( n + 1 ) = a ( n ) P ⇔ ∃ , > 0 N 正则链 N P 正则链 ⇒ ∃ w, a ( n ) → w ( n → ∞ ) w ~ 稳态概率 w满足 wP = w w = ( 7 / 9,2 / 9 ) 1 2 2 1 2 1 0.2 0.3 0.8 0.7 w w w w w w + = + = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = 0.7 0.3 0.8 0.2 例 1. P 1 w1 + w2 = 1 2 0.2 w = 0.7 w 1 1 ∑ = = k i w满足 wi