马尔可夫过程散 马尔可夫链 现在将来 就, ()=X(4)=1,X(2)=b2,X()=i =P(X()=X()=} X(n) X(将来”的情况与“过去”无关 只是通过“现在”与“过去”发生联系,若 “现在”已知,“将来”与“过去”无关。◼ 定义： 若满足如下性质： 对任意非负整数 ，只 要 就有 则称 具有马尔可夫性，或无后效性。 马尔可夫过程 马尔可夫链 离散 {X (n), n = 0,1,2,...} t t t t 1  2 ... r  { ( ) ( ) } { ( ) ( ) , ( ) ,..., ( ) } 1 1 2 2 r r r r P X t j X t i P X t j X t i X t i X t i = = = = = = = { ( ) , ( ) ,..., ( ) } 0 P X t 1 = i 1 X t 2 = i 2 X t r = i r  {X (n)} 1 t 2 t r t r−1 t t 过去 现在 将来 “将来”的情况与“过去”无关， 只是通过“现在”与“过去”发生联系，若 “现在”已知，“将来”与“过去”无关。 {X (n)}