马氏链模型 描述一类重要的随机动态系统(过程)的模型 系统在每个时期所处的状态是随机的 从一时期到下时期的状态按一定概率转移 下时期状态只取决于本时期状态和转移概率 已知现在,将来与过去无关(无后效性) 马氏链( Markov chain) 时间、状态均为离散的随机转移过程马氏链模型 描述一类重要的随机动态系统（过程）的模型 • 系统在每个时期所处的状态是随机的 • 从一时期到下时期的状态按一定概率转移 • 下时期状态只取决于本时期状态和转移概率 已知现在，将来与过去无关（无后效性） 马氏链 (Markov Chain) ——时间、状态均为离散的随机转移过程