3、马尔科夫链 时间和状态都是离散的马尔科夫过程称为 马尔科夫链。例:蛙跳问题 假定池中有N张荷叶,编号为1,2, 3,N,即蛙跳可能有N个状态(状态确知 且离散)。青蛙所属荷叶,为它目前所处的状 态;因此它未来的状态,只与现在所处状态有 关,而与以前的状态无关(无后效性成立)3、马尔科夫链 时间和状态都是离散的马尔科夫过程称为 马尔科夫链。例：蛙跳问题 假 定池 中有N 张荷 叶，编 号为1 ，2 ， 3,……,N，即蛙跳可能有N个状态（状态确知 且离散）。青蛙所属荷叶，为它目前所处的状 态；因此它未来的状态，只与现在所处状态有 关，而与以前的状态无关（无后效性成立）