第二节齐次马尔可夫链 齐次马尔可夫链的概念 个随机过程{Ⅻn,n=0,1,2,…}就是一族随机变量,而‰n能取 的各个不同的值,则称为状态。如果一个随机过程{Xn,n=0,1,2,…}, 由一种状态转移到另一种状态的转移概率只与现在处于什么状态有关,而 与在这时刻之前所处的状态完全无关,即如果过程{Xn,n=0,1,2,…} 中,‰m+的条件概率分布只依赖于‰n的值,而与所有更前面的值相互独立, 则该过程就是所谓马尔可夫( Markov)过程. 马尔可夫链是指时间离散,状态也离散的马尔可夫过程。一个马尔可 夫链,若从u时刻处于状态i,转移到t+u时刻处于状态j的转移概率 与转移的起始时间u无关,则称之为齐次马尔可夫链,简称齐次马氏链 如果把从状态i到状态j的一步转移概率记为p,则p=P{Xn 且有转移概率矩阵P P10 pll p PaP21P2… 这样,一个齐次马氏链,可以由一个转移概率矩阵P以及在时刻零时 状态x=0,1,2,…的概率分布列向量 Q=(q(0),q(1),…) 完全确定。由齐次马氏链性质知道,第i状态的行向量A与第i+1 状态的行向量A之间存在着关系式:A+1=AP。 二、齐次马氏链在评估教学质量中的应用 教学过程是一个随机过程,也就是说,对于具有相同基础知识背景的 学生(个体),在同时接受新知识时是随机的。我们可以把一个班(群体) 的学生划分为不同的等级(譬如:优、良、中、及格、不及格五个等级), 近似地认为处于同一等级的学生具有相同的基础知识,用齐次马氏链,通 过学生学习状态的转移概率矩阵,最终可以预测一个班学生学习成绩的稳 定状态。对教师而言,也就可用来评估、预测一个班的教学质量。 在教学效果指标的量化过程中,齐次马氏链评估法是将一个群体(如 个班或一个年级)的学生在某次考试中获得优(90分以上)、良(80~89 分)、中(70~79分)、及格(60~69分)和不及格(59分以下)各等级学生 人数占总人数之比,作为状态变量,并用向量表示之。即
第二节 齐次马尔可夫链 一、齐次马尔可夫链的概念 一个随机过程｛Xn，n＝0，1，2，…｝就是一族随机变量，而 Xn能取 的各个不同的值，则称为状态。如果一个随机过程｛Xn，n＝0，1，2，…｝， 由一种状态转移到另一种状态的转移概率只与现在处于什么状态有关，而 与在这时刻之前所处的状态完全无关，即如果过程｛Xn，n＝0，1，2，…｝ 中，Xn+1的条件概率分布只依赖于 Xn的值，而与所有更前面的值相互独立， 则该过程就是所谓马尔可夫(Markov)过程． 马尔可夫链是指时间离散，状态也离散的马尔可夫过程。一个马尔可 夫链，若从 u 时刻处于状态 i，转移到 t＋u 时刻处于状态 j 的转移概率 与转移的起始时间 u 无关，则称之为齐次马尔可夫链，简称齐次马氏链。 如果把从状态 i 到状态 j 的一步转移概率记为 pij，则 pij＝P｛Xn+1＝j｜ Xn＝i｝，i，j＝0，1，2，…，且有转移概率矩阵 P， 这样，一个齐次马氏链，可以由一个转移概率矩阵 P 以及在时刻零时 状态 x＝0，1，2，…的概率分布列向量 Q＝(q(0)，q(1)，…) 完全确定。由齐次马氏链性质知道，第 i 状态的行向量 Ai与第 i＋1 状态的行向量 Ai+1之间存在着关系式：Ai+1＝AiP。 二、齐次马氏链在评估教学质量中的应用 教学过程是一个随机过程，也就是说，对于具有相同基础知识背景的 学生(个体)，在同时接受新知识时是随机的。我们可以把一个班(群体) 的学生划分为不同的等级(譬如：优、良、中、及格、不及格五个等级)， 近似地认为处于同一等级的学生具有相同的基础知识，用齐次马氏链，通 过学生学习状态的转移概率矩阵，最终可以预测一个班学生学习成绩的稳 定状态。对教师而言，也就可用来评估、预测一个班的教学质量。 在教学效果指标的量化过程中，齐次马氏链评估法是将一个群体(如 一个班或一个年级)的学生在某次考试中获得优(90 分以上)、良(80～89 分)、中(70～79 分)、及格(60～69 分)和不及格(59 分以下)各等级学生 人数占总人数之比，作为状态变量，并用向量表示之。即
R(t)=(X1(t),X2(t),X3(t),X4(t),M5(t), 这里,示时刻,“,显然有∑x(t)=1 由于齐次马氏链与t时刻前的状态无关(呈无后效性),可以研究当t 变化时,状态向量R(t)的变化规律,从而对教学效果进行评估 设经第一次考试,一个班n个学生中,优、良、中、及格、不及格的 学生数分别为n(i=1,2,3,4,5),则状态向量 R(1) n n n 称作初始向量。为考察教学效果,继续分析下一次考试时,上述学生 的等级变化。若经第二次考试后,原来获优等成绩的n名学生中,仍保 持优等的是n人,转化为“良” ”,“及格”,“不及格”的学 生分别有n12,n3,n14,n15人,于是,第一次考试成绩优等的学生考试成 绩转移情况是 路-(m 13 n 14 同样,其余各个等级的学生的考试成绩转移情况是 P P3.==n 313 n3’n3’n3 , 3 Ps n53 n54 n n 向量中m(i,j=1,2,3,4,5)表示从状态i变成状态j的人数。 这一转移情况用矩阵表示为
R(t)＝(X1(t)，X2(t)，X3(t)，X4(t)，X5(t))， 由于齐次马氏链与 t 时刻前的状态无关(呈无后效性)，可以研究当 t 变化时，状态向量 R(t)的变化规律，从而对教学效果进行评估。 设经第一次考试，一个班 n 个学生中，优、良、中、及格、不及格的 学生数分别为 ni(i＝1，2，3，4，5)，则状态向量 称作初始向量。为考察教学效果，继续分析下一次考试时，上述学生 的等级变化。若经第二次考试后，原来获优等成绩的 n1名学生中，仍保 持优等的是 n11人，转化为“良”，“中”，“及格”，“不及格”的学 生分别有 n12，n13，n14，n15人，于是，第一次考试成绩优等的学生考试成 绩转移情况是 同样，其余各个等级的学生的考试成绩转移情况是 向量中 nij(i，j＝1，2，3，4，5)表示从状态 i 变成状态 j 的人数。 这一转移情况用矩阵表示为
n12 113n14n15 n1 N21 22 n23 n24n25 n n n叫=(p) n 142 少9 n n n ns n P为转移概率矩阵,简称转概阵。 符合齐次马氏链学习状态转移概率矩阵的学生学习成绩最终必然趋 于平稳状态 X=(x1,x2,x3,x4,xs), 即X=X·P 也即XE一P) (E-P) 解此线性方程组,可得状态R(t)时学生学习成绩的平稳分布X。 下面,我们仍以第一节表5-1中的15名学生的成绩为例,分析这 群体在两次考试中学生等级的变化。按优、良、中、及格、不及格五等划 分,分别是2人、4人、4人、5人和0人,因此, 2445 R(1)= 15151515 各个等级学生转移情况分别是
P 为转移概率矩阵，简称转概阵。 符合齐次马氏链学习状态转移概率矩阵的学生学习成绩最终必然趋 于平稳状态 X＝(x1，x2，x3，x4，x5)， 即 X＝X·P， 也即 X(E－P)＝0， 解此线性方程组，可得状态 R(t)时学生学习成绩的平稳分布 X。 下面，我们仍以第一节表 5－1 中的 15 名学生的成绩为例，分析这一 群体在两次考试中学生等级的变化。按优、良、中、及格、不及格五等划 分，分别是 2 人、4 人、4 人、5 人和 0 人，因此， 各个等级学生转移情况分别是
0 0 0 4 P3 P4 0,0 (0 2 01-4 1-23 0 组成转概阵P=00 2 2-50 3 5 00 00 第二次考试成绩分布状态 R(2)=R(1)·P= (3小 按照这个变化规律,第三次考试成绩分布状态 7 R(3)=R(2)·P= 即在第三次考试后,学生中优等、良等的人数减少了,而中等的人数 和及格的人数却在增加。这样,就可以分析这组学生群体的变化状态。设 该过程的平稳状态分布列为X,由于 (E一P)X=0
第二次考试成绩分布状态 按照这个变化规律，第三次考试成绩分布状态 即在第三次考试后，学生中优等、良等的人数减少了，而中等的人数 和及格的人数却在增加。这样，就可以分析这组学生群体的变化状态。设 该过程的平稳状态分布列为 X，由于 (E－P)TX＝0
3-44-30 000x1 1-20 0 =0, 于是 7x1 342-5 0 解得 45 X=(0,0 9 从而可以断定,最终只有中等和及格两等级的学生,其人数分别占总 数的56%和44 三、齐次马氏链在评估解题状态中的应用 解决问题是数学教育的一项主要任务。如果能够把一个题目,按学生 解题的认知过程的发展,分解成几个不同层次的状态,那么就可以用齐次 马氏链去测量一个群体(如一个班或一个年级的学生)解决问题的能力与 状况。 首先,我们认为解决一个问题的过程是由分析S1、设计S2、探究S3 实施S4和验证S5这样五个状态组成的,并且这五个状态存在如图5-2的 关系。分成了上面五个状态,我们可以认为解决问题的后一状态只与它的 前一个状态有关,而与它的更前面的状态无关。这就完全符合齐次马氏链 所要求的条件
从而可以断定，最终只有中等和及格两等级的学生，其人数分别占总 数的 56％和 44％。 三、齐次马氏链在评估解题状态中的应用 解决问题是数学教育的一项主要任务。如果能够把一个题目，按学生 解题的认知过程的发展，分解成几个不同层次的状态，那么就可以用齐次 马氏链去测量一个群体(如一个班或一个年级的学生)解决问题的能力与 状况。 首先，我们认为解决一个问题的过程是由分析 S1、设计 S2、探究 S3、 实施 S4和验证 S5这样五个状态组成的，并且这五个状态存在如图 5－2 的 关系。分成了上面五个状态，我们可以认为解决问题的后一状态只与它的 前一个状态有关，而与它的更前面的状态无关。这就完全符合齐次马氏链 所要求的条件
图5-2关系流程图 图5-2的关系流程图,存在一个状态转移概率矩阵 S s2 S3 S, S1 100 0 P2x3 Px o 0p00 31P32 000 S 000 其中p23+p24=1,pa1+pa=1 如果图5-2的关系流程图第i阶段的行向量为 A=(a1,a2,as3,a4,as), 由于 从而 (0,1,0,0,0) A3=A2P=(p31p2,ppx,0,O,p2), A3P=(0,p32P2,p2P2,P23P2P24,p2x), As=A4P=(p23P32P31, p23P32, P31P 2, P31P 3P24 (P2P2+1) 应用齐次马氏链的关键在于找到一个转移概率矩阵中的p,这就要从 两个方面去控制,一是通过具体题目的解题过程划分几个不同状态(这 点相对来说是比较困难的),二是通过解题时间来控制解题过程,以分析 整个群体a的解题状态。例如,要求40名学生在10分钟内完成一个题目: 求证:P1(2,3),P2(4,6),P3(6,9)三点共线
图 5－2 的关系流程图，存在一个状态转移概率矩阵 其中 p23＋p24＝1，p31＋p32＝1。 如果图 5－2 的关系流程图第 i 阶段的行向量为 Ai＝(a1，a2，a3，a4，a5)， 由于 A0＝(1，0，0，0，0)， 从而 A1＝(0，1，0，0，0)， A2＝A1P＝(0，0，p23，p24，0)， A3＝A2P＝(p31p23，p23p32，0，0，p24)， p24(P23P32＋1)。 应用齐次马氏链的关键在于找到一个转移概率矩阵中的 pij，这就要从 两个方面去控制，一是通过具体题目的解题过程划分几个不同状态(这一 点相对来说是比较困难的)，二是通过解题时间来控制解题过程，以分析 整个群体 a 的解题状态。例如，要求 40 名学生在 10 分钟内完成一个题目： 求证：P1(2，3)，P2(4，6)，P3(6，9)三点共线
当然,对于这个题目,如何比较客观去分析解题状态,即究竟做到哪 步才是从分析S1到设计S2,哪一步才算是从设计S2到实施S4,这是比 较困难的。但是,如果运用时间去控制解题状态,还是切实可行的。设8 分钟以后,有30名学生圆满地证明了这个题目,剩下的10名学生中,经 过老师的适当提示,又有6名学生完成了该题。这样对照关系流 程图5-2,可以得到1P2=0,p=2,P2=5,=1,从而 Ao=(1,0,0,0,0), 1 3913 A 由A1可见,这40名学生全部从分析状态S1转移到设计状态S2;由 可见,经过设计状态S2之后,有的学生已经进入探状态S3,而另有 的学生则进入了实施状态S4;由A3可见,元的学生进入实施状态 S顺利地得到了验证s,而处于探宄状态s的的学生中,1的学生 回到了分析状态s,3的学生回到了设计状态s,在经过老师的适当 提示之后,A,表明,1学生中的 3的学生进入了探宄状态s,而又有的学进入了实施状态S;同
当然，对于这个题目，如何比较客观去分析解题状态，即究竟做到哪 一步才是从分析 S1到设计 S2，哪一步才算是从设计 S2到实施 S4，这是比 较困难的。但是，如果运用时间去控制解题状态，还是切实可行的。设 8 分钟以后，有 30 名学生圆满地证明了这个题目，剩下的 10 名学生中，经 过老师的适当提示，又有 6 名学生完成了该题。这样对照关系流 A0＝(1，0，0，0，0)， A1＝(0，1，0，0，0)， 由 A1可见，这 40 名学生全部从分析状态 S1转移到设计状态 S2；由 A2
样根据A,可以测得在规定的10分钟过去之后,(约8625%)的 学生顺利地解决了该题,、3 (15%)的学生仍然处在分析状态 200 齐次马氏链,针对在规定的时间里,有相当一部分的学生完成解答, 即处于图5-2关系流程图中验证状态Ss,是比较有效的。但是,如果在 规定的时间里,没有学生或者有很少学生顺利地完成解答,用控制时间的 方法去测算解题状态是行不通的。这时,只能通过分析题目的解题状态, 具体地分清楚状态S1、S2、S3、S4和S5,才能使用上面方法,确定转概阵 中的p,从而正确使用齐次马氏链测算解题状态
齐次马氏链，针对在规定的时间里，有相当一部分的学生完成解答， 即处于图 5－2 关系流程图中验证状态 S5，是比较有效的。但是，如果在 规定的时间里，没有学生或者有很少学生顺利地完成解答，用控制时间的 方法去测算解题状态是行不通的。这时，只能通过分析题目的解题状态， 具体地分清楚状态 S1、S2、S3、S4和 S5，才能使用上面方法，确定转概阵 中的 pij，从而正确使用齐次马氏链测算解题状态