注意:尽管这个分析组有20位学生,这里只给出了五位学生的数据 表的第一行列出了所有目标,第二行在每个目标之下列出了该目标对应的测试题题号 再下面的行记录了每个学习者的数据。每道题所在列上有一个x,就表示这道题这个学习者 做对了,如果是空白,就表示这道题这个学习者做错了。 按这种方式显示数据后,我们可以用这个表来做两类分析:题目质量和学习者表现。你 应该先分析题目质量,因为在分析学习者表现的时候不考虑有问题的题目。最下面几行是做 题目分析时所需要的累加数据。其中第一行说明每道题答对学生数,第二行是每道题答对学 生百分率,这是将答对学生人数除以学生总数计算出来的,如对于第一道题,18/20=90 即90%。最后一行是这组学生掌握每个目标的百分率,这是将掌握每个目标的学生人数除 以参加分析的学生总数得到的。在这个例子中,学习者必须答对了一个目标的所有题目,才 算掌握了该目标。 题目-目标分析可以达到三个目的:确定对于这组人来说,每道题的难度、每个目标的 难度,以及与各目标相关的题目在判定学习者在该目标上表现的一致性 如果题目难度值超过80%,就说明这道题对于这组人来说相对容易:相反,如果难度 值较低,就说明该题目较难。类似地,一个目标所有题目难度一致地高或一致地低也反映了 该目标对这组人的难易程度,例如,表11.1中第一题和第二题的难度值(90和95)意味着 几乎所有的学习者都掌握了与目标1相关的题目。如果这些数据来自于后测,那么我们就可 以说目标1的教学是有效的,相反,如果它们的值很低,就说明这方面的教学可能要做修改。 在一个目标中题目难度的一致性反映了题目的质量。如果这些题目是测定同样技能的 题目本身又没有过难或不小心给出了解题线索,那么学习者在这组题上的表现应该是相对 致的。如果组比较小,差别在10%20%可以认为差别不大,但是如果出现40%或更多的差 别就要引起重视了。表11.1中目标1和目标2中各题的数据很一致,但目标3和4的数据 就存在不协调的地方,比如目标3,其中有两道题很一致(85和90),另一道题,即第6题, 难度很低(30)。出现这样的情况,一种原因可能是题目本身太复杂了,另一种可能是考了 不同的技能。目标4中也有两道题数据一致(50和45),一道题有些出格(90),这也可能 是第8题题目本身提供了解题思路,也可能是测试了别的技能。当发现一个目标中的题目数 据存在不一致的差异时,就要重新审查这组题目,在用它们测定学习者行为之前必须进行修 改。如果审査发现题目没有问题,则说明教学方面要做修改 学习者的题目目标表现分析使用题目-目标表可以进行的第二类分析是分析每个学习 者的表现。在做这类分析之前,你先要将题目分析中发现有问题的题目剔除。题目-目标表 的最后四列是学习者个人表现数据,其中前两列是每个学习者正确答题数和答对百分率,后 两列是每个学习者已掌握的目标数和已掌握目标的百分比。只有当答出了该目标的所有题目 才算掌握了这个目标 表11中所给的学习者数据显示这组学习者在测试中的表现差别很大。两个学习者掌 握了所有四个目标,另外三个学习者的成绩从一个目标没掌握到掌握了75%。如果这些数 据是对入门技能或教学中要教的技能的评测,那么这些数据可以告诉我们谁已经准备好了, 可以接受教学了,谁并不真的需要这个教学。如果这些数据是后测成绩,那么设计师就可以 据此推断是否需要修改教学。学习者在每道题上的表现和在每个目标上的表现各提供了不同 的信息,对于形成性评价人员来说,有关目标掌握情况的数据比原始成绩更有信息量。 学习者考试表现比较分析题目-目标表所提供的数据还可以用来创建其它的表格,如比4 注意：尽管这个分析组有 20 位学生，这里只给出了五位学生的数据 表的第一行列出了所有目标，第二行在每个目标之下列出了该目标对应的测试题题号， 再下面的行记录了每个学习者的数据。每道题所在列上有一个ⅹ，就表示这道题这个学习者 做对了，如果是空白，就表示这道题这个学习者做错了。 按这种方式显示数据后，我们可以用这个表来做两类分析：题目质量和学习者表现。你 应该先分析题目质量，因为在分析学习者表现的时候不考虑有问题的题目。最下面几行是做 题目分析时所需要的累加数据。其中第一行说明每道题答对学生数，第二行是每道题答对学 生百分率，这是将答对学生人数除以学生总数计算出来的，如对于第一道题，18/20=.90， 即 90%。最后一行是这组学生掌握每个目标的百分率，这是将掌握每个目标的学生人数除 以参加分析的学生总数得到的。在这个例子中，学习者必须答对了一个目标的所有题目，才 算掌握了该目标。 题目-目标分析可以达到三个目的：确定对于这组人来说，每道题的难度、每个目标的 难度，以及与各目标相关的题目在判定学习者在该目标上表现的一致性。 如果题目难度值超过 80%，就说明这道题对于这组人来说相对容易；相反，如果难度 值较低，就说明该题目较难。类似地，一个目标所有题目难度一致地高或一致地低也反映了 该目标对这组人的难易程度，例如，表 11.1 中第一题和第二题的难度值（90 和 95）意味着 几乎所有的学习者都掌握了与目标 1 相关的题目。如果这些数据来自于后测，那么我们就可 以说目标 1 的教学是有效的，相反，如果它们的值很低，就说明这方面的教学可能要做修改。 在一个目标中题目难度的一致性反映了题目的质量。如果这些题目是测定同样技能的， 题目本身又没有过难或不小心给出了解题线索，那么学习者在这组题上的表现应该是相对一 致的。如果组比较小，差别在 10%-20%可以认为差别不大，但是如果出现 40%或更多的差 别就要引起重视了。表 11.1 中目标 1 和目标 2 中各题的数据很一致，但目标 3 和 4 的数据 就存在不协调的地方，比如目标 3，其中有两道题很一致（85 和 90），另一道题，即第 6 题， 难度很低（30）。出现这样的情况，一种原因可能是题目本身太复杂了，另一种可能是考了 不同的技能。目标 4 中也有两道题数据一致（50 和 45），一道题有些出格（90），这也可能 是第 8 题题目本身提供了解题思路，也可能是测试了别的技能。当发现一个目标中的题目数 据存在不一致的差异时，就要重新审查这组题目，在用它们测定学习者行为之前必须进行修 改。如果审查发现题目没有问题，则说明教学方面要做修改。 学习者的题目-目标表现分析 使用题目-目标表可以进行的第二类分析是分析每个学习 者的表现。在做这类分析之前，你先要将题目分析中发现有问题的题目剔除。题目-目标表 的最后四列是学习者个人表现数据，其中前两列是每个学习者正确答题数和答对百分率，后 两列是每个学习者已掌握的目标数和已掌握目标的百分比。只有当答出了该目标的所有题目 才算掌握了这个目标。 表 11.1 中所给的学习者数据显示这组学习者在测试中的表现差别很大。两个学习者掌 握了所有四个目标，另外三个学习者的成绩从一个目标没掌握到掌握了 75%。如果这些数 据是对入门技能或教学中要教的技能的评测，那么这些数据可以告诉我们谁已经准备好了， 可以接受教学了，谁并不真的需要这个教学。如果这些数据是后测成绩，那么设计师就可以 据此推断是否需要修改教学。学习者在每道题上的表现和在每个目标上的表现各提供了不同 的信息，对于形成性评价人员来说，有关目标掌握情况的数据比原始成绩更有信息量。 学习者考试表现比较分析 题目-目标表所提供的数据还可以用来创建其它的表格，如比