《系统化教学设计》课程教学资源（教案讲义）第十一章修改教学材料.doc_大学文库

概念对形成性评价收集的数据有多种整理方法,这些方法有助于发现学习者学习的难点,确定教材需要修改的地方。这里介绍的方法只是一些建议,在你具体处理你的数据的时候,你还可以采用其他能够帮助你从数据中获取更多认识的方法和技术。我们先从一对一形成性评价所收集的数据开始,看看如何处理这些数据,然后再考虑小组评价和实地试验阶段分析一对一试验数据设计师在一对一形成性评价中所获得的数据很少,因为只有从三、五个学习者那里获得的信息。由于选择学习者时有意识地考虑了他们之间的差异,所以学习者所提供的信息极有可能存在很大的分化,不象混在一组时的情况。换句话来说,设计师必须要注意学习者回答中的共性和不同,确定对教学的最佳修改。设计师在一对一形成性评价阶段可以获得五类基本信息:学习者特点和入门技能,对教学的直接反应,学习时间,后测成绩。如果使用了态度问卷,还有对问卷的回答。做数据分析的第一步是先描述参加一对一评价的学习者,以及他们在入门技能测试中的成绩。然后,设计师要把学习者对教学的所有评论和建议整理在一起。具体做法可以这样, 取一本教学材料,在其上用不同的颜色笔标记出不同学习者所提出的问题:还可以在上面写上来自领域专家的意见,以及在一对一评价期间所采用的教学方法。下一组要总结的数据与后测有关,首先获得每道题的得分,然后将每个目标相关题目得分求和得到每个目标的得分,最后得到总分。一般会做一张表,上面记录了每个学习者的前测成绩、后测成绩和学习所用时间。另外,还要分析学习者在后测中每个目标上的表现,并给予评论。如果在这个阶段的教学中使用了态度问卷,那么对态度问卷数据可以采用类似的办法处理。在收集了上述所有信息之后,设计师就可以开始准备修改教学了。当然,在一对一评价完成之前,已经修改了一些明显错误,现在要做的是有些难度的修改,可以从学习者表现最差的地方,或者是评论最多的地方开始首先,根据学习者成绩看看评分标准或者考试题目有没有问题。如果有问题,就要做相应地修改,使之与教学的意图和教学目标一致。如果题目没有问题,学习者表现又很差,那么就必须修改教学了。你可以基于三类信息修改教学:学习者的建议、学习者的表现和你自己对教学的看法。学习者经常能给出很好的建议。另外,设计师也要仔细分析学习者所产生的错误,确定出错类型,以便做针对性的修改。你也要相信自己对于如何修改教学才能最有效的判断,因为你已经采用系统化设计过程,仔细说明了学习者要学什么,并给出了例题还为学习者提供了练习每种技能的机会,学习者在练习过程中也得到了反馈,所有的基本成分都在那里了!这个阶段最常做的修改就是澄清概念,增删练习。这三类信息通常给出了应该采取的最适当的修改步骤但是有时候你可能真的不知道该怎么修改教学,这时候不妨就不作修改,看看在小组评价时这部分材料的工作情况如何;或者由设计师给出几种解决办法,在小组评价时逐一尝试

2 概念对形成性评价收集的数据有多种整理方法，这些方法有助于发现学习者学习的难点，确定教材需要修改的地方。这里介绍的方法只是一些建议，在你具体处理你的数据的时候，你还可以采用其他能够帮助你从数据中获取更多认识的方法和技术。我们先从一对一形成性评价所收集的数据开始，看看如何处理这些数据，然后再考虑小组评价和实地试验阶段。分析一对一试验数据设计师在一对一形成性评价中所获得的数据很少，因为只有从三、五个学习者那里获得的信息。由于选择学习者时有意识地考虑了他们之间的差异，所以学习者所提供的信息极有可能存在很大的分化，不象混在一组时的情况。换句话来说，设计师必须要注意学习者回答中的共性和不同，确定对教学的最佳修改。设计师在一对一形成性评价阶段可以获得五类基本信息：学习者特点和入门技能，对教学的直接反应，学习时间，后测成绩。如果使用了态度问卷，还有对问卷的回答。做数据分析的第一步是先描述参加一对一评价的学习者，以及他们在入门技能测试中的成绩。然后，设计师要把学习者对教学的所有评论和建议整理在一起。具体做法可以这样，取一本教学材料，在其上用不同的颜色笔标记出不同学习者所提出的问题；还可以在上面写上来自领域专家的意见，以及在一对一评价期间所采用的教学方法。下一组要总结的数据与后测有关，首先获得每道题的得分，然后将每个目标相关题目得分求和得到每个目标的得分，最后得到总分。一般会做一张表，上面记录了每个学习者的前测成绩、后测成绩和学习所用时间。另外，还要分析学习者在后测中每个目标上的表现，并给予评论。如果在这个阶段的教学中使用了态度问卷，那么对态度问卷数据可以采用类似的办法处理。在收集了上述所有信息之后，设计师就可以开始准备修改教学了。当然，在一对一评价完成之前，已经修改了一些明显错误，现在要做的是有些难度的修改，可以从学习者表现最差的地方，或者是评论最多的地方开始。首先，根据学习者成绩看看评分标准或者考试题目有没有问题。如果有问题，就要做相应地修改，使之与教学的意图和教学目标一致。如果题目没有问题，学习者表现又很差，那么就必须修改教学了。你可以基于三类信息修改教学：学习者的建议、学习者的表现和你自己对教学的看法。学习者经常能给出很好的建议。另外，设计师也要仔细分析学习者所产生的错误，确定出错类型，以便做针对性的修改。你也要相信自己对于如何修改教学才能最有效的判断，因为你已经采用系统化设计过程，仔细说明了学习者要学什么，并给出了例题，还为学习者提供了练习每种技能的机会，学习者在练习过程中也得到了反馈，所有的基本成分都在那里了！这个阶段最常做的修改就是澄清概念，增删练习。这三类信息通常给出了应该采取的最适当的修改步骤。但是有时候你可能真的不知道该怎么修改教学，这时候不妨就不作修改，看看在小组评价时这部分材料的工作情况如何；或者由设计师给出几种解决办法，在小组评价时逐一尝试

分析小组评价和实地试验数据小组形成性评价提供给设计师的是与一对一评价有些不同的数据汇总环境,从820个学习者那里收集的数据要比单个人的数据更有意思,即这些数据可以反映出这个具有代表性的学习者小组所遇到的问题以及他们的回应。在此阶段可以获得的数据一般有:前测、后测中每道题目的得分、对态度问卷的回答、学习时间和考试时间,以及直接写在材料上的评论。所有评测的基本分析单元为考试题,对每道题的表现都要判断对与错,如果一道题由几部分组成,则每一部分都要判分,并分别报告,以免丢失信息。之所以需要每道题的信息有三个原因 1.题目信息可以用来确定题目本身是否有问题,以及此题是否有效测量了对应目标中所描述的行为。在下一节我们将介绍有关的方法。 2.单个题目数据还可以用来确定学习者在教学中遇到的困难。例如,对于某道题目来说,知道有一半的人做错了固然重要,但是更为重要的是发现大多数人都选了多项选择题中的同一个错误选项,或者在做求解题目时都犯了同一类型的推理错误 3.单个题目数据可以结合起来说明学习者在某个目标上的表现,以及最终在整个考试中的表现。有时候,判断一个目标通过与否是根据一组题目做对的百分率。根据与目标相关的每道题目的信息,不仅可以算出每个目标完成的正确率,还可以看出已掌握目标的学习者的个数和比例。在收集了题目数据之后,可以将它们组织成题目-目标表进行分析,还可以在此基础上构造更加复杂的数据表小组的题目-目标表现分析第一个需要构造的数据总结表是题目-目标表。表11.1为一个题目-目标表实例,这是一个有十道题的考试,评测了四个教学目标,对20个学习者进行小组形成性评价。表11.1题目-目标分析表目标题目题号「学生2 ⅹ XxIxIxIxIxⅹxx8「1004100 生4 生20 2|50 做对学生数# i8191517176|181810|9 做对学生百分率%90957585853090905045 目标掌握百分率%90 85 表中的统计数据是根据分析,剔除了第6题和第8题后所做的求和

3 分析小组评价和实地试验数据小组形成性评价提供给设计师的是与一对一评价有些不同的数据汇总环境，从 8-20 个学习者那里收集的数据要比单个人的数据更有意思，即这些数据可以反映出这个具有代表性的学习者小组所遇到的问题以及他们的回应。在此阶段可以获得的数据一般有：前测、后测中每道题目的得分、对态度问卷的回答、学习时间和考试时间，以及直接写在材料上的评论。所有评测的基本分析单元为考试题，对每道题的表现都要判断对与错，如果一道题由几部分组成，则每一部分都要判分，并分别报告，以免丢失信息。之所以需要每道题的信息，有三个原因： 1. 题目信息可以用来确定题目本身是否有问题，以及此题是否有效测量了对应目标中所描述的行为。在下一节我们将介绍有关的方法。 2. 单个题目数据还可以用来确定学习者在教学中遇到的困难。例如，对于某道题目来说，知道有一半的人做错了固然重要，但是更为重要的是发现大多数人都选了多项选择题中的同一个错误选项，或者在做求解题目时都犯了同一类型的推理错误。 3. 单个题目数据可以结合起来说明学习者在某个目标上的表现，以及最终在整个考试中的表现。有时候，判断一个目标通过与否是根据一组题目做对的百分率。根据与目标相关的每道题目的信息，不仅可以算出每个目标完成的正确率，还可以看出已掌握目标的学习者的个数和比例。在收集了题目数据之后，可以将它们组织成题目-目标表进行分析，还可以在此基础上构造更加复杂的数据表。小组的题目-目标表现分析第一个需要构造的数据总结表是题目-目标表。表 11.1 为一个题目-目标表实例，这是一个有十道题的考试，评测了四个教学目标，对 20 个学习者进行小组形成性评价。表 11.1 题目-目标分析表目标 1 2 3 4 题目目标题号 1 2 3 4 5 6 7 8 9 10 # % # % 学生 1 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 8 100 4 100 学生 2 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 8 100 4 100 学生 3 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 7 88 3 75 学生 4 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 4 50 0 0 学生 20 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 4 50 2 50 做对学生数# 18 19 15 17 17 6 18 18 10 9 做对学生百分率% 90 95 75 85 85 30 90 90 50 45 目标掌握百分率% 90 75 85 45 表中的统计数据是根据分析，剔除了第 6 题和第 8 题后所做的求和

注意:尽管这个分析组有20位学生,这里只给出了五位学生的数据表的第一行列出了所有目标,第二行在每个目标之下列出了该目标对应的测试题题号再下面的行记录了每个学习者的数据。每道题所在列上有一个x,就表示这道题这个学习者做对了,如果是空白,就表示这道题这个学习者做错了。按这种方式显示数据后,我们可以用这个表来做两类分析:题目质量和学习者表现。你应该先分析题目质量,因为在分析学习者表现的时候不考虑有问题的题目。最下面几行是做题目分析时所需要的累加数据。其中第一行说明每道题答对学生数,第二行是每道题答对学生百分率,这是将答对学生人数除以学生总数计算出来的,如对于第一道题,18/20=90 即90%。最后一行是这组学生掌握每个目标的百分率,这是将掌握每个目标的学生人数除以参加分析的学生总数得到的。在这个例子中,学习者必须答对了一个目标的所有题目,才算掌握了该目标。题目-目标分析可以达到三个目的:确定对于这组人来说,每道题的难度、每个目标的难度,以及与各目标相关的题目在判定学习者在该目标上表现的一致性如果题目难度值超过80%,就说明这道题对于这组人来说相对容易:相反,如果难度值较低,就说明该题目较难。类似地,一个目标所有题目难度一致地高或一致地低也反映了该目标对这组人的难易程度,例如,表11.1中第一题和第二题的难度值(90和95)意味着几乎所有的学习者都掌握了与目标1相关的题目。如果这些数据来自于后测,那么我们就可以说目标1的教学是有效的,相反,如果它们的值很低,就说明这方面的教学可能要做修改。在一个目标中题目难度的一致性反映了题目的质量。如果这些题目是测定同样技能的题目本身又没有过难或不小心给出了解题线索,那么学习者在这组题上的表现应该是相对致的。如果组比较小,差别在10%20%可以认为差别不大,但是如果出现40%或更多的差别就要引起重视了。表11.1中目标1和目标2中各题的数据很一致,但目标3和4的数据就存在不协调的地方,比如目标3,其中有两道题很一致(85和90),另一道题,即第6题, 难度很低(30)。出现这样的情况,一种原因可能是题目本身太复杂了,另一种可能是考了不同的技能。目标4中也有两道题数据一致(50和45),一道题有些出格(90),这也可能是第8题题目本身提供了解题思路,也可能是测试了别的技能。当发现一个目标中的题目数据存在不一致的差异时,就要重新审查这组题目,在用它们测定学习者行为之前必须进行修改。如果审査发现题目没有问题,则说明教学方面要做修改学习者的题目目标表现分析使用题目-目标表可以进行的第二类分析是分析每个学习者的表现。在做这类分析之前,你先要将题目分析中发现有问题的题目剔除。题目-目标表的最后四列是学习者个人表现数据,其中前两列是每个学习者正确答题数和答对百分率,后两列是每个学习者已掌握的目标数和已掌握目标的百分比。只有当答出了该目标的所有题目才算掌握了这个目标表11中所给的学习者数据显示这组学习者在测试中的表现差别很大。两个学习者掌握了所有四个目标,另外三个学习者的成绩从一个目标没掌握到掌握了75%。如果这些数据是对入门技能或教学中要教的技能的评测,那么这些数据可以告诉我们谁已经准备好了, 可以接受教学了,谁并不真的需要这个教学。如果这些数据是后测成绩,那么设计师就可以据此推断是否需要修改教学。学习者在每道题上的表现和在每个目标上的表现各提供了不同的信息,对于形成性评价人员来说,有关目标掌握情况的数据比原始成绩更有信息量。学习者考试表现比较分析题目-目标表所提供的数据还可以用来创建其它的表格,如比

4 注意：尽管这个分析组有 20 位学生，这里只给出了五位学生的数据表的第一行列出了所有目标，第二行在每个目标之下列出了该目标对应的测试题题号，再下面的行记录了每个学习者的数据。每道题所在列上有一个ⅹ，就表示这道题这个学习者做对了，如果是空白，就表示这道题这个学习者做错了。按这种方式显示数据后，我们可以用这个表来做两类分析：题目质量和学习者表现。你应该先分析题目质量，因为在分析学习者表现的时候不考虑有问题的题目。最下面几行是做题目分析时所需要的累加数据。其中第一行说明每道题答对学生数，第二行是每道题答对学生百分率，这是将答对学生人数除以学生总数计算出来的，如对于第一道题，18/20=.90，即 90%。最后一行是这组学生掌握每个目标的百分率，这是将掌握每个目标的学生人数除以参加分析的学生总数得到的。在这个例子中，学习者必须答对了一个目标的所有题目，才算掌握了该目标。题目-目标分析可以达到三个目的：确定对于这组人来说，每道题的难度、每个目标的难度，以及与各目标相关的题目在判定学习者在该目标上表现的一致性。如果题目难度值超过 80%，就说明这道题对于这组人来说相对容易；相反，如果难度值较低，就说明该题目较难。类似地，一个目标所有题目难度一致地高或一致地低也反映了该目标对这组人的难易程度，例如，表 11.1 中第一题和第二题的难度值（90 和 95）意味着几乎所有的学习者都掌握了与目标 1 相关的题目。如果这些数据来自于后测，那么我们就可以说目标 1 的教学是有效的，相反，如果它们的值很低，就说明这方面的教学可能要做修改。在一个目标中题目难度的一致性反映了题目的质量。如果这些题目是测定同样技能的，题目本身又没有过难或不小心给出了解题线索，那么学习者在这组题上的表现应该是相对一致的。如果组比较小，差别在 10%-20%可以认为差别不大，但是如果出现 40%或更多的差别就要引起重视了。表 11.1 中目标 1 和目标 2 中各题的数据很一致，但目标 3 和 4 的数据就存在不协调的地方，比如目标 3，其中有两道题很一致（85 和 90），另一道题，即第 6 题，难度很低（30）。出现这样的情况，一种原因可能是题目本身太复杂了，另一种可能是考了不同的技能。目标 4 中也有两道题数据一致（50 和 45），一道题有些出格（90），这也可能是第 8 题题目本身提供了解题思路，也可能是测试了别的技能。当发现一个目标中的题目数据存在不一致的差异时，就要重新审查这组题目，在用它们测定学习者行为之前必须进行修改。如果审查发现题目没有问题，则说明教学方面要做修改。学习者的题目-目标表现分析使用题目-目标表可以进行的第二类分析是分析每个学习者的表现。在做这类分析之前，你先要将题目分析中发现有问题的题目剔除。题目-目标表的最后四列是学习者个人表现数据，其中前两列是每个学习者正确答题数和答对百分率，后两列是每个学习者已掌握的目标数和已掌握目标的百分比。只有当答出了该目标的所有题目才算掌握了这个目标。表 11.1 中所给的学习者数据显示这组学习者在测试中的表现差别很大。两个学习者掌握了所有四个目标，另外三个学习者的成绩从一个目标没掌握到掌握了 75%。如果这些数据是对入门技能或教学中要教的技能的评测，那么这些数据可以告诉我们谁已经准备好了，可以接受教学了，谁并不真的需要这个教学。如果这些数据是后测成绩，那么设计师就可以据此推断是否需要修改教学。学习者在每道题上的表现和在每个目标上的表现各提供了不同的信息，对于形成性评价人员来说，有关目标掌握情况的数据比原始成绩更有信息量。学习者考试表现比较分析题目-目标表所提供的数据还可以用来创建其它的表格，如比

5 较学习者在不同考试中的表现。表 11.2 解释了如何通过不同考试成绩的比较来了解学习者- 目标掌握情况。这里只给出了参与分析的 20 名学生中 5 个同学的数据，在表的最下面是 20 个学生的数据总结。表的第一行是各个目标，第二行为考试名称，下面各行用来记录每个学生在每个考试中每个目标的掌握情况。表底最后两行是总结行，一行给出了 20 个学习者在每次考试中掌握每个目标的学习者比例，另一行给出了每个目标从前测到后测百分比的增量或减量。按理说，从前测到后测掌握每个目标的学习者百分比都应该上升，表 11.2 中的四个目标就是这样。表 11.2 在前测和后测中学习者在各目标上的表现目标 1 2 3 4 考试 PR PS PR PS PR PS PR PS 学习者 1 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 学习者 2 ⅹ ⅹ ⅹ ⅹ 学习者 3 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 学习者 4 ⅹ ⅹ ⅹ ⅹ // 学习者 20 ⅹ ⅹ ⅹ ⅹ ⅹ 掌握% 20 100 10 100 50 100 40 60 区别 80 90 50 20 注：PR = 前测，PS = 后测，ⅹ= 掌握表中只显示了 20 个学生中 5 位学生的数据，但是总结百分比是根据全组数据得出的。你可能还想根据学习者每次考试已掌握目标百分比来比较其在每次考试的表现，这样的数据汇总可参见表 11.3，其第一行是考试名称和每一次考试所测试的目标数，下面的行是每次考试每个学习者所掌握目标的百分比。最下面一行是每次考试这组学习者掌握目标百分比的平均值。从这些数据，设计师可以得出如下推论：1）所选择的这组人适合做评价研究， 2）教学所教的内容是该组人以前没有掌握的，3）教学对于提高学习者技能有效果。表 11.3 对入门技能、前测和后测数据的总结（按照所有目标的通过率）学习者编号 3 入门技能目标 9 前测教学目标 9 后测目标 1 100 11 89 2 100 22 89 3 100 22 89

100 80 图112使用了教学分析结构的前测/后测成绩比较图另外一种用于总结形成性评价数据的图形技术使用了教学分析图,这个过程需要计算参与形成性评价的学习者在教学分析图中所标示的每个技能上前测及后测的平均成绩。设计师复制了教学分析图,但是图上不必出现技能名,图11.2就是这样的一个例子,每个目标的前测和后测成绩分别填入对应的方框中。教材中不同技能得分的相关性也因此得以呈现,很明显,越接近层次结构的上方,学习者的成绩就越低。你可能还发现了一个只有少部分学习者掌握的技能,它对后面的上位技能的掌握几乎没有产生什么影响其它类型的数据除了学习者在每个目标上的表现之外,还有一些其他种类的数据需要整理和分析。人们已经发现整理态度问卷数据的最好方法是在一个空白问卷上统计每道题每个选项有多少学生选择,如果你还想从学习者那里获得一般性的开放意见,那么你就必须总结每个问题。另外一类重要的数据是学习者、参加形成性评价的教员和看过教材的领域专家所给出的评论。在实施环境下做形成性评价所收集到的这些数据和信息可以用描述方式整理,因为不太可能用表格或图形方式来总结这些评论。最好将这些评论与所评论的教学材料,或者材料中的教学目标建立联系,如将这些评论直接写在同一份教学材料上最后一类要整理的数据与你在做小组评价或实地试验时所采用的方法有关。这些数据可以是某些考试题的成绩,对态度问卷的回答,或者是对整个学习时间的指示审查数据的顺序在你准备对数据进行总结的时候,先要快速地对教学材料的有效性有个全面概括的认识,对需要进行的修改范围有个基本的估计。在概括地审查完数据之后, 建议采用如下的顺序使用数据: 入门技能首先,在剔除了与有缺陷的题目相关的数据之后,对于剩下的数据,你先要

7 图 11.2 使用了教学分析结构的前测/后测成绩比较图另外一种用于总结形成性评价数据的图形技术使用了教学分析图，这个过程需要计算参与形成性评价的学习者在教学分析图中所标示的每个技能上前测及后测的平均成绩。设计师复制了教学分析图，但是图上不必出现技能名，图 11.2 就是这样的一个例子，每个目标的前测和后测成绩分别填入对应的方框中。教材中不同技能得分的相关性也因此得以呈现，很明显，越接近层次结构的上方，学习者的成绩就越低。你可能还发现了一个只有少部分学习者掌握的技能，它对后面的上位技能的掌握几乎没有产生什么影响。其它类型的数据除了学习者在每个目标上的表现之外，还有一些其他种类的数据需要整理和分析。人们已经发现整理态度问卷数据的最好方法是在一个空白问卷上统计每道题每个选项有多少学生选择，如果你还想从学习者那里获得一般性的开放意见，那么你就必须总结每个问题。另外一类重要的数据是学习者、参加形成性评价的教员和看过教材的领域专家所给出的评论。在实施环境下做形成性评价所收集到的这些数据和信息可以用描述方式整理，因为不太可能用表格或图形方式来总结这些评论。最好将这些评论与所评论的教学材料，或者材料中的教学目标建立联系，如将这些评论直接写在同一份教学材料上。最后一类要整理的数据与你在做小组评价或实地试验时所采用的方法有关。这些数据可以是某些考试题的成绩，对态度问卷的回答，或者是对整个学习时间的指示。审查数据的顺序在你准备对数据进行总结的时候，先要快速地对教学材料的有效性有一个全面概括的认识，对需要进行的修改范围有个基本的估计。在概括地审查完数据之后，建议采用如下的顺序使用数据：入门技能首先，在剔除了与有缺陷的题目相关的数据之后，对于剩下的数据，你先要 10 95 30 90 0 100 90 100 0 95 95 100 95 20 90 30 80 30 100 0 80 10 100 10 80 50 100 0 80 0 80

审查它们与学习者入门技能的关系。参加形成性评价的学习者是否具有你所希望的入门技能?如果具备,是否通过了教学材料的学习?如果不具备入门技能也通过了教学材料的学习,那么你就需要质疑所确定的入门技能是否合适。前测和后测第二步是审査在教学分析图表上标记的前测和后测数据。如果你的教学顺序安排适当,各技能的层次依赖关系分析正确,那么从图表上来看,学习者的成绩应随着技能层次的上升而下降,也就是说,学习者在学期目标上的得分最低,而刚开始的技能成绩会好一些。当然,如果教学有效的话,处于教学分析最顶端的技能成绩也不会下降。这些数据可以帮助你精确确定哪里有问题,甚至还可以建议修改某些技能的教学顺序第三步是审查前测成绩,确定每个学习者,以及这组学习者作为一个整体,对你要教的技能已经掌握的程度,如果他们已经具备了大部分技能,那么对他们而做的形成性评价不会对教学是否有效、应该如何改进提供多少有用的信息,但是如果他们缺乏这些技能,那么你对后面的分析就会更有信心在审查教学分析图表时通过一个目标一个目标地比较前测和后测的成绩,你已经了解了学习者在每个目标上的表现,可以开始将注意力转向看上去需要修改的具体目标及相关的教学了在确定了学习者表现不佳的目标后,还要重新审查该目标的表述和相关的考题,以及学习者对题目的回答。在修改教学材料之前,要先查查题目分析表,看看是不是因为题目没出好,而不是教材不佳,导致了学习者表现不良。如果是这样,只要修改题目就行了,不必对教学材料做大变动教学策略下一步是审查学习者感到有困难的教学目标所采用的教学策略。所计划的教学策略是否运用在教学材料中了?是否还有其它可用策略?最后一步是审查教学材料,根据学习者、教员和领域专家所提出的意见,看看那些被指出有问题的地方是否需要修改学习时间形成性评价所关注的另一个重要问题是要了解学习者学完教学材料所需要的时间。你可能需要修改教材,以便它能够在规定时间内完成。这项工作相当困难,必须小心从事。对于一个具体的教学材料来说,学得慢的学习者可能比学得快的学习者要多花两三倍的时间,这种事情并不罕见。知道从材料中删除什么、改变什么而不影响学习是很困难的, 只能对目标学习者进行不断地试验,修改,再试验,再修改,多次反复,最后才能做出决定。教学过程与教学材料实施过程有关的数据也要纪录。前面我们已经建议要收集引起媒体设备误操作的误导信息。此外,还要记录教室里被中断的教学,延长的午餐时间,以及其他一些在各种教学环境都可能发生的活动。因为这些中断和活动是无法控制的,所以必须记录下来并做出解释另一方面,也还有一些过程问题是可以被控制的,比如学习者是否由于这个材料所要求的环境条件而受阻?对于如何从这一步进行到下一步有没有什么问题?是否能及时得知考试成绩?这类实施过程问题经常可以在问卷和听取意见的讨论中被发现。必须要找到解决这类问题的办法,将它们写入教材或教师手册,以便教学活动能进展得更为顺畅。修改过程我们建议在你开始修改教学过程的时候,一定要采用本章所介绍的方法整理数据。我们

8 审查它们与学习者入门技能的关系。参加形成性评价的学习者是否具有你所希望的入门技能？如果具备，是否通过了教学材料的学习？如果不具备入门技能也通过了教学材料的学习，那么你就需要质疑所确定的入门技能是否合适。前测和后测第二步是审查在教学分析图表上标记的前测和后测数据。如果你的教学顺序安排适当，各技能的层次依赖关系分析正确，那么从图表上来看，学习者的成绩应随着技能层次的上升而下降，也就是说，学习者在学期目标上的得分最低，而刚开始的技能成绩会好一些。当然，如果教学有效的话，处于教学分析最顶端的技能成绩也不会下降。这些数据可以帮助你精确确定哪里有问题，甚至还可以建议修改某些技能的教学顺序。第三步是审查前测成绩，确定每个学习者，以及这组学习者作为一个整体，对你要教的技能已经掌握的程度，如果他们已经具备了大部分技能，那么对他们而做的形成性评价不会对教学是否有效、应该如何改进提供多少有用的信息，但是如果他们缺乏这些技能，那么你对后面的分析就会更有信心。在审查教学分析图表时通过一个目标一个目标地比较前测和后测的成绩，你已经了解了学习者在每个目标上的表现，可以开始将注意力转向看上去需要修改的具体目标及相关的教学了。在确定了学习者表现不佳的目标后，还要重新审查该目标的表述和相关的考题，以及学习者对题目的回答。在修改教学材料之前，要先查查题目分析表，看看是不是因为题目没出好，而不是教材不佳，导致了学习者表现不良。如果是这样，只要修改题目就行了，不必对教学材料做大变动。教学策略下一步是审查学习者感到有困难的教学目标所采用的教学策略。所计划的教学策略是否运用在教学材料中了？是否还有其它可用策略？最后一步是审查教学材料，根据学习者、教员和领域专家所提出的意见，看看那些被指出有问题的地方是否需要修改。学习时间形成性评价所关注的另一个重要问题是要了解学习者学完教学材料所需要的时间。你可能需要修改教材，以便它能够在规定时间内完成。这项工作相当困难，必须小心从事。对于一个具体的教学材料来说，学得慢的学习者可能比学得快的学习者要多花两三倍的时间，这种事情并不罕见。知道从材料中删除什么、改变什么而不影响学习是很困难的，只能对目标学习者进行不断地试验，修改，再试验，再修改，多次反复，最后才能做出决定。教学过程与教学材料实施过程有关的数据也要纪录。前面我们已经建议要收集引起媒体设备误操作的误导信息。此外，还要记录教室里被中断的教学，延长的午餐时间，以及其他一些在各种教学环境都可能发生的活动。因为这些中断和活动是无法控制的，所以必须记录下来并做出解释。另一方面，也还有一些过程问题是可以被控制的，比如学习者是否由于这个材料所要求的环境条件而受阻？对于如何从这一步进行到下一步有没有什么问题？是否能及时得知考试成绩？这类实施过程问题经常可以在问卷和听取意见的讨论中被发现。必须要找到解决这类问题的办法，将它们写入教材或教师手册，以便教学活动能进展得更为顺畅。修改过程我们建议在你开始修改教学过程的时候，一定要采用本章所介绍的方法整理数据。我们

知道设计师的需求会因为所处理材料类型的不同而不一样,但是这里所介绍的方法几乎适用于各种教学设计。例如,假设你教的是心智运动技能,后测表现会纪录在某种评分表上,总分纪录在教学分析图表上。对于从属技能和从属知识可能还要提供卷面考试,这些分数应该与它们相关的运动技能一起分析。对态度答卷和学习时间的使用对各种教学类型来说也都是类似的。根据从小组评价或实地试验收集来的所有数据,设计师必须要做出决定,如何进行修改。哪里有问题常常是很明显的,但是应该怎么修改却并不总是很明显。如果形成性评价中还包含了对几种方法的比较,那么结果中就必须指出需要做的是哪类修改。另外,在一对一评价之后修改教学时所提出的策略也可以用在这里,即基于数据、你的经验和学习理论进行修改。一个警告:要防止快速地对单一数据做出判断,而无论这个数据是学习者在某个目标上的成绩、学习者的建议,还是领域专家的观察结果。虽然这些数据都是有价值的信息片断, 但是你必须要将这些数据与其它数据结合起来考虑,不仅要找成绩数据,还要看观察数据, 这才能帮助你确定教材的缺陷。另外一个建议:在整理实地试验数据的时候,要特别注意以清楚和准确的方式进行总结。你会发现这些数据不仅你作为设计师会对此感兴趣,而且可以作为有效的工具向他人展示学习者使用你的教学的表现。这些表格和图形既提供了学习者整体表现的概括信息,也提供了学习者整体表现的细节描述修改所选的材料和教师引导的教学前面所介绍的数据汇总和修改过程对于教师所开发的原始教学材料,或者挑选的其他材料,或者使用教师手册所进行的教学都一样适用。所收集的数据类型、整理数据的方法、以及指导修改过程的方式也都类似。但是如果使用的是挑选的材料,那么就很少有机会直接修改材料,特别地如果这些材料是正式出版物,有版权保护的,就更不可能对其修改。在这种情况下,教师可以为未来的试验做如下的调整:(1)跳过一些教学内容,(2)包括一些其它可及的材料,或(3)开发补充教学材料。使用材料的过程也要根据形成性评价的数据重新考虑。使用教师手册的教师与教学的开发者一样,可以灵活修改教学。前测和后测数据,再加上态度问卷,提供了彻底分析教学所需要的全部数据。另外还需要准备一个总结表,记录每个目标上学习者的成绩。先计算学习者在每道题每个目标上的表现,然后将学习者在各目标上的表现与教学分析流图联系起来教师手册中写给教师的内容还要包含由学习者提出的问题以及对这些问题的回答。对于学习者所提出的问题要审查其是否有基本的理解错误,对所提供的回答要考虑其是否足以让学习者此后能正确解答相关的考试题。使用教师手册的教师也会碰到考试成绩分布很开、态度问卷反馈不佳的情况。研究数据表明,像这种按小组步调的交流式教学,在有限的课堂时间内,一些学习者可能对概念的接受能力不如其它学习者,因为小组教学没有补救措施,所以几次课后,这些学习者的学习进度就会落后,成绩也会变差,他们的态度就是这种境况的反应。在这种交流式、小组教学模式中,学习者的成绩一般呈正态分布(即高分低分都少,大多数分数处于平均值)。对于使用交流教学方法的教师来说,发现表现不佳的学习者,插入适当的教学活动是修

9 知道设计师的需求会因为所处理材料类型的不同而不一样，但是这里所介绍的方法几乎适用于各种教学设计。例如，假设你教的是心智运动技能，后测表现会纪录在某种评分表上，总分纪录在教学分析图表上。对于从属技能和从属知识可能还要提供卷面考试，这些分数应该与它们相关的运动技能一起分析。对态度答卷和学习时间的使用对各种教学类型来说也都是类似的。根据从小组评价或实地试验收集来的所有数据，设计师必须要做出决定，如何进行修改。哪里有问题常常是很明显的，但是应该怎么修改却并不总是很明显。如果形成性评价中还包含了对几种方法的比较，那么结果中就必须指出需要做的是哪类修改。另外，在一对一评价之后修改教学时所提出的策略也可以用在这里，即基于数据、你的经验和学习理论进行修改。一个警告：要防止快速地对单一数据做出判断，而无论这个数据是学习者在某个目标上的成绩、学习者的建议，还是领域专家的观察结果。虽然这些数据都是有价值的信息片断，但是你必须要将这些数据与其它数据结合起来考虑，不仅要找成绩数据，还要看观察数据，这才能帮助你确定教材的缺陷。另外一个建议：在整理实地试验数据的时候，要特别注意以清楚和准确的方式进行总结。你会发现这些数据不仅你作为设计师会对此感兴趣，而且可以作为有效的工具向他人展示学习者使用你的教学的表现。这些表格和图形既提供了学习者整体表现的概括信息，也提供了学习者整体表现的细节描述。修改所选的材料和教师引导的教学前面所介绍的数据汇总和修改过程对于教师所开发的原始教学材料，或者挑选的其他材料，或者使用教师手册所进行的教学都一样适用。所收集的数据类型、整理数据的方法、以及指导修改过程的方式也都类似。但是如果使用的是挑选的材料，那么就很少有机会直接修改材料，特别地如果这些材料是正式出版物，有版权保护的，就更不可能对其修改。在这种情况下，教师可以为未来的试验做如下的调整：（1）跳过一些教学内容，（2）包括一些其它可及的材料，或（3）开发补充教学材料。使用材料的过程也要根据形成性评价的数据重新考虑。使用教师手册的教师与教学的开发者一样，可以灵活修改教学。前测和后测数据，再加上态度问卷，提供了彻底分析教学所需要的全部数据。另外还需要准备一个总结表，记录每个目标上学习者的成绩。先计算学习者在每道题每个目标上的表现，然后将学习者在各目标上的表现与教学分析流图联系起来。教师手册中写给教师的内容还要包含由学习者提出的问题以及对这些问题的回答。对于学习者所提出的问题要审查其是否有基本的理解错误，对所提供的回答要考虑其是否足以让学习者此后能正确解答相关的考试题。使用教师手册的教师也会碰到考试成绩分布很开、态度问卷反馈不佳的情况。研究数据表明，像这种按小组步调的交流式教学，在有限的课堂时间内，一些学习者可能对概念的接受能力不如其它学习者，因为小组教学没有补救措施，所以几次课后，这些学习者的学习进度就会落后，成绩也会变差，他们的态度就是这种境况的反应。在这种交流式、小组教学模式中，学习者的成绩一般呈正态分布（即高分低分都少，大多数分数处于平均值）。对于使用交流教学方法的教师来说，发现表现不佳的学习者，插入适当的教学活动是修

改教学过程的重要步骤。与使用写好的教学材料不同,这些老师可以在教学实施过程中不断地修改内容呈现,并注明修改的原因最后还有一点要注意,我们一再强调你是在用系统化的方法建立教学系统,当你改变了系统中的一个成分时,你就在改变整个系统。因此,你必须知道,在修改过程中做改动时你不能保证其它没改的教学还能保持其原有的有效性。你希望你的改动会带来更好的结果, 但并不能保证总是如此示例这一节将使用“引导小组讨论”教学目的的数据,解释在形成性评价活动中整理和分析数据的技术。这节的例子阐述了可用于对教学材料和教学过程进行小组评价或实地试验的过程。当然,你实际所采用的图表类型和整理过程会根据你的教学材料、考试种类、教学环境和学习者而做调整。这些例子只是示范了可用在小组领导力单元整理所收集数据的几种方还记得吗,在对实际环境的学习者(NCW现在领导人和警署支持人员)访谈之后,就确定了对这些成人学习者的评测办法。由于学习者都很爱面子,所以前测不会考他们言语信息或领导力绩效目标,而是要他们辨识在一个模拟NCW会议上他人所展示的领导技能。另外一个决定是在前测和练习中都不追究个人行为,只是在后测时要判断个人表现,因为这些构成了实际小组领导力。因为不追究个人行为,所以不会比较个人在不同考试中的表现,而是只观察整个小组的表现,看教学是否有效。在这个例子中,收集了20个学习者在教学的实地试验阶段的形成性评价数据,呈现了对目标642和651所给出的12种促进或抑制小组合作的领导行为的评测数据,这两个目标中都包含着同样的12种动作。在前测时,学习者观看模拟的NCW会议的录像带,每当其中的领导人出现了12种促进或抑制动作之一时(目标642),学习者就在观察表上做记号。有关目标642的评测数据在学习者参与教学活动时也会收集。后测数据只收集学习者在模拟NCW会议时所展示的小组领导行为(目标651)。态度数据可以使用问卷或在第 10节结束的时候通过讨论来收集各次考试题目目标数据分析表114中给出了学习者在目标642前测中的答题情况。这个目标包含12种行为,可以采用客观题考试中对目标考题分析的方式进行数据汇总,表的上部罗列了12种促进和抑制行为,20个学习者列在表的最左列。对于任何一个考试来说,进行成绩分析的第一步都是确定评分标准。如果你进行的是客观题考试,分数相对容易统计,只要数数做对的题就行了。然而,要对行为表现现场打分,还需要事先做好计划(参见表95的前测)。我们对前测的评分规则定义如下。在模拟会议上每种促进和抑制行为都会出现三次,学习者只要识别了一次,就可以记分,所以写出现2次、3次或4次的也一样可以记分。记分的做法是在表114学习者行为对应单元格上打一x。每个行为判断正确得一分,所以总分为12分。所谓一个行为判断正确,是指学习者不仅要正确识别促进行为,也要能正确识别抑制行为。例如,学习者正确识别了行为3的促进行为,但是没有识别出行为3的抑制行为那么在行为3上就不能得分。表114中带阴影的一对对单元格表示学习者在此行动上得分

10 改教学过程的重要步骤。与使用写好的教学材料不同，这些老师可以在教学实施过程中不断地修改内容呈现，并注明修改的原因。最后还有一点要注意，我们一再强调你是在用系统化的方法建立教学系统，当你改变了系统中的一个成分时，你就在改变整个系统。因此，你必须知道，在修改过程中做改动时，你不能保证其它没改的教学还能保持其原有的有效性。你希望你的改动会带来更好的结果，但并不能保证总是如此。示例这一节将使用“引导小组讨论”教学目的的数据，解释在形成性评价活动中整理和分析数据的技术。这节的例子阐述了可用于对教学材料和教学过程进行小组评价或实地试验的过程。当然，你实际所采用的图表类型和整理过程会根据你的教学材料、考试种类、教学环境和学习者而做调整。这些例子只是示范了可用在小组领导力单元整理所收集数据的几种方法。还记得吗，在对实际环境的学习者（NCW 现在领导人和警署支持人员）访谈之后，就确定了对这些成人学习者的评测办法。由于学习者都很爱面子，所以前测不会考他们言语信息或领导力绩效目标，而是要他们辨识在一个模拟 NCW 会议上他人所展示的领导技能。另外一个决定是在前测和练习中都不追究个人行为，只是在后测时要判断个人表现，因为这些构成了实际小组领导力。因为不追究个人行为，所以不会比较个人在不同考试中的表现，而是只观察整个小组的表现，看教学是否有效。在这个例子中，收集了 20 个学习者在教学的实地试验阶段的形成性评价数据，呈现了对目标 6.4.2 和 6.5.1 所给出的 12 种促进或抑制小组合作的领导行为的评测数据，这两个目标中都包含着同样的 12 种动作。在前测时，学习者观看模拟的 NCW 会议的录像带，每当其中的领导人出现了 12 种促进或抑制动作之一时（目标 6.4.2），学习者就在观察表上做一记号。有关目标 6.4.2 的评测数据在学习者参与教学活动时也会收集。后测数据只收集学习者在模拟 NCW 会议时所展示的小组领导行为（目标 6.5.1）。态度数据可以使用问卷或在第 10 节结束的时候通过讨论来收集。各次考试题目-目标数据分析表 11.4 中给出了学习者在目标 6.4.2 前测中的答题情况。这个目标包含 12 种行为，可以采用客观题考试中对目标考题分析的方式进行数据汇总，表的上部罗列了 12 种促进和抑制行为，20 个学习者列在表的最左列。对于任何一个考试来说，进行成绩分析的第一步都是确定评分标准。如果你进行的是客观题考试，分数相对容易统计，只要数数做对的题就行了。然而，要对行为表现现场打分，还需要事先做好计划（参见表 9.5 的前测）。我们对前测的评分规则定义如下。在模拟会议上每种促进和抑制行为都会出现三次，学习者只要识别了一次，就可以记分，所以写出现 2 次、3 次或 4 次的也一样可以记分。记分的做法是在表 11.4 学习者-行为对应单元格上打一ⅹ。每个行为判断正确得一分，所以总分为 12 分。所谓一个行为判断正确，是指学习者不仅要正确识别促进行为，也要能正确识别抑制行为。例如，学习者正确识别了行为 3 的促进行为，但是没有识别出行为 3 的抑制行为，那么在行为 3 上就不能得分。表 11.4 中带阴影的一对对单元格表示学习者在此行动上得分

《系统化教学设计》课程教学资源（教案讲义）第十一章 修改教学材料

《系统化教学设计》课程教学资源（教案讲义）第十一章修改教学材料