《系统化教学设计》课程教学资源（教案讲义）第12章设计和实施总结性评价.doc_大学文库

其他教学兼容性方面的情况。做总结性评价并不一定要对两种或两种以上的教学产品进行比较,总结性研究可以只研究一种新方法的效果。对于教学设计师来说,形成性评价是有效运用系统化设计过程的基础,其重要性怎么说也不过分,每一位教学设计师都必须能够熟练地运用形成性评价,但是并不要求他们掌握总结性评价,这是总结性评价的“本质”造成的。当需要对一个新的传递系统或者一个新的课程进行公正评价的时候,大多数的决策者都不希望由新系统或新方法的开发者或发明者来做评价,而是聘请外面的、第三方评价人员来进行总结性评价。最近几年,总结性评价的调子有所变化,问题不再是“谁最好?”,而变成“该教学活动是否解决了引发对此教学产生需求的问题?”,换句话来说,教学被视为解决问题的一种方案, 总结性评价的最终问题是“它是否解决了这个问题?” 但是,这不正是我们在实际环境下做形成性评价时所问的问题吗?是的,当时我们是问的这个问题,但是在此目的不同。在形成性评价阶段,我们想用这个信息来改进教学,使教学能促进技能在实际环境下的使用,提高技能运用的有效性。而现在,在总结性评价中,我们要问的是,在形成性评价(无论开发者采用了什么设计策略)完成后,教学是否已经能有效地解决了我们的问题因此,评价兴趣己经从比较新方法,分析考试成绩,而转向观察学习者在实际环境中的表现:是否运用了所学技能,运用效果如何?为了回答这些问题,总结性评价要分两个阶段进行:第一个阶段聚焦所感兴趣的教学和组织需求之间的关系,通过利用有关文档完成这步分析。第二阶段做教学的实地试验,类似于形成性评价的第三个阶段,只是目的不同,即要为决策者证实该教学能否产生所期望的结果在本章后面的几节中,我们会多次提到“教学”和“教学材料”,我们是将它们作为同义词混用的,因为我们要讨论的总结性评价是针对各种类型教学的总结性评价,不管该教学是采用视频形式、教师手册形式、自学教材形式,还是计算机辅助教学形式。所以,当读到后面,见到“教学”或“教学材料”两个词的时候,你不妨将其视为任一形式的教学。概念总结性评价定义为:设计评价研究方案,收集数据,以验证教学材料对目标学习者的有效性。其主要目的是要决定是否继续釆用当前所用的教学材料,或者是否要采用有可能满足组织所定义的教学需求的材料。所评价的材料也许并没有经过形成性评价和修改,这些材料可能出自出版社、顾问公司或某个个人。材料长短不一,有的是为一天的研讨会或某种类型的短课程而作,也有的是一学期、甚至一年的课程。材料的长短并不会改变研究的基本设计, 但是它会影响完成评价所需要的时间总结性评价有两个主要阶段:专家评价阶段和实地试验阶段,专家评价阶段的目的就是要判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。实地试验阶段的目的是要记录有望采用的教学在预期的环境下对目标人群的有效性。每个阶段所要进行的分析和决策,以及评价活动都列在表12.1中。在专家评价阶段所要进行的活动是为了判断候选教学是否有竞争力,这包括(1)评价组织的教学需求与该教学的相合性;(2)评价该教学的完整性和正确性;(3)评价该教学中蕴含的教学策略:(4)评价教学的效力,以及(5)评判当前用户对此教学的满意度。如果

其他教学兼容性方面的情况。做总结性评价并不一定要对两种或两种以上的教学产品进行比较，总结性研究可以只研究一种新方法的效果。对于教学设计师来说，形成性评价是有效运用系统化设计过程的基础，其重要性怎么说也不过分，每一位教学设计师都必须能够熟练地运用形成性评价，但是并不要求他们掌握总结性评价，这是总结性评价的“本质”造成的。当需要对一个新的传递系统或者一个新的课程进行公正评价的时候，大多数的决策者都不希望由新系统或新方法的开发者或发明者来做评价，而是聘请外面的、第三方评价人员来进行总结性评价。最近几年，总结性评价的调子有所变化，问题不再是“谁最好?”，而变成“该教学活动是否解决了引发对此教学产生需求的问题?”，换句话来说，教学被视为解决问题的一种方案，总结性评价的最终问题是“它是否解决了这个问题？” 但是，这不正是我们在实际环境下做形成性评价时所问的问题吗？是的，当时我们是问的这个问题，但是在此目的不同。在形成性评价阶段，我们想用这个信息来改进教学，使教学能促进技能在实际环境下的使用，提高技能运用的有效性。而现在，在总结性评价中，我们要问的是，在形成性评价（无论开发者采用了什么设计策略）完成后，教学是否已经能有效地解决了我们的问题。因此，评价兴趣已经从比较新方法，分析考试成绩，而转向观察学习者在实际环境中的表现：是否运用了所学技能，运用效果如何？为了回答这些问题，总结性评价要分两个阶段进行：第一个阶段聚焦所感兴趣的教学和组织需求之间的关系，通过利用有关文档完成这步分析。第二阶段做教学的实地试验，类似于形成性评价的第三个阶段，只是目的不同，即要为决策者证实该教学能否产生所期望的结果。在本章后面的几节中，我们会多次提到“教学”和“教学材料”，我们是将它们作为同义词混用的，因为我们要讨论的总结性评价是针对各种类型教学的总结性评价，不管该教学是采用视频形式、教师手册形式、自学教材形式，还是计算机辅助教学形式。所以，当读到后面，见到“教学”或“教学材料”两个词的时候，你不妨将其视为任一形式的教学。概念总结性评价定义为：设计评价研究方案，收集数据，以验证教学材料对目标学习者的有效性。其主要目的是要决定是否继续采用当前所用的教学材料，或者是否要采用有可能满足组织所定义的教学需求的材料。所评价的材料也许并没有经过形成性评价和修改，这些材料可能出自出版社、顾问公司或某个个人。材料长短不一，有的是为一天的研讨会或某种类型的短课程而作，也有的是一学期、甚至一年的课程。材料的长短并不会改变研究的基本设计，但是它会影响完成评价所需要的时间。总结性评价有两个主要阶段：专家评价阶段和实地试验阶段，专家评价阶段的目的就是要判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。实地试验阶段的目的是要记录有望采用的教学在预期的环境下对目标人群的有效性。每个阶段所要进行的分析和决策，以及评价活动都列在表 12.1 中。在专家评价阶段所要进行的活动是为了判断候选教学是否有竞争力，这包括（1）评价组织的教学需求与该教学的相合性；（2）评价该教学的完整性和正确性；（3）评价该教学中蕴含的教学策略；（4）评价教学的效力，以及（5）评判当前用户对此教学的满意度。如果

该教学已经为满足组织的需求而做了裁剪,并经过了系统化的设计和开发,以及总结性评价前的形成性评价,那么专家评价可以不做,但是如果该组织不熟悉此教学和它的开发历史, 就必须要做专家评价图12.1总结性评价的专家评价和实地实施阶段总结性评价专家评价阶段实地试验阶段总体决策该材料是否有可能满足组织需要? 这些材料在指定的环境下对于目标学习者是否有效? 特定决策适合度分析:组织的需求和目标是否结果分析与教学中陈述的吻合? 对学习者的影响教学之后对学习内容分析:这些材料是否完全、精确、者的成就和动机水平是否满意? 不过时? 对工作的影响:学习者是否能够将设计分析:材料中是否表现出某种教信息、技能和态度从教学环境迁移学原理和动机激励? 到工作环境或者迁移到与教学相关可用性分析:该材料对当前用户来说的后续单元中? 是否方便、耐用,有较好的性价比和对组织的影响:学习者行为(表现满意度? 态度)的改变是否对组织使命和目标的实现产生了正面影响,如降低了辍学率、辞职率,提高了出勤率成果;增加了生产率和成绩) 管理分析 1.教员和管理者是否感到满意? 2.所建议的实施过程是否可行? 3.与时间、人员、设备和资源相关的费用是否合理? 实地试验阶段由两部分组成,第一部分是结果分析,要评价教学对学习者技能、对学习者工作(迁移)以及对组织(需求满足程度)的影响。第二部分是管理分析,包括评定教员及管理人员对学习者表现的看法,实施可行性和费用等总结性评价的实地试验阶段要纪录学习者的表现和态度,记录教员管理者的态度,记录实施教学过程和所需要的资源,实地试验的主要目的就是要确定教学的优点和缺点,判断成因,记录下好的地方和存在的问题。专家评价和实地试验都可以只对一种教学材料做,也可以对若干个需要比较的教学材料做。一般来说,专家评价阶段往往是从多个候选教学中挑选出一两个最有竞争力的去做实地试验。下面详细介绍了这两个阶段。在专家评价阶段的叙述中,我们假设你要评价的教学是你所不熟悉的,而你又必须决定是否要增加实地试验的人手和费用

该教学已经为满足组织的需求而做了裁剪，并经过了系统化的设计和开发，以及总结性评价前的形成性评价，那么专家评价可以不做，但是如果该组织不熟悉此教学和它的开发历史，就必须要做专家评价。图 12.1 总结性评价的专家评价和实地实施阶段总结性评价专家评价阶段实地试验阶段总体决策该材料是否有可能满足组织需要？这些材料在指定的环境下对于目标学习者是否有效？特定决策适合度分析：组织的需求和目标是否与教学中陈述的吻合？内容分析：这些材料是否完全、精确、不过时？设计分析：材料中是否表现出某种教学原理和动机激励？可用性分析：该材料对当前用户来说是否方便、耐用，有较好的性价比和满意度？结果分析: 对学习者的影响:教学之后对学习者的成就和动机水平是否满意？对工作的影响：学习者是否能够将信息、技能和态度从教学环境迁移到工作环境或者迁移到与教学相关的后续单元中？对组织的影响：学习者行为（表现、态度）的改变是否对组织使命和目标的实现产生了正面影响，如降低了辍学率、辞职率，提高了出勤率、成果；增加了生产率和成绩) 管理分析： 1．教员和管理者是否感到满意？ 2．所建议的实施过程是否可行? 3．与时间、人员、设备和资源相关的费用是否合理？实地试验阶段由两部分组成，第一部分是结果分析，要评价教学对学习者技能、对学习者工作（迁移）以及对组织（需求满足程度）的影响。第二部分是管理分析，包括评定教员及管理人员对学习者表现的看法，实施可行性和费用等。总结性评价的实地试验阶段要纪录学习者的表现和态度，记录教员/管理者的态度，记录实施教学过程和所需要的资源，实地试验的主要目的就是要确定教学的优点和缺点，判断成因，记录下好的地方和存在的问题。专家评价和实地试验都可以只对一种教学材料做，也可以对若干个需要比较的教学材料做。一般来说，专家评价阶段往往是从多个候选教学中挑选出一两个最有竞争力的去做实地试验。下面详细介绍了这两个阶段。在专家评价阶段的叙述中，我们假设你要评价的教学是你所不熟悉的，而你又必须决定是否要增加实地试验的人手和费用

总结性评价的专家评价阶段适合度分析组织的需求不管总结性评价是否要做教学材料的比较,还是只对一种教学材料进行评价,评价人员都要了解所评价的教学材料是为什么目标针对什么对象而设计的,要判断该教学的目标和对象是否与组织的需求、目标学习者的特征相吻合。为了进行适合度分析,首先你必须获得该组织需求的清楚说明,其中包括对目标学习者入门技能和特征的精确描述。在获得这个信息之后,你要在教学材料中具体标注出满足组织需求的地方。对于每一种候选材料,你都要获得该教学的目标和目的的清楚陈述,以及它所针对的目标对象。这些信息有时候可以在材料的前言中或序中找到,也可能出现在教师手册中。如果这些描述太一般化了, 那么你可能还需要与材料的出版商联系,索求更详细的信息。资源你还要分析该组织为了购买及实施教学材料可用的资源,以及获取和安装其他材料的费用。太贵的材料,即使很有效,通常也不在组织的考虑之列。组织中可用的设施和设备与实施教学所需要的设施和设备之间往往也存在着一定的差距。一旦获得了这些相关资料,你就要开始比较1)组织的需求与材料的目标,2)组织的目标人群与材料的目标人群,3)组织可用的资源与获得和实施该教学的设备需求。从适合度分析中得出的信息应该与有关的决策人分享,尽管你会被要求提供建议,但是那些做出最终决定的人,那些决定要对哪个材料做总结性评价,或者是否继续评价过程的人因组织而异。对于那些被选择做总结性评价的材料都要问如下几个与高质量材料设计有关的问题,这些问题应该在进行实地试验之前就得到回答 1.该材料及所附带的考试题是否齐全且准确? 2.所采用的教学策略是否适合学习结果的类型? 3.该材料能够被有效地使用吗? 4.当前用户对此材料满意吗? 如果你判断出候选材料在这些重要方面存在明显的不足,那么继续总结性评价不会有什么结果。在总结性评价的这个阶段结束后,你应该告诉主管你的判断,再问他们是否还要继续总结性评价。总结性评价的这个阶段所采用的工作方式与形成性评价中一对一评价时所采用的策略类似,但也有些不同。下面我们依次考虑在此阶段要做的各种分析内容分析因为你可能不是要评价的材料方面的内容专家,因此可能需要请一个内容专家作为顾问。你必须考虑的问题是如何最好地发挥这个专家的作用。一种策略是向专家提供所有候选材料的副本,请他们评判材料对于组织所陈述目标的精确性和完整性。另外一种更好的、性价比更高的策略是与专家一起做所陈述目标的教学分析。专家所产生的文档既要包括目标分

总结性评价的专家评价阶段适合度分析组织的需求不管总结性评价是否要做教学材料的比较，还是只对一种教学材料进行评价，评价人员都要了解所评价的教学材料是为什么目标针对什么对象而设计的，要判断该教学的目标和对象是否与组织的需求、目标学习者的特征相吻合。为了进行适合度分析，首先你必须获得该组织需求的清楚说明，其中包括对目标学习者入门技能和特征的精确描述。在获得这个信息之后，你要在教学材料中具体标注出满足组织需求的地方。对于每一种候选材料，你都要获得该教学的目标和目的的清楚陈述，以及它所针对的目标对象。这些信息有时候可以在材料的前言中或序中找到，也可能出现在教师手册中。如果这些描述太一般化了，那么你可能还需要与材料的出版商联系，索求更详细的信息。资源你还要分析该组织为了购买及实施教学材料可用的资源，以及获取和安装其他材料的费用。太贵的材料，即使很有效，通常也不在组织的考虑之列。组织中可用的设施和设备与实施教学所需要的设施和设备之间往往也存在着一定的差距。一旦获得了这些相关资料，你就要开始比较 1）组织的需求与材料的目标，2）组织的目标人群与材料的目标人群，3）组织可用的资源与获得和实施该教学的设备需求。从适合度分析中得出的信息应该与有关的决策人分享，尽管你会被要求提供建议，但是那些做出最终决定的人，那些决定要对哪个材料做总结性评价，或者是否继续评价过程的人因组织而异。对于那些被选择做总结性评价的材料都要问如下几个与高质量材料设计有关的问题，这些问题应该在进行实地试验之前就得到回答： 1．该材料及所附带的考试题是否齐全且准确？ 2．所采用的教学策略是否适合学习结果的类型？ 3．该材料能够被有效地使用吗？ 4．当前用户对此材料满意吗？如果你判断出候选材料在这些重要方面存在明显的不足，那么继续总结性评价不会有什么结果。在总结性评价的这个阶段结束后，你应该告诉主管你的判断，再问他们是否还要继续总结性评价。总结性评价的这个阶段所采用的工作方式与形成性评价中一对一评价时所采用的策略类似，但也有些不同。下面我们依次考虑在此阶段要做的各种分析。内容分析因为你可能不是要评价的材料方面的内容专家，因此可能需要请一个内容专家作为顾问。你必须考虑的问题是如何最好地发挥这个专家的作用。一种策略是向专家提供所有候选材料的副本，请他们评判材料对于组织所陈述目标的精确性和完整性。另外一种更好的、性价比更高的策略是与专家一起做所陈述目标的教学分析。专家所产生的文档既要包括目标分

析也要包括从属技能分析。那个确定并序列化教学目标中主要步骤和从属技能的框架可用来判断任何候选材料的精确性和完整性。如何使用这个框架呢?框架中所包含的技能可以转换为一张核査表或一张等级量表,评价人员可以据此来审核评定候选材料以及相关考试题的质量。设计分析类似于一对一形成性评价,你需要评价候选材料中的教学策略成分是否合适。作为一个外部评价人员,你可能不知道某个策略成分是否出现了,如果出现了是否能引起并维持学习者的注意力。同样在这个时候可以用核査表来审核和比较候选材料,这是最彻底最省时间的方法在开发核查表时,你要在最左列列出各教学策略成分,用剩下的列纪录候选材料中是否出现该教学策略。你也可以设计成等级量表形式,基于材料中所说的学习结果的类型设定权值。评价人员所填写的表格会因为教学的性质不同而有很大差别可用性和可行性分析关于教学材料的第三个问题与候选材料的可用性有关。对于每种材料,你都要考虑这些因素,诸如是否有学习者指南,是否有课程大纲,是否有教师手册等。另外还要考虑材料的耐用性,以及是否还有对其他特殊资源的要求,如对教师能力、设备或环境(如学习中心) 的要求等。可用性方面的考虑还包括材料是否需要考虑小组或个人进度,获得和实施该材料的相对费用是否可修改等等。事实上,任何有可能扩大或限制该材料在组织中采用的因素都应该考虑。为了设计这部分的总结性评价,你需要与组织中要求进行总结性评价的关键人物会谈。通过与他们的讨论,确定你确实了解了他们的需求、资源和限制。他们还可能有助于确定你尚未考虑到的一些可用性方面的问题你可以根据所选择的可用性问题,设计一个总结表,以便在评价所有候选材料时将注意力集中到这些问题上。与前面的例子一样,最重要的问题列在核查表的最左列,随后是每种材料的回答各占一列。这种核查表和前面介绍的核查表不同,你需要给出每种材料相关的描述性信息,而不是简单判断某个指标是否出现。这种用表格的形式简要总结描述性信息的方式,可以方便材料的比较,有助于形成建议。当前用户分析还有另外一类分析你可能希望包含在你的评价设计中,就是向正在使用候选材料的组织寻求额外的信息。当前用户名单可以从材料的出版商处获得你需要从用户那里获得哪些信息呢?一种类型的信息是有关目标学习者在其他环境下的数据。例如,他们的入门技能是什么,学习这个材料的动机是什么?使用该教学前后他们的前测和后测表现如何?最后,他们对该材料的态度如何?

析也要包括从属技能分析。那个确定并序列化教学目标中主要步骤和从属技能的框架可用来判断任何候选材料的精确性和完整性。如何使用这个框架呢？框架中所包含的技能可以转换为一张核查表或一张等级量表，评价人员可以据此来审核评定候选材料以及相关考试题的质量。设计分析类似于一对一形成性评价，你需要评价候选材料中的教学策略成分是否合适。作为一个外部评价人员，你可能不知道某个策略成分是否出现了，如果出现了是否能引起并维持学习者的注意力。同样在这个时候可以用核查表来审核和比较候选材料，这是最彻底最省时间的方法。在开发核查表时，你要在最左列列出各教学策略成分，用剩下的列纪录候选材料中是否出现该教学策略。你也可以设计成等级量表形式，基于材料中所说的学习结果的类型设定权值。评价人员所填写的表格会因为教学的性质不同而有很大差别。可用性和可行性分析关于教学材料的第三个问题与候选材料的可用性有关。对于每种材料，你都要考虑这些因素，诸如是否有学习者指南，是否有课程大纲，是否有教师手册等。另外还要考虑材料的耐用性，以及是否还有对其他特殊资源的要求，如对教师能力、设备或环境（如学习中心）的要求等。可用性方面的考虑还包括材料是否需要考虑小组或个人进度，获得和实施该材料的相对费用是否可修改等等。事实上，任何有可能扩大或限制该材料在组织中采用的因素都应该考虑。为了设计这部分的总结性评价，你需要与组织中要求进行总结性评价的关键人物会谈。通过与他们的讨论，确定你确实了解了他们的需求、资源和限制。他们还可能有助于确定你尚未考虑到的一些可用性方面的问题。你可以根据所选择的可用性问题，设计一个总结表，以便在评价所有候选材料时将注意力集中到这些问题上。与前面的例子一样，最重要的问题列在核查表的最左列，随后是每种材料的回答各占一列。这种核查表和前面介绍的核查表不同，你需要给出每种材料相关的描述性信息，而不是简单判断某个指标是否出现。这种用表格的形式简要总结描述性信息的方式，可以方便材料的比较，有助于形成建议。当前用户分析还有另外一类分析你可能希望包含在你的评价设计中，就是向正在使用候选材料的组织寻求额外的信息。当前用户名单可以从材料的出版商处获得。你需要从用户那里获得哪些信息呢？一种类型的信息是有关目标学习者在其他环境下的数据。例如，他们的入门技能是什么，学习这个材料的动机是什么？使用该教学前后他们的前测和后测表现如何？最后，他们对该材料的态度如何？

总结性评价的实地试验阶段结果分析总结性评价的第二个阶段是实地试验。在试验阶段,教学按照预先计划在组织内对所选择的目标学习者实施,实地试验包括以下几个部分:做评价计划,为实施做准备,实施教学和收集数据,整理和分析数据,最后报告结果表121总结了与此阶段评价每个部分相关的活动,每列的表头是主要部分的名称,下面列出的是与此相关的活动。所有处在第一列“计划”部分的活动都应该在第二列“准备活动开始之前自上而下地完成。类似地,第二列的活动也应该在第三列“实施收集数据” 活动开始之前按顺序从上往下执行。但是,在教学实施和数据收集时,不再采用这种自上而下顺序执行的模式,而是按照最省时、性价比最高的时间表来收集与每行相关的数据。数据总结和报告这两列也是如此。最后三列的活动之所以也按照这个顺序呈现,只是为了简单地说明他们与前两列活动之间的关系。下面非常详细地介绍了总结性实地试验的每个活动计划第一个计划活动就是设计你要进行的实地试验。所做的设计取决于几个因素如需求评价、材料特点、是否要包括其他做比较的材料等。你可以只用一组人来评价一种材料;也可以用具有不同的特征、或分处在不同环境下的多个组去评价一种材料;你还可以在对照组和对照环境下比较不同的材料。另外一个设计活动是清楚定义在研究时要回答的问题,这些问题是根据学习结果分析 (对学习者、工作和组织的影响)和管理分析而提出来的。这些问题一定要与学习者的入门技能、他们在目标上前测和后测的成绩、以及他们的态度紧密相关,另外也要与所需要的资源、设备和设施相关,还可能与实施教学的那些人的技能和态度有关。其他相关因素还有实施过程和实施日程安排。具体包含哪些问题取决于所做的研究及可用的资源所要设计的问题不仅关于学习环境下学生的表现,还要包括在迁移环境下学生的表现。事先要计划好是对参与教学的部分学生还是全部学生做进一步的调查。可以采用访谈、问卷和观察方法向学习者和管理者、同僚和下属了解该教学对工作环境的影响。在形成性评价实地试验时所问的一些问题在这里也可以问,总之,一定要事先做好计划当手头有了教学材料,有了设计好的评价框架,下一步就是陈述研宄所需要的资源、设施和设备了。这个活动应该在确定如何取样之前完成,因为在这方面所遇到的限制会影响到你所要使用的组的性质。先计划理想化的需求,然后再协商这些需求的可行性在解决了所需要的资源问题后,你就可以将注意力转向描述理想目标学习者了。你的描述应该包括他们的入门技能,以及其他与材料相关的特征(如先前的经历,现在的职位,和个人目标),你还要决定你所需要的(或你能应付的)学习者的数量,以及你所需要的组的数目。在做这个决定的时候,你要做适当地估计,因为是数据的质量而不是数量起关键作用一般来说,有20到30个经过挑选的真正能代表目标人群的学习者就够了。组这个词并不意味着小组教学,而是指要收集数据的个体数目。旦你知道了研究中要有多少学习者,你就可以确定需要多少教员或管理人员。除了说明理想人数,你还要描述为了实施教学他们应具备的技能。是否能够找到一定数量的合适教员可能会影响到你前面设计的学习者数量。如果限制学习者数量不可行,那么你就需要做

总结性评价的实地试验阶段结果分析总结性评价的第二个阶段是实地试验。在试验阶段，教学按照预先计划在组织内对所选择的目标学习者实施，实地试验包括以下几个部分：做评价计划，为实施做准备，实施教学和收集数据，整理和分析数据，最后报告结果。表 12.1 总结了与此阶段评价每个部分相关的活动，每列的表头是主要部分的名称，下面列出的是与此相关的活动。所有处在第一列“计划”部分的活动都应该在第二列“准备” 活动开始之前自上而下地完成。类似地，第二列的活动也应该在第三列“实施/收集数据” 活动开始之前按顺序从上往下执行。但是，在教学实施和数据收集时，不再采用这种自上而下顺序执行的模式，而是按照最省时、性价比最高的时间表来收集与每行相关的数据。数据总结和报告这两列也是如此。最后三列的活动之所以也按照这个顺序呈现，只是为了简单地说明他们与前两列活动之间的关系。下面非常详细地介绍了总结性实地试验的每个活动。计划第一个计划活动就是设计你要进行的实地试验。所做的设计取决于几个因素，如需求评价、材料特点、是否要包括其他做比较的材料等。你可以只用一组人来评价一种材料；也可以用具有不同的特征、或分处在不同环境下的多个组去评价一种材料；你还可以在对照组和对照环境下比较不同的材料。另外一个设计活动是清楚定义在研究时要回答的问题，这些问题是根据学习结果分析（对学习者、工作和组织的影响）和管理分析而提出来的。这些问题一定要与学习者的入门技能、他们在目标上前测和后测的成绩、以及他们的态度紧密相关，另外也要与所需要的资源、设备和设施相关，还可能与实施教学的那些人的技能和态度有关。其他相关因素还有实施过程和实施日程安排。具体包含哪些问题取决于所做的研究及可用的资源。所要设计的问题不仅关于学习环境下学生的表现，还要包括在迁移环境下学生的表现。事先要计划好是对参与教学的部分学生还是全部学生做进一步的调查。可以采用访谈、问卷和观察方法向学习者和管理者、同僚和下属了解该教学对工作环境的影响。在形成性评价实地试验时所问的一些问题在这里也可以问，总之，一定要事先做好计划。当手头有了教学材料，有了设计好的评价框架，下一步就是陈述研究所需要的资源、设施和设备了。这个活动应该在确定如何取样之前完成，因为在这方面所遇到的限制会影响到你所要使用的组的性质。先计划理想化的需求，然后再协商这些需求的可行性。在解决了所需要的资源问题后，你就可以将注意力转向描述理想目标学习者了。你的描述应该包括他们的入门技能，以及其他与材料相关的特征（如先前的经历，现在的职位，和个人目标），你还要决定你所需要的（或你能应付的）学习者的数量，以及你所需要的组的数目。在做这个决定的时候，你要做适当地估计，因为是数据的质量而不是数量起关键作用。一般来说，有 20 到 30 个经过挑选的真正能代表目标人群的学习者就够了。组这个词并不意味着小组教学，而是指要收集数据的个体数目。一旦你知道了研究中要有多少学习者，你就可以确定需要多少教员或管理人员。除了说明理想人数，你还要描述为了实施教学他们应具备的技能。是否能够找到一定数量的合适教员可能会影响到你前面设计的学习者数量。如果限制学习者数量不可行，那么你就需要做一

个计划,多培训几个教员了。计划阶段的最后一个活动就是对教员做相关培训。一个好的总结性评价需要实施教学教员的合作,他们必须感到他们是整个研究的重要组成,他们有知情权,他们的观点是有价值的。与这些人从一开始就建立和睦的关系,并在整个研究过程中保持密切合作,会提高实地试验以及你所获得的数据的质量。最后一个提醒:必须要使教员相信你不是在评价他们,也不是在评价学习者。从一开始,评价的焦点就是教学。建立信任,关心学习者的需求,你才能进入这个环境,获得需要的数据,事实上,可以在研究过程中始终将他们既视为研究的实施者,也视作评价人员,这是一个不错的想法。表12.1总结性评价试验活动一览计划准备实施/收集数据整理和分析数据报告结果设计评价获得量表说明设计的局限安排教学和测试时间编写/修改课程大纲结果分析获得资源,设施适当吗?(观察,说明因资源、设建议和分析说明所需要的资和设备访谈,问卷)施和设备所引起源、设施和设备的问题说明目标人群的选择样本学习者表现?进行小组和个人对学习者、工作入门技能和特征确认入门技能(前测) 的题目-目标分和组织的影响进说明试验需要的(数据) 学习者态度?析行解释、分析和安排学习者试验(观察,访谈, 组数和学习者人小组和个人的目建议时间学习者在工作环标交叉测试总结境下的表现(使态度总结用情况,有效性?) 管理分栌挑选教员实施有效吗?说明因教员或目建议和分析说明教员或管理审核其技能要修改吗?(观标引起的问题人员应具备的技安排教员试验时察,访谈) 能间说明需要的教员数量计划和开发对教提供对教员的培培训有效吗?说明目标和活动建议和分析员/管理人员的训 (观察,访谈)引起的实施问题培训准备准备阶段的活动根据计划阶段的决定而做,包括获取所有的材料、量表、资源和人。当需要和现实不同时,就要做出某种让步。在你的评价报告中要专门有一节说明这些试验限制,注明所做的改变。实施收集数据在教学的实施阶段,你需要收集所要求的各种类型的数据,包括测定表现、观察、访谈和问卷。你所收集的数据的多寡取决于你的问题和资源。至少你需要前测

个计划，多培训几个教员了。计划阶段的最后一个活动就是对教员做相关培训。一个好的总结性评价需要实施教学教员的合作，他们必须感到他们是整个研究的重要组成，他们有知情权，他们的观点是有价值的。与这些人从一开始就建立和睦的关系，并在整个研究过程中保持密切合作，会提高实地试验以及你所获得的数据的质量。最后一个提醒：必须要使教员相信你不是在评价他们，也不是在评价学习者。从一开始，评价的焦点就是教学。建立信任，关心学习者的需求，你才能进入这个环境，获得需要的数据，事实上，可以在研究过程中始终将他们既视为研究的实施者，也视作评价人员，这是一个不错的想法。表 12.1 总结性评价试验活动一览计划准备实施/收集数据整理和分析数据报告结果设计评价获得量表安排教学和测试时间编写/修改课程大纲说明设计的局限结果分析说明所需要的资源、设施和设备获得资源，设施和设备。适当吗？（观察，访谈，问卷）说明因资源、设施和设备所引起的问题建议和分析说明目标人群的入门技能和特征说明试验需要的组数和学习者人数选择样本确认入门技能（数据）安排学习者试验时间学习者表现？（前测）学习者态度？（观察，访谈，问卷）学习者在工作环境下的表现（使用情况，有效性？）进行小组和个人的题目- 目标分析小组和个人的目标交叉测试总结态度总结对学习者、工作和组织的影响进行解释、分析和建议管理分析说明教员或管理人员应具备的技能说明需要的教员数量挑选教员审核其技能安排教员试验时间实施有效吗？要修改吗？（观察，访谈）说明因教员或目标引起的问题建议和分析计划和开发对教员/管理人员的培训提供对教员的培训培训有效吗？（观察，访谈）说明目标和活动引起的实施问题建议和分析准备准备阶段的活动根据计划阶段的决定而做，包括获取所有的材料、量表、资源和人。当需要和现实不同时，就要做出某种让步。在你的评价报告中要专门有一节说明这些试验限制，注明所做的改变。实施/收集数据在教学的实施阶段，你需要收集所要求的各种类型的数据，包括测定表现、观察、访谈和问卷。你所收集的数据的多寡取决于你的问题和资源。至少你需要前测

数据和后测数据,以及学习者对教学材料和教学过程的看法。这些信息通常通过教员不太昂贵也不太麻烦地就可以获得。在过了一段时间之后,就可以到实际环境去作评价了整理和分析数据在形成性评价的实地试验部分介绍的数据汇总技术对于总结性实地试验也同样适用。至少你需要产生目标-题目对照表,按组或按人总结学习者的成绩,你也可能还想用表格形式比较个人和小组从前测到后测的进步,描述所学技能在实际环境下的使用情况。在分析数据的时候,需要将教学效果不佳的地方纪录下来,同时也要记录造成这些弱项的可能原因。另外,教学有效的地方也要记录下来。在总结性评价的实地试验阶段,对材料的优势和不足进行均衡分析十分重要,只关注不足对材料的价值评价就会出现偏差报告结果总结性评价报告的内容取决于评价设计,如果评价设计既包括专家评价, 也包括实地试验,那么在评价报告中这两个阶段的情况都要写。每个阶段都要说明基本目的、特定问题、评价设计和评价过程、评价结果、你的建议和分析。你的建议必须依据评价结果部分所呈现的数据。在你设计和形成评价报告的时候要始终想着评价报告的读者。沃仁、桑德和费茨派崔克 (1997)在分析了几份项目评价报告后,总结道:尽管这些报告内容丰富,但是它们是印刷 “毒药”!你不妨按照他们提出的格式来写作,以避免这个问题。他们建议在报告开头部分先写一个简短的总结,概括最终的建议和所做的分析。随后,读者就可以自行选择阅读技术文档的哪些部分,以便审核评价过程的质量,判断你的结论的正确性。(你可以象对教学做形成性评价一样对技术报告做形成性评价。) 形成性评价和总结性评价比较形成性评价和总结性评价在几个方面都存在差异,这些差异总结在表122中。第一个差异是进行每种评价的目的不同。进行形成性评价是为了发现教学的弱点和问题,以便改进进行总结性评价是要找出教学的优点和缺点,并将发现记录下来供决策者决定是否采用或继续采用该材料两者的第二个差别是所包含的评价阶段不同。形成性评价包括三个阶段:一对一评价小组评价和实地试验,所有评价都是针对目标学习者进行的。在每个阶段,大量的时间花在对学习者的观察和访谈上,以便了解他们在教学中所遇到的问题及其实质。相反,总结性评价只有两个阶段:专家评价阶段和实地试验阶段。专家评价阶段类似于设计师和领域专家在材料的设计和开发阶段所做的评价决策。目标学习者并不参与这个阶段的总结性评价。实地试验阶段是针对目标学习者进行的,但是很少花时间去追询为什么学习者能通过或不能通过某个教学目标,实地试验是在教学之后、在实际环境下通过不打扰的观察、问卷和标准参照考试等方式获得数据。表122形成性评价和总结性评价的比较形成性评价总结性评价目的确定教学的弱点以便修改记录教学的优缺点以便决定是否采用或继续采用阶段对一评价专家评价

数据和后测数据，以及学习者对教学材料和教学过程的看法。这些信息通常通过教员不太昂贵也不太麻烦地就可以获得。在过了一段时间之后，就可以到实际环境去作评价了。整理和分析数据在形成性评价的实地试验部分介绍的数据汇总技术对于总结性实地试验也同样适用。至少你需要产生目标-题目对照表，按组或按人总结学习者的成绩，你也可能还想用表格形式比较个人和小组从前测到后测的进步，描述所学技能在实际环境下的使用情况。在分析数据的时候，需要将教学效果不佳的地方纪录下来，同时也要记录造成这些弱项的可能原因。另外，教学有效的地方也要记录下来。在总结性评价的实地试验阶段，对材料的优势和不足进行均衡分析十分重要，只关注不足对材料的价值评价就会出现偏差。报告结果总结性评价报告的内容取决于评价设计，如果评价设计既包括专家评价，也包括实地试验，那么在评价报告中这两个阶段的情况都要写。每个阶段都要说明基本目的、特定问题、评价设计和评价过程、评价结果、你的建议和分析。你的建议必须依据评价结果部分所呈现的数据。在你设计和形成评价报告的时候要始终想着评价报告的读者。沃仁、桑德和费茨派崔克（1997）在分析了几份项目评价报告后，总结道：尽管这些报告内容丰富，但是它们是印刷 “毒药”！你不妨按照他们提出的格式来写作，以避免这个问题。他们建议在报告开头部分先写一个简短的总结，概括最终的建议和所做的分析。随后，读者就可以自行选择阅读技术文档的哪些部分，以便审核评价过程的质量，判断你的结论的正确性。（你可以象对教学做形成性评价一样对技术报告做形成性评价。）形成性评价和总结性评价比较形成性评价和总结性评价在几个方面都存在差异，这些差异总结在表 12.2 中。第一个差异是进行每种评价的目的不同。进行形成性评价是为了发现教学的弱点和问题，以便改进。进行总结性评价是要找出教学的优点和缺点，并将发现记录下来供决策者决定是否采用或继续采用该材料。两者的第二个差别是所包含的评价阶段不同。形成性评价包括三个阶段：一对一评价，小组评价和实地试验，所有评价都是针对目标学习者进行的。在每个阶段，大量的时间花在对学习者的观察和访谈上，以便了解他们在教学中所遇到的问题及其实质。相反，总结性评价只有两个阶段：专家评价阶段和实地试验阶段。专家评价阶段类似于设计师和领域专家在材料的设计和开发阶段所做的评价决策。目标学习者并不参与这个阶段的总结性评价。实地试验阶段是针对目标学习者进行的，但是很少花时间去追询为什么学习者能通过或不能通过某个教学目标，实地试验是在教学之后、在实际环境下通过不打扰的观察、问卷和标准参照考试等方式获得数据。表 12.2 形成性评价和总结性评价的比较形成性评价总结性评价目的确定教学的弱点以便修改记录教学的优缺点以便决定是否采用或继续采用阶段一对一评价专家评价

小组评价实地试验实地试验教学开发历史自己完成教学的系统化设计,自己或别人设计开发的教学, 并根据组织需求进行裁剪不一定遵从系统化方法材料种材料种材料或多种要比较的材评价人员的立场设计和开发组的成员典型的外部评价人员成果修改教学的具体建议记录了设计、过程、结果、建议和分析的报告用于形成性评价和总结性评价的材料其开发历史也可能不同,做形成性评价的教学通常是经过系统化设计和开发的,因此具有对目标学习者有效的承诺。而那些作总结性评价的材料可能采用了也可能并不没有采用系统化设计过程开发,只是要进行实地试验的材料,应该具有系统化设计的许多特征,因此也应该具有对目标学习者有效的承诺形成性评价和总结性评价的另一个区别是所评价的教学的数量。形成性评价只对一种材料评价,总结性评价可能是评价一种材料,也可能是评价几个彼此竞争的材料。总结性评价可能包括一种评价材料和不同特征的目标人群:也可能是多种评价材料和具有类似特征的目标人群。形成性评价和总结性评价的另外一个不同是评价人员与材料之间的关系。一般来说,形成性评价的评价人员参与了教材的设计和开发,是为了产生尽可能好的材料而寻求适当的评判。这种对评价结果有个人投入的评价人员叫做内部评价人员。要求总结性评价人员对于所评价的材料没有个人投入是明智的,因为这种派遣的人员可以保持在设计评价时以及描述材料优缺点时的客观性。这种派遣去的评价人员通常叫做外部评价人员。形成性评价和总结性评价的最后一个区别是其结果不同。形成性评价的结果包括对教学修改的具体建议,以及在评价的三个阶段中实际修改后的材料。总结性评价的结果并不是对修改的建议,而是写给决策者的报告,记录了所评价的教学的优势和不足示例这节介绍了总结性评价的专家评价阶段可用的评价量表样例。在形成性评价那章里已经详细描述了实地试验阶段要用到的量表及数据分析过程,在此就不重复了。一般来说,专家评价阶段所要用到的量表包括信息总结表,评价人员要填写的评价核查表或等级量表。用于适合度分析的数据总结表表12.3是一种用于适合度分析的信息总结表格式。左列用于描述组织的教学需求,组织中目标人群的入门技能和特征,为获得和实施教学该组织可用的资源。其他的列用来纪录各候选材料的对应信息。按照这种方式总结信息可以使你和决策人直观地判断候选材料是否合适表12.3适合度分析信息总结表

小组评价实地试验实地试验教学开发历史自己完成教学的系统化设计，并根据组织需求进行裁剪自己或别人设计开发的教学，不一定遵从系统化方法材料一种材料一种材料或多种要比较的材料评价人员的立场设计和开发组的成员典型的外部评价人员成果修改教学的具体建议记录了设计、过程、结果、建议和分析的报告用于形成性评价和总结性评价的材料其开发历史也可能不同，做形成性评价的教学通常是经过系统化设计和开发的，因此具有对目标学习者有效的承诺。而那些作总结性评价的材料可能采用了也可能并不没有采用系统化设计过程开发，只是要进行实地试验的材料，应该具有系统化设计的许多特征，因此也应该具有对目标学习者有效的承诺。形成性评价和总结性评价的另一个区别是所评价的教学的数量。形成性评价只对一种材料评价，总结性评价可能是评价一种材料，也可能是评价几个彼此竞争的材料。总结性评价可能包括一种评价材料和不同特征的目标人群；也可能是多种评价材料和具有类似特征的目标人群。形成性评价和总结性评价的另外一个不同是评价人员与材料之间的关系。一般来说，形成性评价的评价人员参与了教材的设计和开发，是为了产生尽可能好的材料而寻求适当的评判。这种对评价结果有个人投入的评价人员叫做内部评价人员。要求总结性评价人员对于所评价的材料没有个人投入是明智的，因为这种派遣的人员可以保持在设计评价时以及描述材料优缺点时的客观性。这种派遣去的评价人员通常叫做外部评价人员。形成性评价和总结性评价的最后一个区别是其结果不同。形成性评价的结果包括对教学修改的具体建议，以及在评价的三个阶段中实际修改后的材料。总结性评价的结果并不是对修改的建议，而是写给决策者的报告，记录了所评价的教学的优势和不足。示例这节介绍了总结性评价的专家评价阶段可用的评价量表样例。在形成性评价那章里已经详细描述了实地试验阶段要用到的量表及数据分析过程，在此就不重复了。一般来说，专家评价阶段所要用到的量表包括信息总结表，评价人员要填写的评价核查表或等级量表。用于适合度分析的数据总结表表 12.3 是一种用于适合度分析的信息总结表格式。左列用于描述组织的教学需求，组织中目标人群的入门技能和特征，为获得和实施教学该组织可用的资源。其他的列用来纪录各候选材料的对应信息。按照这种方式总结信息可以使你和决策人直观地判断候选材料是否合适。表 12.3 适合度分析信息总结表

《系统化教学设计》课程教学资源（教案讲义）第12章 设计和实施总结性评价

《系统化教学设计》课程教学资源（教案讲义）第12章设计和实施总结性评价