第12章设计和实施总结性评价 进行教学分 修改教学 评价需求 开发和选择 设计并实施 确定目标 测量表 学策略 教学材料 教学的形成 性评价 分析学习者 和环境 设计并实施 总结性评价 目标 说明总结性评价的目的 阐述总结性评价的两个阶段及每个阶段要做的决定 为比较不同的教学材料设计总结性评价方案 从目的和设计两方面比较形成性评价和总结性评价 背景 前面已经学到:形成性评价是为了改进教学而收集数据和信息的过程。与其形成鲜明对 照的是总结性评价,它是为了决定是否采用或继续采用某个教学而收集数据和信息的过程 形成性评价和总结性评价的差异在几十年前就已然区分,当时每出现一个新的学校课 程,或者每出现一个新的教学传递系统,发明人总会说它要比其竞争者好,于是就需要尽快 通过研究来证实谁是“赢家”。经常的情况是新的教学并不如传统教学,对于有经验的评价 人员来说,这也没有什么可奇怪的,因为新事物还很粗糙,而传统教学已经经过了多年的使 用和修正 所以,有人提出这类比较应该在新方法经过形成性评价,修改了所有重要错误之后,已 经可以日常使用的时候才进行。在那个时候,就可以将新方法与其他形式的教学进行比较, 精确纪录新方法在学习者表现、学习态度、教师反应、费用、持久性,以及与课程或组织中
第 12 章 设计和实施总结性评价 目标 ⚫ 说明总结性评价的目的 ⚫ 阐述总结性评价的两个阶段及每个阶段要做的决定 ⚫ 为比较不同的教学材料设计总结性评价方案 ⚫ 从目的和设计两方面比较形成性评价和总结性评价 背景 前面已经学到：形成性评价是为了改进教学而收集数据和信息的过程。与其形成鲜明对 照的是总结性评价，它是为了决定是否采用或继续采用某个教学而收集数据和信息的过程。 形成性评价和总结性评价的差异在几十年前就已然区分，当时每出现一个新的学校课 程，或者每出现一个新的教学传递系统，发明人总会说它要比其竞争者好，于是就需要尽快 通过研究来证实谁是“赢家”。经常的情况是新的教学并不如传统教学，对于有经验的评价 人员来说，这也没有什么可奇怪的，因为新事物还很粗糙，而传统教学已经经过了多年的使 用和修正。 所以，有人提出这类比较应该在新方法经过形成性评价，修改了所有重要错误之后，已 经可以日常使用的时候才进行。在那个时候，就可以将新方法与其他形式的教学进行比较， 精确纪录新方法在学习者表现、学习态度、教师反应、费用、持久性，以及与课程或组织中 评价需求 确定目标 进行教学分 析 分析学习者 和环境 写绩效 目标 修改教学 开发评 测量表 开发教 学策略 设计并实施 教学的形成 性评价 设计并实施 总结性评价 开发和选择 教学材料
其他教学兼容性方面的情况。做总结性评价并不一定要对两种或两种以上的教学产品进行比 较,总结性研究可以只研究一种新方法的效果。 对于教学设计师来说,形成性评价是有效运用系统化设计过程的基础,其重要性怎么说 也不过分,每一位教学设计师都必须能够熟练地运用形成性评价,但是并不要求他们掌握总 结性评价,这是总结性评价的“本质”造成的。当需要对一个新的传递系统或者一个新的课 程进行公正评价的时候,大多数的决策者都不希望由新系统或新方法的开发者或发明者来做 评价,而是聘请外面的、第三方评价人员来进行总结性评价。 最近几年,总结性评价的调子有所变化,问题不再是“谁最好?”,而变成“该教学活动 是否解决了引发对此教学产生需求的问题?”,换句话来说,教学被视为解决问题的一种方案, 总结性评价的最终问题是“它是否解决了这个问题?” 但是,这不正是我们在实际环境下做形成性评价时所问的问题吗?是的,当时我们是问 的这个问题,但是在此目的不同。在形成性评价阶段,我们想用这个信息来改进教学,使教 学能促进技能在实际环境下的使用,提高技能运用的有效性。而现在,在总结性评价中,我 们要问的是,在形成性评价(无论开发者采用了什么设计策略)完成后,教学是否已经能有 效地解决了我们的问题 因此,评价兴趣己经从比较新方法,分析考试成绩,而转向观察学习者在实际环境中的 表现:是否运用了所学技能,运用效果如何?为了回答这些问题,总结性评价要分两个阶段 进行:第一个阶段聚焦所感兴趣的教学和组织需求之间的关系,通过利用有关文档完成这步 分析。第二阶段做教学的实地试验,类似于形成性评价的第三个阶段,只是目的不同,即要 为决策者证实该教学能否产生所期望的结果 在本章后面的几节中,我们会多次提到“教学”和“教学材料”,我们是将它们作为同 义词混用的,因为我们要讨论的总结性评价是针对各种类型教学的总结性评价,不管该教学 是采用视频形式、教师手册形式、自学教材形式,还是计算机辅助教学形式。所以,当读到 后面,见到“教学”或“教学材料”两个词的时候,你不妨将其视为任一形式的教学。 概念 总结性评价定义为:设计评价研究方案,收集数据,以验证教学材料对目标学习者的有 效性。其主要目的是要决定是否继续釆用当前所用的教学材料,或者是否要采用有可能满足 组织所定义的教学需求的材料。所评价的材料也许并没有经过形成性评价和修改,这些材料 可能出自出版社、顾问公司或某个个人。材料长短不一,有的是为一天的研讨会或某种类型 的短课程而作,也有的是一学期、甚至一年的课程。材料的长短并不会改变研究的基本设计, 但是它会影响完成评价所需要的时间 总结性评价有两个主要阶段:专家评价阶段和实地试验阶段,专家评价阶段的目的就是 要判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。实地试验 阶段的目的是要记录有望采用的教学在预期的环境下对目标人群的有效性。每个阶段所要进 行的分析和决策,以及评价活动都列在表12.1中。 在专家评价阶段所要进行的活动是为了判断候选教学是否有竞争力,这包括(1)评价 组织的教学需求与该教学的相合性;(2)评价该教学的完整性和正确性;(3)评价该教学中 蕴含的教学策略:(4)评价教学的效力,以及(5)评判当前用户对此教学的满意度。如果
其他教学兼容性方面的情况。做总结性评价并不一定要对两种或两种以上的教学产品进行比 较，总结性研究可以只研究一种新方法的效果。 对于教学设计师来说，形成性评价是有效运用系统化设计过程的基础，其重要性怎么说 也不过分，每一位教学设计师都必须能够熟练地运用形成性评价，但是并不要求他们掌握总 结性评价，这是总结性评价的“本质”造成的。当需要对一个新的传递系统或者一个新的课 程进行公正评价的时候，大多数的决策者都不希望由新系统或新方法的开发者或发明者来做 评价，而是聘请外面的、第三方评价人员来进行总结性评价。 最近几年，总结性评价的调子有所变化，问题不再是“谁最好?”，而变成“该教学活动 是否解决了引发对此教学产生需求的问题?”，换句话来说，教学被视为解决问题的一种方案， 总结性评价的最终问题是“它是否解决了这个问题？” 但是，这不正是我们在实际环境下做形成性评价时所问的问题吗？是的，当时我们是问 的这个问题，但是在此目的不同。在形成性评价阶段，我们想用这个信息来改进教学，使教 学能促进技能在实际环境下的使用，提高技能运用的有效性。而现在，在总结性评价中，我 们要问的是，在形成性评价（无论开发者采用了什么设计策略）完成后，教学是否已经能有 效地解决了我们的问题。 因此，评价兴趣已经从比较新方法，分析考试成绩，而转向观察学习者在实际环境中的 表现：是否运用了所学技能，运用效果如何？为了回答这些问题，总结性评价要分两个阶段 进行：第一个阶段聚焦所感兴趣的教学和组织需求之间的关系，通过利用有关文档完成这步 分析。第二阶段做教学的实地试验，类似于形成性评价的第三个阶段，只是目的不同，即要 为决策者证实该教学能否产生所期望的结果。 在本章后面的几节中，我们会多次提到“教学”和“教学材料”，我们是将它们作为同 义词混用的，因为我们要讨论的总结性评价是针对各种类型教学的总结性评价，不管该教学 是采用视频形式、教师手册形式、自学教材形式，还是计算机辅助教学形式。所以，当读到 后面，见到“教学”或“教学材料”两个词的时候，你不妨将其视为任一形式的教学。 概念 总结性评价定义为：设计评价研究方案，收集数据，以验证教学材料对目标学习者的有 效性。其主要目的是要决定是否继续采用当前所用的教学材料，或者是否要采用有可能满足 组织所定义的教学需求的材料。所评价的材料也许并没有经过形成性评价和修改，这些材料 可能出自出版社、顾问公司或某个个人。材料长短不一，有的是为一天的研讨会或某种类型 的短课程而作，也有的是一学期、甚至一年的课程。材料的长短并不会改变研究的基本设计， 但是它会影响完成评价所需要的时间。 总结性评价有两个主要阶段：专家评价阶段和实地试验阶段，专家评价阶段的目的就是 要判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。实地试验 阶段的目的是要记录有望采用的教学在预期的环境下对目标人群的有效性。每个阶段所要进 行的分析和决策，以及评价活动都列在表 12.1 中。 在专家评价阶段所要进行的活动是为了判断候选教学是否有竞争力，这包括（1）评价 组织的教学需求与该教学的相合性；（2）评价该教学的完整性和正确性；（3）评价该教学中 蕴含的教学策略；（4）评价教学的效力，以及（5）评判当前用户对此教学的满意度。如果
该教学已经为满足组织的需求而做了裁剪,并经过了系统化的设计和开发,以及总结性评价 前的形成性评价,那么专家评价可以不做,但是如果该组织不熟悉此教学和它的开发历史, 就必须要做专家评价 图12.1总结性评价的专家评价和实地实施阶段 总结性评价 专家评价阶段 实地试验阶段 总体决策 该材料是否有可能满足组织需要? 这些材料在指定的环境下对于目标 学习者是否有效? 特定决策 适合度分析:组织的需求和目标是否 结果分析 与教学中陈述的吻合? 对学习者的影响教学之后对学习 内容分析:这些材料是否完全、精确、 者的成就和动机水平是否满意? 不过时? 对工作的影响:学习者是否能够将 设计分析:材料中是否表现出某种教 信息、技能和态度从教学环境迁移 学原理和动机激励? 到工作环境或者迁移到与教学相关 可用性分析:该材料对当前用户来说 的后续单元中? 是否方便、耐用,有较好的性价比和 对组织的影响:学习者行为(表现 满意度? 态度)的改变是否对组织使命和目 标的实现产生了正面影响,如降低 了辍学率、辞职率,提高了出勤率 成果;增加了生产率和成绩) 管理分析 1.教员和管理者是否感到满意? 2.所建议的实施过程是否可行? 3.与时间、人员、设备和资源相 关的费用是否合理? 实地试验阶段由两部分组成,第一部分是结果分析,要评价教学对学习者技能、对学习 者工作(迁移)以及对组织(需求满足程度)的影响。第二部分是管理分析,包括评定教员 及管理人员对学习者表现的看法,实施可行性和费用等 总结性评价的实地试验阶段要纪录学习者的表现和态度,记录教员管理者的态度,记 录实施教学过程和所需要的资源,实地试验的主要目的就是要确定教学的优点和缺点,判断 成因,记录下好的地方和存在的问题。 专家评价和实地试验都可以只对一种教学材料做,也可以对若干个需要比较的教学材料 做。一般来说,专家评价阶段往往是从多个候选教学中挑选出一两个最有竞争力的去做实地 试验。下面详细介绍了这两个阶段。在专家评价阶段的叙述中,我们假设你要评价的教学是 你所不熟悉的,而你又必须决定是否要增加实地试验的人手和费用
该教学已经为满足组织的需求而做了裁剪，并经过了系统化的设计和开发，以及总结性评价 前的形成性评价，那么专家评价可以不做，但是如果该组织不熟悉此教学和它的开发历史， 就必须要做专家评价。 图 12.1 总结性评价的专家评价和实地实施阶段 总结性评价 专家评价阶段 实地试验阶段 总体决策 该材料是否有可能满足组织需要？ 这些材料在指定的环境下对于目标 学习者是否有效？ 特定决策 适合度分析：组织的需求和目标是否 与教学中陈述的吻合？ 内容分析：这些材料是否完全、精确、 不过时？ 设计分析：材料中是否表现出某种教 学原理和动机激励？ 可用性分析：该材料对当前用户来说 是否方便、耐用，有较好的性价比和 满意度？ 结果分析: 对学习者的影响:教学之后对学习 者的成就和动机水平是否满意？ 对工作的影响：学习者是否能够将 信息、技能和态度从教学环境迁移 到工作环境或者迁移到与教学相关 的后续单元中？ 对组织的影响：学习者行为（表现、 态度）的改变是否对组织使命和目 标的实现产生了正面影响，如降低 了辍学率、辞职率，提高了出勤率、 成果；增加了生产率和成绩) 管理分析： 1． 教员和管理者是否感到满意？ 2． 所建议的实施过程是否可行? 3． 与时间、人员、设备和资源相 关的费用是否合理？ 实地试验阶段由两部分组成，第一部分是结果分析，要评价教学对学习者技能、对学习 者工作（迁移）以及对组织（需求满足程度）的影响。第二部分是管理分析，包括评定教员 及管理人员对学习者表现的看法，实施可行性和费用等。 总结性评价的实地试验阶段要纪录学习者的表现和态度，记录教员/管理者的态度，记 录实施教学过程和所需要的资源，实地试验的主要目的就是要确定教学的优点和缺点，判断 成因，记录下好的地方和存在的问题。 专家评价和实地试验都可以只对一种教学材料做，也可以对若干个需要比较的教学材料 做。一般来说，专家评价阶段往往是从多个候选教学中挑选出一两个最有竞争力的去做实地 试验。下面详细介绍了这两个阶段。在专家评价阶段的叙述中，我们假设你要评价的教学是 你所不熟悉的，而你又必须决定是否要增加实地试验的人手和费用
总结性评价的专家评价阶段 适合度分析 组织的需求不管总结性评价是否要做教学材料的比较,还是只对一种教学材料进行 评价,评价人员都要了解所评价的教学材料是为什么目标针对什么对象而设计的,要判断该 教学的目标和对象是否与组织的需求、目标学习者的特征相吻合。为了进行适合度分析,首 先你必须获得该组织需求的清楚说明,其中包括对目标学习者入门技能和特征的精确描述。 在获得这个信息之后,你要在教学材料中具体标注出满足组织需求的地方。对于每一种候选 材料,你都要获得该教学的目标和目的的清楚陈述,以及它所针对的目标对象。这些信息有 时候可以在材料的前言中或序中找到,也可能出现在教师手册中。如果这些描述太一般化了, 那么你可能还需要与材料的出版商联系,索求更详细的信息。 资源你还要分析该组织为了购买及实施教学材料可用的资源,以及获取和安装其他 材料的费用。太贵的材料,即使很有效,通常也不在组织的考虑之列。组织中可用的设施和 设备与实施教学所需要的设施和设备之间往往也存在着一定的差距。 一旦获得了这些相关资料,你就要开始比较1)组织的需求与材料的目标,2)组织的 目标人群与材料的目标人群,3)组织可用的资源与获得和实施该教学的设备需求。从适合 度分析中得出的信息应该与有关的决策人分享,尽管你会被要求提供建议,但是那些做出最 终决定的人,那些决定要对哪个材料做总结性评价,或者是否继续评价过程的人因组织而异。 对于那些被选择做总结性评价的材料都要问如下几个与高质量材料设计有关的问题,这 些问题应该在进行实地试验之前就得到回答 1.该材料及所附带的考试题是否齐全且准确? 2.所采用的教学策略是否适合学习结果的类型? 3.该材料能够被有效地使用吗? 4.当前用户对此材料满意吗? 如果你判断出候选材料在这些重要方面存在明显的不足,那么继续总结性评价不会有什 么结果。在总结性评价的这个阶段结束后,你应该告诉主管你的判断,再问他们是否还要继 续总结性评价。 总结性评价的这个阶段所采用的工作方式与形成性评价中一对一评价时所采用的策略 类似,但也有些不同。下面我们依次考虑在此阶段要做的各种分析 内容分析 因为你可能不是要评价的材料方面的内容专家,因此可能需要请一个内容专家作为顾 问。你必须考虑的问题是如何最好地发挥这个专家的作用。一种策略是向专家提供所有候选 材料的副本,请他们评判材料对于组织所陈述目标的精确性和完整性。另外一种更好的、性 价比更高的策略是与专家一起做所陈述目标的教学分析。专家所产生的文档既要包括目标分
总结性评价的专家评价阶段 适合度分析 组织的需求 不管总结性评价是否要做教学材料的比较，还是只对一种教学材料进行 评价，评价人员都要了解所评价的教学材料是为什么目标针对什么对象而设计的，要判断该 教学的目标和对象是否与组织的需求、目标学习者的特征相吻合。为了进行适合度分析，首 先你必须获得该组织需求的清楚说明，其中包括对目标学习者入门技能和特征的精确描述。 在获得这个信息之后，你要在教学材料中具体标注出满足组织需求的地方。对于每一种候选 材料，你都要获得该教学的目标和目的的清楚陈述，以及它所针对的目标对象。这些信息有 时候可以在材料的前言中或序中找到，也可能出现在教师手册中。如果这些描述太一般化了， 那么你可能还需要与材料的出版商联系，索求更详细的信息。 资源 你还要分析该组织为了购买及实施教学材料可用的资源，以及获取和安装其他 材料的费用。太贵的材料，即使很有效，通常也不在组织的考虑之列。组织中可用的设施和 设备与实施教学所需要的设施和设备之间往往也存在着一定的差距。 一旦获得了这些相关资料，你就要开始比较 1）组织的需求与材料的目标，2）组织的 目标人群与材料的目标人群，3）组织可用的资源与获得和实施该教学的设备需求。从适合 度分析中得出的信息应该与有关的决策人分享，尽管你会被要求提供建议，但是那些做出最 终决定的人，那些决定要对哪个材料做总结性评价，或者是否继续评价过程的人因组织而异。 对于那些被选择做总结性评价的材料都要问如下几个与高质量材料设计有关的问题，这 些问题应该在进行实地试验之前就得到回答： 1． 该材料及所附带的考试题是否齐全且准确？ 2． 所采用的教学策略是否适合学习结果的类型？ 3． 该材料能够被有效地使用吗？ 4． 当前用户对此材料满意吗？ 如果你判断出候选材料在这些重要方面存在明显的不足，那么继续总结性评价不会有什 么结果。在总结性评价的这个阶段结束后，你应该告诉主管你的判断，再问他们是否还要继 续总结性评价。 总结性评价的这个阶段所采用的工作方式与形成性评价中一对一评价时所采用的策略 类似，但也有些不同。下面我们依次考虑在此阶段要做的各种分析。 内容分析 因为你可能不是要评价的材料方面的内容专家，因此可能需要请一个内容专家作为顾 问。你必须考虑的问题是如何最好地发挥这个专家的作用。一种策略是向专家提供所有候选 材料的副本，请他们评判材料对于组织所陈述目标的精确性和完整性。另外一种更好的、性 价比更高的策略是与专家一起做所陈述目标的教学分析。专家所产生的文档既要包括目标分
析也要包括从属技能分析。那个确定并序列化教学目标中主要步骤和从属技能的框架可用来 判断任何候选材料的精确性和完整性。 如何使用这个框架呢?框架中所包含的技能可以转换为一张核査表或一张等级量表,评 价人员可以据此来审核评定候选材料以及相关考试题的质量。 设计分析 类似于一对一形成性评价,你需要评价候选材料中的教学策略成分是否合适。作为一个 外部评价人员,你可能不知道某个策略成分是否出现了,如果出现了是否能引起并维持学习 者的注意力。同样在这个时候可以用核査表来审核和比较候选材料,这是最彻底最省时间的 方法 在开发核查表时,你要在最左列列出各教学策略成分,用剩下的列纪录候选材料中是否 出现该教学策略。你也可以设计成等级量表形式,基于材料中所说的学习结果的类型设定权 值。评价人员所填写的表格会因为教学的性质不同而有很大差别 可用性和可行性分析 关于教学材料的第三个问题与候选材料的可用性有关。对于每种材料,你都要考虑这些 因素,诸如是否有学习者指南,是否有课程大纲,是否有教师手册等。另外还要考虑材料的 耐用性,以及是否还有对其他特殊资源的要求,如对教师能力、设备或环境(如学习中心) 的要求等。可用性方面的考虑还包括材料是否需要考虑小组或个人进度,获得和实施该材料 的相对费用是否可修改等等。事实上,任何有可能扩大或限制该材料在组织中采用的因素都 应该考虑。 为了设计这部分的总结性评价,你需要与组织中要求进行总结性评价的关键人物会谈。 通过与他们的讨论,确定你确实了解了他们的需求、资源和限制。他们还可能有助于确定你 尚未考虑到的一些可用性方面的问题 你可以根据所选择的可用性问题,设计一个总结表,以便在评价所有候选材料时将注意 力集中到这些问题上。与前面的例子一样,最重要的问题列在核查表的最左列,随后是每种 材料的回答各占一列。这种核查表和前面介绍的核查表不同,你需要给出每种材料相关的描 述性信息,而不是简单判断某个指标是否出现。这种用表格的形式简要总结描述性信息的方 式,可以方便材料的比较,有助于形成建议。 当前用户分析 还有另外一类分析你可能希望包含在你的评价设计中,就是向正在使用候选材料的组织 寻求额外的信息。当前用户名单可以从材料的出版商处获得 你需要从用户那里获得哪些信息呢?一种类型的信息是有关目标学习者在其他环境下 的数据。例如,他们的入门技能是什么,学习这个材料的动机是什么?使用该教学前后他们 的前测和后测表现如何?最后,他们对该材料的态度如何?
析也要包括从属技能分析。那个确定并序列化教学目标中主要步骤和从属技能的框架可用来 判断任何候选材料的精确性和完整性。 如何使用这个框架呢？框架中所包含的技能可以转换为一张核查表或一张等级量表，评 价人员可以据此来审核评定候选材料以及相关考试题的质量。 设计分析 类似于一对一形成性评价，你需要评价候选材料中的教学策略成分是否合适。作为一个 外部评价人员，你可能不知道某个策略成分是否出现了，如果出现了是否能引起并维持学习 者的注意力。同样在这个时候可以用核查表来审核和比较候选材料，这是最彻底最省时间的 方法。 在开发核查表时，你要在最左列列出各教学策略成分，用剩下的列纪录候选材料中是否 出现该教学策略。你也可以设计成等级量表形式，基于材料中所说的学习结果的类型设定权 值。评价人员所填写的表格会因为教学的性质不同而有很大差别。 可用性和可行性分析 关于教学材料的第三个问题与候选材料的可用性有关。对于每种材料，你都要考虑这些 因素，诸如是否有学习者指南，是否有课程大纲，是否有教师手册等。另外还要考虑材料的 耐用性，以及是否还有对其他特殊资源的要求，如对教师能力、设备或环境（如学习中心） 的要求等。可用性方面的考虑还包括材料是否需要考虑小组或个人进度，获得和实施该材料 的相对费用是否可修改等等。事实上，任何有可能扩大或限制该材料在组织中采用的因素都 应该考虑。 为了设计这部分的总结性评价，你需要与组织中要求进行总结性评价的关键人物会谈。 通过与他们的讨论，确定你确实了解了他们的需求、资源和限制。他们还可能有助于确定你 尚未考虑到的一些可用性方面的问题。 你可以根据所选择的可用性问题，设计一个总结表，以便在评价所有候选材料时将注意 力集中到这些问题上。与前面的例子一样，最重要的问题列在核查表的最左列，随后是每种 材料的回答各占一列。这种核查表和前面介绍的核查表不同，你需要给出每种材料相关的描 述性信息，而不是简单判断某个指标是否出现。这种用表格的形式简要总结描述性信息的方 式，可以方便材料的比较，有助于形成建议。 当前用户分析 还有另外一类分析你可能希望包含在你的评价设计中，就是向正在使用候选材料的组织 寻求额外的信息。当前用户名单可以从材料的出版商处获得。 你需要从用户那里获得哪些信息呢？一种类型的信息是有关目标学习者在其他环境下 的数据。例如，他们的入门技能是什么，学习这个材料的动机是什么？使用该教学前后他们 的前测和后测表现如何？最后，他们对该材料的态度如何？
另一类信息是教师对该材料的感觉,例如,这些材料是否好用?他们在使用这些材料时 碰到了哪些问题?使用这些材料时需要用到哪些资源?他们是否打算继续使用该材料,如果 不打算使用了,为什么? 根据你的经费和条件,你也许能够亲自去用户单位了解情况,也许你决定通过问卷和电 话访谈来收集信息,不管采用哪种方式,你都要在获取信息之前做好计划 至此,你已经到了专家评价阶段的总结时期。基于你所收集的数据,你应当能够决定是 否需要进行总结性评价的实地试验,哪些材料值得进行实地试验。用于产生这部分评价的评 价设计和评价过程都应该与你的建议和分析一起记录在你的评价报告中。图122图示了专 家评价阶段所要做的各项任务的工作顺序,以及总结性评价人员决定所给的教学是否需要实 地试验的决策过程。 图122在总结性评价的专家评价阶段分析活动顺序 进行组织和教学 的适合度分析 不 满意 不进入下一轮考虑 对适合的教学进 行内容分析 不 不进入下一轮考虑 是 对合适、准确性和完整 的教学进行设计分析 满 不进入下一轮考虑 对良好设计的教学 进行可用性分析 不 不进入下一轮考虑 进行当前用户分析 满 不进入下一轮考虑 是 对于那些在总结性评价的专家评价阶段被视为最有希望的那些材料进行实地试验
另一类信息是教师对该材料的感觉，例如，这些材料是否好用？他们在使用这些材料时 碰到了哪些问题？使用这些材料时需要用到哪些资源？他们是否打算继续使用该材料，如果 不打算使用了，为什么? 根据你的经费和条件，你也许能够亲自去用户单位了解情况，也许你决定通过问卷和电 话访谈来收集信息，不管采用哪种方式，你都要在获取信息之前做好计划。 至此，你已经到了专家评价阶段的总结时期。基于你所收集的数据，你应当能够决定是 否需要进行总结性评价的实地试验，哪些材料值得进行实地试验。用于产生这部分评价的评 价设计和评价过程都应该与你的建议和分析一起记录在你的评价报告中。图 12.2 图示了专 家评价阶段所要做的各项任务的工作顺序，以及总结性评价人员决定所给的教学是否需要实 地试验的决策过程。 图 12.2 在总结性评价的专家评价阶段分析活动顺序 进行组织和教学 的适合度分析 对适合的教学进 行内容分析 满意吗？ 不 不进入下一轮考虑 是 对合适、准确性和完整 的教学进行设计分析 满意吗？ 不 不进入下一轮考虑 对良好设计的教学 进行可用性分析 满意吗？ 不进入下一轮考虑 不 是 是 满意吗？ 不进入下一轮考虑 不 进行当前用户分析 是 满意吗？ 对于那些在总结性评价的专家评价阶段被视为最有希望的那些材料进行实地试验 不进入下一轮考虑 不 是
总结性评价的实地试验阶段 结果分析 总结性评价的第二个阶段是实地试验。在试验阶段,教学按照预先计划在组织内对所选 择的目标学习者实施,实地试验包括以下几个部分:做评价计划,为实施做准备,实施教学 和收集数据,整理和分析数据,最后报告结果 表121总结了与此阶段评价每个部分相关的活动,每列的表头是主要部分的名称,下 面列出的是与此相关的活动。所有处在第一列“计划”部分的活动都应该在第二列“准备 活动开始之前自上而下地完成。类似地,第二列的活动也应该在第三列“实施收集数据” 活动开始之前按顺序从上往下执行。但是,在教学实施和数据收集时,不再采用这种自上而 下顺序执行的模式,而是按照最省时、性价比最高的时间表来收集与每行相关的数据。数据 总结和报告这两列也是如此。最后三列的活动之所以也按照这个顺序呈现,只是为了简单地 说明他们与前两列活动之间的关系。下面非常详细地介绍了总结性实地试验的每个活动 计划第一个计划活动就是设计你要进行的实地试验。所做的设计取决于几个因素 如需求评价、材料特点、是否要包括其他做比较的材料等。你可以只用一组人来评价一种材 料;也可以用具有不同的特征、或分处在不同环境下的多个组去评价一种材料;你还可以在 对照组和对照环境下比较不同的材料。 另外一个设计活动是清楚定义在研究时要回答的问题,这些问题是根据学习结果分析 (对学习者、工作和组织的影响)和管理分析而提出来的。这些问题一定要与学习者的入门 技能、他们在目标上前测和后测的成绩、以及他们的态度紧密相关,另外也要与所需要的资 源、设备和设施相关,还可能与实施教学的那些人的技能和态度有关。其他相关因素还有实 施过程和实施日程安排。具体包含哪些问题取决于所做的研究及可用的资源 所要设计的问题不仅关于学习环境下学生的表现,还要包括在迁移环境下学生的表现。 事先要计划好是对参与教学的部分学生还是全部学生做进一步的调查。可以采用访谈、问卷 和观察方法向学习者和管理者、同僚和下属了解该教学对工作环境的影响。在形成性评价实 地试验时所问的一些问题在这里也可以问,总之,一定要事先做好计划 当手头有了教学材料,有了设计好的评价框架,下一步就是陈述研宄所需要的资源、设 施和设备了。这个活动应该在确定如何取样之前完成,因为在这方面所遇到的限制会影响到 你所要使用的组的性质。先计划理想化的需求,然后再协商这些需求的可行性 在解决了所需要的资源问题后,你就可以将注意力转向描述理想目标学习者了。你的描 述应该包括他们的入门技能,以及其他与材料相关的特征(如先前的经历,现在的职位,和 个人目标),你还要决定你所需要的(或你能应付的)学习者的数量,以及你所需要的组的 数目。在做这个决定的时候,你要做适当地估计,因为是数据的质量而不是数量起关键作用 一般来说,有20到30个经过挑选的真正能代表目标人群的学习者就够了。组这个词并不意 味着小组教学,而是指要收集数据的个体数目。 旦你知道了研究中要有多少学习者,你就可以确定需要多少教员或管理人员。除了说 明理想人数,你还要描述为了实施教学他们应具备的技能。是否能够找到一定数量的合适教 员可能会影响到你前面设计的学习者数量。如果限制学习者数量不可行,那么你就需要做
总结性评价的实地试验阶段 结果分析 总结性评价的第二个阶段是实地试验。在试验阶段，教学按照预先计划在组织内对所选 择的目标学习者实施，实地试验包括以下几个部分：做评价计划，为实施做准备，实施教学 和收集数据，整理和分析数据，最后报告结果。 表 12.1 总结了与此阶段评价每个部分相关的活动，每列的表头是主要部分的名称，下 面列出的是与此相关的活动。所有处在第一列“计划”部分的活动都应该在第二列“准备” 活动开始之前自上而下地完成。类似地，第二列的活动也应该在第三列“实施/收集数据” 活动开始之前按顺序从上往下执行。但是，在教学实施和数据收集时，不再采用这种自上而 下顺序执行的模式，而是按照最省时、性价比最高的时间表来收集与每行相关的数据。数据 总结和报告这两列也是如此。最后三列的活动之所以也按照这个顺序呈现，只是为了简单地 说明他们与前两列活动之间的关系。下面非常详细地介绍了总结性实地试验的每个活动。 计划 第一个计划活动就是设计你要进行的实地试验。所做的设计取决于几个因素， 如需求评价、材料特点、是否要包括其他做比较的材料等。你可以只用一组人来评价一种材 料；也可以用具有不同的特征、或分处在不同环境下的多个组去评价一种材料；你还可以在 对照组和对照环境下比较不同的材料。 另外一个设计活动是清楚定义在研究时要回答的问题，这些问题是根据学习结果分析 （对学习者、工作和组织的影响）和管理分析而提出来的。这些问题一定要与学习者的入门 技能、他们在目标上前测和后测的成绩、以及他们的态度紧密相关，另外也要与所需要的资 源、设备和设施相关，还可能与实施教学的那些人的技能和态度有关。其他相关因素还有实 施过程和实施日程安排。具体包含哪些问题取决于所做的研究及可用的资源。 所要设计的问题不仅关于学习环境下学生的表现，还要包括在迁移环境下学生的表现。 事先要计划好是对参与教学的部分学生还是全部学生做进一步的调查。可以采用访谈、问卷 和观察方法向学习者和管理者、同僚和下属了解该教学对工作环境的影响。在形成性评价实 地试验时所问的一些问题在这里也可以问，总之，一定要事先做好计划。 当手头有了教学材料，有了设计好的评价框架，下一步就是陈述研究所需要的资源、设 施和设备了。这个活动应该在确定如何取样之前完成，因为在这方面所遇到的限制会影响到 你所要使用的组的性质。先计划理想化的需求，然后再协商这些需求的可行性。 在解决了所需要的资源问题后，你就可以将注意力转向描述理想目标学习者了。你的描 述应该包括他们的入门技能，以及其他与材料相关的特征（如先前的经历，现在的职位，和 个人目标），你还要决定你所需要的（或你能应付的）学习者的数量，以及你所需要的组的 数目。在做这个决定的时候，你要做适当地估计，因为是数据的质量而不是数量起关键作用。 一般来说，有 20 到 30 个经过挑选的真正能代表目标人群的学习者就够了。组这个词并不意 味着小组教学，而是指要收集数据的个体数目。 一旦你知道了研究中要有多少学习者，你就可以确定需要多少教员或管理人员。除了说 明理想人数，你还要描述为了实施教学他们应具备的技能。是否能够找到一定数量的合适教 员可能会影响到你前面设计的学习者数量。如果限制学习者数量不可行，那么你就需要做一
个计划,多培训几个教员了。 计划阶段的最后一个活动就是对教员做相关培训。一个好的总结性评价需要实施教学教 员的合作,他们必须感到他们是整个研究的重要组成,他们有知情权,他们的观点是有价值 的。与这些人从一开始就建立和睦的关系,并在整个研究过程中保持密切合作,会提高实地 试验以及你所获得的数据的质量。最后一个提醒:必须要使教员相信你不是在评价他们,也 不是在评价学习者。从一开始,评价的焦点就是教学。建立信任,关心学习者的需求,你才 能进入这个环境,获得需要的数据,事实上,可以在研究过程中始终将他们既视为研究的实 施者,也视作评价人员,这是一个不错的想法。 表12.1总结性评价试验活动一览 计划 准备实施/收集数据整理和分析数据报告结果 设计评价获得量表 说明设计的局限 安排教学和测试 时间 编写/修改课程 大纲 结果分析 获得资源,设施适当吗?(观察,说明因资源、设建议和分析 说明所需要的资和设备 访谈,问卷)施和设备所引起 源、设施和设备 的问题 说明目标人群的选择样本 学习者表现?进行小组和个人对学习者、工作 入门技能和特征确认入门技能(前测) 的题目-目标分和组织的影响进 说明试验需要的(数据) 学习者态度?析 行解释、分析和 安排学习者试验(观察,访谈, 组数和学习者人 小组和个人的目 建议 时间 学习者在工作环标交叉测试总结 境下的表现(使态度总结 用情况,有效 性?) 管理分栌 挑选教员 实施有效吗?说明因教员或目建议和分析 说明教员或管理审核其技能要修改吗?(观标引起的问题 人员应具备的技安排教员试验时察,访谈) 能 间 说明需要的教员 数量 计划和开发对教提供对教员的培培训有效吗?说明目标和活动建议和分析 员/管理人员的训 (观察,访谈)引起的实施问题 培训 准备准备阶段的活动根据计划阶段的决定而做,包括获取所有的材料、量表、资源 和人。当需要和现实不同时,就要做出某种让步。在你的评价报告中要专门有一节说明这些 试验限制,注明所做的改变。 实施收集数据在教学的实施阶段,你需要收集所要求的各种类型的数据,包括测定 表现、观察、访谈和问卷。你所收集的数据的多寡取决于你的问题和资源。至少你需要前测
个计划，多培训几个教员了。 计划阶段的最后一个活动就是对教员做相关培训。一个好的总结性评价需要实施教学教 员的合作，他们必须感到他们是整个研究的重要组成，他们有知情权，他们的观点是有价值 的。与这些人从一开始就建立和睦的关系，并在整个研究过程中保持密切合作，会提高实地 试验以及你所获得的数据的质量。最后一个提醒：必须要使教员相信你不是在评价他们，也 不是在评价学习者。从一开始，评价的焦点就是教学。建立信任，关心学习者的需求，你才 能进入这个环境，获得需要的数据，事实上，可以在研究过程中始终将他们既视为研究的实 施者，也视作评价人员，这是一个不错的想法。 表 12.1 总结性评价试验活动一览 计划 准备 实施/收集数据 整理和分析数据 报告结果 设计评价 获得量表 安排教学和测试 时间 编写/修改课程 大纲 说明设计的局限 结果分析 说明所需要的资 源、设施和设备 获得资源，设施 和设备。 适当吗？（观察， 访谈，问卷） 说明因资源、设 施和设备所引起 的问题 建议和分析 说明目标人群的 入门技能和特征 说明试验需要的 组数和学习者人 数 选择样本 确认入门技能 （数据） 安排学习者试验 时间 学习者表现？ （前测） 学习者态度？ （观察，访谈， 问卷） 学习者在工作环 境下的表现（使 用情况，有效 性？） 进行小组和个人 的题目- 目标分 析 小组和个人的目 标交叉测试总结 态度总结 对学习者、工作 和组织的影响进 行解释、分析和 建议 管理分析 说明教员或管理 人员应具备的技 能 说明需要的教员 数量 挑选教员 审核其技能 安排教员试验时 间 实施有效吗？ 要修改吗？（观 察，访谈） 说明因教员或目 标引起的问题 建议和分析 计划和开发对教 员/管理人员的 培训 提供对教员的培 训 培训有效吗？ （观察，访谈） 说明目标和活动 引起的实施问题 建议和分析 准备 准备阶段的活动根据计划阶段的决定而做，包括获取所有的材料、量表、资源 和人。当需要和现实不同时，就要做出某种让步。在你的评价报告中要专门有一节说明这些 试验限制，注明所做的改变。 实施/收集数据 在教学的实施阶段，你需要收集所要求的各种类型的数据，包括测定 表现、观察、访谈和问卷。你所收集的数据的多寡取决于你的问题和资源。至少你需要前测
数据和后测数据,以及学习者对教学材料和教学过程的看法。这些信息通常通过教员不太昂 贵也不太麻烦地就可以获得。在过了一段时间之后,就可以到实际环境去作评价了 整理和分析数据在形成性评价的实地试验部分介绍的数据汇总技术对于总结性实 地试验也同样适用。至少你需要产生目标-题目对照表,按组或按人总结学习者的成绩,你 也可能还想用表格形式比较个人和小组从前测到后测的进步,描述所学技能在实际环境下的 使用情况。 在分析数据的时候,需要将教学效果不佳的地方纪录下来,同时也要记录造成这些弱项 的可能原因。另外,教学有效的地方也要记录下来。在总结性评价的实地试验阶段,对材料 的优势和不足进行均衡分析十分重要,只关注不足对材料的价值评价就会出现偏差 报告结果总结性评价报告的内容取决于评价设计,如果评价设计既包括专家评价, 也包括实地试验,那么在评价报告中这两个阶段的情况都要写。每个阶段都要说明基本目的、 特定问题、评价设计和评价过程、评价结果、你的建议和分析。你的建议必须依据评价结果 部分所呈现的数据。 在你设计和形成评价报告的时候要始终想着评价报告的读者。沃仁、桑德和费茨派崔克 (1997)在分析了几份项目评价报告后,总结道:尽管这些报告内容丰富,但是它们是印刷 “毒药”!你不妨按照他们提出的格式来写作,以避免这个问题。他们建议在报告开头部分 先写一个简短的总结,概括最终的建议和所做的分析。随后,读者就可以自行选择阅读技术 文档的哪些部分,以便审核评价过程的质量,判断你的结论的正确性。(你可以象对教学做 形成性评价一样对技术报告做形成性评价。) 形成性评价和总结性评价比较 形成性评价和总结性评价在几个方面都存在差异,这些差异总结在表122中。第一个 差异是进行每种评价的目的不同。进行形成性评价是为了发现教学的弱点和问题,以便改进 进行总结性评价是要找出教学的优点和缺点,并将发现记录下来供决策者决定是否采用或继 续采用该材料 两者的第二个差别是所包含的评价阶段不同。形成性评价包括三个阶段:一对一评价 小组评价和实地试验,所有评价都是针对目标学习者进行的。在每个阶段,大量的时间花在 对学习者的观察和访谈上,以便了解他们在教学中所遇到的问题及其实质。相反,总结性评 价只有两个阶段:专家评价阶段和实地试验阶段。专家评价阶段类似于设计师和领域专家在 材料的设计和开发阶段所做的评价决策。目标学习者并不参与这个阶段的总结性评价。实地 试验阶段是针对目标学习者进行的,但是很少花时间去追询为什么学习者能通过或不能通过 某个教学目标,实地试验是在教学之后、在实际环境下通过不打扰的观察、问卷和标准参照 考试等方式获得数据。 表122形成性评价和总结性评价的比较 形成性评价 总结性评价 目的 确定教学的弱点以便修改记录教学的优缺点以便决定 是否采用或继续采用 阶段 对一评价 专家评价
数据和后测数据，以及学习者对教学材料和教学过程的看法。这些信息通常通过教员不太昂 贵也不太麻烦地就可以获得。在过了一段时间之后，就可以到实际环境去作评价了。 整理和分析数据 在形成性评价的实地试验部分介绍的数据汇总技术对于总结性实 地试验也同样适用。至少你需要产生目标-题目对照表，按组或按人总结学习者的成绩，你 也可能还想用表格形式比较个人和小组从前测到后测的进步，描述所学技能在实际环境下的 使用情况。 在分析数据的时候，需要将教学效果不佳的地方纪录下来，同时也要记录造成这些弱项 的可能原因。另外，教学有效的地方也要记录下来。在总结性评价的实地试验阶段，对材料 的优势和不足进行均衡分析十分重要，只关注不足对材料的价值评价就会出现偏差。 报告结果 总结性评价报告的内容取决于评价设计，如果评价设计既包括专家评价， 也包括实地试验，那么在评价报告中这两个阶段的情况都要写。每个阶段都要说明基本目的、 特定问题、评价设计和评价过程、评价结果、你的建议和分析。你的建议必须依据评价结果 部分所呈现的数据。 在你设计和形成评价报告的时候要始终想着评价报告的读者。沃仁、桑德和费茨派崔克 （1997）在分析了几份项目评价报告后，总结道：尽管这些报告内容丰富，但是它们是印刷 “毒药”！你不妨按照他们提出的格式来写作，以避免这个问题。他们建议在报告开头部分 先写一个简短的总结，概括最终的建议和所做的分析。随后，读者就可以自行选择阅读技术 文档的哪些部分，以便审核评价过程的质量，判断你的结论的正确性。（你可以象对教学做 形成性评价一样对技术报告做形成性评价。） 形成性评价和总结性评价比较 形成性评价和总结性评价在几个方面都存在差异，这些差异总结在表 12.2 中。第一个 差异是进行每种评价的目的不同。进行形成性评价是为了发现教学的弱点和问题，以便改进。 进行总结性评价是要找出教学的优点和缺点，并将发现记录下来供决策者决定是否采用或继 续采用该材料。 两者的第二个差别是所包含的评价阶段不同。形成性评价包括三个阶段：一对一评价， 小组评价和实地试验，所有评价都是针对目标学习者进行的。在每个阶段，大量的时间花在 对学习者的观察和访谈上，以便了解他们在教学中所遇到的问题及其实质。相反，总结性评 价只有两个阶段：专家评价阶段和实地试验阶段。专家评价阶段类似于设计师和领域专家在 材料的设计和开发阶段所做的评价决策。目标学习者并不参与这个阶段的总结性评价。实地 试验阶段是针对目标学习者进行的，但是很少花时间去追询为什么学习者能通过或不能通过 某个教学目标，实地试验是在教学之后、在实际环境下通过不打扰的观察、问卷和标准参照 考试等方式获得数据。 表 12.2 形成性评价和总结性评价的比较 形成性评价 总结性评价 目的 确定教学的弱点以便修改 记录教学的优缺点以便决定 是否采用或继续采用 阶段 一对一评价 专家评价
小组评价 实地试验 实地试验 教学开发历史 自己完成教学的系统化设计,自己或别人设计开发的教学, 并根据组织需求进行裁剪不一定遵从系统化方法 材料 种材料 种材料或多种要比较的材 评价人员的立场 设计和开发组的成员 典型的外部评价人员 成果 修改教学的具体建议 记录了设计、过程、结果、建 议和分析的报告 用于形成性评价和总结性评价的材料其开发历史也可能不同,做形成性评价的教学通常 是经过系统化设计和开发的,因此具有对目标学习者有效的承诺。而那些作总结性评价的材 料可能采用了也可能并不没有采用系统化设计过程开发,只是要进行实地试验的材料,应该 具有系统化设计的许多特征,因此也应该具有对目标学习者有效的承诺 形成性评价和总结性评价的另一个区别是所评价的教学的数量。形成性评价只对一种材 料评价,总结性评价可能是评价一种材料,也可能是评价几个彼此竞争的材料。总结性评价 可能包括一种评价材料和不同特征的目标人群:也可能是多种评价材料和具有类似特征的目 标人群。 形成性评价和总结性评价的另外一个不同是评价人员与材料之间的关系。一般来说,形 成性评价的评价人员参与了教材的设计和开发,是为了产生尽可能好的材料而寻求适当的评 判。这种对评价结果有个人投入的评价人员叫做内部评价人员。要求总结性评价人员对于所 评价的材料没有个人投入是明智的,因为这种派遣的人员可以保持在设计评价时以及描述材 料优缺点时的客观性。这种派遣去的评价人员通常叫做外部评价人员。 形成性评价和总结性评价的最后一个区别是其结果不同。形成性评价的结果包括对教学 修改的具体建议,以及在评价的三个阶段中实际修改后的材料。总结性评价的结果并不是对 修改的建议,而是写给决策者的报告,记录了所评价的教学的优势和不足 示例 这节介绍了总结性评价的专家评价阶段可用的评价量表样例。在形成性评价那章里已经 详细描述了实地试验阶段要用到的量表及数据分析过程,在此就不重复了。一般来说,专家 评价阶段所要用到的量表包括信息总结表,评价人员要填写的评价核查表或等级量表。 用于适合度分析的数据总结表 表12.3是一种用于适合度分析的信息总结表格式。左列用于描述组织的教学需求,组 织中目标人群的入门技能和特征,为获得和实施教学该组织可用的资源。其他的列用来纪录 各候选材料的对应信息。按照这种方式总结信息可以使你和决策人直观地判断候选材料是否 合适 表12.3适合度分析信息总结表
小组评价 实地试验 实地试验 教学开发历史 自己完成教学的系统化设计， 并根据组织需求进行裁剪 自己或别人设计开发的教学， 不一定遵从系统化方法 材料 一种材料 一种材料或多种要比较的材 料 评价人员的立场 设计和开发组的成员 典型的外部评价人员 成果 修改教学的具体建议 记录了设计、过程、结果、建 议和分析的报告 用于形成性评价和总结性评价的材料其开发历史也可能不同，做形成性评价的教学通常 是经过系统化设计和开发的，因此具有对目标学习者有效的承诺。而那些作总结性评价的材 料可能采用了也可能并不没有采用系统化设计过程开发，只是要进行实地试验的材料，应该 具有系统化设计的许多特征，因此也应该具有对目标学习者有效的承诺。 形成性评价和总结性评价的另一个区别是所评价的教学的数量。形成性评价只对一种材 料评价，总结性评价可能是评价一种材料，也可能是评价几个彼此竞争的材料。总结性评价 可能包括一种评价材料和不同特征的目标人群；也可能是多种评价材料和具有类似特征的目 标人群。 形成性评价和总结性评价的另外一个不同是评价人员与材料之间的关系。一般来说，形 成性评价的评价人员参与了教材的设计和开发，是为了产生尽可能好的材料而寻求适当的评 判。这种对评价结果有个人投入的评价人员叫做内部评价人员。要求总结性评价人员对于所 评价的材料没有个人投入是明智的，因为这种派遣的人员可以保持在设计评价时以及描述材 料优缺点时的客观性。这种派遣去的评价人员通常叫做外部评价人员。 形成性评价和总结性评价的最后一个区别是其结果不同。形成性评价的结果包括对教学 修改的具体建议，以及在评价的三个阶段中实际修改后的材料。总结性评价的结果并不是对 修改的建议，而是写给决策者的报告，记录了所评价的教学的优势和不足。 示例 这节介绍了总结性评价的专家评价阶段可用的评价量表样例。在形成性评价那章里已经 详细描述了实地试验阶段要用到的量表及数据分析过程，在此就不重复了。一般来说，专家 评价阶段所要用到的量表包括信息总结表，评价人员要填写的评价核查表或等级量表。 用于适合度分析的数据总结表 表 12.3 是一种用于适合度分析的信息总结表格式。左列用于描述组织的教学需求，组 织中目标人群的入门技能和特征，为获得和实施教学该组织可用的资源。其他的列用来纪录 各候选材料的对应信息。按照这种方式总结信息可以使你和决策人直观地判断候选材料是否 合适。 表 12.3 适合度分析信息总结表
