总结性评价的实地试验阶段 结果分析 总结性评价的第二个阶段是实地试验。在试验阶段,教学按照预先计划在组织内对所选 择的目标学习者实施,实地试验包括以下几个部分:做评价计划,为实施做准备,实施教学 和收集数据,整理和分析数据,最后报告结果 表121总结了与此阶段评价每个部分相关的活动,每列的表头是主要部分的名称,下 面列出的是与此相关的活动。所有处在第一列“计划”部分的活动都应该在第二列“准备 活动开始之前自上而下地完成。类似地,第二列的活动也应该在第三列“实施收集数据” 活动开始之前按顺序从上往下执行。但是,在教学实施和数据收集时,不再采用这种自上而 下顺序执行的模式,而是按照最省时、性价比最高的时间表来收集与每行相关的数据。数据 总结和报告这两列也是如此。最后三列的活动之所以也按照这个顺序呈现,只是为了简单地 说明他们与前两列活动之间的关系。下面非常详细地介绍了总结性实地试验的每个活动 计划第一个计划活动就是设计你要进行的实地试验。所做的设计取决于几个因素 如需求评价、材料特点、是否要包括其他做比较的材料等。你可以只用一组人来评价一种材 料;也可以用具有不同的特征、或分处在不同环境下的多个组去评价一种材料;你还可以在 对照组和对照环境下比较不同的材料。 另外一个设计活动是清楚定义在研究时要回答的问题,这些问题是根据学习结果分析 (对学习者、工作和组织的影响)和管理分析而提出来的。这些问题一定要与学习者的入门 技能、他们在目标上前测和后测的成绩、以及他们的态度紧密相关,另外也要与所需要的资 源、设备和设施相关,还可能与实施教学的那些人的技能和态度有关。其他相关因素还有实 施过程和实施日程安排。具体包含哪些问题取决于所做的研究及可用的资源 所要设计的问题不仅关于学习环境下学生的表现,还要包括在迁移环境下学生的表现。 事先要计划好是对参与教学的部分学生还是全部学生做进一步的调查。可以采用访谈、问卷 和观察方法向学习者和管理者、同僚和下属了解该教学对工作环境的影响。在形成性评价实 地试验时所问的一些问题在这里也可以问,总之,一定要事先做好计划 当手头有了教学材料,有了设计好的评价框架,下一步就是陈述研宄所需要的资源、设 施和设备了。这个活动应该在确定如何取样之前完成,因为在这方面所遇到的限制会影响到 你所要使用的组的性质。先计划理想化的需求,然后再协商这些需求的可行性 在解决了所需要的资源问题后,你就可以将注意力转向描述理想目标学习者了。你的描 述应该包括他们的入门技能,以及其他与材料相关的特征(如先前的经历,现在的职位,和 个人目标),你还要决定你所需要的(或你能应付的)学习者的数量,以及你所需要的组的 数目。在做这个决定的时候,你要做适当地估计,因为是数据的质量而不是数量起关键作用 一般来说,有20到30个经过挑选的真正能代表目标人群的学习者就够了。组这个词并不意 味着小组教学,而是指要收集数据的个体数目。 旦你知道了研究中要有多少学习者,你就可以确定需要多少教员或管理人员。除了说 明理想人数,你还要描述为了实施教学他们应具备的技能。是否能够找到一定数量的合适教 员可能会影响到你前面设计的学习者数量。如果限制学习者数量不可行,那么你就需要做总结性评价的实地试验阶段 结果分析 总结性评价的第二个阶段是实地试验。在试验阶段，教学按照预先计划在组织内对所选 择的目标学习者实施，实地试验包括以下几个部分：做评价计划，为实施做准备，实施教学 和收集数据，整理和分析数据，最后报告结果。 表 12.1 总结了与此阶段评价每个部分相关的活动，每列的表头是主要部分的名称，下 面列出的是与此相关的活动。所有处在第一列“计划”部分的活动都应该在第二列“准备” 活动开始之前自上而下地完成。类似地，第二列的活动也应该在第三列“实施/收集数据” 活动开始之前按顺序从上往下执行。但是，在教学实施和数据收集时，不再采用这种自上而 下顺序执行的模式，而是按照最省时、性价比最高的时间表来收集与每行相关的数据。数据 总结和报告这两列也是如此。最后三列的活动之所以也按照这个顺序呈现，只是为了简单地 说明他们与前两列活动之间的关系。下面非常详细地介绍了总结性实地试验的每个活动。 计划 第一个计划活动就是设计你要进行的实地试验。所做的设计取决于几个因素， 如需求评价、材料特点、是否要包括其他做比较的材料等。你可以只用一组人来评价一种材 料；也可以用具有不同的特征、或分处在不同环境下的多个组去评价一种材料；你还可以在 对照组和对照环境下比较不同的材料。 另外一个设计活动是清楚定义在研究时要回答的问题，这些问题是根据学习结果分析 （对学习者、工作和组织的影响）和管理分析而提出来的。这些问题一定要与学习者的入门 技能、他们在目标上前测和后测的成绩、以及他们的态度紧密相关，另外也要与所需要的资 源、设备和设施相关，还可能与实施教学的那些人的技能和态度有关。其他相关因素还有实 施过程和实施日程安排。具体包含哪些问题取决于所做的研究及可用的资源。 所要设计的问题不仅关于学习环境下学生的表现，还要包括在迁移环境下学生的表现。 事先要计划好是对参与教学的部分学生还是全部学生做进一步的调查。可以采用访谈、问卷 和观察方法向学习者和管理者、同僚和下属了解该教学对工作环境的影响。在形成性评价实 地试验时所问的一些问题在这里也可以问，总之，一定要事先做好计划。 当手头有了教学材料，有了设计好的评价框架，下一步就是陈述研究所需要的资源、设 施和设备了。这个活动应该在确定如何取样之前完成，因为在这方面所遇到的限制会影响到 你所要使用的组的性质。先计划理想化的需求，然后再协商这些需求的可行性。 在解决了所需要的资源问题后，你就可以将注意力转向描述理想目标学习者了。你的描 述应该包括他们的入门技能，以及其他与材料相关的特征（如先前的经历，现在的职位，和 个人目标），你还要决定你所需要的（或你能应付的）学习者的数量，以及你所需要的组的 数目。在做这个决定的时候，你要做适当地估计，因为是数据的质量而不是数量起关键作用。 一般来说，有 20 到 30 个经过挑选的真正能代表目标人群的学习者就够了。组这个词并不意 味着小组教学，而是指要收集数据的个体数目。 一旦你知道了研究中要有多少学习者，你就可以确定需要多少教员或管理人员。除了说 明理想人数，你还要描述为了实施教学他们应具备的技能。是否能够找到一定数量的合适教 员可能会影响到你前面设计的学习者数量。如果限制学习者数量不可行，那么你就需要做一