第十章设计和实施形成性评价 进行教学分 修改教学 评价需求 开发和选择 并实 确定目标 核量表 学策略 教学材料 教学的形成 性评价 分析学习者 和环境 设计并实施 总结性评价 目标 能够说出对教师开发的材料、教师选择的材料和教师呈现的教学进行形成性评价的 目的,所进行的形成性评价有哪几个阶段组成 能够说出几种形成性评价常用的评价量表 能够为一组教学材料或教师呈现的教学制定合适的形成性评价计划,设计评估量表 能够按照对教学材料或教师呈现型教学所制定的形成性评价计划搜集数据 背景 在30年前开发教学材料的情景是这样的:将你的初稿,也许是修改后的初稿,直接当 作成品,发给目标人群。结果,由于初稿的不完善,在使用过程中总是会出现很多问题。教 师被指责为不会教,学习者被批评说不好好学,而实际上是教学材料不能够很好地支持他们 的教与学。 在二十世纪六十年代随着大型课程开发项目的出现,这种未经测试的教材所引起的问题 更加突出。在那个时代,“评价”这个概念被定义为新产品和已有产品的有效性比较。在进 行这类研究的时候,研究者们经常发现使用新课程材料的学习者成绩相对较低。在对这种情 况研究之后,克罗班彻和斯克瑞温认为必须拓展“评价”的概念。他们建议开发者实施后来 被称之为形贏性评价( formative evaluation)的活动——即在教学材料的开发过程中搜集用于 改善教学效度的数据和信息
第十章 设计和实施形成性评价 目标 ⚫ 能够说出对教师开发的材料、教师选择的材料和教师呈现的教学进行形成性评价的 目的，所进行的形成性评价有哪几个阶段组成 ⚫ 能够说出几种形成性评价常用的评价量表 ⚫ 能够为一组教学材料或教师呈现的教学制定合适的形成性评价计划，设计评估量表 ⚫ 能够按照对教学材料或教师呈现型教学所制定的形成性评价计划搜集数据 背景 在 30 年前开发教学材料的情景是这样的：将你的初稿，也许是修改后的初稿，直接当 作成品，发给目标人群。结果，由于初稿的不完善，在使用过程中总是会出现很多问题。教 师被指责为不会教，学习者被批评说不好好学，而实际上是教学材料不能够很好地支持他们 的教与学。 在二十世纪六十年代随着大型课程开发项目的出现，这种未经测试的教材所引起的问题 更加突出。在那个时代，“评价”这个概念被定义为新产品和已有产品的有效性比较。在进 行这类研究的时候，研究者们经常发现使用新课程材料的学习者成绩相对较低。在对这种情 况研究之后，克罗班彻和斯克瑞温认为必须拓展“评价”的概念。他们建议开发者实施后来 被称之为形成性评价(formative evaluation)的活动——即在教学材料的开发过程中搜集用于 改善教学效度的数据和信息。 评价需求 确定目标 进行教学分 析 分析学习者 和环境 写绩效 目标 修改教学 开发考 核量表 开发教 学策略 设计并实施 教学的形成 性评价 设计并实施 总结性评价 开发和选择 教学材料
有研究表明每年美国卖出的数千种教学产品都没有经过学习者评价,在分发前也没有做 过修正。还有研究表明即使是只找一个学习者来试用,根据其使用情况修改教学材料,也会 明显改善教学材料的教学效果。因此,教学设计模型的这个阶段强调有必要从目标学习者那 里收集与教学材料的使用及教学效度相关的数据,用这些信息使教学材料更加有效 你应该注意到教学设计模型中设计和开发过程的各个步骤都以理论、研究以及常识为基 础。在此刻,你要作为评价人员收集你所开发的教学材料的有效性数据,按照教学设计模型, 你应该已经完成了教学材料的开发,并寄希望于它能够帮助那些原先不能完成学期目标的学 习者取得重大成就。你现在正处于要验证这一假设的关键时刻。 形成性评价起初是用来作为改进教学的一个过程,在教学材料的第一稿开发出来后进 行。但是,有经验的设计人员发现,应该在设计过程的早期各阶段都进行,以防止大量的问 题直到教学材料初稿完成后才被发现。 让我们回想一下,在我们讲到教学情境分析的时候,曾经建议使用教学分析的结果向从 目标学习者中挑选出来的一些学习者解释你将要教他们什么;在你选择好教学策略之后,我 们也建议你用类似的方法一一即用你选定的方法来教一些学习者,力求在使用它指导教学开 发之前发现策略中存在的问题。上述这两个过程都可以视为形成性评价,因为你在从学习者 那里收集信息,在进入设计过程的下一步之前修改教材。现在你要做类似的事情,以更加系 统化的方式,对待你所开发的教学。 这一章和下一章的内容划分相当随意,我们一般都认为形成性评价和对教学材料的修改 是同一步骤。为了更加清楚地说明这个问题,同时也为了强调在教学材料修正过程中对教学 设计全过程进行再度审视的重要性,我们特意把形成性评价的设计和实施从教学材料的修正 过程中分离出来单独说明。 在这一章,我们将要讨论如何应用形成性评价的方法,对新开发出来的教学材料、选择 并修改的材料、教师传递的教学,以及这三种方式的结合体进行形成性评价。我们还将说明 如何把这些方法运用到教学过程中去,以确保教学无论是采用哪种呈现模式,都能够被恰当 地实现和管理 概念 这一章最主要的概念就是形成性评价。形成性评价是教学设计人员用来获取数据,并通 过这些数据修正他们的教学,提高教学效率效果的过程。形成性评价的重点是搜集数据,分 析数据,改进教学。当教学的最终版本一经完成,就要由其他的评价人员来采集数据并确定 其有效性,这后一种评价经常叫做结性评价( summative evaluation)。称其为“总结性” 是因为这时候教学已经呈现其最终形态,而且此时也适合将它与其他类似形式的教学进行比 较了 形成性评价主要分为三个阶段:第一个阶段是一对一评价,或称为诊断性评价阶段,在 这个最初的阶段中,设计师从单个的学习者身上采集数据并修正教学材料;第二个阶段称为 小组评价阶段,一个由8至20个目标人群的典型代表组成的小组,利用教学材料自行学习 然后通过对他们的测试来采集所需要的数据;第三个阶段通常称为实地试验,在实地试验阶 段,有多少名学习者并不是特别重要,一般30个就足够了,关键是试验过程要有一个与“真 实世界”尽可能接近的教学情境
有研究表明每年美国卖出的数千种教学产品都没有经过学习者评价，在分发前也没有做 过修正。还有研究表明即使是只找一个学习者来试用，根据其使用情况修改教学材料，也会 明显改善教学材料的教学效果。因此，教学设计模型的这个阶段强调有必要从目标学习者那 里收集与教学材料的使用及教学效度相关的数据，用这些信息使教学材料更加有效。 你应该注意到教学设计模型中设计和开发过程的各个步骤都以理论、研究以及常识为基 础。在此刻，你要作为评价人员收集你所开发的教学材料的有效性数据，按照教学设计模型， 你应该已经完成了教学材料的开发，并寄希望于它能够帮助那些原先不能完成学期目标的学 习者取得重大成就。你现在正处于要验证这一假设的关键时刻。 形成性评价起初是用来作为改进教学的一个过程，在教学材料的第一稿开发出来后进 行。但是，有经验的设计人员发现，应该在设计过程的早期各阶段都进行，以防止大量的问 题直到教学材料初稿完成后才被发现。 让我们回想一下，在我们讲到教学情境分析的时候，曾经建议使用教学分析的结果向从 目标学习者中挑选出来的一些学习者解释你将要教他们什么；在你选择好教学策略之后，我 们也建议你用类似的方法——即用你选定的方法来教一些学习者，力求在使用它指导教学开 发之前发现策略中存在的问题。上述这两个过程都可以视为形成性评价，因为你在从学习者 那里收集信息，在进入设计过程的下一步之前修改教材。现在你要做类似的事情，以更加系 统化的方式，对待你所开发的教学。 这一章和下一章的内容划分相当随意，我们一般都认为形成性评价和对教学材料的修改 是同一步骤。为了更加清楚地说明这个问题，同时也为了强调在教学材料修正过程中对教学 设计全过程进行再度审视的重要性，我们特意把形成性评价的设计和实施从教学材料的修正 过程中分离出来单独说明。 在这一章，我们将要讨论如何应用形成性评价的方法，对新开发出来的教学材料、选择 并修改的材料、教师传递的教学，以及这三种方式的结合体进行形成性评价。我们还将说明 如何把这些方法运用到教学过程中去，以确保教学无论是采用哪种呈现模式，都能够被恰当 地实现和管理。 概念 这一章最主要的概念就是形成性评价。形成性评价是教学设计人员用来获取数据，并通 过这些数据修正他们的教学，提高教学效率效果的过程。形成性评价的重点是搜集数据，分 析数据，改进教学。当教学的最终版本一经完成，就要由其他的评价人员来采集数据并确定 其有效性，这后一种评价经常叫做总结性评价（summative evaluation）。称其为“总结性” 是因为这时候教学已经呈现其最终形态，而且此时也适合将它与其他类似形式的教学进行比 较了。 形成性评价主要分为三个阶段：第一个阶段是一对一评价，或称为诊断性评价阶段，在 这个最初的阶段中，设计师从单个的学习者身上采集数据并修正教学材料；第二个阶段称为 小组评价阶段，一个由 8 至 20 个目标人群的典型代表组成的小组，利用教学材料自行学习， 然后通过对他们的测试来采集所需要的数据；第三个阶段通常称为实地试验，在实地试验阶 段，有多少名学习者并不是特别重要，一般 30 个就足够了，关键是试验过程要有一个与“真 实世界”尽可能接近的教学情境
形成性评价的这三个阶段都是由一些并未直接参与教学开发项目,但是有相关经验的专 家通过审核教学过程来完成的。下面先介绍这些评价人员的角色,然后再介绍形成性评价三 个以学习者为导向的阶段。 学科专家、学习专家和学习者专家在形成性评价中的角色 尽管形成性评价过程的核心是采集学习者的数据,但是请专家对教学做评审也很重要。 教学设计师本身也许很熟悉教学内容,也许还有领域专家的协助,也许他也非常了解教学的 目标人群,但是,仍旧有很多理由要求听取外部专家的意见。 当教学的第一稿写完之后,设计师可能会面临“只见树木不见森林”的问题,他们可能 对教学材料熟视无睹,这时让局外人来评价已开发的成果具有无法估量的意义。一种“局外 人”是项目之外对于教学内容领域十分熟悉的专家,这个领域专家(SME)主要评价教学 内容的精确性和时新性。尽管很多改进意见都可以接受,但是对于有关改变教学策略的建议 要三思而后行。另一种“局外人”是教学所包含的学习类型的专家。一个熟悉该种学习类型 教学的同事能够对你的教学策略提出批评意见,并告诉你能增进这类学习的教学理论 另外,如果有人十分熟悉你的教学对象人群,那么听取他对你的教学草案的意见也是很 有帮助的一一因为他可以从学习者的视角和可能的反应看待你的教学并提出意见。这类专家 可以敏锐地洞察教学材料是否适用于最终的应用环境。 教学设计师并非必须采纳这些专家的建议,也有人提出教学设计师可以等到从学习者那 里采集来数据并总结出结论后,再根据这些结论决定是否采纳专家的意见。不过,这至少使 教学设计师在学习者开始参与形成性评价过程之前就对潜在的问题有所察觉 与学习者的一对一评价 在对教学的形成性评价三个阶段进行讨论的时候,我们假设设计师已经完成了初步的开 发工作。后面还会探讨对使用现有资料和由教师引导的教学进行形成性评价的过程 形成性评价的第一个阶段,一对一评价(one-to- one evaluation)阶段的目的是确定并改正 教学中存在的明显错误,从学习者那里获得对教学内容的最初使用数据和反馈。这主要通过 教学设计师和单个学习者的直接交流来完成,在这个阶段,教学设计师需要和三名或者三名 以上具有代表性的学习者一起工作。 标准在开发教学策略和教学内容的时候,设计师和开发者要就教学内容、学习者、教 学形式和教学情境做出多种转换和决定。一对一的评价过程正好给教学设计师一个机会,让 他们可以从学习者的角度出发,就他们在开发过程中所做出的转换和决定,进行最初的审视 在评价过程中,设计师需要遵循的三个主要标准是 明晰度:对于学习者个体而言,信息或者呈现给他们的教学内容是否明了、清楚? 、影响力:教学对于学习者个体的态度和达到教学目标有没有影响? 3、可行性:如果得到所需的资源(如时间、教学情境),教学的可行性有多大? 这种一对一的评价可以用来验证设计师和开发者的预感是否正确,是否存在对目标人群 的误解
形成性评价的这三个阶段都是由一些并未直接参与教学开发项目，但是有相关经验的专 家通过审核教学过程来完成的。下面先介绍这些评价人员的角色，然后再介绍形成性评价三 个以学习者为导向的阶段。 学科专家、学习专家和学习者专家在形成性评价中的角色 尽管形成性评价过程的核心是采集学习者的数据，但是请专家对教学做评审也很重要。 教学设计师本身也许很熟悉教学内容，也许还有领域专家的协助，也许他也非常了解教学的 目标人群，但是，仍旧有很多理由要求听取外部专家的意见。 当教学的第一稿写完之后，设计师可能会面临“只见树木不见森林”的问题，他们可能 对教学材料熟视无睹，这时让局外人来评价已开发的成果具有无法估量的意义。一种“局外 人”是项目之外对于教学内容领域十分熟悉的专家，这个领域专家（SME）主要评价教学 内容的精确性和时新性。尽管很多改进意见都可以接受，但是对于有关改变教学策略的建议 要三思而后行。另一种“局外人”是教学所包含的学习类型的专家。一个熟悉该种学习类型 教学的同事能够对你的教学策略提出批评意见，并告诉你能增进这类学习的教学理论。 另外，如果有人十分熟悉你的教学对象人群，那么听取他对你的教学草案的意见也是很 有帮助的——因为他可以从学习者的视角和可能的反应看待你的教学并提出意见。这类专家 可以敏锐地洞察教学材料是否适用于最终的应用环境。 教学设计师并非必须采纳这些专家的建议，也有人提出教学设计师可以等到从学习者那 里采集来数据并总结出结论后，再根据这些结论决定是否采纳专家的意见。不过，这至少使 教学设计师在学习者开始参与形成性评价过程之前就对潜在的问题有所察觉。 与学习者的一对一评价 在对教学的形成性评价三个阶段进行讨论的时候，我们假设设计师已经完成了初步的开 发工作。后面还会探讨对使用现有资料和由教师引导的教学进行形成性评价的过程。 形成性评价的第一个阶段，一对一评价(one-to-one evaluation)阶段的目的是确定并改正 教学中存在的明显错误，从学习者那里获得对教学内容的最初使用数据和反馈。这主要通过 教学设计师和单个学习者的直接交流来完成，在这个阶段，教学设计师需要和三名或者三名 以上具有代表性的学习者一起工作。 标准 在开发教学策略和教学内容的时候，设计师和开发者要就教学内容、学习者、教 学形式和教学情境做出多种转换和决定。一对一的评价过程正好给教学设计师一个机会，让 他们可以从学习者的角度出发，就他们在开发过程中所做出的转换和决定，进行最初的审视。 在评价过程中，设计师需要遵循的三个主要标准是： 1、明晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？ 2、影响力：教学对于学习者个体的态度和达到教学目标有没有影响？ 3、可行性：如果得到所需的资源（如时间、教学情境），教学的可行性有多大？ 这种一对一的评价可以用来验证设计师和开发者的预感是否正确，是否存在对目标人群 的误解
挑选学习者在形成性评价过程中,设计师所做出的最关键的决定就是选择什么样的学 习者来参加研究。这不是实验,所以无需从大量学习者中随机抽取样本。实际上,设计师只 是要挑选几个能够代表目标人群的学习者,这些学习者要能够代表目标学习者的能力范围, 因为先前学过的知识和能力也会影响他们学习新知识和新技能。设计师在挑选学习者的时 候,可以挑选一个能力超过平均水平的(当然,不能是水平最高的),一个处于平均水平的 和一个低于平均水平的。然后,和每个学习者单独工作。在完成了与这三个学习者的初步评 价之后,有时候设计师还会从目标学习者中再多挑选几个学习者进行一对一评价。通常有三 个学习者也就足够了 设计师除了要关注能力因素以外,还要关心其他与学习者的成绩密切相关的学习者个性 特点,在形成性评价中系统地考虑。就像我们在第五章中提到的那样,态度和学习者先前的 经验非常重要,应该在形成性评价过程中有所体现。比如,在形成性评价的一对一阶段,设 计师可以挑选一个对所学的内容具有积极态度的学习者,一个态度一般的和一个持消极态度 的。类似地,如果工作经验也是一个重要因素的话,那么就可以挑选一个在这项工作上有十 年以上工作经验的,一个有两年到五年工作经验的,和一个工作不到一年的。主要的观点就 是:在挑选学习者参与形成性评价的时候,能力不是唯一关键的因素。设计师需要根据不同 的教学设计环境做出不同的决定 数据采集一对一评价中三个主要的评判标准和要做出的决定可以帮助评价者专注于各 类有用的信息。表10.1包含了用明晰度、影响力和可行性三个标准划分的信息种类,表中 每个标准类列出的内容只是示例性的,并没有穷尽所有,因为各类信息的相关度会根据学习 者的成熟度、教学内容和传递方式而有所不同。 表10.1一对一试验形成性评价标准和每项标准的信息种类 标准 讯息 链接 过程 教学的清晰度 词汇水平 背景 顺序安排 句型复杂性 实例 教学块大小 讯息复杂性 类比 教学过渡 引言 图解 教学步调 具体阐述 范 ●呈现变换 结论 回顾 过渡 总结 态度 成绩 对学习者的影响力 信息及技能的有用性 后测做题指导及题目的清晰性 (相关性) 后测的成绩 要学的信息及技能的 难易程度(自信心 学习者对已学技能的 满意程度 学习者 资源
挑选学习者 在形成性评价过程中，设计师所做出的最关键的决定就是选择什么样的学 习者来参加研究。这不是实验，所以无需从大量学习者中随机抽取样本。实际上，设计师只 是要挑选几个能够代表目标人群的学习者，这些学习者要能够代表目标学习者的能力范围， 因为先前学过的知识和能力也会影响他们学习新知识和新技能。设计师在挑选学习者的时 候，可以挑选一个能力超过平均水平的（当然，不能是水平最高的），一个处于平均水平的 和一个低于平均水平的。然后，和每个学习者单独工作。在完成了与这三个学习者的初步评 价之后，有时候设计师还会从目标学习者中再多挑选几个学习者进行一对一评价。通常有三 个学习者也就足够了。 设计师除了要关注能力因素以外，还要关心其他与学习者的成绩密切相关的学习者个性 特点，在形成性评价中系统地考虑。就像我们在第五章中提到的那样，态度和学习者先前的 经验非常重要，应该在形成性评价过程中有所体现。比如，在形成性评价的一对一阶段，设 计师可以挑选一个对所学的内容具有积极态度的学习者，一个态度一般的和一个持消极态度 的。类似地，如果工作经验也是一个重要因素的话，那么就可以挑选一个在这项工作上有十 年以上工作经验的，一个有两年到五年工作经验的，和一个工作不到一年的。主要的观点就 是：在挑选学习者参与形成性评价的时候，能力不是唯一关键的因素。设计师需要根据不同 的教学设计环境做出不同的决定。 数据采集 一对一评价中三个主要的评判标准和要做出的决定可以帮助评价者专注于各 类有用的信息。表 10.1 包含了用明晰度、影响力和可行性三个标准划分的信息种类，表中 每个标准类列出的内容只是示例性的，并没有穷尽所有，因为各类信息的相关度会根据学习 者的成熟度、教学内容和传递方式而有所不同。 表 10.1 一对一试验形成性评价标准和每项标准的信息种类 标准 讯息 链接 过程 教学的清晰度 ⚫ 词汇水平 ⚫ 句型复杂性 ⚫ 讯息复杂性 ⚫ 引言 ⚫ 具体阐述 ⚫ 结论 ⚫ 过渡 ⚫ 背景 ⚫ 实例 ⚫ 类比 ⚫ 图解 ⚫ 示范 ⚫ 回顾 ⚫ 总结 ⚫ 顺序安排 ⚫ 教学块大小 ⚫ 教学过渡 ⚫ 教学步调 ⚫ 呈现变换 态度 成绩 对学习者的影响力 ⚫ 信息及技能的有用性 （相关性） ⚫ 要学的信息及技能的 难易程度（自信心） ⚫ 学习者对已学技能的 满意程度 ⚫ 后测做题指导及题目的清晰性 ⚫ 后测的成绩 学习者 资源
可行性 成熟度 时间 独立性 设施 动机水平 环境 对于教学的清晰度,上表列举了三大类信息:讯息、链接和过程。第一类,讯息,表示 传递给学习者的基本讯息是否清楚明了,与基本讯息相关的考虑包括以下几个方面:词汇、 句子的复杂性和讯息结构。无论学习者是读、是听、还是看这些讯息,他都必须要能够理解。 第二类,链接,指的是基本讯息是如何根据学习者定制的。这些链接包括上下文、例子、类 比、图例、演示等等。当学习者不熟悉这些链接时,基本讯息无疑就变得比较复杂了。第三 类,过程,指的是教学的一些特征,诸如教学的顺序、所呈现教学块的大小、两个教学块之 间的过渡、教学步调,以及教学呈现中的变化等等。当上述各要素之一对学习者不适合的时 候,教学的清晰度就发生了变化。比如教学进度过慢,反复过多,学习者就会丧失兴趣;相 反,如果教学进度过快,学习者的理解就会变得有些困难 描述性信息比数量数据更能提供改进教学清晰度的有用信息。如果教学是通过平面媒体 呈现的,无论是在纸上还是在计算机屏幕上,学习者都可以在他们不熟悉的词汇、不清楚的 例子、示例和段落下面划线或做标记;他们还可以在他们搞不懂的图表上面做标记。在使用 录像带或者幻灯片的时候,学习者可以简略的记录下来哪些术语或者资料是他们不太明白 的,也可以随时把录像机或者幻灯机停下来,和评价人员就不清楚的段落或术语交流。无论 对一评价采用什么教学传递方式,我们都可以向学习者问一些教学过程特征方面的问题 诸如教学块的大小和教学步调等。这些教学的过程性特征还可以通过观察来获得,例如可以 在学习者听老师讲课的时候,他们读书的时候,或看演示的时候进行观察。这样的观察能够 帮助评价人员确定学习者们是在热切地参与学习,还是已经有些厌倦,抑或已经疲累不堪, 还可以判断是不是这三种情绪很明显地表现在教学的不同点。 表10.1中的第二个标准,对学习者的影响力,与学习者对教学的态度和他她在具体学 习目标上的学习成就有关。对于态度,评价人员需要确定学习者是否意识到学习是(1)与 自身密切相关的,(2)通过适当的努力就可以达到目标,(3)对学习经历感到有兴趣并且满 意。至于成就,可以通过后测了解学习者是不是能够回忆起学过的信息,是否能完成任务。 对学习成就的考察方式会因教学传递媒体而不同。对学习者的问题或者做题指示可以由教师 口头陈述,学习者的回答可以通过(1)纸笔或键盘(2)口头回答教师的问题(3)开发 个作品或者完成要求做的某件事情。 表10.1中的第三个标准,可行性,是在一对一试验期间可以审查的有关管理方面的考 虑。可行性方面的考虑包括学习者的能力水平、教学媒体和教学环境。感兴趣的问题包括以 几个:(1)学习者的成熟度、独立性和动机水平如何影响完成教学所需要的时间量?(2) 这样的学习者能否操作或者轻易地学会操作所要求的专门设备?(3)在这样的环境下,学 习者是否会感到舒服?(4)在给定时间内传递教学的费用是否合理? 过程一对一评价的典型过程是,先向学习者说明有一套新的教学材料已经设计出来了, 希望能够听听他/她对它的反应。你还应该向学习者说明,出现的任何错误都可能是教学材 料的不足引起的,而不是由于学习者自身有什么问题。你要鼓励学习者放松地谈论教学材料, 学习者不仅要看完教学材料,还要做教学材料提供的测验。你还要记录一个学习者完成教学 材料所花费的时间 教学设计人员发现这个过程在教学材料的准备阶段很有价值。当学习者以这种方式使用 学习材料的时候,他们发现了排版错误、内容缺失、漏页、图表编号错误、网页链接错误和
可行性 ⚫ 成熟度 ⚫ 独立性 ⚫ 动机水平 ⚫ 时间 ⚫ 设施 ⚫ 环境 对于教学的清晰度，上表列举了三大类信息：讯息、链接和过程。第一类，讯息，表示 传递给学习者的基本讯息是否清楚明了，与基本讯息相关的考虑包括以下几个方面：词汇、 句子的复杂性和讯息结构。无论学习者是读、是听、还是看这些讯息，他都必须要能够理解。 第二类，链接，指的是基本讯息是如何根据学习者定制的。这些链接包括上下文、例子、类 比、图例、演示等等。当学习者不熟悉这些链接时，基本讯息无疑就变得比较复杂了。第三 类，过程，指的是教学的一些特征，诸如教学的顺序、所呈现教学块的大小、两个教学块之 间的过渡、教学步调，以及教学呈现中的变化等等。当上述各要素之一对学习者不适合的时 候，教学的清晰度就发生了变化。比如教学进度过慢，反复过多，学习者就会丧失兴趣；相 反，如果教学进度过快，学习者的理解就会变得有些困难。 描述性信息比数量数据更能提供改进教学清晰度的有用信息。如果教学是通过平面媒体 呈现的，无论是在纸上还是在计算机屏幕上，学习者都可以在他们不熟悉的词汇、不清楚的 例子、示例和段落下面划线或做标记；他们还可以在他们搞不懂的图表上面做标记。在使用 录像带或者幻灯片的时候，学习者可以简略的记录下来哪些术语或者资料是他们不太明白 的，也可以随时把录像机或者幻灯机停下来，和评价人员就不清楚的段落或术语交流。无论 一对一评价采用什么教学传递方式，我们都可以向学习者问一些教学过程特征方面的问题， 诸如教学块的大小和教学步调等。这些教学的过程性特征还可以通过观察来获得，例如可以 在学习者听老师讲课的时候，他们读书的时候，或看演示的时候进行观察。这样的观察能够 帮助评价人员确定学习者们是在热切地参与学习，还是已经有些厌倦，抑或已经疲累不堪， 还可以判断是不是这三种情绪很明显地表现在教学的不同点。 表 10.1 中的第二个标准，对学习者的影响力，与学习者对教学的态度和他/她在具体学 习目标上的学习成就有关。对于态度，评价人员需要确定学习者是否意识到学习是（1）与 自身密切相关的，（2）通过适当的努力就可以达到目标，（3）对学习经历感到有兴趣并且满 意。至于成就，可以通过后测了解学习者是不是能够回忆起学过的信息，是否能完成任务。 对学习成就的考察方式会因教学传递媒体而不同。对学习者的问题或者做题指示可以由教师 口头陈述，学习者的回答可以通过（1）纸笔或键盘（2）口头回答教师的问题（3）开发一 个作品或者完成要求做的某件事情。 表 10.1 中的第三个标准，可行性，是在一对一试验期间可以审查的有关管理方面的考 虑。可行性方面的考虑包括学习者的能力水平、教学媒体和教学环境。感兴趣的问题包括以 几个：（1）学习者的成熟度、独立性和动机水平如何影响完成教学所需要的时间量？（2） 这样的学习者能否操作或者轻易地学会操作所要求的专门设备？（3）在这样的环境下，学 习者是否会感到舒服？（4）在给定时间内传递教学的费用是否合理？ 过程 一对一评价的典型过程是，先向学习者说明有一套新的教学材料已经设计出来了， 希望能够听听他/她对它的反应。你还应该向学习者说明，出现的任何错误都可能是教学材 料的不足引起的，而不是由于学习者自身有什么问题。你要鼓励学习者放松地谈论教学材料， 学习者不仅要看完教学材料，还要做教学材料提供的测验。你还要记录一个学习者完成教学 材料所花费的时间。 教学设计人员发现这个过程在教学材料的准备阶段很有价值。当学习者以这种方式使用 学习材料的时候，他们发现了排版错误、内容缺失、漏页、图表编号错误、网页链接错误和
其他一些难以避免的错误,学习者经常还能够描述他们在学习顺序安排和理解所教概念上的 困难,他们还可以就测验是否测定了教学目标而对测验进行批评。你可以利用所有这些信息 来修改教学材料和测验,并改正材料中大大小小的错误 与教学设计的早期阶段形成对照的是,一对一的形成性评价阶段并不强调设计师的分析 技能,它的第一个重要特点是非常依赖设计师的交流能力,即能否在自己和学习者之间建立 友好信任的关系,并进行有效的交流。学习者也许从来都没有被要求去评论一个教学,一直 以来的假设就是如果学习没有发生,那一定是学习者的错误。学习者必须要确信他们是有权 利对呈现给他们的教学材料进行评价的,但是有时候当要求一个年轻人去批评权威作品的时 候还是会特别困难。设计师要创造一种氛围,此氛围能够接受和支持来自学习者的负面评论。 对一方法的第二个关键特点是它是一个女互的过程。如果设计师把教学材料往学习者 手里一放,说:“来,读这个,然后告诉我你是否有问题。”那么这个过程的作用就大大地减 弱了。设计师应该坐在学习者的斜对面,和学习者一起(默默地)读学习材料,然后在预先 设定好的时机,和学习者讨论材料中呈现的内容。对话讨论的可以是某道练习题的答案,也 可以是对内容呈现中某点的考虑。在每次进行一对一试验之前,设计师都应该制定一个策略, 决定交互该如何进行,学习者如何知道什么时候可以和评估人员讨论 很明显,每次一对一试验都只有一个学习者参加。不太可能和两个或两个以上的学习者 同时进行这个过程。当设计师进行评价的时候,一方面需要将学习者的建议和意见都记录下 来,另一方面也要把设计师所做出的有效解释也记录下来。这些内容都可以记录在教学材料 的同一个副本上,或者在评价过程中记录在录音带上,总之,采用学习者乐于接受的形式 评测和问卷当参加一对一试验的学习者完成了教学之后,他们还要以同样的方式评论 后测和态度问卷。在做完了评测中的每道题或每个步骤之后,都要问学习者为什么要做出这 种选择。这样不仅能够发现错误,还可以找出错误的原因。这些信息在教学材料的修改过程 中很有用。你还会发现一些你认为很清楚的测验题目,学习者却完全理解错误。如果这些错 误的题目在进行小组评价的时候仍然存在,那么就会出现一个大问题,即需要决定是这些题 目有问题,还是整个教学都存在问题。对评测量表的评价要和对教学本身的评价一样认真对 待 考试指示说明和评价行为、作品和态度的量表在实际用于评价被测者的工作之前,也要 进行形成性评价。就象做纸笔测验一样,你必须确保做题指示清楚,学习者按照指示去做, 就能够产生预期的行为或作品。 你还必须评估评价量表的可用性。评价量表中各要素的评判标准如下:(1)每个需要做 出判断的要素是否可观察,(2)表述方式是否清晰,(3)排列顺序是否有效。对于评价者的 响应记录表,你还要检查响应的种类和标准是不是合理,这主要根据你需要做出的判断的种 类和数量,你观察、判断和记录判断可用的时间来决定。如果你跟不上学习者的进度,那么 你的判断的准确性就会受到影响。 你的判断的可靠性也需要进行评价。这可以通过在一段时间间隔内两次或者多次评价同 一个行为或作品来完成。也可以让两个或者多个评价人员使用同样的量表对同一表现或作品 进行评价来检验可靠性。如果同一个评价人员对同一作品几次打分不一样或者不同评价人员 对同一产品打分不一致,量表就需要进行修改。对量表需要重新考虑的问题包括要评判的要 素个数、要评定的等级数目、以及每个等级评判标准描述的清晰度。要被观察的要素数量和 要进行判断的等级数量可以减少到能够获得一致性为止。这意味着量表的评价需要多次反 复,以确保量表的可用性和使用量表做出判断的一致性
其他一些难以避免的错误，学习者经常还能够描述他们在学习顺序安排和理解所教概念上的 困难，他们还可以就测验是否测定了教学目标而对测验进行批评。你可以利用所有这些信息 来修改教学材料和测验，并改正材料中大大小小的错误。 与教学设计的早期阶段形成对照的是，一对一的形成性评价阶段并不强调设计师的分析 技能，它的第一个重要特点是非常依赖设计师的交流能力，即能否在自己和学习者之间建立 友好信任的关系，并进行有效的交流。学习者也许从来都没有被要求去评论一个教学，一直 以来的假设就是如果学习没有发生，那一定是学习者的错误。学习者必须要确信他们是有权 利对呈现给他们的教学材料进行评价的，但是有时候当要求一个年轻人去批评权威作品的时 候还是会特别困难。设计师要创造一种氛围，此氛围能够接受和支持来自学习者的负面评论。 一对一方法的第二个关键特点是它是一个交互的过程。如果设计师把教学材料往学习者 手里一放，说：“来，读这个，然后告诉我你是否有问题。”那么这个过程的作用就大大地减 弱了。设计师应该坐在学习者的斜对面，和学习者一起（默默地）读学习材料，然后在预先 设定好的时机，和学习者讨论材料中呈现的内容。对话讨论的可以是某道练习题的答案，也 可以是对内容呈现中某点的考虑。在每次进行一对一试验之前，设计师都应该制定一个策略， 决定交互该如何进行，学习者如何知道什么时候可以和评估人员讨论。 很明显，每次一对一试验都只有一个学习者参加。不太可能和两个或两个以上的学习者 同时进行这个过程。当设计师进行评价的时候，一方面需要将学习者的建议和意见都记录下 来，另一方面也要把设计师所做出的有效解释也记录下来。这些内容都可以记录在教学材料 的同一个副本上，或者在评价过程中记录在录音带上，总之，采用学习者乐于接受的形式。 评测和问卷 当参加一对一试验的学习者完成了教学之后，他们还要以同样的方式评论 后测和态度问卷。在做完了评测中的每道题或每个步骤之后，都要问学习者为什么要做出这 种选择。这样不仅能够发现错误，还可以找出错误的原因。这些信息在教学材料的修改过程 中很有用。你还会发现一些你认为很清楚的测验题目，学习者却完全理解错误。如果这些错 误的题目在进行小组评价的时候仍然存在，那么就会出现一个大问题，即需要决定是这些题 目有问题，还是整个教学都存在问题。对评测量表的评价要和对教学本身的评价一样认真对 待。 考试指示说明和评价行为、作品和态度的量表在实际用于评价被测者的工作之前，也要 进行形成性评价。就象做纸笔测验一样，你必须确保做题指示清楚，学习者按照指示去做， 就能够产生预期的行为或作品。 你还必须评估评价量表的可用性。评价量表中各要素的评判标准如下：（1）每个需要做 出判断的要素是否可观察，（2）表述方式是否清晰，（3）排列顺序是否有效。对于评价者的 响应记录表，你还要检查响应的种类和标准是不是合理，这主要根据你需要做出的判断的种 类和数量，你观察、判断和记录判断可用的时间来决定。如果你跟不上学习者的进度，那么 你的判断的准确性就会受到影响。 你的判断的可靠性也需要进行评价。这可以通过在一段时间间隔内两次或者多次评价同 一个行为或作品来完成。也可以让两个或者多个评价人员使用同样的量表对同一表现或作品 进行评价来检验可靠性。如果同一个评价人员对同一作品几次打分不一样或者不同评价人员 对同一产品打分不一致，量表就需要进行修改。对量表需要重新考虑的问题包括要评判的要 素个数、要评定的等级数目、以及每个等级评判标准描述的清晰度。要被观察的要素数量和 要进行判断的等级数量可以减少到能够获得一致性为止。这意味着量表的评价需要多次反 复，以确保量表的可用性和使用量表做出判断的一致性
最后,你还要评价你的评分策略。使用你在量表的形成性评价过程中采集的数据,汇总 各要素等级预定的分数,然后在目标层次和总的绩效水平考察这些汇总后的数据。这些数据 合乎逻辑吗?可以解释吗?它们可以用来评价教学或者行为的某个部分吗?如果对上述问 题的回答是否定的,那么就要修改计分策略和/或打分过程,直到获得了可用的数据。 学习时间设计人员在一对一评价过程中的兴趣之一是确定学习者完成教学所需要的时 间。因为一对一评价期间有学习者和设计师的交互,所以只能得到对时间的粗略估计。你可 以从总的时间中减去一个百分量,但是经验表明这样的估计十分不准确。 最后一个关于一对一评价过程的建议就是要提供良好的环境。学习者很少会处在这样 个脆弱的位置,还被要求暴露他们的无知。有时候即使是成人也不得不承认他不知道某个很 常见词汇的意思, 他们总是说要查字典,但是却忘记了。在一对一阶段,设计师处于 控制地位,因此有责任为学习者提供舒适的工作环境。学习者可能会因为暴露了他们现在的 知识水平而感到不好意思,我们要尽一切可能使得教学更加客观,给学习者更多的支持。因 为没有学习者,就没有形成性评价。 数据解释有关教学清晰度、对学习者的影响力和教学可行性方面的信息需要进行汇总 和聚焦。教学的薄弱环节需要重新考虑,并制定修改计划,以便提高该教学对同类学习者的 教学水平。在一对一测验阶段进行数据解释的时候,非常重要的一点是:不要过分推广从单 个学习者那里收集到的数据。尽管我们能够确保他她是目标学习者的典型代表,但是无法 保证第二个目标学习者会做出类似的反应。目标成员不同的能力水平、期待水平和个性导致 了我们从每个人身上得来的数据都可能是不一样的。从一对一阶段获得的信息只能看作是 “第一印象”,也许可以推广,也许不可以推广。在这个阶段,教学中的严重错误都会暴露 出来,可以马上进行修改,但是教学中还会存在一些问题不会立即修改,而要等到对其他学 习者重新试验后,或者在小组评价后才做出改动 成果一对一试验的结果使得教学得到了如下的改进:(1)使用的词汇、语言的复杂度、 例子和图解都更符合预期的学习者:(2)或者使学习者具备了正确的态度和预期的成就,或 者为了在后续试验中提高学习者态度和绩效而修改了教学;(3)适合目前的学习者、资源和 环境,具有可行性。教学可以通过小组试验得到更进一步地完善。 在下一章中,我们将要讨论如何汇总在一对一评价阶段得到的信息,以及如何确定需要 做哪些修改。在这一章中,我们将继续讨论形成性评价的下一个阶段,这个阶段是在根据 对一评价的结果完成了对教学的修改之后进行的 小组评价 小组评价( small-group evaluation)有两个主要目的,一个是确定在一对一评价后所作 的改动是否有效,学习者还有哪些学习问题;另一个是确定学习者是否可以不与教师交流独 立地使用教学材料。(在此的讨论,仍旧假设设计师在设计某种形式的自学材料。) 标准和数据评价教学有效性经常使用学习者在前测和后测的成绩。前测一般包括入门 技能和教学目标,后测测定学习者在从属目标和学期目标上的表现。除了学习者的成绩水平 之外,还要通过态度问卷和后续访谈了解他们对于教学的态度。所收集的有关教学可行性方 面的信息一般包括以下几个方面:(1)学习者完成教学和所要求的绩效评测所需要的时间 (2)以预定的形式在设定的环境下传递教学的费用和可行性:(3)实施或管理教学者的态
最后，你还要评价你的评分策略。使用你在量表的形成性评价过程中采集的数据，汇总 各要素等级预定的分数，然后在目标层次和总的绩效水平考察这些汇总后的数据。这些数据 合乎逻辑吗？可以解释吗？它们可以用来评价教学或者行为的某个部分吗？如果对上述问 题的回答是否定的，那么就要修改计分策略和/或打分过程，直到获得了可用的数据。 学习时间 设计人员在一对一评价过程中的兴趣之一是确定学习者完成教学所需要的时 间。因为一对一评价期间有学习者和设计师的交互，所以只能得到对时间的粗略估计。你可 以从总的时间中减去一个百分量，但是经验表明这样的估计十分不准确。 最后一个关于一对一评价过程的建议就是要提供良好的环境。学习者很少会处在这样一 个脆弱的位置，还被要求暴露他们的无知。有时候即使是成人也不得不承认他不知道某个很 常见词汇的意思，-------他们总是说要查字典，但是却忘记了。在一对一阶段，设计师处于 控制地位，因此有责任为学习者提供舒适的工作环境。学习者可能会因为暴露了他们现在的 知识水平而感到不好意思，我们要尽一切可能使得教学更加客观，给学习者更多的支持。因 为没有学习者，就没有形成性评价。 数据解释 有关教学清晰度、对学习者的影响力和教学可行性方面的信息需要进行汇总 和聚焦。教学的薄弱环节需要重新考虑，并制定修改计划，以便提高该教学对同类学习者的 教学水平。在一对一测验阶段进行数据解释的时候，非常重要的一点是：不要过分推广从单 个学习者那里收集到的数据。尽管我们能够确保他/她是目标学习者的典型代表，但是无法 保证第二个目标学习者会做出类似的反应。目标成员不同的能力水平、期待水平和个性导致 了我们从每个人身上得来的数据都可能是不一样的。从一对一阶段获得的信息只能看作是 “第一印象”，也许可以推广，也许不可以推广。在这个阶段，教学中的严重错误都会暴露 出来，可以马上进行修改，但是教学中还会存在一些问题不会立即修改，而要等到对其他学 习者重新试验后，或者在小组评价后才做出改动。 成果 一对一试验的结果使得教学得到了如下的改进：（1）使用的词汇、语言的复杂度、 例子和图解都更符合预期的学习者；（2）或者使学习者具备了正确的态度和预期的成就，或 者为了在后续试验中提高学习者态度和绩效而修改了教学；（3）适合目前的学习者、资源和 环境，具有可行性。教学可以通过小组试验得到更进一步地完善。 在下一章中，我们将要讨论如何汇总在一对一评价阶段得到的信息，以及如何确定需要 做哪些修改。在这一章中，我们将继续讨论形成性评价的下一个阶段，这个阶段是在根据一 对一评价的结果完成了对教学的修改之后进行的。 小组评价 小组评价（small-group evaluation）有两个主要目的，一个是确定在一对一评价后所作 的改动是否有效，学习者还有哪些学习问题；另一个是确定学习者是否可以不与教师交流独 立地使用教学材料。（在此的讨论，仍旧假设设计师在设计某种形式的自学材料。） 标准和数据 评价教学有效性经常使用学习者在前测和后测的成绩。前测一般包括入门 技能和教学目标，后测测定学习者在从属目标和学期目标上的表现。除了学习者的成绩水平 之外，还要通过态度问卷和后续访谈了解他们对于教学的态度。所收集的有关教学可行性方 面的信息一般包括以下几个方面：（1）学习者完成教学和所要求的绩效评测所需要的时间； （2）以预定的形式在设定的环境下传递教学的费用和可行性；（3）实施或管理教学者的态 度
挑选学习者对于小组评价,你大约要挑选8到20个学习者组成评价小组。如果学习者 人数少于8,所得到的数据可能不具备代表性:但是另一方面,如果从多于20个学习者处 获得数据,你又会发现你所获得的信息超过了你的需要,而且增加的学习者并不能带给你额 外的什么有价值的信息 仔细挑选参加小组评价的学习者非常重要,这些评价材料的学习者应该尽可能地代表你 的目标人群。在理想的硏究环境下,你应该随机挑选学习者,这样才能把你的发现推广到整 个目标人群。但是在典型的学校、业界和成人教育环境下,纯粹的随机经常是不可能的,甚 至也可能是不希望的 当你无法随机挑选学习者、或者你的挑选余地很小的时候,你要尽可能地确保从目标人 群的每种类型中至少选取一个做代表,下面给出了目标人群类别的几种划分方法 学业水平分别为高、中、低的学习者 不同母语的学习者 熟悉某种学习方式(如网络教学)的学习者,和不熟悉这种学习方式的学习者 年轻、没有什么经验的学习者,相对更成熟的学习者 如果你的目标组同质性高,分出这些子类别并不成问题,但是如果目标人群具有不同的 技能水平和背景,设计师就应该考虑在小组评价样本中包括每组的代表。例如,你不可能基 于对高学业水平学习者在教学材料上的表现,来推断低学业水平的学习者会怎么样。通过挑 选合适的有代表性的样本,你就能对教学中要做的修改加深认识。 参加小组评价的学习者有时候也可能是有偏差的样本,因为他们可能是一些比一般人更 愿意参与教学的学习者。设计师必须要清楚这个问题,并且要尽可能地获得最具代表性的小 组样本,要考虑到在挑选小组评价参与者时所可能碰到的所有限制因素。 另外还有一点很重要:这个阶段虽然被称为“小组评价”,但是这个“小组”指的是学 习者的数量,而不是学习者实际使用材料的环境。比如,如果你的教学材料需要使用某个专 门设备,而你只得到一台这样的设备,那么你就必须要让这8到20个学习者在单独的环境 下使用你的材料进行学习。进行小组评价并不需要将所有的学习者同时集中到一间房间里 过程小组评价的基本过程和一对一评价中所采用的截然不同。评价人员(或者教师) 先要向学习者解释,学习材料正处在开发的成形阶段,需要得到如何改进的意见。说完这些 后,教师就要按照教学材料所设计的实际使用方式组织学习者使用。如果有前测,就先进行 前测。在整个过程中,教师要尽可能少地干预。只有在设备出现问题,或者某位学习者学习 过程陷入困境,难以继续下去的时候,教师才可以出面解决。每个学习者遇到的困难和解决 办法也应该记录下来,作为改进数据的一部分 评测和问卷小组评价的其他步骤还包括进行态度问卷调查,如果可能,与小组中的某 些学习者进行深入的讨论,听取他们的意见。获得学习者对教学反馈的主要目的是为了从他 们的感受中发现教学策略实施过程的优劣所在,所以所提出的问题应该体现教学策略的各个 成分。以下问题通常情况下都可以使用 教学有趣吗? 你知道你应该学什么吗? 教学材料直接和教学目标相关吗? 有足够的练习吗? 这些练习和教学目标相关吗?
挑选学习者 对于小组评价，你大约要挑选 8 到 20 个学习者组成评价小组。如果学习者 人数少于 8，所得到的数据可能不具备代表性；但是另一方面，如果从多于 20 个学习者处 获得数据，你又会发现你所获得的信息超过了你的需要，而且增加的学习者并不能带给你额 外的什么有价值的信息。 仔细挑选参加小组评价的学习者非常重要，这些评价材料的学习者应该尽可能地代表你 的目标人群。在理想的研究环境下，你应该随机挑选学习者，这样才能把你的发现推广到整 个目标人群。但是在典型的学校、业界和成人教育环境下，纯粹的随机经常是不可能的，甚 至也可能是不希望的。 当你无法随机挑选学习者、或者你的挑选余地很小的时候，你要尽可能地确保从目标人 群的每种类型中至少选取一个做代表，下面给出了目标人群类别的几种划分方法： ⚫ 学业水平分别为高、中、低的学习者 ⚫ 不同母语的学习者 ⚫ 熟悉某种学习方式（如网络教学）的学习者，和不熟悉这种学习方式的学习者 ⚫ 年轻、没有什么经验的学习者，相对更成熟的学习者 如果你的目标组同质性高，分出这些子类别并不成问题，但是如果目标人群具有不同的 技能水平和背景，设计师就应该考虑在小组评价样本中包括每组的代表。例如，你不可能基 于对高学业水平学习者在教学材料上的表现，来推断低学业水平的学习者会怎么样。通过挑 选合适的有代表性的样本，你就能对教学中要做的修改加深认识。 参加小组评价的学习者有时候也可能是有偏差的样本，因为他们可能是一些比一般人更 愿意参与教学的学习者。设计师必须要清楚这个问题，并且要尽可能地获得最具代表性的小 组样本，要考虑到在挑选小组评价参与者时所可能碰到的所有限制因素。 另外还有一点很重要：这个阶段虽然被称为“小组评价”，但是这个“小组”指的是学 习者的数量，而不是学习者实际使用材料的环境。比如，如果你的教学材料需要使用某个专 门设备，而你只得到一台这样的设备，那么你就必须要让这 8 到 20 个学习者在单独的环境 下使用你的材料进行学习。进行小组评价并不需要将所有的学习者同时集中到一间房间里。 过程 小组评价的基本过程和一对一评价中所采用的截然不同。评价人员（或者教师） 先要向学习者解释，学习材料正处在开发的成形阶段，需要得到如何改进的意见。说完这些 后，教师就要按照教学材料所设计的实际使用方式组织学习者使用。如果有前测，就先进行 前测。在整个过程中，教师要尽可能少地干预。只有在设备出现问题，或者某位学习者学习 过程陷入困境，难以继续下去的时候，教师才可以出面解决。每个学习者遇到的困难和解决 办法也应该记录下来，作为改进数据的一部分。 评测和问卷 小组评价的其他步骤还包括进行态度问卷调查，如果可能，与小组中的某 些学习者进行深入的讨论，听取他们的意见。获得学习者对教学反馈的主要目的是为了从他 们的感受中发现教学策略实施过程的优劣所在，所以所提出的问题应该体现教学策略的各个 成分。以下问题通常情况下都可以使用： ⚫ 教学有趣吗？ ⚫ 你知道你应该学什么吗？ ⚫ 教学材料直接和教学目标相关吗？ ⚫ 有足够的练习吗？ ⚫ 这些练习和教学目标相关吗？
测验能真正地考察你对教学目标的知识吗? 在练习过程中,你得到了足够的反馈吗? 当考试答题时,你感到自信吗? 这些问题都可以用在态度问卷中,然后在和学习者进行讨论时再进一步深入。通过使用 这些从教学策略的成分中导出的问题,诸如上面列举的这些,就有可能把学习者的反馈直接 对应到教学材料或教学过程的某个部分。在完成了材料的评价后,在和学习者的讨论中,教 师还可以就教学进度、学习兴趣和材料难度等方面提问。 数据汇总和分析在上述过程中所得到的数据信息和描述性信息都需要加以汇总和分 析。数据信息包括测验成绩、所需要的时间和项目费用。描述性信息包括从态度问卷、访谈 中收集的评论,以及在试验过程中评价人员所做的笔记 成果小组试验和教学修改的目的是产生高质量的教学,这样的教学应该在预设的学习 环境中对大多数目标学习者都有效。对教学所做的修改可能很简单,比如换个例子,或者给 测验题目换个词,增加分配给学习的时间等,但也能需要对教学策略做较大的改动(如动机 激发策略、目标安排顺序、教学传递方式等),或者改变呈现给学习者的信息。一旦教学经 过了充分地修改,实地试验就可以开始了 在下一章中,我们将举例说明如何汇总数据,如何确定它们对修改过程的影响。在这 章,我们集中注意力于形成性评价研究和数据的采集 实地试验 在形成性评价的最后这个阶段,教师要在一个与教学材料最终使用环境尽可能相像的学 习环境中进行评价。这个形成性评价最后阶段的目的之一是确定在小组评价之后所做出的改 动是不是有效。另外一个目的就是要看看教学在它预设的使用环境下是否能够使用一一也就 是说,在预设环境中从管理方面考虑实施该教学的可能性 为了回答这些问题,所有的教学材料,包括考试卷和教师手册,都应该加以改进并做好 实地试验的准备。如果可以找到教师实施教学,那么设计师就不要再担任这一角色了 评价地点在挑选实地试验的地点时,你可能会遇到以下两种情况之一。第一种情况是, 你要在一个平常使用大班教学、固定步骤的班级里试验你的教学材料,对于这些学习者来说, 使用自学材料可能是很新奇的、不同以往的经历。因此,为了给新教学过程的实施打好基础, 你需要向学生们解释怎么使用这些教学材料,这些材料和他们平时使用的有什么不同。你十 有八九会看到学习者兴趣高涨,但是如果他们的成绩没有提高,那么他们的兴趣高涨只是因 为这种教学打破了他们原有的教室教学方式而已。第二种情况是,你可以在一个个性化教学 的班级里试用教学材料,问题是可能很难找到足够多合适的学习者来使用你的教学材料,因 为这些学习者们在学习材料的时候过于分化 评判标准和数据实地试验与戏院的最后彩排很类似,因为教学都已经尽可能地修改完 善好了,准备尽可能地按照最后的方式传递。另外,与彩排类似的一点是,实地试验的主要 目的是要找出并消除教学中尚存的问题。小组试验和实地试验有许多相似之处,两类试验的 过程中都要决定学习者的表现是否适当,教学的传递方式是否可行:另一个相似之处是,二 者都是采集学习者的成绩和态度信息、教师的教学过程和态度,以及诸如时间、费用、空间 和设备等资源信息。二者的最主要差别在于教学材料、学习者、过程、教师和环境的真实程 度不同
⚫ 测验能真正地考察你对教学目标的知识吗？ ⚫ 在练习过程中，你得到了足够的反馈吗？ ⚫ 当考试答题时，你感到自信吗？ 这些问题都可以用在态度问卷中，然后在和学习者进行讨论时再进一步深入。通过使用 这些从教学策略的成分中导出的问题，诸如上面列举的这些，就有可能把学习者的反馈直接 对应到教学材料或教学过程的某个部分。在完成了材料的评价后，在和学习者的讨论中，教 师还可以就教学进度、学习兴趣和材料难度等方面提问。 数据汇总和分析 在上述过程中所得到的数据信息和描述性信息都需要加以汇总和分 析。数据信息包括测验成绩、所需要的时间和项目费用。描述性信息包括从态度问卷、访谈 中收集的评论，以及在试验过程中评价人员所做的笔记。 成果 小组试验和教学修改的目的是产生高质量的教学，这样的教学应该在预设的学习 环境中对大多数目标学习者都有效。对教学所做的修改可能很简单，比如换个例子，或者给 测验题目换个词，增加分配给学习的时间等，但也能需要对教学策略做较大的改动（如动机 激发策略、目标安排顺序、教学传递方式等），或者改变呈现给学习者的信息。一旦教学经 过了充分地修改，实地试验就可以开始了。 在下一章中，我们将举例说明如何汇总数据，如何确定它们对修改过程的影响。在这一 章，我们集中注意力于形成性评价研究和数据的采集。 实地试验 在形成性评价的最后这个阶段，教师要在一个与教学材料最终使用环境尽可能相像的学 习环境中进行评价。这个形成性评价最后阶段的目的之一是确定在小组评价之后所做出的改 动是不是有效。另外一个目的就是要看看教学在它预设的使用环境下是否能够使用——也就 是说，在预设环境中从管理方面考虑实施该教学的可能性。 为了回答这些问题，所有的教学材料，包括考试卷和教师手册，都应该加以改进并做好 实地试验的准备。如果可以找到教师实施教学，那么设计师就不要再担任这一角色了。 评价地点 在挑选实地试验的地点时，你可能会遇到以下两种情况之一。第一种情况是， 你要在一个平常使用大班教学、固定步骤的班级里试验你的教学材料，对于这些学习者来说， 使用自学材料可能是很新奇的、不同以往的经历。因此，为了给新教学过程的实施打好基础， 你需要向学生们解释怎么使用这些教学材料，这些材料和他们平时使用的有什么不同。你十 有八九会看到学习者兴趣高涨，但是如果他们的成绩没有提高，那么他们的兴趣高涨只是因 为这种教学打破了他们原有的教室教学方式而已。第二种情况是，你可以在一个个性化教学 的班级里试用教学材料，问题是可能很难找到足够多合适的学习者来使用你的教学材料，因 为这些学习者们在学习材料的时候过于分化。 评判标准和数据 实地试验与戏院的最后彩排很类似，因为教学都已经尽可能地修改完 善好了，准备尽可能地按照最后的方式传递。另外，与彩排类似的一点是，实地试验的主要 目的是要找出并消除教学中尚存的问题。小组试验和实地试验有许多相似之处，两类试验的 过程中都要决定学习者的表现是否适当，教学的传递方式是否可行；另一个相似之处是，二 者都是采集学习者的成绩和态度信息、教师的教学过程和态度，以及诸如时间、费用、空间 和设备等资源信息。二者的最主要差别在于教学材料、学习者、过程、教师和环境的真实程 度不同
挑选学习者你需要找大约30个学习者来参加你的实地试验。同样,要确保这些学习者 为教学材料所针对的目标人群的代表。因为很难找到“典型”的一组人,所以设计师经常挑 选几个不同的小组来参加实地试验。这样的好处是有可能收集所有目标环境下的数据,这些 环境如开放教室、传统教学,以及远程学习中心。 如果教学材料的目标教学地点差别很大,那么就有必要多选几个试验地点。因为在教学 材料使用的时候,设计师可能不在场,所以设计师应该告诉老师应遵循的教学过程和需要采 集的数据 实施实地试验的过程进行实地试验的过程和进行小组试验的过程类似,只有少许不同 主要的变化是设计师的角色,在实地试验里,设计师除了观察整个教学过程以外,不再做其 他事情,教学由一个典型的教师实施和传递。因此,设计师可能需要设计和传递对教师的培 训,这样教师才能知道该怎么使用这个教学材料 另外一个变化就是考试题减少了。基于小组评价的经验,对前测后测进行了修改,可能 减少到仅仅测试最重要的入门技能和最重要的要教的技能。原因是,在开发过程的这个阶段, 形成性评价主要关心的是教学在预期的学习环境下的可行性 问卷也要进行修改,更关注设计师认为对教学的成功很关键的环境因素。总之,问卷的 问题集中在可能影响教学成功的各种因素。对教学使用过程的观察,与学习者和教师访谈, 都是非常有价值的。 数据汇总和解释实地试验的数据汇总和分析过程和小组评价是一样的。成绩数据应该 按照教学目标来组织,同样,只要有可能,学习者和教师的态度信息也应该按照教学目标来 组织。按照这种方式进行汇总的数据可以帮助确定哪部分教学有效、哪部分教学无效。从实 地试验得来的信息可用于规划和进行对教学的最后修改。 成果实地试验和对教学进行最终修改的目的是为了得到有效的教学,这样的教学能够 使学习者产生要求其达到的学习成绩和态度,并且这个教学要能够在预想的教学环境中正常 工作。根据实地试验所收集的数据,我们要对教学进行适当地修改。当修改完成后,就可以 开始在技能应用环境下的形成性评价了。 应用环境下的形成性评价 我们已经讨论了形成性评价的三个阶段,这三个阶段都要采集学习者成绩和对教学态度 方面的信息和数据,每个阶段的教学环境也不相同,从一对一评价时的非正式环境,到实地 试验中真实的学习环境。但是还遗留了一个问题,就是学习者能否在我们称为“应用环境 即最终需要运用该技能的环境一一的地方运用他学到的新技能。 没有哪个新学的技能只是为了在学习的过程中使用,学习技能的目的就是要在其他的时 间、其他的场合运用这些技能。设计师不能忽视这一点,而应该在合适而可行的时候,在形 成性评价的计划中包括这方面的评价。设计师需要确定所教过的技能是否能够保持,是否会 在应用环境中使用,这些技能的使用是否对组织产生了预期的影响。如果我们得到的是回答 是否定的话,那么设计师就必须确定这对培训的修改意味着什么。我们接下来要描述的就是 如何在应用环境中进行形成性评价,它可以在学习环境形成性评价的任何一个阶段之后进 行 这种在实际环境下进行的形成性评价基本上要确定三件事情。首先,学习者是否意识到
挑选学习者 你需要找大约 30 个学习者来参加你的实地试验。同样，要确保这些学习者 为教学材料所针对的目标人群的代表。因为很难找到“典型”的一组人，所以设计师经常挑 选几个不同的小组来参加实地试验。这样的好处是有可能收集所有目标环境下的数据，这些 环境如开放教室、传统教学，以及远程学习中心。 如果教学材料的目标教学地点差别很大，那么就有必要多选几个试验地点。因为在教学 材料使用的时候，设计师可能不在场，所以设计师应该告诉老师应遵循的教学过程和需要采 集的数据。 实施实地试验的过程 进行实地试验的过程和进行小组试验的过程类似，只有少许不同。 主要的变化是设计师的角色，在实地试验里，设计师除了观察整个教学过程以外，不再做其 他事情，教学由一个典型的教师实施和传递。因此，设计师可能需要设计和传递对教师的培 训，这样教师才能知道该怎么使用这个教学材料。 另外一个变化就是考试题减少了。基于小组评价的经验，对前测后测进行了修改，可能 减少到仅仅测试最重要的入门技能和最重要的要教的技能。原因是，在开发过程的这个阶段， 形成性评价主要关心的是教学在预期的学习环境下的可行性。 问卷也要进行修改，更关注设计师认为对教学的成功很关键的环境因素。总之，问卷的 问题集中在可能影响教学成功的各种因素。对教学使用过程的观察，与学习者和教师访谈， 都是非常有价值的。 数据汇总和解释 实地试验的数据汇总和分析过程和小组评价是一样的。成绩数据应该 按照教学目标来组织，同样，只要有可能，学习者和教师的态度信息也应该按照教学目标来 组织。按照这种方式进行汇总的数据可以帮助确定哪部分教学有效、哪部分教学无效。从实 地试验得来的信息可用于规划和进行对教学的最后修改。 成果 实地试验和对教学进行最终修改的目的是为了得到有效的教学，这样的教学能够 使学习者产生要求其达到的学习成绩和态度，并且这个教学要能够在预想的教学环境中正常 工作。根据实地试验所收集的数据，我们要对教学进行适当地修改。当修改完成后，就可以 开始在技能应用环境下的形成性评价了。 应用环境下的形成性评价 我们已经讨论了形成性评价的三个阶段，这三个阶段都要采集学习者成绩和对教学态度 方面的信息和数据，每个阶段的教学环境也不相同，从一对一评价时的非正式环境，到实地 试验中真实的学习环境。但是还遗留了一个问题，就是学习者能否在我们称为“应用环境” ——即最终需要运用该技能的环境——的地方运用他学到的新技能。 没有哪个新学的技能只是为了在学习的过程中使用，学习技能的目的就是要在其他的时 间、其他的场合运用这些技能。设计师不能忽视这一点，而应该在合适而可行的时候，在形 成性评价的计划中包括这方面的评价。设计师需要确定所教过的技能是否能够保持，是否会 在应用环境中使用，这些技能的使用是否对组织产生了预期的影响。如果我们得到的是回答 是否定的话，那么设计师就必须确定这对培训的修改意味着什么。我们接下来要描述的就是 如何在应用环境中进行形成性评价，它可以在学习环境形成性评价的任何一个阶段之后进 行。 这种在实际环境下进行的形成性评价基本上要确定三件事情。首先，学习者是否意识到