2.通过决定在研究中如何控制和测量变量，对假设中的每个变量下操作定义：（即 选择模型) 3.编制或选择获取和量化每一变量观察值的工具及程序：（确定测验分数的使用目 的一确定代表该结构的行为（包括内容分析、研究回顾、关键事件、直接观察、专家判 断、教学目标等方法)一领域取样（包括随机抽样、系统抽样、多阶段抽样、分层抽样 整群抽样、分层整群抽样、重复抽样、配额抽样、判断抽样等多种方法)一准备测验说 明书一项目编制（包括最佳行为测验法（包括是非、多选、配对入、调查问卷项目形式 (包括二分法、五级连续法、两极形容词列表法)) 4.检查所使用的工具和程序的准确性及敏感性：（注意精确性、与测验说明相符或 相关程度、项目编制的技术性缺点、语法、攻击性语言或“偏见”的出现、可读性水平 等问题，然后进行试测检查，进行项目分析，得出项目的相关指标，即信度、效度、难 度、区分度等) 5.收集实验设计框架内的实验资料，以回答最初提出的问题： 6.用数学方法处理数据资料，适当地利用统计检验去判断观察结果归因于机遇的 可能性。 在这个过程中，测验理论的内容与步骤2、步骤3和步聚4有很大关系。有必要指 出，在进行大范围的实验研究（步骤5和6）之前，步骤4通常要求收集预试样组试测结 果的数据并进行统计分析，以确保工具的有效性。编制和预试研究工具失败的部分原因 是与教育和社会科学研究经常具有矛盾和模糊的结果的特点有关。在物理和生物科学 中，测量程序在实验使用之前全都要经过检验。一位生物化学家在没花大量时间校准分 光仪，以保证它能够提供精确的波长读数时，是绝不会试图去分析实验室中未知的化合 物的。然而，相比之下社会科学家们更经常地尝试通过实际上从未试用过的测验去评估 实验程序如何舞影响了一个复杂的变量，如心理病人的焦虑水平或学前儿童的语言发展。 从提出研究问题和定义变量直接跳到收集实验资料的研究者很可能会一无所获。假如研 究者没有观察到各种处理之间的差异，那么他们也就不可能知道是各种处理无效，还是 测量不那么精确以致处理的真实效果未被觉察到。在实施最后的正式实验前，严格地遵 照优秀测验编制程序和在实践中试测的原则将对提高教育学和心理学研究的总体质量 大有裨益。 三、测验理论中的统计概念（主要是复习） (一)频数表和分布图 (二)集中量数（众数、中位数、平均数) (三)差异量数（全距、离差、方差、标准差） (四)Z分数（后面还会再讲） (五)正态分布 (六)用于描述两个变量间关系的量（散点图、相关系数，包括皮尔逊积差相关、 斯皮尔曼等级相关、点二列相关、列联相关等) (七)用于倾测个体表现的量（回归分析、估计的标准误等）11 2．通过决定在研究中如何控制和测量变量，对假设中的每个变量下操作定义；（即 选择模型） 3．编制或选择获取和量化每一变量观察值的工具及程序；（确定测验分数的使用目 的－确定代表该结构的行为（包括内容分析、研究回顾、关键事件、直接观察、专家判 断、教学目标等方法）－领域取样（包括随机抽样、系统抽样、多阶段抽样、分层抽样、 整群抽样、分层整群抽样、重复抽样、配额抽样、判断抽样等多种方法）－准备测验说 明书－项目编制（包括最佳行为测验法（包括是非、多选、配对）、调查问卷项目形式 （包括二分法、五级连续法、两极形容词列表法））） 4．检查所使用的工具和程序的准确性及敏感性；（注意精确性、与测验说明相符或 相关程度、项目编制的技术性缺点、语法、攻击性语言或“偏见”的出现、可读性水平 等问题，然后进行试测检查，进行项目分析，得出项目的相关指标，即信度、效度、难 度、区分度等） 5．收集实验设计框架内的实验资料，以回答最初提出的问题； 6．用数学方法处理数据资料，适当地利用统计检验去判断观察结果归因于机遇的 可能性。 在这个过程中，测验理论的内容与步骤 2、步骤 3 和步骤 4 有很大关系。有必要指 出，在进行大范围的实验研究(步骤 5 和 6)之前，步骤 4 通常要求收集预试样组试测结 果的数据并进行统计分析，以确保工具的有效性。编制和预试研究工具失败的部分原因 是与教育和社会科学研究经常具有矛盾和模糊的结果的特点有关。在物理和生物科学 中，测量程序在实验使用之前全都要经过检验。一位生物化学家在没花大量时间校准分 光仪，以保证它能够提供精确的波长读数时，是绝不会试图去分析实验室中未知的化合 物的。然而，相比之下社会科学家们更经常地尝试通过实际上从未试用过的测验去评估 实验程序如何影响了一个复杂的变量，如心理病人的焦虑水平或学前儿童的语言发展。 从提出研究问题和定义变量直接跳到收集实验资料的研究者很可能会一无所获。假如研 究者没有观察到各种处理之间的差异，那么他们也就不可能知道是各种处理无效，还是 测量不那么精确以致处理的真实效果未被觉察到。在实施最后的正式实验前，严格地遵 照优秀测验编制程序和在实践中试测的原则将对提高教育学和心理学研究的总体质量 大有裨益。 三、测验理论中的统计概念（主要是复习） （一）频数表和分布图 （二）集中量数（众数、中位数、平均数） （三）差异量数（全距、离差、方差、标准差） （四）Z 分数（后面还会再讲） （五）正态分布 （六）用于描述两个变量间关系的量（散点图、相关系数，包括皮尔逊积差相关、 斯皮尔曼等级相关、点二列相关、列联相关等） （七）用于预测个体表现的量（回归分析、估计的标准误等）