涂冬波等:IRT模型参数估计的新方法一一MCMC算法 179 实验三至实验五:2PLM,人数题数均变化。两参数 2.3分析工具 Logistic模型下,考虑三种情况下的MCMC算法和E-M算 采用Biog3.0程序(E-M算法)、Visual Basic6.0语 法的估计精度。实验三,模拟200人,20题(人少题少)。实 言自编程序(MCMC算法)及SPSS10.0分析工具。 验四:模拟1000被试,60题(人、题适中)。实验五:3000人, 3研究结果 150题(人多题多)。实验三、四各重复10次,实验五因人多 题多,计算太耗时故只重复5次(下同),每个实验下每次共 3.1实验一、实验二研究结果 用同一批项目参数,但不共用同-一批被试参数。 表1、表2表明,不论是MCMC算法还是E一M算法,在 实验六至实验八:3PLM,人数题数均变化。叁参数 项目固定的情况下,随着被试数的增加,项目参数估计的精 Logistic模型下,同样考虑三种情况下的MCMC算法和E- 度均不断提高:同样,在被试固定的情况下,随着题数的增 M算法的估计精度。实验六,模拟200人,20题(人少题少)。加,被试参数估计的精度也不断提高。在项目反应理论框架 实验七:模拟1000被试,60题(人、题适中)。实验八:3000 下,题数的增加能提高对被试参数估计精度,而人数的增加 人,150题(人多题多)。实验六、七各重复10次,实验八重复 能提高对项目参数的估计精度,这独立于参数估计方法。表 5次,每个实验下每次共用同一批项目参数,但不共用同一批 1表2显示,当样本容量(被试/项目)越大,MCMC算法对参 被试参数。 数估计精度越高,这符合经典研究结果。 表1人数变化对项目参数估计精度的影响(60题) 参数 估计方法 100人 200人 500人 1000人 2000人 3000人 4000人 A值 Bilog 0.2541 0.1896 0.1773 0.0955 0.0862 0.0877 0.0805 MCMC 0.2247 0.1746 0.1604 0.0891 0.0826 0.0821 0.0755 B值 Bilog 0.2739 0.316 0.1384 0.1436 0.1041 0.1014 0.0885 MCMC 0.2198 0.3343 0.2163 0.1423 0.1235 0.0886 0.0799 表2题数变化对被试参数估计精度的影响(1000人) 10题 30题 50题 100题 150题 200题 Bilog 0.4405 0.3789 0.284 0.2618 0.2539 0.2145 MCMC 0.4399 0.3785 0.2795 0.2394 0.2264 0.1916 表1还显示,当项目固定,不论人数多大,MCMC算法对 3.3实验六至八结果(3PLM) 区分度参数的估计精度均优于Blog程序:但对于难度参数, 表4表明,参参数模型下,MCMC算法对于区分度、难度参 只有当被试容量足够大(3000以上)的情况下,MCMC算法 数的估计精度普遍优于lg程序:对于猜测参数和能力参数,当 的估计精度才明显优于Bog程序,其它条件下两者相当。 样本容量小时(实验六),E-M算法优于MCMC算法,当样本容 表2中,当被试固定,不论项目数多大,MCMC算法对被试参 量大时(实验七、实验八),MCMC算法优于E一M算法。 数的估计的精度均优于Bilog程序。 表4 参数估计值与真值的平均绝对离差的平均(3PLM) 3.2实验三至实验五结果(2PLM) 实验六 实验七 实验人 参数估计方法 表3参数估计值与真值的平均绝对离差的平均(2PLM) (200人20题)(1000人60题)(3000人150题) 实验三 实验四 实验五 A值 Bilog 0.2752 0.2087 0.1422 参数估计方法 MCMC 0.2691 0.1528 0.1020 (200人20题)(1000人60题)(3000人150题) B值 Bilog 0.3891 0.3233 0.2978 A值 Bilog 0.21266 0.0955 0.0705 MCMC 0.3525 0.2888 0.2358 MCMC 0.20016 0.0891 0.0654 C值 Bilog 0.0530 0.0600 0.0538 B值 Bilog 0.2676 0.1436 0.0899 MCMC 0.0541 0.0516 0.0442 MCMC 0.2398 0.1423 0.0887 值 Bilog 0.46995 0.357 0.2631 9值 Bilog 0.4024 0.2594 0.2453 MCMC 0.49923 0.35117 0.2357 MCMC 0.4165 0.2436 0.1850 总体看,两种算法的参参数估计精度不如两参数模型估 表3为MCMC算法和Bilog程序估计两参数Logistic模 计精度高;就两种算法比较而言,MCMC算法对叁参数模型 型(2PLM)的估计精度。总体来看,MCMC算法在2PLM的 参数的估计精度较Biog程序要高。 估计是可行的,估计的精度会随着样本容量(人数题数)的增 4结论 加而不断提高,这符合实际:且它估计的精度总体上较B©g 程序要好。实验三中两种算法对项目参数估计精度的差异 本研究考察了多种样本容量下的实验结果,同时考察了 最大,实验四其次、实验五最小,说明随著样本容量的增加, 固定被试或项目情况下,项目的增加或被试的增加对参数估 两种算法估计精度差异越小,及MCMC算法在样本容量较 计精度的彩响。实验结果表明,采用MCMC算法估计IRT 少的情况下仍表现出一定的估计精度。对于能力参数的估 模型的参数是可行的,参数估计的精度较高,总体来讲优于 计,实验五中两种算法的精度差异达到最大,随着样本容量 Bilog程序(E-M算法)。因此,可将MCMC方法推广到RT 的增加,MCMC算法对能力参数估计的精度有显著的提高, 模型的参数估计。同时,MCMC算法没有E-M算法复杂, 且提高较E一M算法敏感,但在样本容量少(实验三)的情况 且相对来讲比较容易实现。但MCMC算法由于在M-H- 下,MCMC的估计精度不如E-M算祛。 Gibbs抽样中的取舍过程耗费了较多时间且没有考忠对算法 万方数据涂冬波等:IRT模型参数估计的新方法——MCMC算法 179 实验三至实验五:2PLM,人数题数均变化。两参数 Logistic模型下.考虑三种情况下的MCMC算法和E—M算 法的估计精度。实验三,模拟200人,20题(人少题少)。实 验四:模拟1000被试.60题(人、题适中)。实验五:3000人, 150题(人多题多)。实验三、四各重复10次,实验五因人多 题多,计算太耗时故只重复5次(下同),每个实验下每次共 用同一批项目参数,但不共用同-ttL.被试参数。 实验六至实验八:3PLM,人数题数均变化。叁参数 Logistic模型下.同样考虑三种情况下的MCMC算法和E— M算法的估计精度。实验六,模拟200人,20题(人少题少)。 实验七:模拟1000被试,60题(人、题适中)。实验八:3000 人,150题(人多题多)。实验六、七各重复10次,实验八重复 5次,每个实验下每次共用同一批项目参数,但不共用同一批 被试参数。 2.3分析工具 采用Bil093.0程序n4l(E—M算法)、Visual Basic 6.0语 言自编程序(MCMC算法)及SPSSl0.0分析工具。 3 研究结果 3.1实验一、实验二研究结果 表1、表2表明,不论是MCMC算法还是E~M算法,在 项目固定的情况下,随着被试数的增加,项目参数估计的精 度均不断提高;同样,在被试固定的情况下,随着题数的增 加,被试参数估计的精度也不断提高。在项目反应理论框架 下,题数的增加能提高对被试参数估计精度,而人数的增加 能提高对项目参数的估计精度,这独立于参数估计方法。表 1表2显示,当样本容量(被试/N,目)越大,MCMC算法对参 数估计精度越高,这符合经典研究结果。 表1 人数变化对项目参数估计精度的影响(60题) 表2题数变化对被试参数估计精度的影响(1000人) 表1还显示,当项目固定,不论人数多大,MCMC算法对 区分度参数的估计精度均优于Bilog程序;但对于难度参数, 只有当被试容量足够大(3000以上)的情况下,MCMC算法 的估计精度才明显优于Bilog程序,其它条件下两者相当。 表2中,当被试固定,不论项目数多大,MCMC算法对被试参 数的估计的精度均优于Bilog程序。 3.2实验三至实验五结果(2PLM) 表3参数估计值与真值的平均绝对离差的平均【2PLM) 表3为MCMC算法和Bilog程序估计两参数Logistic模 型(2PLM)的估计精度。总体来看,MCMC算法在2PLM的 估计是可行的,估计的精度会随着样本容量(人数题数)的增 加而不断提高,这符合实际;且它估计的精度总体上较Bilog 程序要好。实验三中两种算法对项目参数估计精度的差异 最大,实验四其次、实验五最小,说明随着样本容量的增加, 两种算法估计精度差异越小,及MCMC算法在样本容量较 少的情况下仍表现出一定的估计精度。对于能力参数的估 计,实验五中两种算法的精度差异达到最大,随着样本容量 的增加,MCMC算法对能力参数估计的精度有显著的提高, 且提高较E—M算法敏感,但在样本容量少(实验三)的情况 下,MCMC的估计精度不如E—M算法。 3.3实验六至八结果(3PLM) 表4表明,叁参数模型下,MCMC算法对于区分度、难度参 数的估计精度普遍优于Bil。g程序;对于猜测参数和能力参数,当 样本容量小时(实验六),E—M算法优于MCMC算法,当样本容 量大时(实验七、实验八),MCMC算法优于E—M算法。 表4参数估计值与真值的平均绝对离差的平均{3PLM) 总体看,两种算法的叁参数估计精度不如两参数模型估 计精度高;就两种算法比较而言,MCMC算法对叁参数模型 参数的估计精度较Bilog程序要高。 4结论 本研究考察了多种样本容量下的实验结果,同时考察了 固定被试或项目情况下,项目的增加或被试的增加对参数估 计精度的影响。实验结果表明,采用MCMC算法估计IRT 模型的参数是可行的,参数估计的精度较高,总体来讲优于 Bilog程序(E—M算法)。因此,可将MCMC方法推广到IRT 模型的参数估计。同时,MCMC算法没有E—M算法复杂, 且相对来讲比较容易实现。但MCMC算法由于在M—H— Gibbs抽样中的取舍过程耗费了较多时问且没有考虑对算法 万方数据