分类数据测量等价性检验方法及其比较:项目阈值(难度)参数的组间差异性检验

摘要

测量工具满足等价性是进行多组比较的前提,测量等价性的检验方法主要有基于CFA的多组比较法和基于IRT的DIF检验两类方法。文章比较了单维测验情境下基于CCFA的DIFFTEST检验方法和基于IRT模型的IRT-LR检验方法,以及多维测验情境下DIFFTEST和基于MIRT的卡方检验方法的差异。通过模拟研究的方法,比较了几种方法的检验力和第一类错误,并考虑了样本总量、样本量的组间均衡性、测验长度、阈值差异大小以及维度间相关程度的影响。研究结果表明:(1)在单维测验下,IRT-LR是比DIFFTEST更为严格的检验方法;多维测验下,在测验较长、测验维度之间相关较高时,MIRT-MG比DIFFTEST更容易检验出项目阈值的差异,而在测验长度较短、维度之间相关较小时,DIFFTEST的检验力反而略高于MIRT-MG方法。(2)随着阈值差值增加,DIFFTEST、IRT-LR和MIRT-MG三种方法的检验力均在增加,当阈值差异达到中等或较大时,三种方法都可以有效检验出测验阈值的不等价性。(3)随着样本总量增加,DIFFTEST、IRT-LR和MIRT-MG方法的检验力均在增加;在总样本量不变,两组样本均衡情况下三种方法的检验力均高于不均衡的情况。(4)违背等价性题目个数不变时,测验越长DIFFTEST的检验力会下降,而IRT-LR和MIRT-MG检验力则上升。(5)DIFFTEST方法的一类错误率平均值接近名义值0.05;而IRT-LR和MIRT-MG方法的一类错误率平均值远低于0.05。