基于IRT理论传统纸笔测验与计算机自适应测验结果对比分析

摘要

基于项目反应理论的计算机自适应测验(Computerized Adaptive Test,CAT)是一种比传统测验方式更加快速有效的测验方式。目前,对于CAT的研究多集中在CAT系统的建立、CAT相关算法研究与优化、CAT与其他测验理论的结合三个方面。罕有文章对CAT在测验中的准确性及测验效率的进行普适研究,尤其是研究在理想状况下 CAT与传统纸笔测验方式的差异与特点。
　　本文以EPQ量表当中N量表为基础,首先使用真实数据进行模型拟合与参数估计,研究在实际测验中,CAT的可行性以及其测验结果与传统纸笔测验的相关与差异;而后利用Monte-Carlo生成模拟数据,对基于IRT的传统纸笔测验及CAT结果进行分析,排除各种干扰因素之后,进一步研究CAT与传统纸笔测验在理想状况下,其理论与模型的固有特点,得到以下结果:
　　(1)CAT效率的提升,是以测验准确性的有控制的牺牲为条件的,其实质是在测验效率与测验准确率做平衡,每一个项目的减少,都会造成测验准确性的牺牲,如何有计划的筛选项目,是CAT首要的问题。
　　(2)题库项目的增加,对于整个被试群体来说,会使传统纸笔测验和CAT的测验准确性增加,传统纸笔测验准确性的提升,同时表现在测验标准误的降低上,而在CAT中,由于本文限定了终止条件的标准误,最终被试能力估计值的标准误并没有因为测验准确性的提升而改变,这说明传统纸笔测验或者CAT所获得的被试能力估计的标准误,无法表明其测验的准确性。
　　(3)对于不同能力水平的被试,题库项目的增加,可能会提升其测验准确性,也可能会提升其测验效率。

目录

封面

声明

目录

中文摘要

英文摘要

1 引言

1.1 研究背景

1.3 问题的提出

2 IRT及CAT综述

2.1 项目反应理论简介

2.2 计算机自适应测验理论简介

3 数据分析

3.1 研究目的

3.2 研究设计

3.3 模型-数据拟合检验

3.4 实际测验CAT与传统纸笔测验结果对比

3.5 24项目模拟数据CAT与传统纸笔测验

3.6 30项目模拟数据

4 讨论

4.1 关于人格量表的单维性问题

4.2 关于人格CAT准确性的问题

4.3 关于人格测验的IRT模型问题

5 结论与展望

5.1 结论

5.2 展望

参考文献

附录

攻读学位论文期间共发表第一作者学术论文五篇。