观察反应模式与理想反应模式间曼哈顿距离判别法

摘要

认知诊断是近年来发展起来的新一代测验理论，与传统的测验理论不同，认知诊断不仅仅只关注测验分数,更加注重测验分数背后的心理认知过程。随着我国教育改革的逐步深入，人们已经不满足于仅给学生一个简单的分数，而希望能够提供关于学生学习的诊断性信息，为进一步的教育教学提供依据。认知诊断正好迎合了人们的需求，越来越受到人们的关注。认知诊断的顺利实现，通常需要一个良好的诊断测验和一个合适的诊断模型。据不完全统计，目前已经开发出来的认知诊断模型达100多个，但由于各种原因限制了它们的应用，比如一些参数模型的估计需要特定的算法，如EM算法或MCMC算法，这对非统计学或计算机专业的研究者或教师来说，应用起来颇为困难。于是，研究者将非参数方法引入认知诊断。非参数方法容易理解，操作简单，耗时少，不依赖于样本量等特点，使其非常适合于认知诊断的应用和推广。
　　非参数认知诊断方法中，基于距离判别的方法尤为简单，通过计算观察反应模式与各种理想反应模式之间的距离，就可实现对学生知识状态的诊断分类。然而，现有的关于距离判别方法的研究较少，且多为0-1计分情境下的;随着教育考试改革和测验形式的多样化，题目的计分方法不再只有0-1计分，此时仍采用0-1计分的方式进行认知诊断，将不能够充分利用作答信息，影响诊断分类的准确性。虽然基于广义距离的判别方法可以拓展到多级评分，然而广义距离的定义需要借助于项目反应理论的项目作答概率，增加了方法的复杂性，与初衷相违背。相比于广义距离判别方法，基于海明距离的方法只需计算观察反应模式与理想反应模式不同的个数就可实现对被试的判别分类。不过，海明距离多适用于0-1评分的数据，且现有关于海明距离判别方法(Hamming Distance Discriminating method，HDD)的研究主要强调判别方法（如R方法、B方法、加权海明距离方法）的开发及与其他方法（如GDD）的比较，没有关注这些方法的共通点，也没有专门探讨不同因素对各判别方法分类准确率的影响。本文对已有研究进行整合，将海明距离纳入更一般的比较观察反应模式与理想反应模式之间偏差的距离——曼哈顿距离，构建一种适用性更广的曼哈顿距离判别方法(Manhattan Distance Discriminating method，MDD)，并在数学上证明该方法的分类一致性。本文通过模拟研究考查该方法的影响因素及稳定性，并在实证研究中检验该方法的可行性和有效性。发现了以下一些结果:
　　(1)当满足研究一中的2个假设和3个条件时，可以证明，MDD具有分类一致性，即当测验长度趋于无穷，MDD诊断结果即为被试真实属性掌握模式;
　　(2)根据认知诊断中海明距离和曼哈顿距离的定义，可以证明，HDD是MDD在0-1评分下的特例;
　　(3)MDD判准率较高，与已有方法（如GDD-P、GRCDM等）相比，MDD在分类准确率和可操作性等方面有着不可替代的优势;
　　(4)在Q矩阵正确的情况下，MDD三种判别方法判准率之间差异较小，可根据实际应用进行选择;
　　(5)与已有的非参数方法一致，MDD几乎不受样本容量大小的影响，即使只有一个被试也可以分类;
　　(6)MDD判准率受属性层级关系的影响，属性层级越紧密，属性掌握模式越少，MDD判准率越高，而当属性掌握模式类别数相近，属性层级结构越松散，不同IRP之间差别越大，MDD判准率越高;
　　(7)MDD对被试知识状态分布形态无正态要求，不同分布形态下均可以有很高的判准率;
　　(8)MDD判准率受属性个数的影响较小，随属性个数的增多判准率降幅很小;
　　(9)属性层级关系或Q矩阵错误对MDD判准率有影响:属性层级关系错乱越严重或Q矩阵错误比例越大，MDD判准率降幅越大，且MDD三种判别方法所受影响由大到小依次为W_MDD，B_MDD和R_MDD，但相比于GDD-P和GRCDM，MDD所受影响相对更小;
　　(10)MDD有良好的实证效度，诊断结果与实际情况一致性程度较高。

目录

摘要

1 文献综述

1．1．2 认知属性

1．1．3 属性层级关系

1．1．4 属性掌握模式

1．1．5 Q矩阵及其设计

1．2 认知诊断的三大理论基础

1．3 认知诊断方法研究综述

1．3．1 参数模型方法

1．3．2 非参数方法

1．3．3 机器学习的方法

1．4 认知诊断分类准确性的影响因素

1．4．1 属性层面的影响

1．4．2 测验编制的影响

1．4．3 被试层面的影响

1．4．4 分类方法的影响

1．5 认知诊断发展趋势

1．5．1 认知诊断模型及方法的多级评分趋势化

1．5．2 认知诊断模型及方法趋于简化

1．5．3 大数据时代的认知诊断计算机化

2 问题提出与研究设计

2．1．2 海明距离方法只适用于0-1评分，需拓展多级评分方法

2．1．3 拓展至多级评分的可行性及稳健性

2．2 研究问题

2．3 研究设计

2．4 研究意义

2．4．1 理论意义

2．4．2 实践意义

3 研究一：曼哈顿距离判别方法构建

3．1 研究目的

3．2 研究设计

3．3 曼哈顿距离

3．4 反应模式间的曼哈顿距离

3．5 曼哈顿距离判别法的合理性

3．6 曼哈顿距离判别方法

3．7 MDD分类一致性

3．7．1 条件与假设

3．7．2 数学推导

4 研究二：曼哈顿距离判别法分类准确性

4．2．1 研究设计

4．2．2 数据生成

4．2．3 数据分析

4．2．4 评价指标

4．3 实验1：被试知识状态分布对判准率的影响

4．3．1 实验目的

4．3．2 实验过程

4．3．3 实验结果

4．4 实验2：被试样本容量对判准率的影响

4．4．1 实验目的

4．4．2 实验过程

4．4．3 实验结果

4．5 实验3：属性个数对判准率的影响

4．5．1 实验目的

4．5．2 实验过程

4．5．3 实验结果

4．6 讨论

4．6．1 MDD三种判别方法的特点

4．6．2 MDD不受知识状态分布的影响

4．6．3 MDD不依赖样本容量，可用于小样本测验评估

4．6．4 MDD判准率随属性个数的影响较小

4．6．5 MDD与其他方法的比较

5 研究三：曼哈顿距离判别法稳健性

5．2．4 评价指标

5．3 实验1：属性层级关系错误对判准率的影响

5．3．1 实验目的

5．3．2 实验过程

5．3．3 实验结果

5．4 实验2：Q矩阵错误对判准率的影响

5．4．1 实验目的

5．4．2 实验过程

5．4．3 实验结果

5．5 讨论

5．5．1 属性层级关系的错误对MDD的影响

5．5．2 Q矩阵的错误对MDD的影响

5．5．3 MDD的稳健性

6 研究四：MDD在实证数据中的应用

6．2 数据来源

6．3 研究过程与方法

6．4 评价指标

6．5 研究结果

6．5．1 诊断分类结果

6．5．2 属性性质与属性通过率的一致性

6．5．3 学校类型与属性通过率的一致性

6．6 讨论

6．6．1 MDD的有效性

6．6．2 MDD的适用性

7．研究结论与展望

7．1 研究结论

7．2 研究展望

参考文献

攻读学位期间取得的研究成果

致谢

声明