数据挖掘应用于在线听力简答题自动评分的研究

摘要

近年来教学形式的多样化，比如MOOC（Massive Open Online Course）、SPOC（Small Private Online Course）、混合学习以及翻转课堂的流行，不仅使学生可以在课外进行在线学习，还能在线作业和在线测试。尽管计算机网络技术能够自动处理大量的学习数据，但大多数主观性习题还必须人工判定，这势必成为教师的巨大负担，同时也给在线学习的形式带来局限。能否借用数据挖掘技术建立机器评分的模型并对主观习题的完成质量进行自动判分是本研究的探索课题。
　　本文提出将数据挖掘技术引入到英语在线听力简答题自动评分，探讨数据挖掘技术用于主观题自动评分的可行性。本文数据来源于国内一所985高校的基于校本翻转课堂教学模式改革课程“高级英语读写”中的在线听力简答题，随机抽取了一个单元的三道简答题，每道简答题的总样本为650，样本抽取量为200，三道题总计共600个样本。为了取得机器评分和人工评分的匹配度，特设计了专家评分表，由专家根据参考答案对学生答案进行等级评分，并对每道题的关键词和在评分时的主要标准给出了自己的意见。将等级评分赋值后输入机器学习软件Weka进行聚类分析，找到每个类中的答案类型，再对关键词进行权重赋值，用Weka运行之后由决策树展示结果，从而能够建立简答题机器评分的模型。最后用建立的模型对学生答案进行评分，并与专家评分进行比较，以此论证数据挖掘技术运用于主观题评分的可行性。
　　研究结果表明：专家评分内信度和专家评分间信度都比较高，专家评分结果是可信的。聚类分析能够有效聚类学生答案，并能够根据研究需要设置聚类数。决策树能够在人工评分的帮助下构建评分规则，也就是能够实现对在线听力简答题的自动评分，其评分结果和专家评分结果相比，对专家评分为高水平答案的准确率把握最高，中等水平次之，低等水平最低。造成该结果的原因是高水平答案包含了决策树构建的评分规则中的顶级节点（即具有最大权重的关键词）且表述完整，符合评分规则中的高分段终端节点评分过程；而中、低等水平答案则有缺失，因而机改结果与专家评分结果匹配度不高。但二者对三种水平答案的评分趋势是一致的。
　　以上研究结果一定程度上填补了自动评分在英语主观题研究方面的空缺，为以后该领域的研究提供了重要参考。