基于机器学习的科学论证自动评分个案研究

摘要

科学论证能力是国际教育评价项目的重要测评内容.随着人工智能在自然语言处理等领域取得突破性进展,国外已实现科学论证的计算机自动评分,并尝试结合实时反馈系统将科学论证自动评分用于改进课堂教学.本研究聚焦国际上关于科学论证自动评分的最新进展,以较为成熟的文字类科学论证作品的自动测评为研究对象,借助典型个案分析自动评分中的科学论证框架、自动评分的实现路径及保障测评工具精确性的方法.研究发现:1)自动测评一般使用图尔敏论证模型作为测评框架,并采用主观题与客观题相结合的试题结构;2)科学论证分析框架具有操作简便、通用性强、应用广泛等特点;3)基于机器学习的自动评分工具c-rater-ML具有人力资源耗费相对较小、评分精确性相对较高的特点;4)一般采用二次权重卡帕和皮尔逊相关性检验自动评分的精确性.尽管自动评分取得了令人满意的进展,未来仍有较大的改进空间.