结合问题类型及惩罚机制的问题生成

摘要

问题生成旨在理解输入端的语义,从而自动生成疑问句.该文主要解决目标答案可知的问题生成任务,输入为陈述句和目标答案,输出为疑问句,该疑问句的答案为给定的目标答案.为了提高问题类型的准确率,使问句的表述更确切,该文提出一种融合问题类型及惩罚机制的问题生成模型,首先使用预训练BERT模型对问题类型进行分类,得到对应问题类型的表示.在编码端,通过门控机制将源端陈述句与问题类型进行融合,得到具有问题类型信息的源端表示.此外,在现有工作中观测到生成的问句和目标答案存在重复词的现象.为了缓解上述问题,该文提出一种惩罚机制,即在损失函数中加入对重复词的惩罚.实验证明,该文所提方法有效提高了问题类型的准确率,并在一定程度上降低了生成重复词的情况.在SQuAD数据集上BLEU-4值达到18.52％,问题类型的准确率达到93.46％.