基于深度学习的对话系统构建

摘要

近年来,Transformer以及BERT模型的出现彻底改变了NLP领域的发展。本研究成果利用BERT模型的变体UniLM进行下游任务训练,训练出对话模型。为了丰富对话系统的功能,创新性地构造了知识库模块、语言糢拟模块、情感模块、语料自学习模块以及敏感词汇过滤模块。本系统额外训练了BERT糢型及其另一个变体XLM-RoBERTa模型,分别对其训练了分类以及文本相似度任务。另外,为实现语料自学习糢块,本文还借助了预训练BERT糢型时的NSP任务,判断上下文句子间的关系并决定是否将其学习到语料库中。通过本文构造的对话系统具有较高的灵活性以及“生命力”,弥补了目前生成式对话机器人的缺失,可为类似方面的研究提供思路与方法。