基于无监督对话预训练的对话理解与答案配置方法及系统

摘要

本发明提供了基于无监督对话预训练的对话理解与答案配置方法，包括进行对话相关的对话信息预处理，构建具有对话内容、角色信息及轮次信息的对话输入样本，将对话输入的信息进行词嵌入；将带有对话文本单词信息、位置信息、角色信息以及轮次信息的词嵌入输出结果相加作为对话预训练语言模型encoder的输入；对模型encoder输出的编码向量进行基于BiLSTM‑CNN的池化处理获得对话表征向量；利用对话级别的句子掩码建模、单词整体掩码建模和基于回复生成的对话级别对比学习建模任意组合生成的预训练学习任务，对模型进行优化。本发明可有效解决多轮对话意图识别，且通过生成回复答案的方法能够提高答案的配置效率。