基于Transformer的对话系统模型设计与压缩方法研究

目录

声明

摘要

1．1研究背景

1．2研究目标与主要内容

1．3本文组织结构

1．4本章小结

第2章国内外研究与相关综述

2．1对话系统设计框架

2．1．1非任务型对话系统

2．1．2任务型对话系统

2．2对话系统研究任务

2．2．1对话匹配

2．2．2对话生成

2．2．3对话意图识别

2．2．4对话状态跟踪

2．2．5对话策略学习

2．3 Transformer-Block

2．4 PreTrain+Finetune训练模式

2．5本章小结

第3章多层记忆编码模型Mem-Transformer

3．1背景与动机

3．2模型描述

3．2．1模型整体结构

3．2．2融合对话特征的输入

3．2．3记忆网络生成

3．2．4融合记忆网络信息编码

3．2．5模型小结

3．2．6任务适配

3．3实验配置与实验对比

3．3．1数据准备

3．3．2评测方法

3．3．3比较模型

3．3．4模型训练

3．3．5 实验结果

3．3．6实验分析

3．4本章小结

第4章Transformer模型压缩

4．1背景与动机

4．2模型压缩

4．2．1模型整体结构

4．2．2句子编码压缩

4．2．3句子编码恢复

4．3实验配置与实验对比

4．3．1模型训练

4．3．2实验结果

4．3．3实验分析

4．3．4 Mem-Transformer压缩

4．4本章小结

5．1总结

5．2展望

参考文献

致谢