基于BERT-Transformer的跨语言文本摘要技术研究

摘要

自动生成技术在信息提取任务中具有重要作用，为此研究设计了基于双向Transformer编码器（Bidirectional Encoder Representation from Transformers, BERT）的摘要生成模型.模型的掩码方式由casual改为了seq2seq,模型使用改进的随机集束搜索算法（Random Beam Search Algorithm, RBSA）作为解码算法.实验结果显示，RBSA的多样性百分比最高为69.20%,高于对比算法.摘要模型的覆盖度分数为30.12,生成的摘要在数据集1上的ROUGE-1、ROUGE-2、ROUGE-L数值分别为39.11、17.20、29.71,在数据集2上分别为41.21、18.70、38.29,均优于对比模型，可以自动生成中文和英文文本摘要，通过快速提取原文信息提高翻译效率.