融入分类词典的汉越神经机器翻译集外词处理方法

摘要

本发明涉及融入分类词典的汉越神经机器翻译集外词处理方法，属于自然语言处理技术领域。本发明对集外词进行了分类，并且发现不同类别的集外词可以采用不同的方法处理，然后有针对性的构建出分类词典，其中双语词典用以解决词表外稀有词的翻译问题，实体词典用以解决实体词翻译不准确的问题，规则词典用以解决数字、符号、时间和日期等词的翻译问题，然后在模型的前处理阶段通过查询分类词典进行集外词识别后，在模型的编码端对集外词进行标签替换，经过模型翻译后得到带有标签的翻译结果，再通过查询分类词典对标签进行翻译恢复。本发明通过将分类词典融入神经机器翻译，能更加准确的对集外词进行翻译，从而提升神经机器翻译系统的性能和效果。