面向大规模数据的统计机器翻译语言模型研究

摘要

互联网技术的发展，使得获取大规模双语平行数据成为可能，从而大大地推动了基于统计方法的机器翻译的研究和应用。近几年，随着基于深层神经网络等深度学习方法的快速发展，机器翻译及其他多种自然语言处理任务更是发展迅猛。然而，自然语言处理任务中，与图像和语音均属于较为底层的原始输入信号不同，语言(词、句子、篇章等文本信息)属于人类认知过程中产生的高层认知抽象实体，在应用神经网络等机器学习方法时，表示成为最大的问题之一。文本信息的向量表示成为将深度学习方法应用于自然语言处理任务的关键技术之一。本课题以词向量表示切入点，研究基于深度神经网络的语言模型建模方法，并将神经网络语言模型作为新的特征融入到统计机器翻译系统。
　　针对语言模型建模问题，课题首先介绍了传统的统计语言模型原理，然后介绍了神经网络方法下的连续的词向量表示方法与传统的表示方法，以及连续的词向量的生成理论，最后详细介绍了神经网路语言模型的实现步骤。以传统语言模型为基线方法，采用Moses作为统计机器翻译实验系统，分别使用中英NIST FBIS的10万句对，85万句对以及NIST中英新闻340万句对为训练语料进行对比实验。实验结果表明，在数据较小的情况下传统的方法比神经网络方法的效果好，且训练时间短。当数据规模较大时，后者效果优于前者。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景及意义

1.2 统计机器翻译

1.3 国内外研究现状

1.3.1 传统的n-gram语言模型

1.3.2 基于Topic的语言模型

1.3.3 基于Cache的语言模型

1.3.4 基于最大熵的语言模型

1.3.5 分布式语言模型

1.3.6 基于类的统计语言模型

1.3.7 深度学习下的统计语言模型

1.4 论文的组织结构

2 基于神经网络统计机器翻译的研究基础

2.1 传统的词表示方法

2.2 基于向量空间的词嵌入表示方法(Word Embedding)

2.3 词向量的生成方法

2.4 词向量的生成结果

3 基于神经网络的统计机器翻译语言模型研究

3.1 基于词的n-gram语言模型

3.1.1 n元文法语言模型

3.1.2 数据平滑技术

3.1.3 语言模型性能评价

3.2 基于词向量的神经网络语言模型

3.2.1 语言模型建模

3.2.2 语言模型训练方法

3.2.3 基于神经网络语言模型的机器翻译系统

3.3 实验

3.3.1 实验设置

3.3.2 实验结果及分析

3.4 本章小结

4 结论与展望

4.1 论文总结

4.2 论文展望

致谢

参考文献