使用多层对齐框架进行基于实例机器翻译研究

摘要

机器翻译是自然语言处理的一个重要课题，随着互联网的发展，社会越来越需要找到一种快捷的方式沟通不同语言的人群。美国国家标准技术研究院(NIST,National Institute of Standards and Technology)更是设立了每年一度的机器翻译竞赛，包括我国在内的众多国家，也都有每年一度的专题学术会议。一大批公司的研究院，以及世界著名大学的研究人员在这个领域的研究上不断推进，向着无障碍多语交流前进，但是当前机器翻译仍然面临着诸多挑战，比如词语对齐、词序调整、语义评价等，而具体到基于实例的机器翻译，如何获取翻译信息，进行有效的类比翻译，也是一项重要的研究课题。本文的研究工作正是在这样的背景下进行的。 本文研究的贡献在于，提出了一个可以更容易用于类比翻译的多层对齐框架，这个框架包含三个不同层次的对齐、语法信息和相关性参数，并实现了这个框架；提出了使用这个框架进行基于实例机器翻译的步骤和算法，而且也实现了使用这个框架进行基于实例的机器翻译原型系统。多层对齐框架作为一个用于基于实例机器翻译的对齐框架，同时也考虑了扩展性与完备性，我们同时给出在不同条件下(如缺少语法分析器)的替代方案，和这个框架各个接口的定义与扩展方法。 初步实验结果表明，本文提出的多层对齐框架，具有较好的对齐率，尤其是可用于进行类比的对齐强度和相关性系数的准确率达到了90％以上。使用这个多层对齐框架实现的EBMT翻译系统原型，在性能上接近国内优秀的机器翻译系统，BLEU(BiLingual Evaluation Understudy)成绩达到0.2966。同时也证明了丰富的对齐信息，有利于译文的生成。

目录

文摘

英文文摘

声明

第一章 绪论

1.1 机器翻译概述

1.1.1 自然语言处理与机器翻译

1.1.2 基于规则的方法

1.1.3 基于语料库的方法

1.2 机器翻译的发展与现状

1.2.1 基础研究阶段

1.2.2 两个阵营：1956-1970

1.2.3 四个范型：1970-1983

1.2.4 经验主义和有限状态模型的复苏：1983-1993

1.2.5 不同领域的合流：1994-至今

1.3 论文的研究内容与组织

1.3.1 课题的意义

1.3.2 本文的主要工作

1.3.3 论文的组织

第二章 多层对齐框架

2.1 双语对齐

2.2 启发式对齐

2.3 统计对齐模型

2.3.1 IBM统计对齐模型

2.3.2 最大熵统计对齐模型

2.4 多层对齐框架

2.4.1 多层对齐框架的定义与作用

2.4.2 强对齐

2.4.3 语义对齐

2.4.4 弱对齐

2.4.5 对齐单元合并

2.4.6 语法信息获取

2.4.7 单元相关性

2.4.8 对齐实例的生成

2.4.9 多层对齐框架的总结

第三章 使用多层对齐框架进行EBMT

3.1 实例选择

3.1.1 基于词的频率筛选

3.1.2 基于句子结构信息的筛选

3.2 位置匹配

3.3 选择目标语言

3.4 提高流畅率

第四章 系统的结构与实现

4.1 语料库资源获取

4.1.1 从互联网提取双语句对

4.1.2 程序机构和实现接口

4.2 预处理

4.2.1 使用外部工具进行的预处理

4.2.2 自主实现的预处理

4.3 生成多层对齐实例

4.4 实例选择与译文产生

第五章 评测实验

5.1 多层对齐框架

5.1.1 实验数据

5.1.2 与其他对齐的比较

5.2 翻译系统的评测

5.2.1 基于n-gram的BLEU评测方法

5.2.2 NIST评测方法

5.3 实验数据分析

第六章 总结和展望

6.1 结论

6.2 进一步的工作

致谢

参考文献

在学期间取得的研究成果

附录 十个典型句子的翻译结果对照