基于汉语主题词表的统计机器翻译训练数据筛选方法及实验研究

摘要

统计机器翻译的训练数据通常来源复杂,主题多样,文体不一,与待翻译目标文本的领域不能保证完全一致,导致领域自适应问题.目前统计机器翻译的领域自适应方法以目标数据为基准,着重对训练数据或者翻译模型进行领域的适应调整,但其缺乏数据明确的领域标签.本研究利用《汉语主题词表》的领域知识,对数据进行领域归类,并将其应用到统计机器翻译中.通过汉语句子进行领域自动标注,生成测试集和开发集的领域标签集合,利用领域标签集合筛选训练数据.经过在统计机器翻译系统上进行测试,仅利用部分训练数据就获取了与原始训练数据可比较的翻译结果,证明了本研究方法的有效性和可行性.