一种自动探索更多参考译文信息的机器翻译优化方法

摘要

本发明公开了一种自动探索更多参考译文信息的机器翻译优化方法，利用图扩展参考译文的信息，对机器翻译得到的译文进行更充分的评价，同时在利用译文信息扩展的评价方法参与训练过程时，帮助系统更好的进行参数学习。主要步骤如下：利用GIZA++获取源端到目标端的词对齐信息，根据词对齐信息将参考译文切分成短语块，利用源端词序对每一个参考译文构建子图，将若干个子图合并，最终可将并列的若干个参考译文表示成一个参考译文图，将不同的参考译文联系起来，获得更多的信息，最终利用源语言将待评价译文和参考译文图之间联系起来，从图中选出一条与待评价译文最接近的路径进行最终的译文质量评价。

说明书

技术领域

本发明属于计算机统计机器翻译和机器翻译质量评价领域，涉及一种自动探索更多参考译文信息的机器翻译优化方法。

背景技术

机器翻译的背景可以追溯到60多年前，且从上世纪90年代以来统计机器翻译自发展十分迅速，取得了很大的进步，逐渐成为机器翻译领域中的研究热点。完成机器翻译本身并不是目的，而是希望知道机器译文在多大程度上能够帮助人们实现某个任务，从而我们需要对机器翻译输出的译文进行评测。机器翻译评测目前是一个非常活跃的研究领域和讨论的热点话题。

机器翻译质量评价分为人工评价和自动评价两个方面，人工评价由于其耗时费力、代价昂贵、结果不可重现且不同的人会有不同的评价结果，现已被自动评价方法部分取代，近年来，该领域的研究已经取得了很大的进步，机器翻译研究者已经信任自动评测指标，并能够根据自动评测打分结果的高低来调整系统设计。目前所有的自动评测指标使用的都是相同的策略：将每一个机器翻译译文与一个或者多个参考译文进行比较，按其相似性来评测译文的质量。

常用的自动评价方法有翻译错误率TER(Translation Error Rate)、双语评测指标BLEU(Bilingual Evaluation Understudy)以及使用了单语资源的METEOR。翻译错误率使用了Levenshtein距离(编辑距离)，即将两个字符串序列匹配时需要进行编辑操作(插入、删除和替换)的最少次数，由于在实际情况下，机器翻译译文的语序与参考译文的语序存在不同的情况，TER中加入了shift操作，可调整句子的语序；双语评测指标BLEU是目前使用最广泛的自动评测指标，将机器翻译译文与参考译文进行n元文法匹配，同时会对丢失单词的现象进行惩罚，如果译文句子过短就会被扣分。METEOR则强调召回率，希望译文的意思完整性更好，同时还添加了词根还原和同义词的使用。

由于词汇的选取、表达方式的不同，源语言存在多个正确的翻译结果。对于上述依赖于参考译文的方法，有限的参考译文数量使得评价结果会存在不公平现在。本发明提出的探索参考译文多样性的机器翻译质量评价方法对已有的参考译文信息进行了拓展，缓解了多样性造成的质量评价偏差，不会因为有限的参考译文将机器翻译译文中本应正确的部分判定为错误翻译。

发明内容

发明目的：本发明所要解决的技术问题是针对现有的机器翻译质量评价方法在参考译文有限的情况下由于语义、表达多样性而造成的评价偏差这一问题，提出了一种扩展独立的参考译文为一个参考译文图的机器翻译质量优化方法，对于机器翻译译文中不同的词语选择，不同的表达方式能够更加公平合理的作出评价。

为了解决上述技术问题，本发明公开了一种机器翻译质量评价方法，该方法所有的步骤均运行与windows平台，分别对数据集为多个参考译文和单个参考译文的情况进行了译文多样性拓展。

所述探索参考译文多样性的机器翻译质量评价方法中拓展多个参考译文的步骤如下：

包括如下步骤：

步骤1，构建参考译文图；

步骤2，准备语言模型，翻译模型，选取开发集，利用最小化错误率训练方法在开发集上进行机器翻译系统的参数优化，改进已有的评价方法BLEU；

步骤3，对于开发集中的参考译文，获取与机器翻译译文最接近的路径，利用该路径代替原先的参考译文，进行n元文法匹配，获得优化后的翻译评价结果。

本发明步骤1包括如下步骤：

步骤1-1，利用词对齐工具GIZA++获取源端(可以是中午)到参考译文(可以是英文)之间的词对齐结果；根据任意两个短语对之间不存在交叉规则和最小闭包规则，将源端和参考译文分割成一个以上的短语块；

步骤1-2，根据源端的语序将步骤1-1得到的短语块组合成一个参考译文子图，参考译文子图中的节点为每个短语块中的译文和对应的源端短语在句子中的词序，用数字表示；参考译文子图中的边为有向边，其方向表示句子顺序；若存在两个以上参考译文，则得到两个以上参考译文子图，执行步骤1-3；若只存在一个参考译文，则得到一个参考译文子图，执行步骤1-4；

步骤1-3，将得到的参考译文子图按照节点内容是否相同进行增量合并，若参考译文和源端词序均相同，则合并两个节点为一个节点；若只有源端词序相同，而参考译文不同，则保留这两个节点A、B，同时添加节点A的前一个节点到B的边以及A到B的后一个节点的边，对节点B执行相同的加边操作，添加节点B的前一个节点到A的边以及B到节点A的后一个节点之间的边。最终得到能够表示两个以上参考译文的参考译文图，执行步骤1-5；

步骤1-4，利用意译表对得到的参考译文子图进行拓展，得到最终的参考译文图；

步骤1-5，从参考译文图中选取出一条与机器翻译译文最接近的路径作为最终的参考译文。

本发明步骤1-4包括以下步骤:

步骤1-4-1，意译表中存在5种不同关系的短语对：“相等”、“正向包含”、“反向包含”、“其他关系”和“相互独立”，为了减少噪声的引入，该发明中只选用了对等关系的短语对，“相等”关系表示两个短语描述的意思完全一致。过滤意译表，只保留相等关系的短语对，同时去掉不相关的信息，所述不相关的信息包括概率值、得分，句法信息；

步骤1-4-2，扩展参考译文子图中的每一个节点或连续的两个以上的节点，若当前参考译文子图中的一条路径存在一个与其相等的短语，则添加一个新的节点，节点内容为新的短语和路径所覆盖的源端词序，同时添加对应的边，一条边是当前路径首节点的前一个节点指向新节点，另一条边是新节点指向当前路径尾节点的下一个节点。

本发明步骤1-5包括以下步骤：

步骤1-5-1，利用词对齐工具GIZA++获取源端到机器翻译译文之间的词对齐结果或是直接利用翻译系统生成源端到机器翻译译文之间的词对齐结果；根据任意两个短语对之间不存在交叉规则和最小闭包规则，将源端和机器翻译译文分割成一个以上的短语块，根据源端的语序将得到的短语块组合成一个机器翻译译文子图，机器翻译译文子图中的节点为每个短语块中的译文和对应的源端短语在句子中的词序，用数字表示；机器翻译译文子图中的边为有向边，其方向表示句子顺序，得到最终的机器翻译译文图；

步骤1-5-2，根据步骤1得到的参考译文图，对机器翻译译文图中的每一个节点找出参考译文图中与其对应的最短路径；

步骤1-5-3，若当前节点所覆盖的源端短语在参考译文图中无对应路径，根据机器翻译译文图和参考译文图中的节点或是路径需覆盖相同的源端这一规则，向后拓展当前节点为机器翻译译文图中的一条路径进行路径匹配；

步骤1-5-4，若已找到当前路径在参考译文图中对应的最短路径，记录下最短路径，同时从下一个节点重复步骤1-5-2和步骤1-5-3直至句子结尾。

自动评测指标BLEU，考虑了机器翻译译文与参考译文中较长n元文法的匹配情况，并计算出匹配个数。给定n元文法匹配，能够计算出n元文法的准确率，即特定阶数n的正确的n元文法个数占生产的该阶n元文法总数的比例。本发明步骤2中所述BLEU的指标定义为：

其中，brevity_penalty为长度惩罚因子，对丢失单词的情况进行惩罚。如果译文过短，最终的BLEU值就会被惩罚扣分。presicion_i是n元文法匹配准确率，n元文法是指n个连续的单词，i是文法阶数的索引，n表示n元文法的最大阶数，通常情况下，n元文法的最大阶数n被设为4，因此该指标又被称为BLEU-4。λ_i为i阶文法匹配准确率的权重，其大小为output_length是机器翻译译文的长度，reference_length是参考译文的长度，因此，BLEU的计算公式简化为：

在传统的机器翻译训练方法中，常使用最小错误率训练方法进行系统的参数学习，该方法使用的是多特征思想，其优化目标是使得翻译结果的错误率最小。又因为BLEU表示的是机器翻译译文的正确性，因此本发明步骤2中，针对BLEU的最小化错误率训练方法，是最大化整个数据集上的BLEU值，因此其最小错误率训练的优化目标表示为：

其中，是使得整个开发集上BLEU值最高的一组参数，M表示参数个数，S表示开发集上的句子数目，i和m均为索引，i是句子索引，m是特征索引，f_i是第i句源端句子，r_i是第i句对应的参考译文译文，λ_m为第m个特征的权重，h_m为模型使用的特征，主要包括语言模型、正向翻译概率、反向翻译概率、句子长度、胶水规则等，e是源语言f_i的机器翻译译文。调整对数线性模型的权重，调整方向为使在整个开发集上的BLEU值最高，具体的调整过程是，在调整第i个参数时，固定其他参数不变，优化第i个参数，依次调整所有M个权重。

本发明步骤3包括如下步骤：

步骤3-1，如果开发集中含有两个以上的参考译文，利用词对齐工具GIZA++获取源端到参考译文之间的词对齐结果；根据任意两个短语对之间不存在交叉规则和最小闭包规则，将源端和参考译文分割成一个以上的短语块；

将得到的短语块组合成两个以上的参考译文子图，参考译文子图中的节点为每个短语块中的译文和对应的源端短语在句子中的词序，用数字表示；参考译文子图中的边为有向边，其方向表示句子顺序；

将得到的参考译文子图按照节点内容是否相同进行增量合并，若参考译文和源端词序均相同，则合并两个节点为一个节点；若只有源端词序相同，而参考译文不同，则保留这两个节点A、B，同时添加节点A的前一个节点到B的边以及A到B的后一个节点的边，对节点B执行相同的加边操作，添加节点B的前一个节点到A的边以及B到节点A的后一个节点之间的边。最终得到能够表示两个以上参考译文的参考译文图，

从参考译文图中选取出一条与机器翻译译文最接近的路径作为最终的参考译文，利用该最接近的路径代替原先的两个以上的参考译文，进行n元文法匹配；

步骤3-2，如果开发集中只有一个参考译文，利用词对齐工具GIZA++获取源端到参考译文之间的词对齐结果；根据任意两个短语对之间不存在交叉规则和最小闭包规则，将源端和参考译文分割成一个以上的短语块；

根据源端的语序将得到的短语块组合成一个参考译文子图，参考译文子图中的节点为每个短语块中的译文和对应的源端短语在句子中的词序，用数字表示；参考译文子图中的边为有向边，其方向表示句子顺序；

利用意译表对得到的参考译文子图进行拓展，得到最终的参考译文图：过滤意译表，只保留相等关系的短语对，同时去掉不相关的信息，所述不相关的信息包括概率值、得分，句法信息；扩展参考译文子图中的每一个节点或连续的两个以上的节点，若当前参考译文子图中的一条路径存在一个与其相等的短语，则添加一个新的节点，节点内容为新的短语和路径所覆盖的源端词序，同时添加对应的边，一条边是当前路径首节点的前一个节点指向新节点，另一条边是新节点指向当前路径尾节点的下一个节点；

从最终的参考译文图中选取出一条与机器翻译译文最接近的路径作为最终的参考译文，利用该最接近的路径代替原先的参考译文，进行n元文法匹配。

步骤3-3，如果机器翻译译文中的一个n元文法在任何一个参考译文中得到匹配，则判定该n元文法是正确的。

本发明利用参考译文图提高BLEU帮助系统进行参数学习的能力，使系统能够或得一组更优的权重。在参数学习方面，基于图的方法有效的帮助了系统的训练过程，提高了系统翻译结果的质量；同时，在利用人工相关度来评价该方法时，其人工相关度相较于未使用图的方法，有较明显的提高。该方法能够对参考译文数量有明显的扩充，缓解在参考译文有限的情况下，由于语义表达多样性而造成的不公平评价现象。

有益效果：本发明利用一个参考译文图对数据集的参考译文信息进行了拓展，获得了更多的参考信息，相比于在原始的参考译文上能够处理更多的语义多样性和表达多样性问题，尽可能多的保留机器翻译译文中翻译正确的内容，缓解了在参考译文有限的情况下由于语义、表达多样性而造成的评价偏差问题，更好的帮助传统的机器翻译系统进行参数学习，能够有效的提高系统最终的翻译结果质量。同时将双语评价指标BLEU与参考译文图相结合，显著提高了双语评价方法BLEU的人工评价相关度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明的流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提出了一种利用图表示参考译文的方法，在参考译文信息有限的情况下，对译文信息进行拓展，或利用自身信息，或利用外部单语语料对已有的单词或是短语拓展，以生成更多样且正确的翻译结果，在进行机器译文的评价时，能够尽可能的对其正确的部分作出准确的评价。

如图1所示，本发明公开了一种自动探索参考译文多样性的机器翻译质量评价方法，分别对存在多个参考译文和存在单个参考译文的情况作出了信息拓展。

本发明所述自动探索参考译文多样性的机器翻译质量评价方法中多个参考译文的步骤如下：

步骤11，利用词对齐工具GIZA++获取源端(中文)到参考译文(英文)之间的词对齐结果；根据任意两个短语对之间不存在交叉规则和最小闭包规则，将源端和参考译文分割成若干个短语块。

步骤12，根据源端的语序将步骤11得到的若干短语块组合成一个子图，图中的节点为每个短语块中的译文和对应的源端短语在句子中的词序，用数字表示；图中的边为有向边，其方向表示句子顺序。

步骤13，若存在多个参考译文，按照步骤12得到的几个子图按照节点内容是否相同进行增量合并，若译文和源端词序均相同，则合并两个节点为一个节点；若只有源端词序相同，而译文不同，则保留这两个节点A,B，同时添加A的前一个节点到B的边以及A到B的后一个节点的边，对节点B执行相同的加边操作，添加节点B的前一个节点到A的边以及B到节点A的后一个节点之间的边。最终得到能够表示多个参考译文且包含有更多信息的译文图。

步骤14，从图中选取出一条与机器翻译译文最接近的路径作为最终的参考译文。

本发明步骤15包括以下步骤：

步骤21，根据步骤11和步骤12构造机器翻译译文的图。

步骤22，根据步骤21得到的机器翻译译文图和步骤13得到的参考译文图，对机器翻译译文图中的每一个节点找出参考译文图中与其对应的最短路径。

步骤23，若当前节点所覆盖的源端短语在参考译文图中无对应路径(两者覆盖相同的源端)，则向后拓展当前节点为机器翻译译文图中的一条路径进行路径匹配。

步骤24，若已找到当前路径在参考译文图中对应的最短路径，记录下最短路径，同时从下一个节点重复步骤23和步骤24直至句子结尾。

所述利用参考译文图改进评价方法BLEU使其更好的进行参数学习步骤如下：

自动评测指标BLEU，考虑了机器翻译译文与参考译文中较长n元文法的匹配情况，并计算出匹配个数。给定n元文法匹配，能够计算出n元文法的准确率，即特定阶数n的正确的n元文法个数占生产的该阶n元文法总数的比例。

BLEU指标定义为：

其中，brevity_penalty为长度惩罚因子，对丢失单词的情况进行惩罚。如果译文过短，最终的BLEU值就会被惩罚扣分。presicion_i是n元文法匹配准确率，n元文法是指n个连续的单词，i是文法阶数的索引，通常情况下，n元文法的最大阶数n被设为4，因此该指标又被称为BLEU-4。公式(1)中的λ_i为i阶文法匹配准确率的权重，其大小为output_length是机器翻译译文的长度，reference_length是参考译文的长度，因此，BLEU的计算公式可以简化为：

在含有多个参考译文的情况下，如果机器翻译译文中的一个n元文法在任何一个参考译文中得到匹配，则认为该n元文法是正确的。

在传统的机器翻译训练方法中，常使用最小错误率训练方法进行系统的参数学习，该方法使用的是多特征思想，其优化目标是使得翻译结果的错误率最小。又因为BLEU表示的是机器翻译译文的正确性，所以针对BLEU的最小化错误率训练方法，则是最大化整个数据集上的BLEU值，因此其最小错误率训练的优化目标可以表示为：

其中，是使得整个开发集上BLEU值最高的一组参数，M表示参数个数，S表示开发集上的句子数目，i和m均为索引，i是句子索引，m是特征索引，f_i是第i句源端句子，r_i是第i句对应的参考译文，λ_m为第m个特征的权重，h_m为模型使用的特征，主要包括语言模型、正向翻译概率、反向翻译概率、句子长度、胶水规则等，e是源语言f_i的机器翻译译文。调整对数线性模型的权重，调整方向为使在整个开发集上的BLEU值最高，具体的调整过程是，在调整第i个参数时，固定其他参数不变，优化第i个参数，依次调整所有M个权重，使得系统在训练使用的开发集上总体BLEU值最高，该发明利用参考译文图提高BLEU帮助系统进行参数学习的能力，使系统能够或得一组更优的权重。

步骤31，准备语言模型，翻译模型，选取开发集，利用最小化错误率训练方法进行机器翻译系统的参数训练。

步骤32，如果开发集中含有多个参考译文，通过步骤13构建参考译文图，按照步骤14获取与机器翻译译文最接近的路径，利用该路径代替原先的多个参考译文，进行n元文法匹配。

所述基于图的机器翻译质量评价方法中单个参考译文的步骤如下：

步骤41，利用词对齐工具GIZA++获取源端(中文)到单个参考译文(英文)之间的词对齐结果；根据任意两个短语对之间不存在交叉规则和最小闭包规则，将源端和参考译文分割成若干个短语块。

步骤42，根据源端的语序将步骤41得到的若干短语块组合成一个子图，图中的节点为每个短语块中的译文和对应的源端短语在句子中的词序，用数字表示；图中的边为有向边，其方向表示句子顺序。

步骤43，利用意译表对该单个子图进行拓展，以扩展其参考译文的多样性。

步骤44，从图中选取出一条与机器翻译译文最接近的路径作为最终的参考译文。

本发明步骤43包括以下步骤：

意译表中存在5种不同关系的短语对：“相等”、“正向包含”、“反向包含”、“其他关系”和“相互独立”，为了减少噪声的引入，该发明中只选用了对等关系的短语对，“相等”关系表示两个短语描述的意思完全一致。

步骤51，过滤意译表，只保留“相等”关系的短语对，同时去掉不相关的信息，如概率值、得分，句法等等信息。

步骤52，扩展图中的每一个节点或连续的几个节点，若当前参考译文子图中的某一条路径存在一个与其“相等”的短语，则添加一个新的节点，节点内容为新的短语和路径所覆盖的源端词序，同时需添加对应的边，一条边是当前路径首节点的前一个节点指向新节点，另一条边是新节点指向当前路径尾节点的下一个节点。

本发明步骤44包括以下步骤：

步骤61，根据步骤41和步骤42构造机器翻译译文的图。

步骤62，根据步骤61得到的机器翻译译文图和步骤43得到的参考译文图，对机器翻译译文图中的每一个节点找出参考译文图中与其对应的最短路径。

步骤63，若当前节点所覆盖的源端短语在参考译文图中无对应路径(两者覆盖相同的源端)，则向后拓展当前节点为机器翻译译文图中的一条路径进行路径匹配。

步骤64，若已找到当前路径在参考译文图中对应的最短路径，记录下最短路径，同时从下一个节点重复步骤63和步骤64直至句子结尾。

所述利用参考译文图改进评价方法BLEU使其更好的进行参数学习步骤如下：

自动评测指标BLEU，考虑了机器翻译译文与参考译文中较长n元文法的匹配情况，并计算出匹配个数。给定n元文法匹配，能够计算出n元文法的准确率，即特定阶数n的正确的n元文法个数占生产的该阶n元文法总数的比例。

BLEU指标定义为：

其中，brevity_penalty为长度惩罚因子，对丢失单词的情况进行惩罚。如果译文过短，最终的BLEU值就会被惩罚扣分。presicion_i是n元文法匹配准确率，n元文法是指n个连续的单词，i是文法阶数的索引，通常情况下，n元文法的最大阶数n被设为4，因此该指标又被称为BLEU-4。公式(1)中的λ_i为i阶文法匹配准确率的权重，其大小为output_length是机器翻译译文的长度，reference_length是参考译文的长度，因此，BLEU的计算公式可以简化为：

在只存在单个参考译文时，将机器翻译译文与该参考译文进行n元文法匹配。

在传统的机器翻译训练方法中，常使用最小错误率训练方法进行系统的参数学习，该方法使用的是多特征思想，其优化目标是使得翻译结果的错误率最小。又因为BLEU表示的是机器翻译译文的正确性，所以针对BLEU的最小化错误率训练方法，则是最大化整个数据集上的BLEU值，因此其最小错误率训练的优化目标可以表示为：

其中，是使得整个开发集上BLEU值最高的一组参数，M表示参数个数，S表示开发集上的句子数目，i和m均为索引，i是句子索引，m是特征索引，f_i是第i句源端句子，r_i是第i句对应的参考译文，λ_m为第m个特征的权重，h_m为模型使用的特征，主要包括语言模型、正向翻译概率、反向翻译概率、句子长度、胶水规则等，e是源语言f_i的机器翻译译文。调整对数线性模型的权重，调整方向为使在整个开发集上的BLEU值最高，具体的调整过程是，在调整第i个参数时，固定其他参数不变，优化第i个参数，依次调整所有M个权重，使得系统在训练使用的开发集上总体BLEU值最高，该发明利用参考译文图提高BLEU帮助系统进行参数学习的能力，使系统能够或得一组更优的权重。

步骤71，准备语言模型，翻译模型，选取开发集，利用最小化错误率训练方法进行机器翻译系统的参数训练。

步骤73，通过步骤42构建参考译文子图，按照步骤43对该子图进行拓展，得到一个含有更加多样化信息的参考译文图，最后参照步骤44获取与机器翻译译文最接近的路径，利用该路径代替原先的参考译文，进行n元文法匹配。

实施例

本发明所用的算法全部由C#语言编写实现。实验配置为Intel Xeon E7750处理器，主频为2.0G HZ，内存为176G。

实验数据准备如下：8396924句对中英文平行语料，训练得到短语表和规则表两个文件作为翻译模型使用，翻译模型即为源端(词或短语)翻译成目标端的概率；14684074句对英文单语语料，训练得到目标端语言模型，语言模型统计的是某个词序列出现的概率；919句中英数据集MT03作为开发集，在参数训练时，帮助优化各参数使用，即通过这些参数选择出来的机器翻译译文要使得翻译系统在MT03上达到BLEU值最大，测试集3个：MT02、MT04、MT05，分别含有878句、1788句、1082句。意译表中则含有4551746对短语。

实施例1

本实施例在多个参考译文下的评价实验如下：

11.输入源端语言文件和对应的多个参考译文的文件，通过giza++获取源端与参考译文之间的词对齐信息。

12.利用步骤11得到的结果以及dev集(含有多个参考译文)作为输入，对dev集中的参考译文信息进行拓展，进行机器翻译系统的参数训练实验，输出为dev集的翻译结果。

13.训练结束之后，在测试集MT02，MT04，MT05上进行测试，输出为对应的数据集的翻译结果。

实施例2

本实施例在单个参考译文下的评价实验如下：

11.输入源端语言文件和对应的单个参考译文的文件，通过giza++获取源端与参考译文之间的词对齐信息。

12.利用步骤11得到的结果、意译表以及dev集(含有单个参考译文)作为输入，对dev集中的参考译文信息进行拓展，进行机器翻译系统的参数训练实验，输出为dev集的翻译结果。

13.训练结束之后，在测试集MT02，MT04，MT05上进行测试，输出为对应的数据集的翻译结果。

实施例3

本实施例对利用参考译文图的BLEU方法进行人工相关度评价：

11.输入源端语言文件和对应的参考译文的文件，通过giza++获取源端与参考译文之间的词对齐信息。

12.对对应的含有人工评价结果的不同系统的译文进行排序。

13.对于来自不同系统的翻译结果按照未使用参考译文图的原始方法进行打分，同时按照进行排序，将该排序结果与人工评价的排序结果利用Kendall’s Tau进行人工相关度评价。

13.利用步骤11的结果构造参考译文图，对于来自不同系统的翻译结果，按照扩展后的方法进行打分，同时对打分结果进行排序，并将该排序结果与人工评价的排序结果进行人工相关度评价。

本发明的目的是为了通过对参考译文语义和表达多样性信息的拓展，获得了更多数量的参考译文，缓解已有的自动评价方法由于作为参考的人工译文有限，对不同的机器翻译译文的评价偏差。同时，该方法能够帮助机器翻译系统进行更优的参数学习。为了验证本发明的有效性，本发明与未进行参考译文信息拓展的系统进行了对比。

表1是多个参考译文在两个系统上的翻译结果对比：

可以看出本发明在对多个参考译文进行多样性拓展之后，系统的翻译效果有明显提高，翻译结果质量在各个指标上均有提高。

表2是单个参考译文在两个系统上的翻译结果对比：

可以看出本发明在对单个参考译文进行多样性拓展之后，系统的翻译效果有明显提高，翻译结果质量在除METEOR指标上均有提高。

表3是未进行参考译文多样性拓展的自动评价方法与拓展以后的方法的人工评价相关度对比：

ConditionsBLEUTERMETEOR4-refs0.46640.50660.4865RGraph0.47390.52670.4876

可以看出本发明在对参考译文的多样性信息进行拓展之后，取得了与人工评价相关度更高的效果。

本发明利用图扩展独立的参考译文的信息，获得了更加丰富的译文信息，在参考译文有限的情况下，对由于语义、表达多样性而造成的评价偏差进行纠正，对机器翻译得到的译文进行更充分的评价。同时在利用不同的评价方法参与训练过程时，帮助系统更好的进行参数学习；此外，利用了参考译文图的评价方法比原始方法获得了更高的人工相关度，说明该种打分标准更加准确。本发明适用于在参考译文数量有限的情况下，对译文的多样性信息进行拓展，帮助各评价方法更加公平合理的评价机器翻译译文。

本发明提供了一种自动探索更多参考译文信息的机器翻译优化方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。