一种应用于小型机器翻译设备的模型压缩方法

摘要

本发明公开一种将机器翻译模型压缩至小型设备中的压缩方法，在大型计算设备中，为翻译模型中除嵌入层以外的参数矩阵W创建一个与W具有同样维度的且值为0或1的矩阵C；使用二值化后的参数进行模型训练；将模型中的参数量化为二值结果存入矩阵C中，对模型参数的梯度更新矩阵C；训练模型直到获得最优的矩阵C时停止训练，将矩阵C与其对应的参数矩阵W做点乘，得到新的参数矩阵W′；在小型机器翻译设备中使用剪枝得到的小模型将大幅提升小型机器翻译设备的翻译质量，并且可以拥有与原始模型相同的翻译速度。本发明压缩方法在机器翻译上使用二值网络学习剪枝结构，在学习矩阵C的同时固定模型参数，这使得可以在一个未训练的模型上找到一个较为有效的剪枝网络。