一种基于知识的多模态特征融合的动态图神经手语翻译方法

摘要

一种基于知识的多模态特征融合的动态图神经手语翻译方法，属于计算机视觉、自然语言处理和手语语言学领域。包括步骤：1)对视觉属性的特征和文本属性的特征分别进行抽象，表示成图网络节点；2)利用半监督的方式对手语进行分割，获取伪标签序列；3)利用伪标签序列对齐图网络节点；4)构造多模态图编码器，融合视觉特征和文本特征；5)将多模态特征进行特征融合，输入至后续的多任务架构的机器翻译模型完成神经手语翻译过程。引入图神经手语翻译模型的概念，利用半监督的聚类算法实现手语分割，利用多模态输入信息以提高翻译性能，突破在低资源条件下手语的翻译瓶颈，能够将手语词汇注释文本作为外部手语专业知识应用至神经手语翻译模型。