一种跨模态语义连贯性恢复方法

摘要

本发明公开了一种跨模态语义连贯性恢复方法，首先获取文本模态和图像模态的基本特征和上下文特征，然后通过线性投影将两种模态的上下文特征转换到语义公共空间，进行获取跨模态有序位置的注意力信息，最后利用带有有序位置注意力信息对乱序语句进行排序，从而完成乱序语句的连贯性恢复。