基于陈述句提示微调的视觉问答方法

摘要

本发明公开了一种基于陈述句提示微调的视觉问答方法，包括以下步骤：1)对于给定的视觉问答输入(I,Q)，将视觉问答中的问题Q转化为陈述句形式；2)将视觉问答任务转化为答案填词任务；3)利用步骤2)中填词任务预测的正确答案中的top‑K答案来分别与图像进行匹配，选择出与图像最相符的词汇来作为图文匹配任务的预测答案；4)结合答案填词和图文匹配任务的预测结果得到答案。本发明提出的方法能够将下游视觉问答任务转化为上游预训练任务形式，从而提高预训练模型泛化到下游视觉问答任务的迁移能力，提升答案预测准确性。