一种基于胶囊自-导协同注意力机制的视觉问答方法

摘要

本发明公开了一种基于胶囊自‑导协同注意力机制的视觉问答方法，从互联网上下载图像数据，针对每个图像提出问题并给出答案，以此形成对，构造视觉问答数据集；对图像数据进行预处理，然后提取图像数据的深度卷积特征；对文本数据进行预处理，然后提取文本数据的深度特征；基于胶囊自‑导协同注意力机制学习图像和问题文本的联合表征；把学到的联合表征进行拆分再学习，以获得更为精简的联合表征，并通过该联合表征预测出合适的答案。本发明能够准确获取图像和文本之间的联合表征；在一定程度上减少了模型的参数量，使得模型更加容易训练，且不容易过拟合。