模型预训练方法、模型训练方法及图像处理方法

摘要

本公开提供了一种模型预训练方法、模型训练方法及图像处理方法，涉及图像处理领域，尤其涉及人工智能、计算机视觉技术领域。具体实现方案为：基于样本图像的图像特征以及样本图像对应的文本的文本特征训练预训练模型，从而能够为不同的下游任务提供好的基础表征，进而提供一种模型结构，可以应对多种不同的任务，提升训练的预训练模型的泛化能力；进一步地，在多模态特征(即文本特征和图像特征)的基础上进行多任务的训练，从而考虑不同任务中特征的适用性，能进一步提升模型的泛化能力，能更好的支持多样的下游任务的训练。