基于跨模态对比的场景图图像生成

摘要

条件图像生成根据不同形式的输入生成符合条件的图像,其中场景图是一类具有代表性的条件输入形式。场景图将图像中的物体抽象为节点,将物体之间的关系抽象为边,是一种广泛应用在计算机视觉和跨模态领域的结构化图表示。由于场景图中包含多个物体和物体之间的关系,现有的场景图图像生成方法容易导致生成结果和条件语义不一致,例如物体缺失和关系错误等。本文提出基于跨模态对比的生成方法解决上述问题。首先,本文提出关系一致性对比使生成的物体关系和输入的边保持一致。我们设计了联合特征代表图像中的物体的关系,并拉近联合特征和与其相关的边特征的距离,使其相比于不相关的边特征距离更接近。本文引入物体一致性对比使的生成的物体区域和输入的节点保持对应。在这个部分我们使用注意力机制获得节点对应的物体特征,然后拉近相关的节点特征于物体特征的距离。最后,本文提出全局一致性对比使的生成的图像整体和输入的场景图保持一致,该对比损失将相关联的图像和场景图特征拉近,同时将不相关的样本特征相互远离。我们COCO-stuff和VG数据集上进行了详细的实验,实验结果表明我们的方法相比当前最佳性能分别在两个数据集上提升8.33%和8.87%的FID。消融实验表明每个对比损失模块都能够提升图像的生成质量,可视化结果展示了方法对于解决上述问题的有效性。从实验结果可知,我们的方法不仅能够提升图像的生成质量,并能够有效缓解物体缺失和关系错误等语义不一致问题。