结构约束下的生成对抗深度图修复

摘要

不同于纹理图像,深度图像中的像素点代表采集设备到场景各点的距离,直接使用通用图像修复方法并不能有效恢复深度图像中缺失区域的场景结构,本文提出一个两阶段编解码结构的生成对抗网络以解决深度图像修复问题。与常见生成对抗网络(Generative adversarial networks,GAN)模型不同,本文的生成器网络包括深度生成G_(1)和深度修复G_(2)两个模块。G_(1)模块从RGB图像得到预测深度,替换待修复深度图像缺失区域,保证修复区域局部结构一致性。G_(2)模块引入RGB图像边缘结构,保证全局结构一致性。针对现有图像修复方法没有考虑到修复区域间的一致性问题,设计结构一致注意力模块(Structure coherent attention,SCA)加入到G_(2)中改善修复效果。本文提出的深度图像修复模型在主流数据集上进行了验证,利用结构约束并经过两阶段的生成器模型和判别器模型的共同作用,有效改善了深度图像修复效果。