融合施工场景及空间关系的图像描述生成模型

摘要

为解决施工场景中缺少空间关系图像描述的问题,提出一种融合施工场景及空间关系的图像描述生成模型.采用YOLOv3网络进行目标检测,以TransE算法为基础在传统对象检测模型中加入特征提取层形成关系检测模型,结合对象坐标框信息得到对象之间的关系,并采用基于规则和模板的方法生成图像描述.实验结果表明,与m-RNN、NIC、Soft-Attention等模型相比,该模型能生成更准确的空间关系图像描述.