一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统

摘要

本发明公开了一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统,首先通过立体匹配模型得到深度图，随后采用语义分割模型得到前置语义分割图，将深度图与语义分割图坐标变换，得到具有类别信息的伪点云，并保留其鸟瞰图视角的类别信息，最后通过深度对抗模型对于图像中的空洞区域进行填充，得到最终语义鸟瞰图。本发明利用双目摄像头，能够有效进行前方区域鸟瞰图重建，为指导后续规划控制提供有效信息；在提取语义分割信息时，采用RGB‑D语义分割算法，充分利用RGB信息与前端深度估计模型的深度信息，进一步完善语义分割信息，选用生成对抗网络进行空洞及遮挡部分的信息修复和填充，丰富鸟瞰图图像的信息，提升重构鸟瞰图图像的精度。