从下采样的低分辨率LIDAR 3-D点云和摄像机图像生成高分辨率3-D点云

摘要

在一个实施方式中，一种方法或系统从低分辨率的3‑D点云和摄像机捕捉的图像生成高分辨率的3‑D点云，以操作自动驾驶车辆(ADV)。该系统接收用于驾驶环境的、由摄像机捕捉的第一图像。该系统接收第二图像，该第二图像表示与驾驶环境相对应的第一点云的第一深度图。该系统以预定的比例因子对第二图像下采样，直到第二图像的分辨率达到预定的阈值。该系统通过对第一图像和下采样的第二图像应用卷积神经网络(CNN)模型来生成第二深度图，该第二深度图比第一深度图具有更高的分辨率，使得第二深度图表示感知ADV周围的驾驶环境的第二点云。