一种基于LiDAR和图像融合的街道场景语义分割方法

摘要

本发明涉及一种基于LiDAR（激光雷达）和图像融合的街道场景语义分割方法，包括：输入LiDAR点云和图像并进行预处理；将点云投影到图像中后，对图像进行上下文信息的融合得到融合信息；使用点云语义分割网络提取融合信息中的粗粒度特征；使用图像语义分割网络提取图像高维语义特征，计算偏移量得到对齐后的图像语义特征；将图像语义特征和粗粒度特征融合后得到融合语义特征，使用点云语义分割网络提取融合语义特征的细粒度的语义特征，得到语义分割结果；采用一种简单且有效的前融合策略来融合图像上下文信息和LiDAR点云信息这两种不同模态的信息，以此来生成语义类别特征；有效的增强所提取点云的特征的判别力，提升模型对场景分割的准确率。