基于深度典型相关分析的视觉-激光雷达融合方法及系统

摘要

本发明涉及自动驾驶技术领域，尤其涉及基于深度典型相关分析的视觉‑激光雷达融合方法及系统。所述方法包括：同步采集路面的RGB图像和点云数据；对RGB图像进行特征提取得到RGB特征；对点云数据依次进行坐标系转换和栅格化处理，然后进行特征提取，得到点云特征；将点云特征和RGB特征同时输入预先建立和训练好的融合模型，输出特征增强的融合点云特征，所述融合模型使用相关分析结合深度神经网络将RGB特征融合到点云特征；将融合点云特征输入预先建立好的目标检测网络，实现目标检测。本发明创新地使用深度典型相关分析方法利用相似度计算矩阵来融合点云和图像两种不同模态特征，使其在必要速度妥协的情况下，提升精度。