基于激光雷达的点云和相机图像数据融合的slam方法及系统

摘要

本发明提供了一种基于激光雷达的点云和相机图像数据融合的slam方法及系统，包括：提取关键帧，并对关键帧图像进行物体实例分割，得到图像中的物体实例；对关键帧的点云进行物体分割，得到点云空间中的物体对象；对图像中的物体实例和点云空间中的物体对象进行融合统一，得到物体集合；根据物体集合，对前后帧的物体进行匹配；根据前后帧的点云匹配的误差、图像的重投影误差以及特征点在前后帧中的物体类别误差，求解得到相机的位姿；根据相机的位姿将携带物体实例信息的图像注册到点云地图中，得到具有图像语义信息的点云地图。本发明提升了物体实例分割的鲁棒性，将语义约束增加到优化方程中，使得求解的位姿的精度更高。