基于深度学习的多模态多任务端到端自动驾驶研究

摘要

当前端到端自动驾驶系统的研究方法主要是采用图像或图像序列作为输入,使用卷积神经网络直接预测方向盘转角,取得了较好的效果,但仅通过转向命令并不足以完成自动驾驶车辆的控制.为了更好地实现对自动驾驶车辆的横纵向控制,构建基于端到端学习的CNN-LSTM(卷积神经网络-长短时记忆)多模态多任务神经网络模型,将图像、速度序列和方向盘转角序列作为输入,从而同时预测车辆的方向盘转角和速度值.在搭建的基于GTAV(Grand Theft Auto V,侠盗猎车5)仿真平台数据集和真实场景数据集上进行实验和测试,实验结果表明模型能够较好地完成车道保持的驾驶行为和基本实现自动驾驶避障测试.