智慧交通场景下基于多智能体强化学习的任务协同框架

摘要

随着人工智能、车联网等技术不断发展,交通智慧化建设不断推进,大幅提升了交通效率与出行的便利性。在智慧交通场景下,一些计算密集型车辆应用和技术(如自动驾驶,轨迹规划等)得以快速发展和应用。这些数据驱动与时延敏感的应用往往需要短时间内完成大量的数据处理和分析等计算任务。因此,这些新型应用在赋予了智能车辆更好的用户体验的同时,也对感知能力和计算能力有了更高的需求。近年来,基于移动边缘计算的任务卸载成为一种能够有效应对移动终端设备自身计算资源不足的新型模式。现有的研究工作主要关注于不同车辆之间的资源竞争或者不同边缘服务器的卸载选择问题。然而,实际的车辆任务卸载场景中,多边缘服务器的协同对于优化整个任务卸载系统的计算资源分配至关重要。本文针对基于多边缘服务器的车辆任务卸载场景,初步探索一个基于多智能体深度强化学习的任务协同框架,分布式地为每个边缘服务器学习任务卸载决策模型。特别地,为了增强多边缘服务器之间的协同能力,可以从以下两个方面对多智能体强化学习算法MADDQN进行优化。一方面,利用邻居信息增强各强化学习智能体的状态建模;另一方面,除了对当前时刻状态的观测,本文引入时空预测模块,挖掘各路口车流量的时空依赖,对未来时刻每个智能体所在路口的车流量进行预测,从而增强对未来时刻车辆任务负载的预测能力。