调度器、操作调度器的方法以及包括调度器的加速器设备

摘要

公开了调度器、操作调度器的方法以及包括调度器的加速器设备。一种操作调度器以对将在加速器中执行的模型执行调度的方法，所述方法包括：接收对在加速器中彼此独立地执行的第一模型和第二模型的至少一个执行请求；以及基于第一模型和第二模型的工作负载特性，对第一模型和第二模型执行以层为单位的调度。