一种基于张量的深度学习GPU内存管理优化方法及系统

摘要

本发明涉及一种基于张量的深度学习GPU内存管理优化方法，至少包括如下步骤：执行至少一个计算操作，其中，所述计算操作以张量为输入并产生张量作为输出；在一个计算操作被执行时，对张量的访问信息进行跟踪，并基于所述访问信息制定内存管理优化决策，在训练的第一次迭代中被动地在CPU内存和GPU内存之间进行内存交换以获得一次完整迭代的张量的访问信息根据获取的关于完整迭代的张量的访问信息，制定内存管理优化决策；在后续迭代中，根据运行时的反馈对制定的内存管理优选决策进行动态调整。