CUDA、MPI和OpenMP三级混合并行模型的研究

摘要

采用CUDA+MPI+OpenMP的三级并行编程模式,实现节点间的粗粒度并行,节点内的细粒度并行以及将GPU作为并行计算设备的CUDA编程模型。这种新的三级并行混合编程模式为SMP机群提供了一种更为高效的并行策略。本文讨论了三级并行编程环境的快速搭建以及多粒度混合并行编程方法,并在多个节点的机群环境中完成测试工作。