广域网多级集群环境下的MPI扩展研究

摘要

随着各个领域对高性能计算的需求不断变化和提升，在并行算法的发展和提升空间有限的条件下，不断增加数据规模成为产生新成果的最有效途径。由多个集群系统构成的分布式异构环境能够提供更大规模的计算能力、更丰富的存储能力，但是并行计算物理环境层次的增加和编程模式的混合，导致并行应用程序设计过程中多层次并行化更为复杂。
　　 针对以上问题，本文分析当前流行的消息传递接口MPICH2并行库，根据广域网环境的复杂性、多样性以及多级集群间消息传递的特点，提出了广域网多级集群环境下的MPI扩展研究。其中关键内容是扩展MPI，使其能够更好地完成广域网环境中的数据传输，且与MPI标准完全兼容。具体研究工作包括三个方面：首先是运行时环境管理扩展，解决在广域网多级集群中对各节点运行时环境的初始化、配置、监控、管理与注销，并行应用程序的启动与终止，各种系统信息的监控、获取、分析和反馈，包括代理节点运行时环境和内部节点运行时环境等。其次是对进程管理进行扩展，包括进程组和通信域的管理。最后，针对广域网环境拓扑结构和多层次的特点，基于MPICH2对MPI消息传递函数进行扩展，充分提高消息传递的效率。
　　 综上，面向广域网多级集群的MPI扩展提供了一种在广域网中建立多集群间消息传递互联的解决方案。对于有大规模计算能力和存储能力需求的应用有一定的现实意义。