基于MPI的多层容错高性能云计算平台关键技术研究

摘要

随着全球信息化浪潮的推进和计算机应用技术的不断迭代更新，各行业需要处理的信息量越来越大，尤其实在航空航天、海洋开发、天气预报等诸多领域，数据规模已经达到TB甚至PB级，而如何存储并处理这种规模的数据显得至关重要，为了解决这一问题，引入云计算平台这一概念。一方面，对于云计算平台而言有两个特点，一个是能分布式存储大数据，另一个特点是将视任务执行失败为正常情况;但另外一方面，许多云平台不适用于低延迟服务，并且在面对计算密集型任务时候显得效率不高，而MPI擅长计算密集型，并且通信迅速，消息传递延迟少，因而用MPI实现一个云平台则显得十分有意义。在本研究当中将主要研究如何构建并实现能够支持大数据存储存并拥有多层容错功能的MPI云平台。
　　 针对上述问题，本文提出并实现出一个基于MPI的云平台，为了让此平台能够支持大数据存储，因而实现了一个由MySQL构建的分布式集群，并且多个MySQL节点存储不一样的数据，在此之上增加一个数据库中间件层，以便能将这些数据库节点联立在一起。而用户在使用的时候，并不需要考虑此存储架构，使用起来就和单个MySQL的效果是类似的。另外一方面，考虑到MPI自身没有提供响应的容错机制，因而本研究者设计出3层容错机制，分别是:任务失败重调度、任务的CheckPoint/Restart以及进程迁徙，并且将此容错机制独立分离出接口，以便平台开发者可以依据自身需求来定制其具体需求，也便于对此功能进行二次开发，而对于用户而言，则可以依据其实际需求来设定容错级别。
　　 经过测试和评估，证明基于MySQL的分布式集群之上运行的数据库中间件能够处理用户的SQL请求，实现数据的查找以及基本的增删改功能，并且本平台可以很好地应对节点服务失效问题并能最终给用户反馈正确的结果。原型系统的可行性、可靠性、健壮性、高效性均达到设计预期。

目录

声明

摘要

第1章 绪论

1．1．研究背景

1．2．国内外研究现状

1．3．研究意义及研究内容

1．3．1．本文的研究意义

1．3．2．本文的研究内容

1．4．论文组织

第2章 相关技术综述

2．1 集中式数据存储

2．1．1 MySQL

2．1．2 Oracle

2．2 分布式数据存储

2．2．1 结构化数据存储

2．2．2 非结构化数据存储

2．2．3 半结构化数据存储

2．3 两种数据存储类型的比较

2．4 数据库中间件技术

2．5 进程间通信技术

2．5．1．MPI

2．5．2．Socket

2．5．3．MPI和socket通信模式

2．5．4．Linux IPC

2．6 本章小结

第3章 MPI多层容错高性能云平台关键技术研究

3．1 MPI容错关键技术

3．1．1 MPI程序启动流程和方式

3．1．2 MPI进程管理器

3．1．3 MPI错误处理接口

3．1．4 MPI容错手段

3．1．5 平台的功能封装

3．2 数据库中间件

3．2．1 数据库集群架构

3．2．2 数据存储策略

3．2．3 逻辑语义控制器

3．3 主从同步技术

3．4 本章小结

第4章 原型系统实现

4．1 系统的基本架构

4．2 系统模块结构

4．3 监控模块的实现

4．3．1 基于poll的节点监控实现

4．3．2 节点存活监测机制

4．4 数据库中间件模块的实现

4．4．1 SQL语句增删改的实现

4．4．2 SQL语义解析的实现

4．4．3 SQL查询结果规约的实现

4．5 作业管理模块的实现

4．6 容错模块的实现

4．6．1 第一层容错的实现

4．6．2 第二层容错的实现

4．6．3 第三层容错的实现

4．7 规约模块的实现

4．8 本章小结

第5章 原型系统测试

5．1 测试内容

5．2 原型系统测试

5．2．1 测试环境

5．2．2 测试方法

5．2．3 测试结果

5．3 稳定性测试

5．4 本章小结

第6章 总结与展望

6．1 论文总结

6．2 工作展望

致谢

参考文献

附录