Simulation Runner：基于云的轻量级高性能运算平台

摘要

通常情况下，计算密集型的软件需要可扩展的计算资源。传统的高性能运算平台提供了大规模的计算资源，但是使用机构需要IT人员购买这些计算设备。随着云计算的发展，越来越多的科学家以及工程师把他们现有的应用从本地集群迁移到公有云上。但是云迁移不仅仅需要普通的编程技能，还需要对云平台的架构有所了解，并且有云编程经验。成功的云迁移对于研究机构来说不仅仅需要付出较多的开发时间，同时需要较多的开发经费。
　　本文提出了一个基于云平台的轻量级的并行与分布式高性能运算平台Simulation Runner。该平台主要用于支持易于并行化的计算密集型以及数据密集型科学运算程序。使用Simulation Runner科学家可以轻易的将现有的易于并行的计算密集型或者数据密集型应用程序直接放在云平台上并行运行。不需要再对单个程序进行云迁移。系统能够将整个作业切割为更小单位的任务，并且使得每个任务在不同节点上并行执行。在任务并行执行的同时，能够记录任务实时的输出以及错误信息。最后将任务的输出文件上传到Azure Blob存储中。为了提高作业的执行效率，系统使用了文件缓存机制来提高性能同时减少文件传输的开销。为了方便用户通过各种途径上传自己的作业文件，系统还能够提供对多个数据源的支持，包括DropBox、OneDrive以及Azure Blob存储。在很多情况下，科学计算软件不仅仅依赖于Windows本身的平台，还需要其他运行库环境的支持。为了满足这些科学运算软件的需求，系统还能够对多个运行环境进行支持，包括Python运行环、MATLAB运行环境以及R语言运行环境。文章最后提供了对系统的评估以及真实的用户案例。并且将这些案例以及实验的运行时间与在单个高性能桌面机上的运行时间进行对比。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.3 研究内容

1.4 文本结构和组织

1.5 本章小结

第二章 相关理论与技术

2.1 云计算简介

2.2 Microsoft Azure简介

2.3 本文所用技术

2.4 本章小结

第三章 Simulation Runner架构、原理以及接口

3.1 Simulation Runner架构

3.2 系统RESTful API

3.3 本章小结

第四章 Simulation Runner系统实现

4.1 Worker role的实现

4.2 Web role的实现

4.3 本章小结

第五章 Simulation Runner性能分析以及实验

5.1 Simulation Runner性能的形式化分析

5.2 Simulation Runner性能评测

5.3 本章小结

第六章 总结和展望

6.1 研究工作总结

6.2 问题总结

6.3 未来工作

参考文献

致谢

攻读学位期间发表的学术论文目录