基于截止时间限制的大文件传输调度方法的研究

摘要

随着分布式计算以及网格计算的高速发展，越来越多的应用需要将许多大数据量的文件从远程的数据采集中心汇聚到位于计算中心的超级计算机上进行计算、存储或者显示，通过对这些大文件的分析处理最终得到想要的结果。在汇聚的传输过程中，这些大数据量的文件没有数据丢失，同时每一个文件传输请求需要在一个给定的截止时间期限之前传输到唯一的目的点—计算中心，这样才不会影响计算中心的数据操作。我们希望所有的大数据文件都能够在截止时间之前汇聚到计算中心，但是在网络负载非常高的情况下，总有文件会超过它们的截止时间才传输完成。此时，允许一定数量的文件在其截止时间之后传输完成，但是对于超过截止时间的传输任务，超过的时间越少越好。这类问题我们称之为截止时间限制的大文件传输调度问题。 本文中，我们首先给出以获得最小平均延迟时间为目的的大文件传输的一些解决方法的相关研究和分析，然后分别给出了光网络中静态和动态情况下的截止时间限制的大文件传输问题的解决方案。 大文件传输是一个路由和调度结合的问题，首先必须通过路由给每个大文件传输选择传输路径，其次通过调度决定传输次序进而最终达到我们的目标。本文中，我们提出一种新的用于计算路由的动态路由算法，并将此动态路由和文件调度启发式算法结合起来解决我们的研究问题。 通过动态路由来动态调整网络中的所有光路，为每个文件传输请求获得最佳的传输路由；然后通过文件调度启发式算法调度等待队列中的文件传输请求来达到我们最终的优化目标。 在本文中我们给出了基于Java的仿真结果，用来验证所提出的算法的优越性。通过仿真我们发现在同一种调度算法下，比起传统的路由算法，使用我们的动态路由算法性能更好；在几种文件调度启发式调度算法中，我们发现，最小截止时间先调度算法可以最好地达到我们的优化目标。