基于最小化IO访问冲突和文件分条的大规模分条文件分配系统

摘要

本发明针对大数据的存储挑战以及需要频繁的进行文件读写的科学计算程序输入输出瓶颈等方面存在的问题，发明了一种基于最小化IO访问冲突和文件分条的大规模分条文件分配系统，在模块构成上主要包括系统初始参数获取模块，文件特征读取模块，文件和磁盘的排序模块，基于最小化IO访问冲突和文件分条的文件分配执行模块。由于本发明面向大数据应用和高性能计算机中大规模分条文件，充分考虑大规模文件请求的磁盘I/O冲突概率，为高性能计算机和大数据存储系统提供了适于大数据、最小化IO访问冲突的文件分配支持，进而为高效的大数据并行输入/输出提供有力支撑，故本发明具有广阔的应用前景。