基于海量数据存储系统多级存储介质的热点数据区分方法

摘要

海量数据的应用导致文件读写压力变大，必然需要考虑文件I/0带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同，而且数据访问具有时间和空间局部性，因此需要进行分级存储.考虑到数据存在着周期性的变化规律，数据访问的热度是变化的，海量存储系统中相当大比例的数据静止不动，而且高性能存储设备有限，因此基于分级存储技术进行数据迁移，并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景，用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估，经过对Web服务器并发访问响应时间的测试验证，与常规迁移方法相比该算法的确改进了系统的性能.