云存储环境下基于HDFS的海量小文件装箱算法

摘要

基于HDFS的云存储系统在当前得到了广泛的应用,然而它存在小文件存储效率不理想的问题。针对该问题,提出了一种基于HDFS的海量小文件装箱算法TPSF。该算法综合考虑上传文件的大小和缓存时间两个指标,设计了基于动态权值的装箱策略。原型实现和性能评价表明,TPSF算法是可行和有效的,能够显著降低HDFS名称节点和数据节点的存储开销。