千万级小文件数据的一种读写解决策略

摘要

本发明提供一种千万级小文件数据的一种读写解决策略，设计在存储小文件时通过采用开辟大块的连续磁盘空间的方式来存储大量的小文件；首先将磁盘空间划分为多个块，大文件的连续磁盘空间就由这一系列块所组成，遇到的文件比较小时，每个小文件只能存放在单个块中，不能跨越2个块存放，每个文件数据都存放在连续的磁盘空间上。本发明主要是通过将逻辑上连续的小文件数据尽可能的存储在物理磁盘的连续空间之内，这样就提高用户对文件访问的并发性操作，从而提高了小文件的访问性能；采用Cache技术充当元数据服务器的角色，同时通过设计一种简化的小文件信息节点数据结构Node，大大提高Cache利用率和小文件读取性能。