PetroV分布式文件系统的设计与实现

摘要

为了实现可存储ZB级文件数量、单一文件TB级大小的行业基础数据的需求,以及利于实践“端到端”的、驱动油气重大发现的“地质智能”深度学习解决方案,本文设计、开发并验证了一种充分考虑油气勘探行业基础数据特点的分布式文件系统(PetroV Distributed File System,PetroV DFS).结合全球地理网格剖分编码和地质信息编码,PetroV DFS建立了基于空间位置索引的分布式文件命名、分配与管理机制,可高效管理ZB级数量的文件并快速定位;基于ST-Based KIDA元数据建模下的本地空间数据库集成机制和空间索引、八又树切分、空间键值对等三种分布式数据子块存储机制,可快速读写一个TB量级基础数据.PetroV DFS具有“地理位置相近、存储位置相近”的特点——同一地理区域的基础数据存储于同一数据中心的同一批机柜,在提升本地基础数据的访问和计算速度的基础上,能“就近”高效利用不同类型基础数据.以440GB叠前地震数据文件的分布式存储、金时窗频率振幅属性分布式计算为例,利用C++泛化编程技术实现的PetroV DFS可有效部署于当前普通计算机中,为后续深入实践不同类型深度学习解决方案提供新的、可行的大数据存储模式.