一种可有效提升地震道集IO性能的存储方法研究

摘要

石油是对国际上各国都极为重要的战略资源，随着我国经济的腾飞，科技稳步的发展，对我国人民生活的影响越来越大，根据国内某大型石油公司的数据，我国如今超过55％的石油依赖于进口，而自己的石油储备只能满足几个月的需求。如何高效的发现，开采油藏资源，拓展战略资源，减少对国外的依存性，成为我国的重要课题。石油是一种不可再生资源，随着几十年来的开采，其储量已经越来越低，过去的勘探方法，如地质法，钻井法等难以实施，这导致了近年来，地震勘探成为寻找油藏最为主流的手段。
　　我国地质环境复杂，而且随着储量的下降，已经难以在浅层发现油田。地层深处的石油和缝隙中的岩性储备还有很多，而这些资源的发现，开采依赖于高精度高分辨率的地下成像，这就导致了地震勘探设备向着高分辨率，高密度，大铺设范围的发展。当今各大石油服务公司的设备，大都达到了上万乃至数十万采集节点，Sercel公司已经研制出百万节点的勘探设备。
　　因为上述的原因，地震勘探产生的数据量越来越大，大量的数据导致了两个问题，一是数据的存储变得复杂，二是数据的处理量变大。地震勘探是个高风险，高收入的行业，对于这个行业来说，时间就是生命，能在短时间内完成勘探以及数据分析的任务，就会有更多的时间开采原油，获得更高的产量。由于地震数据的增大，而且地震资料自身具有很好的并行特征，为了提高数据处理的效率，石油企业提出并采用了多种并行分布式计算框架。并行计算有效地加速了地震数据的处理，但仍然存在一些因素影响其运算效率，在这些因素中，最为显著的因素就是并行机群的I/O效率。
　　在地震数据处理中，处理的数据块一般以道或者道集为单位，而由于成本、容量、安全性等因素的考虑，大规模数据的存储依然采用传统的机械硬盘。相比于整个地震文件，一道或者一个道集的数据量很小，而且对于不同类型的道集，其数据离散的分布在硬盘中，受到磁盘机械性能的影响，对于此类数据访问模式，机械磁盘表现出极低的效率。
　　条带化的并行存储方式和基于Flash的固态硬盘为了解决这个问题带来了希望。条带化的并行存储方式包括磁盘阵列(RAID)和并行文件系统，它们将数据分散的存储到多个节点上，以并行的方式解决小数据I/O速度慢的问题，但是使用它们提升随机I/O速度需要上层软件的支持，并存在一些问题。这些问题包括:(1)可扩展性差，无法支持存储节点数量无限制的上升，当存储节点数量大时，请求数据的节点本身都有可能成为瓶颈。(2)并行效率低，想要发挥它们的能力，上层软件必须使用多线程的编程方式，但经过测试，系统性能与线程数量的上升并不是线性关系，线程数远大于节点数量，并且在有些情况下，再多的线程数也无法发挥出系统的极限性能。这些是中心化和通用存储系统无法避免的问题。基于Flash技术的固态硬盘(SSD)非常适合于随机数据读取，与机械硬盘相比，速度有着数量级上的优势，但是它也存在如容量低，价格昂贵，写入速度慢，寿命短等问题。在检索的信息中，我们并没有看到能实际解决地震数据处理中大量随机数据读取速度慢并且能实用化的设备。
　　本文根据地震勘探数据处理的需求，以及地震数据的自身特征，提出了一种可以最大限度发挥多个存储介质（磁盘）I/O性能的方法，方法参考了磁盘阵列、并行文件系统和Key-Value存储技术，依然采用磁盘作为主要存储设备。提高单个磁盘的随机I/O速度难以实现，所以工作主要集中在三个方面，也就是要解决已存在并行存储系统的问题:(1)去中心化，使得所有节点地位等同，这样的设备会有着更好的扩展性。(2)提高并行效率，做到随着存储节点数量的上升，随机读取速度线性上升。(3)主动式存储，解决传统存储方式被动接受命令的缺点，实现数据节点主动地对外提供数据的存储方式。解决这些问题就是本文的主要目的和创新点。
　　为了实现上述目的，采用对地震勘探数据不同于传统的基于文件系统+磁盘阵列方式的存储，每个节点智能化，可大大提升地震资料数据处理初期阶段的效率。基于此想法，我们完成了原理性验证，在验证系统下，在道集抽取速度方面，原理机相对于已经成熟的RAID存储方式实现了数倍到数十倍的速度提升。完成原理验证之后，实现了可以真正作用在企业以及科学研究方面的存储设备，在现有的软硬件设备下，利用6个磁盘，实现了6倍的速度提升，并且该设备具有如下特点:
　　1、对现有的地震数据处理软件保持兼容，测试是在美国GeoTomo公司的TomoPlus软件的下进行的，无需对原有软件进行任何修改即可以使用该设备。
　　2、设备具有严格意义上的可扩展性，可以实现更大的容量或者更快的I/O速度。
　　本文共分为以下五章:
　　第一章作为绪论，介绍了地震勘探数据处理的现状，计算流程，以及这个过程对计算设备和存储设备的需求。引出由于I/O性能瓶颈影响了数据处理的速度，拖长了工期。通过分析数据处理过程和传统存储设备的缺陷，提出了对于地震勘探专用的，能够大幅提高I/O速度的存储方法。
　　第二章从传统存储设备的原理出发，介绍了多年来存储技术的发展，从硬件技术到软件文件系统，在扩展设备容量，提升设备可靠性，加快设备性能方面已经可以实用化的技术。最后讨论这些技术对地震勘探数据所起到的作用和不足之处，提出优化其I/O速度方法的可行性。
　　第三章详细阐述了该专用存储系统的实现，包括其硬件与软件。硬件方面，该设备不依赖于特定的平台，经过很多硬件平台的测试，分析了系统的硬件需求，测试过的硬件平台包括曙光服务器计算节点，ARM9的SBC1808，PowerPC的MPC8308，ST的STM32F407以及现在使用的CubieBoard。软件方面，详细阐述了读写数据的过程，以及如何与TomoPlus结合。
　　第四章给出了已完成的测试结果，在道集抽取方面，测试对同一个地震数据文件的相同道集，设备I/O速度随着节点数量增加的变化趋势。针对各种类型道集的不同道集编号，我们测试了多组数据，所有的结果都表明，设备具有良好的并行度与可扩展性，大幅缓解了I/O性能的瓶颈。
　　第五章是全文的总结和展望，总结了全文的观点，给出其创新特性，并指出系统可能存在的不足之处，为以后的发展提出建议。