一种基于多核环境的海量数据快速读取方法

摘要

随着多核计算机的发展，多核PC机已经可以完成许多大规模计算任务，然而面对海量数据的处理，存储器与辅助存储器内的数据读取往往会成为提高应用程序运行速度的瓶颈，从而不能很好运用多核系统带来的优越硬件性能.基于多核环境的海量数据快速提取方法，以内存映射文件方法为基础并运用基于视图映射粒度的划分方式和动态与静态结合的负载均衡策略，实现了在多核平台下针对海量数据的高速并行提取.实验表明，此种方法充分发挥了多核环境的特点，并在数据量增大的情况下有良好的适应性。