一种ETL中海量数据抽取的方法

摘要

本发明公开了一种ETL中海量数据抽取的方法，其具体实现过程为：分析业务场景，定义数据拆分维度，即拆分的规则；根据定义的数据拆分规则，形成整个数据的抽取任务池；以抽取任务池为维度，定义对应的可以进行分布式部署的ETL流程组；按照任务池，并行启动分布式部署的ETL流程的执行；任务池中的ETL流程陆续停止，整个海量数据的ETL处理流程结束。该一种ETL中海量数据抽取的方法与现有技术相比，充分利用海量数据本身的特点，结合并行计算，分布式计算资源，大幅度提高ETL系统对海量数据抽取的效率，实用性强。