大数据量批处理系统和大数据量批处理方法

摘要

本发明提供了一种大数据量批处理系统，包括：中间件单元用于向一级缓存装置发送查询请求，以及接收来自二级缓存装置的二级分页主键集合，根据二级分页主键集合向数据库查询待处理数据并在对待处理数据进行计算处理后，向数据库发送持久化数据请求；一级缓存装置用于向数据库查询符合查询请求的主键集合，以及根据主键集合生成一级分页主键集合并将一级分页主键集合返回至二级缓存装置；二级缓存装置用于根据一级分页主键集合生成二级分页主键集合并将二级分页主键集合返回至中间件单元。本发明还提供了一种大数据量批处理方法。根据本发明的技术方案，可大大提高系统海量数据的处理速度，降低系统处理时间，进而提升系统的综合性能。