一种保证海量数据缓存实时性和一致性的系统及方法

摘要

本发明公开了一种保证海量数据缓存实时性和一致性的系统及方法，包括：数据流提取模块：采用数据库日志方式从实际数据存储模块中提取出变化数据流；基于流处理的数据缓存模块：采用流处理的方法将提取出的变化数据流复制到目标数据缓存模块，在复制的过程中先将变化数据流拆分成数据元组，将数据元组拆分成数据域，仅仅对发生变化的数据域进行处理后，又将数据域进行聚合，最后写入目标数据缓存，从而保证数据缓存的一致性；在复制的过程中，仅仅用缓冲域库存储中间结果，保证了数据缓存的实时性。本发明具有高实时性、高并发性、高容错性等特性，通过基于流处理的数据缓存实现海量数据缓存一致过程。