多集合元素去重并标识所属集合的过滤系统及其方法

摘要

本发明公开了一种多集合元素去重并标识所属集合的过滤系统及其方法，主要包括：用于本地磁盘的布隆Bloom过滤器的读取和属性properties文件读取的读取模块；用于向磁盘写Bloom过滤器和属性properties文件的写出模块；用于Bloom过滤器的构建和从内存队列中存取Bloom对象的Bloom过滤器构建模块，以及用于标识元素在哪些集合中出现过和标识所述Bloom过滤器属于哪个集合的标识模块。采用本发明，能够在占用系统资源较少的情况下在多个集合中快速排除重复的元素，可将该技术应用于快照文件的过滤以及重复数据的排除，从而节省存储空间。