大数据一致性对比方法和系统

摘要

本发明提供了一种大数据一致性对比方法和系统，所述方法包括：将第一待对比数据转换为第一结构化数据，以及将第二待对比数据转换为第二结构化数据；利用分布式并行计算构架对所述第一结构化数据和第二结构化数据进行分层对比，所述分层对比包括在不同层级对所述第一结构化数据和第二结构化数据中的数据统计信息进行对比和对所述第一结构化数据和第二结构化数据中的内容进行对比；若所述第一结构化数据和第二结构化数据中的数据统计信息不相同，则直接返回对比不一致的结果；若所述第一结构化数据和第二结构化数据中的数据统计信息和内容都相同，则返回对比一致的结果。采用该方法和系统，能够实现了高效的对无序的大数据进行一致性对比。