一种基于海量数据的分布式数据分析方法

摘要

本发明提供了一种基于海量数据的分布式数据分析方法，所述方法包括：对于异构数据流用多维向量组表示，并对数据流多维向量组构建索引，基于同异步组合模式进行分层数据采集，对采集的数据进行多分区队列的数据缓存和流处理，将数据存储于抽象访问的数据虚拟分区，并通过构建批量模式的分层索引进行数据查询。本发明提出了一种基于海量数据的分布式数据分析方法，采用多核架构的解决方案，实现了在虚拟环境中的高可靠性的数据保护，并通过高实时性的应用和服务提高了分布式海量异构数据的分析挖掘处理性能。