一种基于Hadoop的网络数据挖掘与分析平台及其方法

摘要

本发明公开了一种基于Hadoop的网络数据挖掘与分析平台及其方法，其中，该平台包括数据采集层、数据存储层、业务应用层和用户层；所述数据采集层，采用分布式定向采集体系架构且以不同网络中的终端站点作为网络数据采集的一个基本任务单位来对原始网络数据进行采集，并向数据存储层汇聚传输；其中，每个基本任务单位采用独立的采集规则及策略；及所述数据存储层，用于完成数据的原始网络数据的汇聚、存储及原始处理，并提供不同类型的功能调用服务；所述数据存储层采用Hadoop框架实现；及所述业务应用层，用于调取数据存储层处理后的网络数据并进行分析，来实现公有组件与个性业务应用组件剥离，并将网络数据分析后的结果传送至用户层进行实时展示。