基于Hadoop分布式计算架构的海量数据分析

摘要

随着互联网的发展,分析处理海量数据成为各公司组织急待解决的问题.Hadoop分布式系统依靠廉价的PC集群提供可靠的并行计算服务,其子项目Pig立足Map-Reduce并行计算框架,提供类SQL功能的Pig Latin语自,成为实用、高效的海量数据处理平台.本文对Pig平台系统架构进行说明,介绍Pig平台引擎前端和引擎后端的功能,并结合实例阐述Pig平台处理Pig Latin脚本过程中产生逻辑计划、物理计划及Map-Reduce计划的具体流程.