分布式计算平台Hadoop

摘要

随着计算机技术和互联网产业的发展,数据量呈现出了爆炸式的增长,使人类进入了大数据时代。面对成千上百的TB或者PB级别的数据,传统的计算机技术在数据存储和数据分析上已经无法满足人们对数据处理的需求了。为了解决大数据的存储、大数据的分析和大数据的管理问题,研究人员开发出了Hadoop分布式系统平台来解决这些问题。本文主要介绍分布式平台Hadoop的分布式文件系统(HDFS)、并行计算编程模型(MapReduce)。