基于Hadoop的结构工程海量数据处理系统的研究与设计

摘要

基于Hadoop的HDFS文件系统(Hadoop Distributed FileSystem)和MapReduce计算模型，研究和设计了高效实用的、面向结构工程海量科学实验数据的文件处理系统。该系统包含数据存储、数据访问、数据的预处理和二次处理等功能，并实现了数据分析处理的典型案例。