一种基于Hadoop的海事局船检大数据分布式存储系统

摘要

本发明公开了一种基于Hadoop的海事局船检的大数据分布式存储方法。包括首先对海事局船检平台数据特征进行分析，通过在客户端与NameNode中间增加一个部门节点，优化HDFS处理海量小文件时表现出的性能低下的问题；其次，在该节点中实现对小文件的合并时，设立了小文件预处理模块和预取模块；同时对热点数据合并的后的大文件元数据信息进行缓存，达到对小文件的访问流程进行优化，缓解NameNode节点压力；小文件预处理模块和预取模块工作的同时，对热点数据合并的后的大文件元数据信息进行缓存，达到对小文件的访问流程进行优化。本发明解决了传统的HDFS在存储海量小文件时通常表现出性能低下的问题，针对海事局海量数据文件小的特性，更加方便文件存储。