Hive海量数据导入Hbase的数据加载系统及数据加载方法

摘要

本发明公开了一种Hive海量数据导入Hbase的数据加载系统及数据加载方法，所述数据加载方法包括如下步骤：步骤1，通过配制在大数据离线调度系统上的Spark‑HFile生成模块读取Hive表中的待加载数据，然后采用Apache Spark分布式计算引擎将Hive表中待加载数据根据Hive表字段与Hbase表的映射配置，生成Hbase表所需的底层HFile文件，并写入指定的HDFS目录；步骤2，通过配制在大数据离线调度系统上的HFile在线数据加载模块将步骤1中HDFS目录中的HFile文件在线加载到Hbase表中，提供面向用户的业务查询服务。