基于Hive的实体化集成数据并行存取的研究与实现

摘要

收集和分析的数据集大小随着互联网的发展正在快速地增长，信息集成系统采用传统关系型数据库存储实体化集成数据的解决方案面临着难以扩展以及难以对数据并行处理的问题。Hive是一个流行的大数据处理工具，支持以类似SQL形式的查询语言来并行地处理数据。集成系统可以通过与Hive结合，实现集成数据的实体化存储以及并行处理，从而解决传统关系型数据库面临的这些瓶颈问题。 然而，集成系统与Hive之间存在数据类型不一致和某些SQL语句不兼容等问题。为了实现两者能力结合，本文设计并实现了一个命令转换接口弥合了两者之间的不一致从而达到集成能力与并行能力结合的目的。主要的工作有以下几个方面： 1)研究集成系统集成服务结构，Hive的体系结构、数据类型、查询语言以及与关系型数据库的区别，集成系统与Hive两者结合之间存在的问题。 2)设计了命令转化接口解决集成系统与Hive结合存在的数据类型不一致、Hive不支持行级数据操作的问题，以及利用集群并行能力实现Hive与关系型数据源数据传输。 3)基于结合存在的问题和命令转换接口的设计，实现了这个命令转换接口，从而将集成系统集成能力与Hive数据并行能力结合起来。

目录

第一个书签之前