基于MPP-Hadoop混合架构高校数据集成系统研究

摘要

随着数字化校园的建设,传统的数据集成系统在海量数据环境下数据查询和加载的效率均有所下降,且难以对非结构化、半结构化数据进行融合和分析.针对以上情况,依托高校大数据平台,从各个异构系统中抽取出数据,结合Ha-doop和MPP技术的优势,设计并实现了一个基于MPP-Hadoop混合框架的高校异构数据集成系统,融合多种不同结构数据,提升了数据查询和加载的效率.以某高校为例,从学生的门禁刷卡系统和校园网系统中抽取出学生的行为轨迹数据,载入MPP数据仓库,进行数据融合,并与传统数据仓库产品Oracle搭建的现有高校数据集成系统进行数据加载和数据查询效率方面的对比评测,验证了系统的有效性并且为学生的学习生活、心理等各方面的管理工作提供一定的技术支持和指导.