面向异构数据源的分布式集成工具研究与设计

摘要

信息化技术的迅猛发展推动了部门业务信息系统快速普及。然而由于信息系统实现的技术体制、数据编码不一性,直接促使了业务部门内或跨业务部门的信息系统出现"烟囱林立"问题,严重影响了信息系统综合应用集成。为解决此问题,业界提出了多源异构数据集成关键技术,很少考虑分布式集群环境。提出了一种分布式环境下高性能数据集成工具(distributed herogenerous data integration tool,DHDIT),通过引入大数据流式并行计算框架、微服务、消息队列等技术,实现多源异构数据的在线高效率集成。该工具具备实时采集、并发处理、高可用等优势。研究内容将对大规模数据综合集成的业务应用场景具有一定的参考价值。