基于通信运营商数据的大数据实时流处理系统

摘要

本文利用流式数据处理框架探索了一种新的基于运营商实时大数据业务系统构建模式.首先,在充分研究了业内实时流式处理技术的发展以及运营商本身实时数据源的特点之后,确定以Flume作为实时采集和分流组件,Kafka作为缓存和多模块通信组件,以Spark Streaming的分布式结构作为数据ETL集群;然后,利用该系统进行了重点区域的人流实时监控的业务,在实施过程中为了提供毫秒级的数据结果流查询能力,采用了Redis组件提供基于内存的Key-Value引擎;最终,通过流式数据处理效率的对比和实时监控的人流效果,我们验证了了这种新的技术架构针对运营商CS域和PS域数据实时处理需求的可行性,结果表明,新的实时业务架构能更加有效的提高从实时采集到业务触发的运行效率,并且为公安部门在重大节假日的区域级人流监控、预警和疏导提供了技术保障.