基于Twitter Storm的数据实时分析处理工具研究

摘要

过去的十年是数据处理变革的十年,MapReduce,Hadoop以及一些相关的技术使得我们能处理的数据量比以前要大得多得多.但是这些数据处理技术都不是实时的系统,它们设计的目的也不是为了实时计算.没有什么办法可以简单地把hadoop变成一个实时计算系统.然而大规模的实时数据处理已经越来越成为一种业务需求了,而缺少一个“实时版本的hadoop”已经成为数据处理整个生态系统的一个巨大缺失.twitter storm的出现弥补了hadoop在实时处理方面的不足,本文就twitter storm在实时数据计算方面的优点和架构实现进行研究.