一种基于Storm的工业信令数据流式计算框架

摘要

本发明提出一种基于Storm的工业信令数据流式计算框架。由于当前工业大数据规模大、类型杂、质量低的难点以及挖掘流数据时的复杂方式，设计一种在执行数据挖掘算法时合理利用有限内存，从而一次性获得更多数据的框架。为了从以流形式存在的工业信令数据中挖掘有价值的信息，利用Storm对实时数据流进行挖掘。针对不同的实时数据挖掘任务，可能会用到同一类数据源，本发明中通过Kafka消息中间件，实现不同Topology的Spout共享数据源，保证消息可靠传输、消息回传等。该发明的基于Storm的工业信令数据流式计算框架，能有效提升工业信令数据挖掘过程中信息提取的有效性、高效性，改变工业大数据类型杂、质量低的现状，满足智能工业生产发展需求。