一种扩展Kafka消费能力开发方法

摘要

本发明公开了一种扩展Kafka消费能力开发方法，属于财税数据处理领域。在采集端增加拦截器，将从采集端采集的数据中增加发票号码和发票代码组成的新字段，将所述新字段推送到Kafka分区的分布键；在消费端增加消费管理中心插件，使用消费管理中心管理从Kafka分区拉取的数据，创建并管理消费线程，将数据分配给消费线程，当所有线程中数据正确消费完成时，将偏移量提交给Kafka分区再拉取下一批数据；如果某个线程出现错误，管理中心插件将未消费的数据重新分配给其他线程处理直至本批数据正确消费完成。本发明使有限服务器资源下流式数据处理在消费端增强了消费能力，保证业务系统数据及时、准确，为系统使用人员提供持续数据服务。