一种从OLTP到OLAP的数据同步方法

摘要

本发明公开一种从OLTP到OLAP的数据同步方法，涉及数据处理技术领域，其实现内容包括：在OLTP中部署采集单元、编码单元和传输单元一，采集单元采集OLTP的数据，编码单元将采集数据编码为消息，并通过传输单元一传送至OLAP；在OLAP中部署传输单元二、解码单元和写入单元，传输单元二接收传输单元一输出的消息，并通过解码单元将消息解码成数据，解码单元将解码后的数据进一步构建成一个个任务，随后通过写入单元批量同步至OLAP；上述过程中，采集单元将采集数据转换为OLAP支持的格式后通过编码单元编码为消息，或者，写入单元将解码单元输出任务所包含的数据转换为OLAP所支持的格式后批量同步至OLAP。本发明可以提高数据同步性能，且保持恒定的内存用量。