列存储数据区级压缩模式与压缩策略选择方法

摘要

压缩技术是列存储数据管理的重要研究内容之一。目前多数方法对同一列数据使用单一压缩方法进行压缩,忽略了数据的局部分布特性,极大地影响了压缩性能。该文提出一种区级压缩模式,并在此模式下提出基于学习的压缩策略选择方法。首先该文将数据列进一步划分为区,并分别定义相邻区信息与区所在列的统计信息为参照信息,进而通过学习参照信息与当前区之间的相似性和差异性进行策略推荐。最后该文对区进行局部学习从而对推荐压缩策略进行修正,保证压缩策略的有效性。在数据仓库基准数据集SSB上的实验结果验证了该文方法的有效性。