一种列存储数据仓库中的数据复用策略

摘要：

数据复用是数据仓库管理中节约存储空间、提高查询效率的重要手段.列存储技术将来自同一属性的数据连续存储,极大地提高了数据仓库等分析型应用软件的性能,同时增加了复用的可行性和灵活性.为此,提出了一种列存储数据仓库中的数据复用策略.首先,利用模式匹配技术发掘候选可复用列,排除大量无法复用的数据列,在此基础上对候选可复用数据进行筛选和过滤,大大降低复用数据检测的复杂度.针对确定的可复用数据,提出了基于列存储的复用实现策略,分别给出了原始数据列、压缩数据列及索引数据列的复用实现方法.最后提出了基于复用数据的查询实现技术.在大规模数据仓库基准数据集上的实验结果验证了数据复用策略在减少存储量、节省数据装载时间及提升查询性能方面的有效性.

关键词：数据复用、数据仓库、列存储、模式匹配、可复用数据

所属期刊栏目：36

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61070031,61103046;上海市自然科学基金11ZR1401200;the National Natural Science Foundation of China61070031,61103046;the Natural Science Foundation of Shanghai11ZR1401200

在线出版日期：2013-10-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1626-1635