行列混合存储的数据压缩策略研究
大数据技术不断深入发展,对于数据压缩技术的要求也在不断提高.为此,构建叠加式行列混合存储结构,提出动态编码选择数据压缩策略.首先,依据数据类型,选取对应处理效果最佳的编码方式;然后,设计基于行列存储的页式存储结构对数据属性缓冲区中的数据进行处理,确定可压缩的属性数据并存储于属性块;最后设计并实现动态编码选择数据压缩算法,对属性块中的数据进行压缩处理,计算数据压缩比.应用大规模数据集SSB中的数据表进行数据压缩处理,实验结果验证了基于行列混合存储的动态编码选择数据压缩策略在数据压缩比、数据压缩时间方面性能优于单一行、列存储下的数据压缩方式,提高了压缩效率.
行列混合存储、页式存储、数据压缩、数据压缩比
38
TP311(计算技术、计算机技术)
国家自然科学基金项目71272191;黑龙江省哲学社会科学研究规划项目16GLD02
2017-08-04(万方平台首次上网日期,不代表论文的发表时间)
共6页
1267-1272