基于数据冗余的HBase合并机制研究

摘要：

HBase列式数据库的所有操作均以追加数据方式写入,导致其合并机制占用资源过多,影响系统读性能.为解决该问题,提出一种基于数据冗余的合并机制,将列族下文件删除数据占比达到设定阈值的文件进行合并,以减少无用数据在系统中的占用空间.实验结果表明,与HBase原有仅考虑文件大小、个数和时间间隔的合并机制相比,改进的合并机制可提高HBase系统查询效率以及Major合并性能.

关键词：列式数据库、存储、HBase合并机制、CPU利用率、读性能

所属期刊栏目：43

分类号：TP311(计算技术、计算机技术)

资助基金：重庆市教委科学技术研究项目KJ1400414;重庆邮电大学博士启动基金A2015-17;重庆邮电大学自然科学基金A2011-29

在线出版日期：2017-05-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：63-67