基于HBase的QAR数据存储设计与实现

摘要：

为解决传统关系数据库存储QAR数据可扩展性低、 可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法.根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储.真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能.

关键词：QAR数据、存储设计、行键设计、预分区技术、HBase

所属期刊栏目：41

分类号：TP311.1(计算技术、计算机技术)

资助基金：国家自然科学基金委员会-中国民用航空局民航联合研究基金项目;国家自然科学基金项目;中央高校基本科研业务费项目中国民航大学专项基金项目

在线出版日期：2020-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1494-1501