QAR数据仓库在Hive中的构建

摘要：

分析QAR数据是一种非常有效的监控飞机状态的方法.但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾.因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库.通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构.通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容.实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长.

关键词：Hive、快速存取记录器(QAR)、数据仓库、数据处理、Hadoop

所属期刊栏目：53

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学青年基金61301245,61201414

在线出版日期：2017-06-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：90-94