基于Hive的高可用双引擎数据仓库

摘要：

打破信息孤岛,整合异构数据,汇聚共享交换,深度分析挖掘,提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引,设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库,支持多种方式OLAP分析,进行了可用性、负载均衡、资源管理的优化设计,为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明,系统灵活高效,高可用可扩展,资源调度科学,负载均衡效果明显.

关键词：数据仓库、Hive、高可用、OLAP、Hadoop

所属期刊栏目：28

资助基金：中国科学院"十三五"信息化专项XXH13504-03

在线出版日期：2019-09-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：65-71