基于Hadoop的油气信息分布式数据仓库的探究

摘要：

油气田企业数据来源广泛,油气钻井作业分布在广阔的地区,因此数据量大而且种类相当复杂,进入数据爆炸时代,各种异构数据爆炸性增长,其中不仅包含很多内部信息,还包括很多有价值的外部信息,传统的关系型数据仓库只擅长处理结构数据,而且扩展能力差,导致新的异构数据难以被利用,这些已经不能满足新时期用户对数据管理的要求.基于Hadoop的油气信息分布式数据仓库运用HDFS存储各类同构或异构数据,通过Hive和HBase对海量异构数据进行管理,并且可以通过Sqoop工具与关系型数据库进行数据交换,最重要的是能够运行在廉价的机群上,不仅降低了成本,还具有更好的扩展性,而且实现对各类数据的充分利用,提高钻井决策的准确性.

关键词：油气信息、Hadoop、分布式数据仓库、Hive

所属期刊栏目：13

分类号：TP2(自动化技术及设备)

在线出版日期：2017-11-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：15-17