基于Hadoop平台的海量数据高效抽取方法及应用

摘要：

本文从数据抽取过程的本质出发，论述了传统数据抽取过程与大数据平台数据抽取过程的异同，以基于Hadoop的大数据平台为例，结合传统的关系型数据库和非关系型数据库(NoSQL)的特点，提出了一种从关系型数据库到大数据平台的高效数据抽取方法，实现了对数据源系统资源占用的最小化，并在电力公司用电大数据抽取中得到广泛应用。

关键词：海量数据、数据抽取、NoSQL、大数据平台

分类号：TP3;G4

在线出版日期：2015-01-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：114-116