基于MapReduce的分布式ETL体系结构研究

摘要：

针对传统ETL工具集中式执行方式的不足,提出了一种基于MapReduce的分布式ETL体系结构——M DETL(MapReduce Distributed ETL).该体系结构采用MapReduce并发处理海量数据的并行编程模型,结合分布式ETL的集群运算方法,实现了集群分布式执行ETL流程,从而提高了整个ETL系统的灵活性和吞吐率,并具有较好的可扩展性和负载平衡性能,提高了执行效率.

关键词：ETL、MapReduce、分布式

所属期刊栏目：40

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目70971137

在线出版日期：2013-07-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：152-154