面向运营商大数据的分布式ETL研究与设计

摘要：

ETL主要用于整合不同信息系统中的异构数据，实现数据对上层业务用户的透明性，它是构建高质量的数据仓库的关键。针对某省级运营商的数据ETL需求，提出了一种分布式的ETL解决方案：基于MapReduce框架完成数据的非实时ETL功能；而针对实时ETL需求，则将ETL集群与Hadoop节点合设，充分利用Hadoop集群提供的集群管理功能，实现实时ETL的任务调度，从而提高了多服务器之间的协同性，也充分利用了服务器的硬件能力，节约了设备投资。

关键词：ETL、协同工作、分布式系统、Hadoop

分类号：TN919

在线出版日期：2016-09-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：47-52