面向MapReduce的数据处理流程开发方法

摘要：

数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程.提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow.实验表明该方法可以有效提高数据流程的处理效率.

关键词：MapReduce、数据处理流程、模型驱动、Hadoop平台

所属期刊栏目：5

分类号：TP301(计算技术、计算机技术)

资助基金：The Major National Science and Technology Special Projects High-Nuclear-Based Project of China under Grant No.2009ZX01043-003-002;the National Science and Technology Support Program of China under Grant No.2009BAG18B01,2009BADA9B02

在线出版日期：2011-04-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：161-169