基于MapReduce模型单点恢复时阻塞问题的解决方法研究

摘要：

MapReduce分布式编程模型为大规模数据密集型计算提供了重要的应用基础平台.其任务调度模型为单点控制模型,这种模型使得体系结构简单,任务调度易于控制,但同时也存在中心节点失效的问题.在Hadoop系统中,当中心节点失效后,为了使得整个工作集群中的作业不中断,在不同版本的Hadoop中采取了按需同步、恢复历史记录和抛弃三种恢复机制.本文详细分析了这三种恢复机制中出现的数据阻塞、结果一致性和效率下降等问题,并针对MapReduce模型中两种基本任务依赖关系的特点,提出了传递依赖关系信息的同步机制,通过在同步过程中传递任务间已有的依赖关系,有效地解决已有机制中存在的问题.

关键词：MapReduce、Hadoop、任务调度、单点失效恢复、任务依赖关系

所属期刊栏目：33

分类号：TP393(计算技术、计算机技术)

在线出版日期：2011-07-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：146-151