SingleMapReduce:单一输出HDFS文件的MapReduce编程模型

摘要：

经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件“整合”为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的“块典型分布”和“块非典型分布”的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.

关键词：分布式计算系统、元数据、MapReduce、Hadoop分布式文件系统、名称节点、数据节点、块

所属期刊栏目：42

分类号：TP311(计算技术、计算机技术)

资助基金：国家核高基专项2010ZX01042-001-003

在线出版日期：2014-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：135-142