一种混合计算环境下的MapReduce并行模型

摘要：

提出了一种混合计算环境下的MapReduce并行计算模型,利用该模型可以将高性能集群节点与Internet或Intranet下异构的桌面PC组成混合计算环境,在该混合环境下运行MapReduce任务进行海量数据分析处理,充分利用了大规模桌面PC的计算与存储能力.与Hadoop类似,该模型分为存储层和任务层两层.对该模型及其核心的HybridDFS分布式文件系统和MapReduce算法进行了简单描述,进而设计并实现了一个原型系统,并对其进行了性能测试.测试结果表明,提出的混合计算模型不仅能够实现可靠的MapReduce计算,而且降低了计算的成本开销,具有非常大的潜力.

关键词：混合计算环境、MapReduce、志愿计算、容错、分布式文件系统

所属期刊栏目：35

分类号：TP302(计算技术、计算机技术)

资助基金：湖南省教育厅资助项目12C0121;湖南科技大学博士科研启动基金E51097;法国国家科研署项目MapReduceANR-10-SEGI-001-01

在线出版日期：2013-12-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：87-93