10.3969/j.issn.1007-130X.2011.03.023
MapReduce:新型的分布式并行计算编程模型
MapReduce是Google提出的分布式并行计算编程模型,用于大规模数据的并行处理.Ma-pReduce模型受函数式编程语言的启发,将大规模数据处理作业拆分成若干个可独立运行的Map任务,分配到不同的机器上去执行,生成某种格式的中间文件,再由若干个Reduce任务合并这些中间文件获得最后的输出文件.用户在使用MapReduce模型进行大规模数据处理时,可以将主要精力放在如何编写Map和Reduce函数上.其它并行计算中的复杂问题诸如分布式文件系统、工作调度、容错、机器间通信等都交给MapReduce系统处理,在很大程度上降低了整个编程难度.MapReduce日益成为云计算平台的主流编程模型.Apache Hadoop项目提供开源的MapReduce系统还有待进一步完善.
MapReduce、并行计算编程模型、云计算
33
TP309(计算技术、计算机技术)
2011-07-04(万方平台首次上网日期,不代表论文的发表时间)
共7页
129-135