基于MapReduce模型的排序算法优化研究

摘要：

MapReduce已经发展成为大数据领域标准的并行计算模型。为了使MapReduce系统下参与计算的所有节点高度负载均衡，并且最小化空间使用率、CPU、I/O的使用时长和网络传输开销等指标，在保持算法良好并行性的基础上，提出了一种MapReduce优化算法的设计规范，对多个指标同时进行优化。针对数据处理领域最重要的排序算法进行理论分析，给出了多指标约束下的最优算法，并证明了该优化算法满足MapReduce 优化算法规范。最后通过实验验证了该优化的排序算法在有效性和效率方面严格优于传统的排序算法。

关键词：MapReduce、优化算法、大数据、排序算法

分类号：TP319(计算技术、计算机技术)

资助基金：The Natural Science Foundation of Jiangsu Province of China under Grant No. BK2012129

在线出版日期：2015-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：410-417