基于MapReduce模型的排序算法优化研究

摘要：

MapReduce已经发展成为大数据领域标准的并行计算模型.理想情况下,一个MapReduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率、CPU和I/O的使用时长以及网络传输开销.传统的算法往往只针对上述指标中的一种进行优化.在保持算法良好并行性基础上,对多个指标同时进行优化,提出了MapReduce 优化算法的设计规范.针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最后算法,并证明了该优化算法满足MapReduce优化算法规范.最后通过实验验证了优化的排序算法的有效性和效率.

关键词：MapReduce模型、优化算法、大数据、排序算法

所属期刊栏目：41

分类号：TP319(计算技术、计算机技术)

在线出版日期：2015-01-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：155-159