面向MapReduce计算模式的中间数据通信优化

摘要：

针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法.首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;然后,采用朴素贝叶斯分类模型实现分类预测,将历史作业的运行数据作为样本来训练分类模型;最后,根据作业分类预测结果把通信活跃的作业集中映射到同一机架中,通过提高通信局部性来优化性能瓶颈.实验结果表明,所提方案对Shuffle子过程稠密的作业优化效果明显,能够提高4％～5％的计算性能;此外,在多用户运行情况下能降低4.1％中间数据通信延迟.所提方法可有效降低大数据计算过程中的通信延迟,提高异构集群的计算性能.

关键词：MapReduce计算模型、大数据处理、通信优化、中间数据、机器学习

所属期刊栏目：38

分类号：TP302.7(计算技术、计算机技术)

资助基金：山东省自然科学基金资助项目ZR2017MF050,ZR2015FL014;山东省高等学校科学技术计划项目J17KA049;山东省自主创新及成果转化专项2014ZZCX02702;山东省重点研发项目2016GGX109001.This work is partially supported by the Natural Science Foundation of Shandong ProvinceZR2017MF050,ZR2015FL014;the Higher Educational Science and Technology Program of Shandong ProvinceJ17KA049;the Independent Innovation and Achievements Transformation Special Project of Shandong Province2014ZZCX02702;the Primary Research and Development Project of Shandong Province2016GGX109001

在线出版日期：2018-06-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1078-1083