基于内存优化配置的MapReduce性能调优

摘要：

MapReduce作业性能与内存配置存在极大的相关性,针对准确预测作业内存困难问题,根据Java虚拟机(JVM)的分代内存管理特点,提出了一种分代内存预测方法.首先使用回归模型对年轻代与垃圾回收平均时间的关系进行建模,将寻找合理年轻代内存大小的问题转换为一个受约束的非线性优化问题,并设计搜索算法来求解该优化问题.文中还建立MapReduce作业的Map任务和Reduce任务性能与内存的关系模型,求解最佳性能的内存需求,从而获得Map任务和Reduce任务的年长代内存大小;使用聚类算法预测JVM晋升对象阈值,优化JVM配置,减少了JVM的垃圾回收暂停时间.实验结果表明,文中提出的方法能准确预测作业的内存需求,显著提升作业运行性能.

关键词：大数据、MapReduce、垃圾回收、内存分配、性能优化

所属期刊栏目：45

分类号：TP393.09(计算技术、计算机技术)

资助基金：国家科技支撑计划项目2012BAH18B05;国家自然科学基金资助项目61272447Supported by the National Science and Technology Support Planning Program of China2012BAH18B05;the National Natural Science Foundation of China61272447

在线出版日期：2017-06-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：102-111