基于递归随机抽样的Hadoop配置优化

摘要：

Hadoop平台目前有近200个配置参数,对这些参数进行合理配置能提高系统性能.针对Hadoop参数配置的优化问题,提出一种基于递归随机抽样的黑盒优化策略.利用随机抽样的初始高效性,通过不断调整样本空间进行递归随机抽样,从而快速搜索到近似的全局最优配置.实验结果表明,与传统配置方法相比,应用黑盒优化策略的配置方法可提高14％ ～ 25％的Hadoop作业处理速度,且具有较好的稳定性和可靠性.

关键词：Hadoop平台、黑盒优化、粒子群算法、模拟退火算法、递归随机抽样

所属期刊栏目：42

分类号：TP302(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61472256,61170277;上海市教委科研创新基金资助重点项目12zz137;上海市科委科技创新基金资助项目13511505303;上海市一流学科建设基金资助项目S1201YLSK

在线出版日期：2016-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：26-32