Hadoop集群参数的自动调优

摘要：

Hadoop平台作为一个开源的在集群上运行大型数据库处理的框架受到了各个公司的青睐,然而要在Hadoop集群上运行一个作业必须手动设置将近200多个复杂的参数,如何设置这些参数对普通用户来说是非常困难的,该文针对这个问题提出了一种基于策略选择的抽样算法,通过在Hadoop中加入策略感知层,实验结果表明改进的Hadoop框架可以自动优化设置这些复杂的参数,从而提高整个系统的运行效率.

关键词：Hadoop、抽样算法、策略选择、感知层

所属期刊栏目：8

分类号：TP311(计算技术、计算机技术)

在线出版日期：2012-08-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：2768-2772