基于Hadoop的云平台参数优化

摘要：

作为中间件的软件框架,Hadoop可以对大量数据进行分布式处理.基于Hadoop的云平台参数的优化可以提高系统的处理性能.使用VMware虚拟机技术在单机上配置多个虚拟计算机节点,实现满足实验环境的Hadoop完全分布式平台,并且进行集群测试.对Hadoop平台的相关参数进行优化配置,利用TeraSort程序对参数优化前后进行了对比测试,分析了测试结果.实验表明,参数优化对Hadoop平台性能具有较大的影响.在实际工程的全局部署之前,可利用或借鉴本方法,以应用环境为基础,充分考虑硬件配置情况、集群数量和数据大小等因素,进行样本的调优实验,获得最优的云平台组合参数.

关键词：Hadoop、MapReduce、参数优化、虚拟机

所属期刊栏目：35

分类号：TP311(计算技术、计算机技术)

资助基金：辽宁省科技厅自然科学基金资助项目2015020055

在线出版日期：2017-07-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：234-239