10.16208/j.issn1000-7024.2018.05.020
Hadoop中改进的共享式存储设备设计
针对将Hadoop迁移到虚拟化环境中不能充分发挥其性能优势这一问题,设计一种共享式存储设备StoreApp.StoreApp主机将映射任务生成的中间数据放到存储节点中,实现存储与计算相分离;设计HDFS预取算法来处理数据读取失准现象;StoreApp采用一种集群规模自动调整技术确定不同作业的最优集群规模,通过动态改变每个主机上计算节点的数量实现作业完成时间的最小化.仿真结果表明,与传统的未将计算和存储相分离的Hadoop方案和典型的Themis方案相比,StoreApp可显著提升HDFS吞吐量并降低作业完成时间.
Hadoop集群、共享式存储设备、最优集群规模、吞吐量、作业完成时间
39
TP393(计算技术、计算机技术)
广西教育厅科研基金项目KY2015YB314
2018-09-29(万方平台首次上网日期,不代表论文的发表时间)
共7页
1319-1325