异构环境中HDFS数据块调度算法的设计与实现

摘要：

针对Hadoop分布式文件系统(HDFS)的写性能在执行效率上的不足,提出一种在节点性能异构环境中对HDFS数据块进行并发传输的调度算法.该算法实时监控HDFS集群中每个节点的资源状态和内存缓存队列,动态地将接收节点与转发节点进行配对传输,使全系统节点的网卡和磁盘并发工作,缩短了所有副本写入分布式文件系统的时间.将数据写入磁盘后请求下一个数据块,保证数据安全性,同时也使得各个节点获得与自身性能相匹配的副本数,使性能异构的系统能达到较高的写入速度.性能测试结果表明,使用该算法的分布式文件系统的写入性能较原始的HDFS提高了1倍.

关键词：异构、Hadoop分布式文件系统、并发、数据块、调度

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：国家电网公司科技项目"超大规模电网调控系统集群化关键技术研究"

在线出版日期：2017-09-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：82-89