HDFS异构集群中的分级存储调度机制

摘要：

大部分存储集群构建时可能包含有遗留设备及新购置设备,这些设备在存储性能方面存在较大差异.采用HDFS默认的机架感知存储策略时,可能使访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率.针对以上问题,提出一种分级存储调度机制.在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘I/O等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别.根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度.同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整.实验结果表明,本文提出的分级存储调度机制可以在HDFS异构集群中提高数据的访问效率,优化集群性能.

关键词：云存储、HDFS、异构集群、分级存储、存储调度

所属期刊栏目：38

分类号：TP301(计算技术、计算机技术)

资助基金：北京市教育委员会科技计划重点项目KZ201310009009;北京市属高等学校创新团队建设与教师职业发展计划基金项目IDHT20130502

在线出版日期：2017-08-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：29-34