基于支持向量机的HDFS副本放置改进策略

摘要：

为实现超大规模数据的存储并提高容错性,Hadoop分布式文件系统(HDFS)采用一种机架感知的多副本放置策略.但在放置过程中没有综合考虑各节点服务器的差异性,导致集群出现负载失衡.由于放置时采用随机方式,造成节点之间的网络距离过长,使得传输数据会消耗大量时间.针对以上问题,提出一种基于SVM的副本放置策略.通过综合考虑节点负载情况、节点硬件性能、节点网络距离为副本找到最佳的放置节点.实验结果表明,与HDFS原有的副本放置策略相比,该策略能更有效地实现负载均衡.

关键词：支持向量机、云存储、副本放置策略、分布式文件系统、负载均衡、机架感知

所属期刊栏目：41

分类号：TP301.6(计算技术、计算机技术)

在线出版日期：2015-12-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：114-119