Hadoop 副本放置策略

摘要：

分布式文件系统（ Hdfs）采用随机的副本放置策略使得系统在运行一段时间后会出现数据分布不均衡的情况，从而降低数据的可靠性和读取速率。为解决Hdfs默认副本放置策略存在的问题，对Hdfs副本放置策略进行改进：在副本放置选择时优先考虑存储使用率低的节点。模拟实验一测试了机架数目对于算法的影响，结果显示改进后的副本放置策略中，机架数目对集群的均衡性影响很小，显示出较好的均衡性。模拟实验二测试了随着写入数据的增加，比较了使用改进前后的副本放置策略集群中节点使用率的标准差，证实了改进后的副本放置策略在存储均衡方面较原放置策略有着更好的表现。

关键词：云存储、Hdfs、副本放置、存储均衡、存储节点

分类号：TP399(计算技术、计算机技术)

资助基金：天津市滨海新区科技项目资助项目12ZCDZGX46700、13ZCZDGX02500．

在线出版日期：2014-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：489-496