多层一致性哈希的HDFS副本放置策略

摘要：

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性，但系统运行一段时间后会出现数据分布不均衡的情况。虽然使用Balancer程序可以对数据进行重分布，但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性。采用多层一致性哈希的副本放置策略，首先通过一致性哈希算法获得数据副本对应的机架位置，再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置。一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术，提高了查找的效率和分布的均衡性。该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高，并且具有数据自适应性的能力。

关键词：一致性哈希、HDFS、副本放置、存储均衡、自适应性

分类号：TP3;TN9

在线出版日期：2015-04-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：127-133