HDFS中的一种数据放置策略

摘要：

将HDFS应用于云存储备份系统已引起学术界和企业界的广泛关注,但是HDFS假设集群中的节点是同构的,且在数据块的放置时采用了随机的数据放置策略,而在实际的云存储系统中节点的同构性并不理想并且随系统的运行节点的存储性能动态变化,随机选取节点的数据放置策略也可能会导致集群中数据放置的不均衡性.为此,文中综合考察了影响节点存储性能的CPU、内存、系统结构、磁盘的读写速度等因素,提出了一种对节点存储性能进行度量的方法.在数据存储时综合考虑节点的存储性能和节点与客户端的网络距离两个因素进行数据节点的选择.实验结果表明,与系统默认策略相比提出的策略不仅可以改进数据放置的负载均衡而且可以提高异构集群的数据传输速率.

关键词：HDFS、云存储、数据放置、吞吐量

分类号：TP31(计算技术、计算机技术)

在线出版日期：2013-06-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：90-92