Hadoop备份数据存放策略的改进

摘要：

对于默认的Hadoop备份数据存放策略来说,一旦本地的数据副本发生失效,那么就需通过远端机架上存放的备份数据来实现恢复,而对于默认的备份数据存放策略,备份数据存放节点的选择具有随机性,那么可能带来的问题是不同节点间备份数据存放不均衡,数据恢复时由于距离的因素造成内部带宽的巨大消耗.针对上述问题,提出一种改进的备份数据存放策略.该策略将节点之间的距离,节点的负载以及备份数据恢复次数纳入节点选择的考虑范围,由此计算出每个节点的匹配度,随之选出匹配度最高的节点作为远端机架间的备份数据存放的最优节点.该策略不但实现了节点间备份数据放置的负载均衡,而且兼顾了数据恢复时消耗的内部带宽,将数据副本失效次数纳入考虑,实现了经常失效数据副本的快速恢复.通过在Hadoop平台上实现所提出的改进策略,结果达到了预期的要求.

关键词：Hadoop、备份数据存放策略、内部带宽、负载均衡、热点数据

所属期刊栏目：29

分类号：TP31(计算技术、计算机技术)

资助基金：国家"863"高技术发展计划项目2006AA01Z208;江苏省高校自然科学基础研究项目06KJB520079

在线出版日期：2019-03-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：11-16