异构Hadoop集群下自适应平衡数据存储的大数据放置策略

摘要：

Hadoop是一种处理和存储大数据的平台,针对异构Hadoop集群下采用均等数据分配方法易降低系统计算性能的问题,提出一种自适应平衡数据存储的大数据放置策略.根据异构集群中各节点的计算能力比例,将数据分配到节点中.在任务处理过程中,根据反馈的任务完成时间信息,动态更新节点的能力比例,自适应调整数据分配,从而使异构Ha-doop集群中各节点处理数据的时间大致相同,降低节点之间的数据移动量,提高了节点利用率.实验结果表明,该策略能够有效缩减任务完成时间,提高了系统的整体性能.

关键词：异构Hadoop集群、大数据放置、数据存储平台、平衡数据存储

所属期刊栏目：39

分类号：TN915-34;TP393

资助基金：河南省科技厅软科学研究计划项目142400411213;河南省高等学校重点科研项目15A520118;河南省教育厅科技重点项目14B520014

在线出版日期：2016-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：49-53,57