基于图覆盖的大数据全比较数据分配算法

摘要：

在对大数据全比较问题进行分布式处理的过程中,现有的数据分配策略较少考虑比较任务和数据之间的特殊依赖关系,导致存储效率下降、任务分配不均衡.为此,提出基于图覆盖的数据分配算法.通过理论分析将大数据全比较的数据分配问题归纳为图覆盖问题,在此基础上构造图覆盖的最优解,根据特解分配数据.实验结果表明,与基于Hadoop的数据分配策略相比,该算法可确保比较任务具有100％的数据本地性,使节点之间达到负载均衡,并且提高存储节约率和整体计算性能.

关键词：分布式计算、大数据、全比较、数据分配、图覆盖

所属期刊栏目：44

分类号：TP301.6(计算技术、计算机技术)

资助基金：山西省研究生联合培养基地人才培养项目2017JD16;山西省优秀人才科技创新项目201605D211021;2016年太原理工大学教改项目24

在线出版日期：2018-11-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：17-22,27