MapReduce框架下结合分布式编码计算的容错算法

摘要：

随着分布式系统规模扩大及计算复杂度增加,分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势.结合分布式编码计算和副本冗余技术,提出一种新的容错算法.map节点应用分布式编码计算的思想,将数据冗余分配至多个计算节点创建编码中间结果,降低计算节点在shuffle阶段的数据传输量.reduce节点通过对接收到的编码中间结果进行解码,从而验证中间结果的正确性并得到最终计算结果.实验结果表明,在基于MapReduce的分布式计算框架下,与三模冗余和两阶段三模冗余容错算法相比,该算法在完成容错计算的同时能降低计算过程中的通信开销和平均故障修复时间,并提高分布式系统的可用性和可靠性.

关键词：分布式系统、分布式计算、容错算法、分布式编码计算、三模冗余

所属期刊栏目：47

分类号：TP338.8(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目;国家重点研发计划

在线出版日期：2021-05-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：173-179