一种在复杂环境中支持容错的高性能规约框架

摘要：

规约是并行应用最常用的集合通信操作之一,现存规约算法存在2方面主要问题.第一,不适应复杂环境,当计算环境出现干扰时,规约效率显著降低.第二,不支持容错,当节点发生故障时,规约被迫中断.针对上述问题,提出一种基于任务并行的高性能分布式规约框架.首先,该框架将规约拆分为一系列独立的计算任务,使用任务调度器以保证就绪任务被优先调度到具有较高性能的节点上执行,从而有效避免了慢节点对整体性能的影响.其次,该框架基于规约数据的可靠性存储和故障侦听机制,以任务为粒度,可在应用不退出的前提下实现故障恢复.在复杂环境中的实验结果表明,分布式规约框架具有高可靠性,与现有规约算法相比,规约性能最高提升了2.2倍,并发规约性能最高提升了4倍.

关键词：规约、集合通信、复杂环境、干扰、容错、并行计算

所属期刊栏目：44

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家自然科学基金;中国石油天然气集团公司科学研究与技术开发项目

在线出版日期：2018-11-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2115-2124