Spark任务间消息传递方法研究

摘要：

当今诸多工程问题及科学研究中,都面临着大数据处理和高性能计算任务的双重挑战.基于内存计算技术提出的分布式处理框架Spark已在学术和工业界得到了广泛的应用,但其MapReduce-like的编程模型在任务间无法进行通信,导致科学计算中的数值算法无法进行高效实现.针对上述问题,研究了一种Spark内存计算与MPI消息传递模型相结合的解决方案,充分利用内存访问存取快速的特点和MPI的多种高性能通信机制,解决了Spark编程模型表达能力不足的缺陷,同时为MPI提供了面向数据的DAG计算方式.通过对Spark内部的运行环境和调度系统进行修改,使得MPI在Spark中得以无缝融合,为高性能计算和大数据任务提供了一个统一的内存计算系统.测试结果表明,在数值计算和迭代算法上相比Spark至少有50％的性能提升.

关键词：Spark、MPI、科学计算、内存计算、迭代算法

所属期刊栏目：58

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金

在线出版日期：2022-11-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：91-97