面向大数据应用的多层次混合式并行方法

摘要：

基于很多大数据应用存在对数据进行多种并行处理的需求,提出两层混合式并行方法,即执行单元的混合并行和计算模型的混合并行.通过在同一个计算节点上执行单元的混合并行,充分挖掘基础设施的计算能力,从而提高数据处理性能;采用在同一个执行引擎中集成多个计算模型的并行方法,以适合应用多样异质处理模式.不同的混合并行方法可以契合不同的数据和计算特点,以满足不同的并行目标.介绍了混合式并行方法的基本思想,并以前期开发的并行编程模型BSPCloud为基础,阐述了进程和线程混合并行、BSP和MapReduce混合并行的主要实现机制.

关键词：混合并行、编程模型、整体同步并行(bulk synchronous parallel、BSP)、MapReduce

所属期刊栏目：22

分类号：TP391(计算技术、计算机技术)

资助基金：上海市科委科研计划资助项目15DZ1100305

在线出版日期：2016-03-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：69-80