基于内存与文件共享机制的Spark I/O性能优化

摘要：

通过对Spark采用的弹性分布式数据集及任务调度等关键技术进行分析,发现数据处理I/O时间是影响Spark计算性能的主要瓶颈.为此,研究Spark合并文件运行模式,该模式能够减少缓存文件数量,提高Spark的I/O效率,但存在内存开销较高的缺点.在此基础上,给出改进的Spark Shuffle过程,即通过设计一种使每个Mapper只生成一个缓存文件的运行模式,并且每个Mapper共享同一个内存缓冲区,从而提高I/O效率和减少内存开销.仿真结果表明,与Spark默认模式相比,该运行模式宽依赖计算过程的I/O时间缩短42.9%,可有效提高内存利用率和Spark平台运算效率.

关键词：分布式计算、Spark平台、Shuffle过程、磁盘I/O、任务调度

所属期刊栏目：43

分类号：TP316.4(计算技术、计算机技术)

资助基金：国家自然科学基金61363029;赛尔网络下一代互联网技术创新计划项目NGII20160306

在线出版日期：2017-04-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1-6