Spark并行计算框架的内存优化

摘要：

以Spark为代表的集群并行计算框架在大数据、云计算浪潮中广泛应用,其运行性能优化是应用的关键.为提高运行性能,分析了Spark框架执行流程、内存管理机制,结合Spark和JVM两个层面内存管理的特点,提出3条优化策略:(1)通过序列化和压缩方式减少缓存数据大小,使得GC消耗降低,提升性能;(2)在一定范围内减少运行内存大小,用重算代替缓存,可以提升性能;(3)配置适当的JVM新生代和老生代的比例、Spark计算与缓存空间比例等内存分配参数,能够较大程度地提升性能.实验结果表明,序列化和压缩能够减少缓存占用空间42％;提交运行内存由1 000 MB减少到800MB时,性能增加21％;优化内存配比,性能比默认参数有10％～30％的提升.

关键词：Spark、性能优化、堆内存

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：国家科技支撑计划2014BAH41B00;国家自然科学基金U1405254,U1536207

在线出版日期：2018-06-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：587-593