基于Spark平台的参数优化研究现状

摘要：

近年来,为迎合大数据时代的需求,诞生了一批大数据处理平台,包括Hadoop,Spark,Storm等,Spark以其独特的优势在此中最受欢迎.尽管Spark的应用得到了大力推广,其性能还存在严重问题,很多学者正致力于寻找提升性能的有效途径.针对这一问题,他们从优化相关配置参数的角度出发,分析并总结了参数优化对Spark平台性能的重要影响以及目前国内外的Spark参数优化技术.最后,归纳了Spark参数优化现存的主要问题,并提出了下一步的研究方向.

关键词：大数据、Spark、性能、配置参数、参数优化

所属期刊栏目：15

分类号：TP302(计算技术、计算机技术)

在线出版日期：2019-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：11-13