基于ANN的改进Spark系统在空管大数据处理中的应用

摘要：

针对Spark系统参数量巨大且手动调整参数具有耗时、效率低下等问题,提出一种基于人工神经网络(Artificial Neural Network,ANN)的方法来对Spark系统的配置参数进行自动调整,保障在处理空管大数据时的速度和性能.使用Dell PowerEdge T430服务器测试了空管大数据中5种常用的不同大小的数据集,以验证该方法.研究表明,与默认参数配置相比,该方法可将Spark系统的性能平均提高约35％.随着数据集大小的增加,性能呈现进一步提高的趋势.该方法可以有效地保障Spark系统的参数调整效率,达到高效处理空管大数据的目的.

关键词：大数据、Spark、人工神经网络、数据处理、空管

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目;民航局安全能力建设项目;民航华东空管局科技计划基金资助项目;中国民用航空飞行学院面上基金资助项目

在线出版日期：2021-01-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：78-82,89