基于Spark的DA算法并行化研究

摘要：

在对大规模数据进行蜻蜓算法优化时,由于要计算的维度过多,迭代次数过大,从而耗费大量运算时间,而基于Spark分布式计算可以减少大数据运算的耗时.将DA算法在Spark分布式计算平台下进行并行计算,把蜻蜓种群被分配到各个节点,每节点中蜻蜓个体信息通过多线程并行更新,然后共享全局最优解,从而提高大规模数据优化的运行速度.最后仿真实验的验证是由4个测试函数进行测试,验证结果显示:在保证正确率的前提下,基于Spark的DA算法在对大规模数据优化的计算用用时最少.

关键词：Spark、DA算法、并行化、大规模数据

所属期刊栏目：33

分类号：TP301.6;TP18(计算技术、计算机技术)

资助基金：安徽省高等学校自然科学研究项目;安徽省社会科学联合会课题

在线出版日期：2020-03-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：66-69