基于Spark和AMPSO的并行深度卷积神经网络优化算法

摘要：

针对并行DCNN算法在大数据环境下存在冗余参数过多、收敛速度慢、容易陷入局部最优和并行效率低的问题,提出了基于Spark和AMPSO的并行深度卷积神经网络优化算法PDCNN-SAMPSO.首先,该算法设计了基于卷积核重要性和相似度的卷积核剪枝策略(KP-IS),通过剪枝模型中冗余的卷积核,解决了冗余参数过多的问题;接着,提出了基于自适应变异粒子群优化算法的模型并行训练策略(MPT-AMPSO),通过使用 自适应变异的粒子群优化算法(AMPSO)初始化模型参数,解决了并行DCNN算法收敛速度慢和容易陷入局部最优的问题;最后,提出了基于节点性能的动态负载均衡策略(DLBNP),通过均衡集群中各节点负载,解决了集群并行效率低的问题.实验表明,当选取8个计算节点处理CompCars数据集时,PDCNN-SAMPSO较Dis-CNN、DS-DCNN、CLR-Distributed-CNN、RS-DCNN的运行时间分别 降低了 22％、30％、37％和27％,加速比分别高出了 1.707、1.424、1.859、0.922,top-1 准确率分别高出了 4.01％、4.89％、2.42％、5.94％,表明 PDCNN-AMPSO 在大数据环境下具有良好的分类性能,适用于大数据环境下DCNN模型的并行训练.

关键词：并行DCNN算法、Spark框架、PDCNN-SAMPSO算法、负载均衡策略

所属期刊栏目：40

分类号：TP391(计算技术、计算机技术)

资助基金：科技创新新一代人工智能重大项目;广东省重点提升项目;韶关市科技计划资助项目

在线出版日期：2023-10-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2957-2966