基于Spark的并行极速神经网络

摘要：

随着数据规模的快速膨胀,基于单机的串行神经网络结构面临着巨大的计算挑战,难以满足现实应用中的扩展需求.在极速学习机(extreme learning machine,ELM)基础上,基于Spark并行框架提出一种并行的极速神经网络学习方法,以Spark平台特有的RDD高效数据集管理机制对其进行封装,并将大规模数据中的高复杂度矩阵计算进行并行化,实现ELM加速求解,仅需一组Map和Reduce操作即可完成算法的训练.在大量真实数据集上的实验结果表明,基于Spark的并行ELM算法相较于串行ELM获得了显著的性能提升.

关键词：极速学习机、神经网络、并行化ELM算法、Spark

所属期刊栏目：37

分类号：TP389.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61572399;陕西省科技新星资助项目2013KJXX-29

在线出版日期：2016-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：47-56