基于Spark的极限学习机算法并行化研究

摘要：

极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢.在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现.为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法.实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显.

关键词：极限学习机、并行化、Spark、RDD、Hadoop、MapReduce

所属期刊栏目：44

分类号：TP18(自动化基础理论)

资助基金：国家重点研发计划:矿山安全生产物联网关键技术与装备研发2017YFC0804400,2017YFC0804401;国家自然科学基金项目61471361,41302203

在线出版日期：2018-04-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：33-37