MapReduce和Spark两种框架下的大数据极限学习机比较研究

摘要：

对MapReduce和Spark两种框架下的大数据极限学习机进行了比较研究.具体地,从程序运行时间、任务的同步次数、分类器的泛化性能和需要读写的文件数目4个方面进行了比较.得出了如下结论:1)在程序运行时间上,基于Spark的大数据极限学习机明显优于MapReduce的大数据极限学习机,通过理论分析以及对比不同平台的并行指标speedUp和sizeUp证明了这一结论,而且随着隐含层节点个数的增多,这一优势越发明显;2)在任务的同步次数上,基于MapReduce大数据极限学习机的性能优于基于Spark大数据极限学习机;3)在分类器的泛化性能上,基于MapReduce的大数据极限学习机与基于Spark大数据极限学习机并无本质的差别;4)在需要读写的文件数目上,基于MapReduce的大数据极限学习机需要读写的文件数目与Map任务个数有关,而基于Spark的大数据极限学习机需要读写的文件数目与分区数有关.这些结论对从事相关研究的人员,特别是从事大数据机器学习研究的人员具有较高的参考价值.

关键词：大数据、机器学习、极限学习机、并行计算、任务同步

所属期刊栏目：41

分类号：T181

资助基金：国家自然科学基金项目;河北省科技计划重点研发项目;河北省自然科学基金项目;河北大学研究生创新资助项目;河北省研究生专业学位教学案例库建设项目

在线出版日期：2020-07-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1381-1388