10.3969/j.issn.1000-7024.2014.05.036
Hadoop云平台下的聚类算法研究
为了解决在面对海量数据时机器学习算法很难在有效时间内完成规定的任务,并且很难有效地处理高维度、海量数据等问题,提出了基于Hadoop分布式平台的谱聚类算法并行化研究.利用MapReduce编程模式,将传统的谱聚类算法进行重新编写;在该平台上用Canopy算法对数据进行预处理,以达到更好的聚类效果.实验结果表明了设计的分布式聚类算法在加速比等方面有良好的性能,并且在数据伸缩率方面效果明显,改进后的算法适合处理海量数据.
海量数据、机器学习、聚类算法、谱聚类、分布式框架
35
TP393(计算技术、计算机技术)
国家自然科学基金项目61163025;内蒙古自然科学基金项目2012MS0912;内蒙古教育厅高校科研基金项目njzy12110
2014-06-12(万方平台首次上网日期,不代表论文的发表时间)
共5页
1683-1687