基于MapReduce的并行化模糊划分算法

摘要：

针对大规模项目资源库中项目资源信息无序而导致无法准确快速找出项目资源库中所需资源的问题,提出了基于MapReduce的并行化模糊聚类划分算法.该算法首先抽象原始项目资源特征属性并标准化;其次,根据标准化后的特征属性建立项目相似矩阵,运用矩阵分块思想分割矩阵;然后,利用MapReduce技术处理分块矩阵并合并结果;最后,运用阈值评判划分成若干个有序的项目组.与K-means算法和遗传算法的对比实验结果证明:该算法具有较高的准确率和查全率,并且在大规模数据计算时能够得到较高的加速比,可以有效准确地划分项目资源.

关键词：MapReduce、模糊划分、并行计算、大规模数据

所属期刊栏目：34

分类号：TP338.6(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目60970012;高等学校博士学科点专项科研博导基金资助项目20113120110008;上海教委创新重点项目13ZZ112;上海市一流学科建设项目XTKX2012;上海市工程中心建设项目GCZX14014;上海重点科技攻关项目09511501000,09220502800

在线出版日期：2015-01-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：3073-3077