基于二维划分的杰卡德相似系数批量计算效率优化

摘要：

随着互联网用户及内容的指数级增长,大规模数据场景下的杰卡德相似系数计算对算法的效率提出了更高的要求.为提高算法的执行效率,对MapReduce架构下的算法执行缺陷进行了分析,结合Spark适用于迭代型及交互型任务的特点,基于二维划分算法将算法从MapReduce平台移植到Spark平台;并通过参数调整、内存优化等方法进一步提高了算法的执行效率.两组数据集分别在3组不同规模的集群上的实验结果表明,与MapReduce相比,Spark平台下的算法执行效率提高了4倍以上,能耗效率提升了3倍以上.

关键词：绿色计算、MapReduce、任务调度、温度感知

所属期刊栏目：44

分类号：TP393.09(计算技术、计算机技术)

资助基金：国家自然科学基金项目61562078,61262088,71261025;新疆财经大学博士启动基金2015BS007

在线出版日期：2017-04-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：219-225