对数似然相似度算法的MapReduce并行化实现

摘要：

为提高Mahout中协同过滤算法处理大数据的能力，对云计算平台进行研究，提出一种基于MapReduce模型计算相似度的方法。通过设计4个MapReduce任务，实现对数似然相似度算法的并行化；结合算法自身的特点，采用复合键对和同现矩阵的思想将大量小键值对合并为大键值对，以减少中间计算量和通信开销。实验结果表明，和Mahout中的单机版相似度算法相比，基于Hadoop平台的对数似然相似度算法具有很好的加速比和可扩展性，能够提升推荐算法的效率。

关键词：云计算、MapReduce编程模型、协同过滤、对数似然相似度、同现矩阵、并行化

分类号：TP312(计算技术、计算机技术)

资助基金：国家自然科学基金重点项目612724420；江苏省973基金项目BK2011022

在线出版日期：2015-05-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1233-1238