基于MapReduce框架的海量数据相似性连接研究进展

摘要：

海量数据相似性连接作为海量数据处理的基本操作,在文本聚类、剽窃检测、实体解析等研究领域具有重要作用.另一方面,MapReduce编程模型因为具有良好的可扩放性、容错性和易用性,被广泛地应用于海量数据处理.因此,基于MapReduce框架的海量数据相似性连接查询技术成为海量数据处理领域的热点问题之一.首先,概括了海量数据固有特点和MapReduce编程框架的缺陷给现有相似性连接查询技术带来的巨大挑战;其次,提出了海量数据相似性连接的定义,按3种不同的分类标准对其进行了分类;接着,重点分析了集合、字符串和向量数据类型的海量相似性连接查询最新技术,并从效率和适用范围等方面分别对这些技术进行了比较;最后,讨论了海量数据相似性连接查询技术亟待解决的关键问题,并提出了一些有前景的解决方案.

关键词：海量数据、相似性连接、MapReduce、Top-k

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点基础研究发展计划973项目2012CB316201;国家自然科学基金61272179,61173028;教育部博士点基金20120042110028;教育部-英特尔信息技术专项科研基金MOE-INTEL-2012-06

在线出版日期：2015-02-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：1-5,27