一种基于MapReduce的最近似k对数据搜索方案

摘要：

多种应用场合需要寻找给定数据库中相似度最大的前k对数据。然而由于应用领域需要处理的数据规模呈上升趋势，计算这样的最相似k对数据，难度非常大。提出一种基于MapReduce 的最相似k对数据搜索方案，该方案首先将所有数据对分割成多个组，然后提出所有数据对分组算法和核心数据对分组算法，通过单独计算每个组中的最近似k对数据，从所有组的最近似k对数据中选择相似度最高的k对数据，进而确定最近似k对数据。最后基于合成数据和真实数据进行实验，性能评估结果表明本文MapReduce算法的有效性和可扩展性。

关键词：数据库、相似度、MapReduce、数据搜索、分组

分类号：TP311.131(计算技术、计算机技术)

资助基金：咸阳师范学院基金资助项目13XSYK054；陕西省教学改革项目13BY90

在线出版日期：2014-08-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：38-45