大数据连接算法分析

摘要：

大数据主要有四个典型特征：海量、多样性、高速、易变。连接算法优化是大数据热点问题之一，2010年以来，数据库顶级会议ICDE，Sigmod和VLDB每年都有专门的文章研究基于MapReduce的连接算法优化。依据连接条件主要可以分为等值连接法、数据倾斜时连接法和任意连接法，分析三种数据连接方法，介绍三种连接算法设计和优化方式，并针对基于BloomFilter等值连接设计和优化做了和二阶段法和三阶段法的实验分析。两表等值连接，数据量较大时，采用基于BloomFilter等值连接方式会在一定范围减少算法执行时间，提高数据连接效率。

关键词：云计算、大数据集、等值连接、任意连接

分类号：TP393(计算技术、计算机技术)

资助基金：江西省教育科学“十二五”规划课题13YB137；九江学院校级科研课题2014KJYB031

在线出版日期：2015-07-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：219-220,229