MapReduce环境下的并行Dwarf立方构建

摘要：

针对数据密集型应用,提出了一种基于MapReduce框架的并行Dwarf数据立方构建算法.算法将传统Dwarf立方等价分割为多个独立的子Dwarf立方,采用MapReduce架构,实现了Dwarf立方的并行构建、查询和更新.实验证明,并行Dwarf算法一方面结合了MapReduce框架的并行性和高可扩展性,另一方面结合了Dwarf立方结构的数据高压缩性及数据自索引性.并行Dwarf立方既实现了数据立方的高压缩存储,提供了快速的构造和增量更新操作,又克服了MapReduce机制没有索引的劣势,实现了数据立方上的快速查询操作.

关键词：数据密集计算、MapReduce、Dwarf、数据立方

所属期刊栏目：5

分类号：TP311(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No.60773222

在线出版日期：2011-09-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：398-409