大规模数据密集型系统中的去重查询优化

摘要：

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升.

关键词：去重查询、数据划分、大规模数据密集型系统、异步查询、并行查询引擎

所属期刊栏目：47

分类号：TP311.13(计算技术、计算机技术)

资助基金：国家"八六三"高技术研究发展计划基金项目2007AA010505

在线出版日期：2010-06-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：581-588