动态分片在线聚集

摘要：

传统的在线聚集方法为了避免执行中随机I/O导致的性能下降,假设数据本身近似随机分布于数据文件中,用顺序I/O来代替随机I/O. 数据随机分布于数据文件的假设在很多实际的应用场景中是难以成立的,从而导致查询结果产生很大误差.提出了动态数据分片在线聚集算法DDPOA(dynamic data-partitioned online aggregation),将整个数据集分片,对各个子数据集独立计算,线性组合子集结果进而得到全集最终结果,一方面降低了在线聚集对整体数据集随机分布的要求,提高了准确性,另一方面动态调整分片数量以改善I/O性能,缩短完成时间.真实系统负载上的实验表明:DDPOA与传统在线聚集相比,在完成时间相差不大的情况下准确性有了大幅提高.

关键词：数据库、近似查询、在线聚集、采样、动态分片

所属期刊栏目：47

分类号：TP311.13(计算技术、计算机技术)

资助基金：国家"八六三"高技术研究发展计划基金项目2006AA01A102

在线出版日期：2011-01-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1928-1935