基于压缩直方图的劣质数据库上相似连接结果大小估计

摘要：

现代数据管理系统普遍存在劣质数据,影响了数据质量,给数据管理带来了新的挑战.已经有不少管理劣质数据的数据模型,实体关系数据模型就是其中一种,该模型允许劣质数据的存在,并给出衡量数据质量的方法,并且可根据对结果质量的需求给出查询结果.鉴于该模型的特点,传统的估计查询代价的优化方法很难再适用,需要新的代价估计技术.本文提出了一种新的估计连接结果大小的方法.使用加权的最小哈希函数获得某一属性的最小哈希签名,这使得属性具有相同维数,便于利用直方图进行快速估计；然后建立其直方图,最后使用改进的离散余弦变换压缩直方图信息,使用压缩信息直接进行代价估计,这使得即使对于高维数据也能保证低错误率和低存储代价.此外,此方法可以很好的支持动态数据更新,消除周期性重建直方图的时间开销.

关键词：劣质数据、连接估计、最小哈希签名、压缩直方图

所属期刊栏目：33

分类号：TP311(计算技术、计算机技术)

资助基金：国家"九七三"重点基础研究发展计划项目2012CB316200;国家自然科学基金项目61003046;教育部博士点基金项目20102302120054

在线出版日期：2013-01-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：2113-2120