分布式可扩展数据流连接算法

摘要：

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.

关键词：数据流连接、Join-Matrix、数据划分、分布式计算

分类号：TP391(计算技术、计算机技术)

资助基金：国家863计划项目2015AA015307;国家自然科学基金重点项目61232002,61332006;国家自然科学基金61432006

在线出版日期：2016-12-05（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：81-88