面向多表数据连接投影和连接顺序的优化方法

摘要：

多表连接运算是大数据处理中常见的运算.类似于数据库运算中常见的连接操作,多表连接运算的顺序会对计算资源和传输资源的消耗产生巨大影响.对多表连接顺序的优化是一个经典的优化问题,同时每次连接中表的投影结果大小也会影响节点间传输的数据体积,因此整体连接的顺序和每次连接的投影关系都会对连接效率产生显著的影响,而在传统的优化策略中,往往不会考虑到中间投影关系的取舍问题,以及基于中间投影关系而对最优连接策略产生的影响.针对这个问题,建立了一种连接关系索引,能够在构建优化连接策略中调整每次连接的投影关系,及时删除冗余列,减少对传输资源的消耗,同时基于投影关系的优化调整连接顺序的优化策略,从全局考量上尽可能地同时减少对传输资源和计算资源的消耗.该优化策略在Flink系统实现后进行了实验,结果表明有显著的优化效果.

关键词：大数据;连接优化;投影优化

所属期刊栏目：16

分类号：TP311.133.1(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金

在线出版日期：2022-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：106-119