基于数据迁移策略的反压问题解决方法

摘要：

流计算应用中由于上下游数据流入流出速率不匹配常常导致数据缓冲区容量不足或溢出的反压(backpressure)问题,轻则导致数据丢失、重则导致系统崩溃,亟需好的解决方法或方案.不同于向上游传递压力以解决下游反压的已有方法,本文提出了一种基于数据迁移策略的反压问题解决方法,通过其他分支的轻载节点分散处理来解决反压问题.我们构建了基于NS-3的反压问题仿真平台,实验测试结果表明,本文方法在完成通量占比和延迟两个指标上均比Flink框架的Credit反压机制有明显改善.

关键词：分布式系统、流计算、反压问题、数据迁移、大数据

所属期刊栏目：31

分类号：TP391;TN929.5;TP273

资助基金：国家自然科学基金61672480

在线出版日期：2022-05-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：262-268