10.16208/j.issn1000-7024.2020.05.013
基于Flink的任务调度策略
针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种Flink环境下的任务调度策略.通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销.实验结果表明,该算法与Flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能.
流式计算、Flink、关键路径、通信开销、任务调度
41
TP399(计算技术、计算机技术)
国家自然科学基金项目;新疆维吾尔自治区自然科学基金项目
2020-05-28(万方平台首次上网日期,不代表论文的发表时间)
共8页
1280-1287