分布式流处理系统中基于位置感知的操作共享优化算法

摘要：

针对流数据规模大、基本数据处理操作有重叠等特点，提出一种基于位置感知的操作共享优化算法。假设操作预先分配了计算节点资源，在保证流处理实时性和动态性的基础上，利用多个流数据作业间拓扑结构和操作功能的相似性，基于 DAG 图匹配方法建立操作共享备选集；以输出带宽为约束条件，建立一个操作共享收益优化问题模型，解决了流处理过程中传统操作共享方法对集群的输出带宽影响考虑不充分的问题。仿真实验结果表明，该方法较原有算法更充分地考虑了计算节点制约因素，并提高了共享收益，从而可有效地节省系统计算资源。

关键词：流数据、分布式流处理、操作共享、共享优化

所属期刊栏目：54

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61170004;国家重点研发计划高性能计算专项基金2016YFB0201503;国家深部探测技术与实验研究专项基金SinoProbe-09-01;教育部高等学校博士学科点专项科研基金20130061110052;吉林省科技发展计划重点科技攻关项目20140204013GX

在线出版日期：2016-10-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1047-1054