易变数据流的系统资源配置方法

摘要：

大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成.当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数.然而,由于数据流的易变性,频繁改变参数配置会降低系统性能.针对该问题,提出了OrientStream+框架.设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度.最后,在Storm上实现了该资源配置框架,并进行了大量的实验.实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率.

关键词：大规模数据流管理系统、易变数据流、增量学习、模型预测、参数配置、微批处理、系统性能、异常检测

所属期刊栏目：14

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金项目;中国博士后科学基金项目

在线出版日期：2020-03-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1278-1285