分布式流数据加载和查询技术优化

摘要：

分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展.综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上.在SparkStreaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询.测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势.

关键词：大数据、流处理系统、分布式流查询、查询优化、Kafka快速加载

所属期刊栏目：44

分类号：TP274(自动化技术及设备)

资助基金：国家自然科学基金61271275,61202067

在线出版日期：2017-06-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：172-177