基于Apache Flink的RDF流数据查询

摘要：

目前成熟的RDF流处理(RDF Stream Processing,RSP)系统由于集中式的设计而缺乏并行处理特性,因此在查询处理大量传入的RDF流数据时,均无法实现高吞吐和低延迟.为提高查询性能,本文对RSP查询过程和Flink流计算结构进行研究,设计数据源、滤器、多路分区连接和投影4个逻辑操作符,并设计一种多流连接(Multi-Stream Join,MSJ)算法用于生成具有并行性的有向无环图的逻辑查询计划,最后以大数据流处理平台Apache Flink为底层实现逻辑操作符和逻辑查询计划.使用真实数据集SRBench和模拟数据集LUBMs进行实验验证.结果表明,与最成熟的系统C-SPARQL、CQELS相比,单机吞吐量增长高达10倍,5台机器集群的吞吐量增长高达28倍,同时在延时方面达到了毫秒级;在查询性能方面实现了处理大量RDF流数据时吞吐量的提高和延时的降低.

关键词：RDF流、并行处理、逻辑操作符、多流连接、Apache Flink

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目;广州市大数据智能教育重点实验室

在线出版日期：2020-12-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：47-55