基于Spark的时态查询扩展与时态索引优化研究

摘要：

时空数据库和基于集群计算的时间分析工具大多基于外存,将其应用在大数据处理场景下系统性能将迅速降低.为此,基于Spark构建一个易用且高可扩展的时态大数据查询分析系统.通过扩展Spark SQL解析器,使其能够支持类SQL形式的时态操作,运用SIMBA开源项目的方法,引入全局过滤和局部时态索引2种优化策略,使得系统能以高吞吐量及低延迟执行时态查询操作.基于时态查询效率的评估实验结果表明,在不同影响参数下,该系统的时态查询性能优于原生的Spark SQL查询处理方案.

关键词：时态大数据、Spark系统、SparkSQL组件、时态查询、时态索引、高吞吐量、低延迟

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：安徽省高校自然科学研究重点项目"基于关键字的大规模地理数据查询方法研究"KJ2015A310

在线出版日期：2017-08-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：22-28,37