配电网监测大数据的Impala快速查询技术

摘要：

针对目前配电网监测大数据SQL交互查询速度慢的问题,对配电网监测数据类型进行归类整理,利用Im-pala分布式处理工具重点研究一种监测大数据的M PP快速查询技术.通过协调节点将查询计划解析为执行计划树,将计划树的片段分配至多个从节点并行执行,各从节点将中间结果按执行计划树流式传递回协调节点,再通过多机集群的全内存并行执行加速查询.选用四机监控系统集群为例进行加载测试和查询性能测试,结果表明:相较关系数据库,M PP大数据快速查询技术大幅提高了数据加载速度.对北京某动车段配电监测的千万级数据记录,关系数据库和Hive数据仓库至少都需94 s以上,而MPP快速查询仅需约320 ms,查询性能提升近3个数量级,大幅提高了监测大数据的查询处理速度.

关键词：配电网大数据、分布式存储、Impala、MPP、快速查询

所属期刊栏目：33

分类号：TM73;TP274(输配电工程、电力网及电力系统)

资助基金：国家自然科学基金51267005,51567008;江西省自然科学基金20161BAB206156;江西省杰出青年人才计划项目20162BCB23045

在线出版日期：2018-08-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：148-156