一种电力设备状态监测大数据的分布式联机分析处理方法

摘要：

电力设备状态监测大数据分析是一个热点研究课题，对保障电力设备的安全稳定运行具有重要意义。联机分析处理(on-line analytical processing，OLAP)可以多角度、快速存取与分析数据，是实现电力设备状态监测大数据分析的一种重要技术手段。通过分析大数据环境下的 OLAP 技术，设计一种电力设备状态监测大数据分析平台，给出3种分布式数据分析方案，包括基于 Hive 的关系型联机分析、基于Impala 的关系型联机分析和基于 HBase 的多维联机分析。分布式关系型联机分析虽然在一定程度上满足电力企业的需求，但其数据模型中表之间频繁的连接操作，导致其出现性能瓶颈。针对分布式关系型联机分析数据模型连接操作开销大、查询速度慢等问题，提出了基于无连接层次编码的电力设备状态监测数据模型，对常规数据模型进行改进，把维表的层次信息进行编码存储到事实表中，减少连接操作，以优化性能。采用 Hive和Impala等大数据分析工具，在不同规模监测数据集上对本模型的数据加载、上卷操作、存储开销等方面进行实验测试。实验结果表明，数据加载速度约是常规模型的42%，上卷执行时间比常规数据模型缩短40%至49%，存储开销大约比常规星型模型减少37%，验证了本方法的有效性与可行性，给电力设备状态监测大数据分析带来一种新的思路。

关键词：状态监测、大数据、关系型联机分析、数据模型、层次编码

所属期刊栏目：36

分类号：TM76(输配电工程、电力网及电力系统)

资助基金：国家自然科学基金资助项目61074078。 Project Supported by National Natural Science Foundation of China 61074078．

在线出版日期：2016-10-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：5111-5121