配电网监测数据的分布式Map压缩-查询技术

摘要：

针对配电自动化中大量电力监测数据的处理问题,提出了回避聚合操作的配电网监测数据分布式Map压缩-查询新方法.通过将监测数据分布式Map压缩存储,利用HQL查询引擎及压缩接口将分布式Map压缩应用到连接查询的混洗阶段中,减小传递到查询聚合端的数据量,提高压缩数据的查询速度,并推导了时效性的相关公式.以北京某动车段10 kV电力远动监控系统的实测数据为例,搭建了四节点测试集群.压缩导入对比测试表明,分布式Map压缩速度快于分布式Reduce压缩,分布式Map的Map_Deflate压缩处理时间比分布式Reduce Deflate减少了45.3％;压缩-查询测试表明,当数据量为2×107记录级时,分布式Map的Map_LZO格式压缩-查询耗时大幅降低,比混洗阶段不压缩-查询时减少了31.6％,验证了分布式Map压缩对加速查询的时效性.

关键词：配电网、大数据、集群平台、分布式压缩、压缩-查询

所属期刊栏目：37

分类号：TM727;TP311(输配电工程、电力网及电力系统)

资助基金：国家自然科学基金资助项目51567008;江西省杰出青年人才计划项目20162BCB23045;江西省自然科学基金资助项目20161BAB206156,20171BAB206044.Project supported by the National Natural Science Foundation of China51567008;the Outstanding Youth Talent Support Project of Jiangxi Province20162BCB23045;the Natural Science Foundation of Jiangxi Province20161BAB206156,20171BAB206044

在线出版日期：2018-01-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：192-199