10.13335/j.1000-3673.pst.2015.11.031
容错存储的电力系统监测数据查询优化技术
针对电力系统监测中大量时间序列数据存储和高效查询的问题,利用云计算框架和HQL(Hive SQL)查询引擎,提出一种容错存储的分级分区查询优化方法。通过副本机制设计电力监测数据容错存储模式,综合运用了HQL查询计划生成、向Map/Reduce的转化和分区剪枝处理,进行了加载和查询优化测试。结果表明,当加载的监测数据记录超过200万条、查询数据记录超过380万条后,HQL的处理性能将远超SQL,数据量越大,优势越明显。分级分区查询测试结果表明,在查询耗时相近的条件下,分区查询的数据量可以扩大2个数量级,且二级分区比一级分区更高效,验证了查询优化技术可有效提高电力系统监测信息查询处理的效率,为大量电力监测数据处理提供了一种查询优化方法。
电力监测、云计算、容错、查询优化
TM73(输配电工程、电力网及电力系统)
国家自然科学基金项目51267005。Project Supported by National Natural Science Foundation of China 51267005
2015-11-25(万方平台首次上网日期,不代表论文的发表时间)
共7页
3221-3227