采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案

摘要：

针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案.通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析.Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的.方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性.通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率.

关键词：电能质量、PQDIF文件、Map-Reduce模型、海量数据解析、Hadoop

所属期刊栏目：38

分类号：TM721(输配电工程、电力网及电力系统)

在线出版日期：2014-08-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1705-1711