海量COMTRADE数据并行解析算法

摘要：

针对电力系统暂态监测数据向海量化发展的趋势,以及对各种串行编程分析软件造成的计算压力,研究了一种基于多核的、采用流水线设计思想的海量电力系统暂态数据交换通用格式(COMTRADE)数据文件并行解析算法.在面向二进制格式的并行解析算法中,采用了2阶段的流水线步骤:第1阶段为文件读取;第2阶段为多线程解析.在面向美国标准信息交换码(ASCII)格式的并行解析算法中,采用了3阶段的流水线步骤:前2个阶段与二进制格式的并行解析算法一样,第3阶段为块边缘解析,打破了传统的串行文本解析算法.算法通过有效利用以往被忽视的数据文件中的序号信息,大幅提升了并行解析的并行度.试验证明此算法可获得相当高的加速比,并且可随着CPU核数的增加和COMTRADE数据文件的加大获得线性加速比.

关键词：海量数据、暂态数据交换通用格式(COMTRADE)、多核、流水线、并行解析、电力系统

所属期刊栏目：33

分类号：TM734(输配电工程、电力网及电力系统)

在线出版日期：2011-12-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：62-66