配电网监测数据微批处理的血统链标记容错法

摘要：

针对分布式配电自动化系统存在数据量井喷、海量监测数据缺乏高效的分布式故障容错机制的问题,提出一种血统链标记容错新方法.利用弹性分布式数据集、微批计算的记录级容错和血统链标记序列融合处理的设计技巧,实现了分布式数据容错中血统链的追溯和条件标记的自动选择.以铁路配电网监测采集的数据为算例,搭建了4机集群的调度监控平台进行容错测试.以发生频次最高的单数据节点故障为例,测试结果表明:对于包含3×106条监测数据记录的弹性分布式数据集,血统链标记容错模型的集群CPU平均占用率波动小于1.5％,磁盘占用率下降4.2％;当迭代次数达到600、800次时,迭代运算耗时分别降低24.3％和42.9％;所提方法实现500 ms流处理延时的同时,对集群资源的使用情况也具有较好的优化效果,验证了该方法对分布式集群容错的有效性.

关键词：配电自动化系统、配电网监测数据、分布式集群、微批计算、血统链标记、流计算、容错

所属期刊栏目：39

分类号：TM73(输配电工程、电力网及电力系统)

资助基金：国家自然科学基金资助项目51567008;江西省杰出青年人才计划项目20162BCB23045;江西省自然科学基金资助项目20171BAB206044;江西省科技厅应用培育项目20181BBE58010

在线出版日期：2019-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：8-16