基于Spark和图论的电力脏数据智能动态检测方法

摘要：

该文针对海量、高维电力数据中的脏数据检测存在的问题,提出了基于计算引擎(Spark)和图论的脏数据智能动态检测方法.首先,利用Simhash算法,将高维数据转换为低维二进制串(指纹);其次,设计基于图论的指纹转换策略,完成指纹在极坐标下的动态映射,并基于普聚类实现脏数据的智能识别;最后,设计基于Spark的脏数据检测策略,实现海量高维电力数据中脏数据的有效检测,并利用SCADA系统的负荷数据进行实例分析,证明了该方法具有实用性和高效性的特点,并具有良好的伸缩性和加速比.

关键词：Spark、电力数据、海量数据、图论分析、脏数据检测

分类号：TM715(输配电工程、电力网及电力系统)

资助基金：互联网资产排查及安全感知平台研究与应用项目“互联网资产排查及安全感知平台研究与应用”项目编号:GXKJXM20180828

在线出版日期：2021-04-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：21-23