基于Spark框架的电力大数据清洗模型

摘要：

针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的电力大数据清洗模型.首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正.通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性.

关键词：电力大数据、数据清洗、异常识别、异常修正、Spark框架

所属期刊栏目：54

分类号：TM93

资助基金：国家自然科学基金资助项目51277023

在线出版日期：2017-08-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：33-38