面向电力大数据的异构数据混合采集系统

摘要：

随着智能电网的快速发展,电力系统数据量的增长也非常迅速,电力大数据急待开展深入研究.电力数据产生的速率跨度大,数据源众多且交互方式繁杂,数据种类繁多等特点,已有大数据采集方式难以适应多源异构数据的混合采集应用场景.本文针对电力大数据提出了新的解决方案,通过混合数据采集模型和采集集群实现了对异构数据源采集任务的混合调度和管理;通过数据置信度标签技术,在保留原始数据的同时,标示数据的质量,为后续大数据分析应用提供了便利;通过Sqoop、Kafka、文件传输等方式将采集与处理后的数据提交给大数据平台存储.系统已经在用户现场部署并投入使用,运行稳定,效果良好.

关键词：电力大数据、异构数据源、混合采集、置信度、数据监视

所属期刊栏目：27

资助基金：国家高技术研究发展计划863计划2015AA050201

在线出版日期：2019-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：62-68