多源异构的智能配用电数据存储处理技术

摘要：

针对智能配用电数据具有海量、多源异构等特点，提出一种基于 Hadoop 的智能配用电数据存储处理的框架设计方案。在对智能配用电数据组成进行梳理的基础上，提出了智能配用电的资源、存储和查询三层数据存储框架。其中，资源层采用 Hadoop 集群架构，结合电力系统的行业特色，完成IT存储资源管理；存储层则先采用XML技术进行数据预处理，使非结构化数据归一化，然后利用NoSQL数据库通过Map和Reduce的有效结合，完成海量数据的快速存储；查询层利用 To p-k 检索技术，实现海量数据的快速查寻。该设计方案能够对结构化和非结构化数据进行统一存储，可为智能配用电大数据技术的应用提供基础支撑。

关键词：大数据、海量数据、框架设计、智能配用电

所属期刊栏目：30

分类号：TM711(输配电工程、电力网及电力系统)

资助基金：国家高技术研究发展计划863计划资助项目2015AA050203。

在线出版日期：2016-09-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：159-168