智能配用电大数据存储架构设计

摘要：

针对智能配用电数据海量、高维度、多源异构等特点,提出一种大数据存储的三层管理框架设计方案.首先,对智能配用电数据组成进行分类划分.然后,提出智能配用电数据存储的资源层、元数据层和实际数据层的三层管理框架,在资源管理层,应用虚拟化技术、负载均衡和资源调度完成对物理资源的管理;在元数据管理层,使用数据预处理技术对智能配用电的元数据进行分类,采用中间件技术完成XML元数据仓库管理;在实际数据管理层,利用NoSQL技术,通过Map和Reduce的有效结合,完成海量数据的分层分区快速存储.最后,在实验室环境下对该设计方案进行初步的应用,验证了所设计方案能够对结构化、半结构化和非结构化数据进行统一存储,可为智能配用电大数据技术的应用提供基础支撑作用.

关键词：大数据、海量数据、框架设计、智能配用电、数据处理、存储

所属期刊栏目：36

分类号：TM721(输配电工程、电力网及电力系统)

资助基金：国家高技术研究发展计划863计划资助项目2015-AA05203Project supported by the National High Technology Research and Development Program of China863 Program2015AA-05203

在线出版日期：2016-07-07（万方平台首次上网日期，不代表论文的发表时间）

页码：194-202