基于Hadoop的用电信息大数据计算服务及应用

摘要：

为应对用电大数据的处理要求，基于 Hadoop 集群构建了面向用电信息采集系统大数据的处理架构和计算服务架构，对计算任务进行并行化处理，提高了用电大数据的计算效率；同时针对用电信息采集系统中大部分计算服务的计算规则复杂、存在数据依赖关系等特点，将同一计算服务内的 MapReduce 作业及及其依赖关系以有向无环图的形式进行组织，并利用依赖控制引擎进行作业运行状态的自动管理，实现作业提交时间的动态调整，达到优化作业执行效率和成功率的效果。实验结果证明，所提方法高效可行，计算服务性能高，能够适应用电大数据的实时处理要求。

关键词：用电信息采集系统、大数据、Hadoop

分类号：TM73(输配电工程、电力网及电力系统)

资助基金：国家自然科学基金项目61272241。 Project Support by National Natural Science Foundation of China 61272241

在线出版日期：2015-11-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：3128-3133