基于Storm的海量数据实时聚类

摘要：

针对现有平台处理海量数据实时响应能力普遍较差的问题,引入Storm分布式实时计算平台进行大规模数据的聚类分析,设计了基于Storm框架的DBSCAN算法.该算法将整个过程分为数据接入、聚类分析、结果输出等阶段,在框架预定义的组件中分别编程实现,各组件通过数据流连通形成任务实体,提交到集群运行完成.通过对比分析和性能监测,验证了所提方案具有低延迟和高吞吐量的优势,集群运行状况良好,负载均衡.实验结果表明Storm平台处理海量数据实时性较高,能够胜任大数据背景下的数据挖掘任务.

关键词：Storm、海量数据、聚类、实时分析

所属期刊栏目：34

分类号：TP316.4;TP311.1(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61074078;山西省电力公司科技项目ZGDKJ2012005

在线出版日期：2015-01-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：3078-3081