基于负载均衡的多源流数据实时存储系统

摘要：

物联网感知流数据多以时序数据为主,具有数据量大、连续到达、多来源等特点.现有的基于HBase的交通流数据存储系统在数据写入并发量大时,仍然存在存储效率低与系统可用性不高的问题.针对该问题,设计并实现了基于负载均衡的多源流数据实时存储系统.该系统将数据代理扩展为集群架构,提出了一种基于负载均衡的任务调度算法,实现了任务与数据代理之间的按序匹配,使数据代理集群负载均衡地处理任务,实现数据并行存储到HBase数据库中.实验对比结果表明:该系统使各数据代理的数据分配比例维持在0.3～0.4,同时以约1.5倍于单数据代理的速度将数据写入HBase数据库.

关键词：多源流数据、HBase、实时存储系统、数据代理、负载均衡、任务调度

所属期刊栏目：39

分类号：TP393(计算技术、计算机技术)

资助基金：北京市自然科学基金4131001

在线出版日期：2017-05-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：641-647