基于Flume的MySQL数据自动收集系统

摘要：

针对分布式系统中、不同数据中心之间的数据收集,同时解决将数据由关系型数据库交换到非关系型数据库的问题,提出一种基于Flume的MySQL数据库数据自动收集系统。为了符合现实中的生产环境,该系统采用的是一种星型拓扑结构。系统可以自动查询给定的MySQL数据库表,自动检测表中的数据更新,实现自动增量传输,并对原始数据进行封装、解析,最终将数据存储到非关系型数据库HBase中。在测试中,系统中每台机器的平均传输速度可达到1111 kb/s,系统总的平均传输速度可以达到3333 kb/s,并且保证了数据的完整性,实现了可靠高效传输的目标。

关键词：Flume、MySQL数据库、数据收集、HBase、JDBC

所属期刊栏目：26

分类号：TP274.2(自动化技术及设备)

资助基金：2015年工信部通信软科学研究项目2015-R-19;2015陕西省信息化技术研究项目2015-002

在线出版日期：2017-01-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：137-141