基于Hadoop的工业大数据存储分析系统
工业大数据具有规模庞大、业务复杂等的特点,为数据存储、查询和分析计算带了难度.为了优化工业大数据存储管理,提高系统存储、查询、分析效率,利用基于Hadoop技术针对业务库和实时监控数据库的存储管理进行优化.系统设计业务库的集群化同步存储架构,基于Maxwell组件将MySQL业务库数据实时同步到HBase,实现业务库的读写分离、提高数据查询和数据分析的效率;其次,基于Kafka和Flink对业务库同步数据进行实时计算处理,实现高并发数据写入场景下的低延迟响应;最后,实验进行了HBase和MySQL的性能对比测试,结果表明本系统在大规模数据场景下具有更好的计算效率表现,能够有效进行工业大数据分析存储.
工业大数据、Hadoop、Flink、HBase
TP311.13(计算技术、计算机技术)
2020-08-06（万方平台首次上网日期，不代表论文的发表时间）
共4页
18-20,24
