Spark平台下日志清洗系统设计

摘要：

为解决传统日志清洗系统在数据量增大时出现计算缓慢,磁盘I/O消耗过大,清洗不完善以及数据倾斜等问题,提出基于Spark的日志清洗系统设计.使用Hadoop、Flume、Kafka、Spark Streaming、Hbase等大数据组件进行系统搭建;通过决策对象识别算法对日志中重复数据进行快速过滤、去重,优化Join操作以避免数据倾斜;实现清洗模块,提高数据清洗效率,达到优化系统的目标.实验结果表明,基于Spark的日志清洗系统相比传统的清洗系统而言,日志清洗速度和精准度得到大幅度提升,系统的性能更加稳定.

关键词：数据清洗、数据倾斜、决策对象识别算法、大数据组件、火花

所属期刊栏目：41

分类号：TP311(计算技术、计算机技术)

资助基金：陕西省科技厅农业科技攻关工程基金项目2015NY028

在线出版日期：2020-12-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：3580-3587