10.16208/j.issn1000-7024.2020.12.043
Spark平台下日志清洗系统设计
为解决传统日志清洗系统在数据量增大时出现计算缓慢,磁盘I/O消耗过大,清洗不完善以及数据倾斜等问题,提出基于Spark的日志清洗系统设计.使用Hadoop、Flume、Kafka、Spark Streaming、Hbase等大数据组件进行系统搭建;通过决策对象识别算法对日志中重复数据进行快速过滤、去重,优化Join操作以避免数据倾斜;实现清洗模块,提高数据清洗效率,达到优化系统的目标.实验结果表明,基于Spark的日志清洗系统相比传统的清洗系统而言,日志清洗速度和精准度得到大幅度提升,系统的性能更加稳定.
数据清洗、数据倾斜、决策对象识别算法、大数据组件、火花
41
TP311(计算技术、计算机技术)
陕西省科技厅农业科技攻关工程基金项目2015NY028
2020-12-29(万方平台首次上网日期,不代表论文的发表时间)
共8页
3580-3587