10.3969/j.issn.1672-5468.2017.05.014
基于Spark Streaming的海量日志实时处理系统的设计
在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.
大数据、SparkStreaming、日志分析、分布式计算
35
TP311(计算技术、计算机技术)
2017-12-01(万方平台首次上网日期,不代表论文的发表时间)
共6页
71-76