基于分布式Web应用的大数据日志分析方法研究

摘要：

该文首先研究并使用了Flume集群将Web应用集群所产生的日志进行汇总,使用Flume内部组员Source来关联Web应用所产生的原始日志文件,并通过设计Channel管道供其进行数据传输,使用Sink来绑定其输出目的地;其次,搭建Ha?doop集群并使用其内部组件HDFS来持久化Flume集群所汇总的日志数据,最后设计并搭建了基于Hive的数据仓库,依据Web应用所产生日志的数据格式,将HDFS中的原始日志数据灌入到原始数据表中,使用HiveQL对其进行分析.对网站的多维度PageView、访客的来源统计、用户关键路径转化进行了多维度且详细的数据分析.通过该文所设计并实现的数据分析实例,证明了大数据日志分析平台的可用性,解决了一般Web应用集群数据分析所难以克服的问题.

关键词：Flume、Hadoop、Hive、数据分析

所属期刊栏目：15

分类号：TP311(计算技术、计算机技术)

在线出版日期：2019-04-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：16-19