基于Hadoop集群的日志分析系统的设计与实现

摘要：

当前Internet上存在着海量的日志数据，他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务，单一主机已经无法满足要求，使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop已经日趋成熟，被广泛的应用于很多领域。该文描述了一个针对大日志分析的分布式集群的构建与实现过程。介绍了日志分析的现状，使用vmware虚拟机搭建了Hadoop集群和日志分析系统的构建方法，并对实验结果进行了分析。

关键词：分布式计算、日志分析、Hadoop、集群、vmware

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金No.61300167；南通大学自然科学基金10Z033

在线出版日期：2014-01-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：7647-7650,7655