基于大数据技术的日志统计与分析系统研究
随着大数据时代的来临,网络数据呈现爆炸式增长,IDC数据表明,全球企业数据正以62％的速度逐年增长,大量数据当中隐藏着巨大的商业价值,引起了企业的广泛关注.然而,大数据给数据的同步、存储、和数据统计分析带来了一定的问题和困难.本文旨在实现基于大数据技术的日志统计分析系统,解决了现有的工具逐渐无法有效的处理大量数据的问题.本文在对此系统进行需求分析的基础上,设计了以多个分布式集群为基础,数据源层、存储层、计算层相互融合的体系结构,设计并实现了日志数据转码、日志传输、自动识别新文件的产生、日志存储、数据查询的功能.日志数据转码对于GBK格式编码的日志进行格式转换;日志传输提供数据从不同终端到储存系统的数据收集、聚合和移动,以便模拟生产环境中数据实时产生的过程;自动识别新文件的产生,不同模块之间完成通信加载数据功能.本文综合使用了大数据生态圈的各种开源技术,包括Hadoop、Flume NG、Kfaka、Sqoop、Hive、MySQL.从日志数据的收集同步,到日志的存储和计算分析,到最终分析结果的查询,涵盖了使用大数据技术进行日志统计分析的典型流程.本文使用开发语言Java和shell脚本语言,开发工具为IntelliJ IDEA,VIM.在多台CentOS6.5机器之上搭建集群,进行分布式存储和计算.用户通过统计分析系统进行日志同步、传输、任务提交和调度、结果查询等操作.
大数据、网络数据、日志统计分析、流程自动化
12
TP311(计算技术、计算机技术)
由北京信息科技大学2016年人才培养质量提高经费5111610800支持
2017-04-10（万方平台首次上网日期，不代表论文的发表时间）
共3页
9-11
