基于Storm实时流式计算框架的网络日志分析方法

摘要：

随着互联网的飞速发展,网络日志数据呈现爆炸式增长,网络日志蕴含着丰富的网络安全信息.通过对网络日志进行分析,提出了基于访问行为和网络关系的攻击IP识别模型和基于滑动时间窗口的IP真人属性判定模型.基于Storm实时流式计算框架,对所提模型进行算法实现,以构建分布式网络日志实时计算与分析平台,并对实现过程中遇到的技术问题给出了解决方案.通过真实数据对所构建的模型进行分析计算,结果表明,所构建的攻击IP识别模型的标注准确率达到98％,IP真人属性判定模型的标注准确率达到96％;构建的分布式网络日志实时计算与分析平台能够有效、实时地监控网络安全,并及时识别网络中存在的安全隐患.

关键词：Storm、IP真人率、攻击IP识别、分布式网络日志分析平台

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61772081

在线出版日期：2019-10-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：176-183