线上多节点日志流量异常检测系统的研究

摘要：

随着国家高性能计算环境各个节点产生日志数量不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.为了高效自动化地分析日志,提出了一个两阶段的检测方法.第一阶段首先在预处理时将日志模式进行分类,然后使用主成分分析方法进行异常检测,并将日志类型的有序排列定义为一种日志流量模式,通过该定义将异常检测中得到的异常流量模式提取出来,最后使用层次聚类算法简化流量模式的结果并保存.第二阶段通过第一阶段得到的检测模型和流量模式,可以实时监测分析日志流量信息并匹配对应流量模式.最终基于高性能计算环境中的真实日志进行实验分析,并实现了结果的可视化展示,从而大大减轻了运维人员的工作负担.

关键词：主成分分析(PCA)、日志流量模式、层次聚类、可视化

所属期刊栏目：14

分类号：TP316(计算技术、计算机技术)

资助基金：The National Natural Science Foundation of China under Grant No.61702477国家自然科学基金

在线出版日期：2020-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1828-1837