LSC-TGT:基于字符串聚类和模板生成树的在线日志解析方法

摘要：

系统日志记录了系统的运行信息,是开发人员检测系统异常必不可少的数据.异常检测的首要步骤是将非结构化日志解析为结构化的数据,即从日志中提取模板.针对当前绝大多数日志解析方法不能实时解析日志和解析不同系统日志参数不通用的问题,本文提出了一个准确高效的在线实时日志解析方法LSC-TGT(Log String Clustering-Template Generating Tree).首先将日志按照长度分类,再获取日志字符串计算其相似度,基于相似度对日志二次聚类,最后使用模板生成树提取日志模板.我们在五个真实日志数据集上与现有的解析方法进行对比实验,实验结果表明,LSC-TGT的解析时间提高了22％ ～68.8％,解析准确度提高了11.5％ ～20.6％.实现了高效准确地解析非结构化日志数据.

关键词：异常检测、系统日志解析、在线聚类、前缀树

所属期刊栏目：41

分类号：TP391(计算技术、计算机技术)

资助基金：国家电网公司总部科技项目SGSHXT00JFJS1900093

在线出版日期：2020-09-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1676-1683