基于数据中台的日志解析技术

摘要：

数据中台是一种利用数据技术为客户提供高效服务的模式.日志是数据中台记录系统运行状态的一种方式,它可以为故障诊断、性能优化、系统安全等任务提供支持,分析日志中的信息对中台日常运维具有重要意义.日志解析是日志挖掘的重要步骤,它将非结构化的日志文本转换为结构化的数据.综述了日志解析算法和评估方法,分析了工业界和学术界的解决方案,总结了日志解析算法的主要类别和特点,比较了不同算法在不同数据集上的性能和效果.发现日志解析算法缺乏统一的标准和数据集,导致结果难以对比和验证.针对这种情况,对未来的研究方向提出建议,应关注建立统一的评估指标和日志数据集,促进工业界和学术界的交流,以提高日志解析算法的适用性和可靠性,对日志解析领域的研究具有参考价值.

关键词：数据中台、日志解析、日志挖掘、算法评估

所属期刊栏目：51

分类号：TF407;TP302(钢铁冶炼（黑色金属冶炼）（总论）)

资助基金：国家电网有限公司大数据中心项目SGSJ0000HGJS2200037

在线出版日期：2023-11-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：47-56