基于流式处理架构的日志采集系统的设计与实现

摘要：

对信息系统运行记录、操作日志、告警信息的采集问题进行了研究,提出了一种面向泛政府行业安全运行管理平台的统一日志采集系统;采用基于消息队列的流式处理架构,实现日志采集、日志处理、日志上报等各个环节的解耦;采用标准化接口和插件技术,实现各种异构日志信息的采集和数据上报;采用消息队列的流量削峰技术,保证日志传输的安全可靠;依据日志流量特征,提出一种支持动态调整消费组的设计模式,达到超过20 000条日志/每秒的高性能采集要求;整个系统由日志采集、数据上报、数据管理、系统管理、策略管理、Agent管理、日志源管理模块和日志采集代理(Agent)子系统组成,可满足对各类安全数据的集中分析、安全威胁感知和智能研判.

关键词：安全运行管理平台、标准化接口、插件技术、消息队列、流式架构

所属期刊栏目：31

分类号：TP399(计算技术、计算机技术)

资助基金：上海市人才发展资金资助;中国博士后科学基金;上海市自然科学基金;公安部技术研究计划项目;四川省科技计划项目

在线出版日期：2023-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：272-280