面向物流服务的海量日志实时流处理平台

摘要：

随着电商平台的快速发展,物流行业增长迅猛,其中物流服务平台的访问日志能够反映用户的行为规律,从而挖掘潜藏信息助力物流服务平台优化业务已至关重要.目前,针对于此类大规模日志数据处理提出了更高的实时性需求,本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等,选取Flume及Kafka作为日志采集工具与消息队列,并利用Flink及HBase进行流数据实时计算以及大规模数据存储.同时,对平台设计了数据去重、异常告警、容错策略以及负载调度的功能.经实验测试证明,本处理平台可以有效处理物流服务平台的日志数据,具有较强的创新思路以及实际价值.

关键词：日志处理;Flink流处理框架;数据实时处理;异常告警;HBase

所属期刊栏目：30

资助基金：陕西省2020年技术创新引导专项基金2020CGXNG-012

在线出版日期：2021-12-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：68-75