10.16463/j.cnki.issn1007-3043.2015.12.006
基于开源技术的网络数据采集系统设计
通过分析网络数据采集的特点,提出了网络数据采集系统的设计目标,即支持关键网络指标实时计算和查询、支持多数据源和多消费者、支持实时采集和批量采集且具备线性扩展能力。采用Flume、Kafka、Storm、Hadoop等开源技术完成了系统架构设计。对架构实施可能面临的挑战提出了应对策略。
Flume、Kafka、网络数据、实时采集、批量采集
TP311(计算技术、计算机技术)
2016-03-11(万方平台首次上网日期,不代表论文的发表时间)
共4页
29-32