基于Hadoop的海量数据TCP报文重组技术

摘要：

当前基于单机系统的传输控制协议(TCP)报文重组工具随着数据量的增大,运行效率越来越低,难以满足大数据时代的需求.为此,提出一种基于Hadoop的海量数据TCP报文重组系统.利用Hadoop分布式文件系统(HDFS)以及MapReduce并行处理框架,对TCP报文重组中的数据读取和结果输出步骤进行并行化处理.采用MapReduce辅助排序技术实现海量TCP数据流的分类.测试结果表明,与基于单机系统的报文重组工具相比,基于Hadoop的报文重组系统工作效率更高,并且当数据量达到100 GB时,运行效率可提升近84％.

关键词：海量数据、传输控制协议、报文重组、分布式系统、并行处理、辅助排序

所属期刊栏目：42

分类号：TP393(计算技术、计算机技术)

在线出版日期：2016-12-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：113-117,123