不同网络环境下大数据系统的测试与分析

摘要：

为了研究网络架构和通讯协议对大数据处理与应用系统效率的影响，在介绍与分析不同网络架构和通讯协议的基础上，使用以太网和Infiniband网络连接，安装TCP／IP，IPoIB和RDMA协议，构建了Hadoop，Tachyon和Spark原型系统，使用通用测试工具和例程等进行了测试．测试结果表明相比使用TCP／IP，使用IPoIB能提高Hadoop的I／O性能4.6～5.6倍，减少Tachyon数据处理的时间开销达2％～27％，减少了Spark 90％～95％的时间开销，同时Spark性能提高了46倍．此外使用RDMA相比IPoIB减少了3％～15％的系统开销．最终分析得出，高速网络架构和高效通讯协议能有效提高大数据处理系统的I／O性能、处理效率和适应能力．

关键词：大数据处理系统、网络架构、Hadoop、Tachyon、Spark、Infiniband、IPoIB、RDMA

所属期刊栏目：37

分类号：TP393.0(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目61300228；江苏省自然科学基金资助项目BK20140570；浙江省自然科学基金资助项目LY13F020012；江苏省科技厅重点研发计划产业前瞻与共性关键技术项目BE2015137；江苏省科技支撑计划项目BE2013103；深圳市科技项目JCYJ20130401095947222

在线出版日期：2016-07-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：429-437