MapReduce编程模型在网络I/O密集型程序中的应用研究

摘要：

利用开源Hadoop平台,重点研究了MapReduce在轻量数据集、网络I/O密集型程序的适用性.采用MapReduce编程模型改造了一个典型的轻量数据集、网络I/O密集型应用——FTP站点扫描程序；搭建了一个小规模Hadoop集群环境,调整了Hadoop平台的默认配置,并用真实数据对改造前后的程序进行了性能测试.实验证明,MapReduce编程模型具有良好的分布式特性,可适用于轻量数据集、网络I/O密集型程序.

关键词：Hadoop、MapReduce、分布式、网络I/O密集型

所属期刊栏目：28

分类号：TP302(计算技术、计算机技术)

资助基金：江苏省自然科学基金资助项目BK2010132

在线出版日期：2012-01-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：3372-3374