10.3778/j.issn.1673-9418.2011.01.007
Nutch分布式网络爬虫研究与优化
Nutch作为一个优秀的开源搜索引擎,其内核代码大量采用了MapReduce的编程模式,被越来越多的企业和团体用来定制符合自身需求的分布式搜索引擎产品.作为优秀的搜索引擎,其重要的前提是如何尽可能多地抓取到网页数据来建立索引.介绍了Nutch基于Hadoop下的分布式网络爬虫工作机制,指出其不足之处,并提出了改进方案,从而使网络爬虫能够更加高效地利用网络资源来抓取网络数据.经过实验测试,证明了此方案比原方案更加高效.
Nutch搜索引擎、网络爬虫、弹性抓取机制
5
TP393(计算技术、计算机技术)
The Natural Science Foundation of Hunan Province of China under Grant No.07555084;the Science and Technology Projects of Guangdong Province under Grant No.20098080701031
2011-04-29(万方平台首次上网日期,不代表论文的发表时间)
共7页
68-74