基于Linux的网络爬虫系统

摘要：

针对目前影响爬虫程序效率的诸多关键因素,在研究爬虫程序内部运行机理的基础上,进行架构优化,改进爬虫程序中的相关算法.在Linux网络环境下,通过对实现的爬虫程序运行进行检测,反馈出该解决方案和改进之处具有可行性,提高了页面抓取的效率和爬虫程序的整体性能.

关键词：网络爬虫、URL调度、DNS解析、哈希算法

所属期刊栏目：36

分类号：N945.15(系统科学)

在线出版日期：2010-03-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：280-282