一个Web抓取器的实现

摘要：

本文介绍一个Web抓取器的实现。Web抓取器能够根据用户输入的URL和一定的约束条件自动地搜索Web上的超文本文档，建立URL索引，根据该索引有选择的下载Web资源，同时保持了原有的链接关系。本文实现了一种Web遍历过程，并根据遍历结果抓取文档，从而完成对指定URL抓取文本。

关键词：Web抓取器、超文本文档、URL

所属期刊栏目：11

分类号：TP393.07(计算技术、计算机技术)

在线出版日期：2004-01-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：32-35