一种增量式并行Web信息采集方法

摘要：

提出了一个基于多线程并行的增量式Web信息采集结构模型,并加以实现,该模型以线程并行的方式对Web页面同时采集,实现了全面、高效并且灵活的信息搜集,在系统实现过程中,采取Java语言中最新的特性、独特的URL调度策略保证了各个线程时间的下载并行与互不相交,页面分析过程为各个线程源源不断地提供下载源,而指纹判别算法保证了并行采集过程中的同步,有效地去除了冗余.对该系统作了测试,实验证明,该系统能有效地提高信息采集性能.

关键词：Web、信息采集、搜索引擎、并行

所属期刊栏目：32

分类号：TP311(计算技术、计算机技术)

资助基金：广东省自然科学基金5006102

在线出版日期：2006-11-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：97-99